技術概要：DySink – 自己回帰型長動画生成のための動的フレームシンク

1. 問題定義

自己回帰型長動画生成は、双方向拡散トランスフォーマーの二次的な計算コストを管理するために、有限メモリを備えたストリーミング処理に依存しています。現在の最先端手法（例：LongLive、Rolling-Forcing）は、通常、短期間の連続性を確保するためのスライディングウィンドウと、長期的な一貫性のためのグローバルアンカーとしての静的フレームシンク（初期にキャッシュされたフレーム）を組み合わせたハイブリッド注意機構を採用しています。

本論文は、この静的割り当て戦略に以下の 2 つの重大な限界を特定しています：

1. 文脈の不一致：生成が進むにつれて、視覚状態は初期フレームから大きく乖離することがあります。これらの時代遅れとなったアンカーを永続的にキャッシュし続けることは、モデルが進化するシーンに適応するのではなく、初期の視覚的手がかりを再現する方向へバイアスをかけ、時間的な停滞を引き起こします。
2. シンクの崩壊：深刻な場合、静的シンクへの依存は「シンク崩壊」と呼ばれる故障モードを誘発します。Cui ら (2026) は、これを RoPE による位相の再整列とヘッド間の注意の均質化に起因すると指摘しており、多くの注意ヘッドが同時にシンクフレームに対して過剰な注意を向ける現象を指します。これにより、生成されたコンテンツがシンクフレームへと後退し、急激なシーンのリセットと周期的な運動パターンが生じます。

2. 手法：DySink フレームワーク

DySink は、固定された初期フレームのアンカーを動的フレームシンクに置き換える、検索ベースのフレームワークを提案します。このシステムはコンパクトなメモリバンクを維持し、視覚的に関連する過去のフレームをオンザフライで選択します。このフレームワークは、以下の 3 つの中核コンポーネントで構成されます：

A. メモリバンクの構築

• 構造：メモリバンクは過去の動画ブロックを格納します。各エントリは、コンパクトな視覚記述子 ($f_i$) と、対応する層ごとのキー・バリュー (KV) キャッシュ ($K_i, V_i$) で構成されます。
• 記述子の生成：視覚記述子は、潜在フレームをピクセル空間にデコードし、凍結された視覚エンコーダを通じて符号化し、平均プーリングと L2 正規化によって特徴を集約することで作成されます。
• 新規性認識型更新：冗長性を防ぐため、候補ブロックは、既存のエントリとの類似度が閾値 ($\tau_{dedup}$) 未満の場合にのみ承認されます。ニアダブレットが発生した場合、誤差蓄積による劣化が少ないため、より早期のエントリが保持されます。

B. 適応的検索と注入

• 検索機構：現在の生成ブロックに対して、DySink はローカルスライディングウィンドウからの記述子を集約してクエリを形成します。メモリバンクに対してコサイン類似度を計算し、最も関連性の高い上位 $k$ 個の過去のブロックを検索します。
• 文脈注入：検索されたブロックの KV キャッシュは、ローカルスライディングウィンドウの KV キャッシュと連結され、注意文脈を形成します。これにより、モデルは固定された初期フレームに永続的に依存することなく、長距離の構造的な手がかりにアクセスできるようになります。

C. シンク異常ゲート

RoPE 周波数構造を変更することなく（先行研究で行われた RoPE ジャッターとは異なり）シンク崩壊を緩和するため、DySink は軽量な層ごとのシンク異常ゲートを導入します：

• 検出ロジック：このゲートはヘッド間の合意を監視します。検索された文脈に対してローカルウィンドウよりも高い親和性を割り当てる注意ヘッドの割合を計算します。
• 抑制：検索された文脈に対して過剰に注意を向けるヘッドの割合が合意閾値 ($\tau_{gate}$) を超える場合、ゲートはその層における検索された KV 状態を抑制し、モデルをローカルスライディングウィンドウに戻します。これにより、崩壊につながる注意の「均質化」を防ぎます。

3. 学習パラダイム

DySink は、Wan2.1 アーキテクチャに基づく 2 段階のストリーミングチューニングパラダイムに従います：

1. 短期地平蒸留：学生モデル (13 億パラメータ) を、教師モデル (140 億パラメータ) から分布整合蒸留 (DMD) を用いて蒸留し、数ステップの因果生成器を作成します。
2. 長期地平微調整：モデルを、LoRA を使用して 60 秒間のストリーミングロールアウトで微調整します。トレーニングと推論の一貫性を確保するため、トレーニング中は完全な DySink パイプライン（検索＋ゲーティング）がアクティブになります。

4. 実験結果

実験は、Wan2.1-T2V-1.3B バックボーンを使用して、1 分間の動画生成（50 秒、75 秒、100 秒）に対して行われました。

• 動的度：DySink は、強力な自己回帰ベースライン（例：Self-Forcing++、LongLive）を大幅に上回ります。50 秒の動画において、Dynamic Degree は Self-Forcing++ より8.16 ポイント、LongLive より21.12 ポイント向上しました。この傾向は 75 秒および 100 秒の生成においても維持されます。
• 時間的品質：動的進化の増加にもかかわらず、DySink はベースラインよりも高い時間的品質スコアを達成しており、動的シンクがシーンの進化を許容しつつ一貫性を維持していることを示しています。
• アブレーション研究：
  • シンク異常ゲートを除去すると、動的度（60.45 から 37.98 へ）および時間的品質が劇的に低下し、ゲートがなければモデルがシンク崩壊の挙動（周期的な運動、反復的な構造）に戻ることが確認されました。
  • 静的シンクとDySinkを比較すると、静的シンクはある程度の安定性を提供しますが、動的検索は進化していく視覚状態に対する優れた適応性を提供することが示されました。

5. 意義と主張

本論文は、DySink が自己回帰型動画生成における静的メモリ割り当ての根本的な硬直性に対処していると主張しています。固定されたアンカーから内容適応型検索へ移行することで、本手法は条件付けの不一致を軽減し、シンク崩壊という特定の故障モードを緩和します。

主な主張は以下の通りです：

• 適応性：動的シンクにより、モデルは時代遅れとなった初期フレームの属性にバイアスされることなく、長距離の一貫性を維持できます。
• 崩壊防止：シンク異常ゲートは、過度なヘッド間の合意を検出することで崩壊しやすい注意パターンを効果的に抑制し、基礎となる RoPE 位置符号を変更する必要のない解決策を提供します。
• スケーラビリティ：このアプローチは、現在の最先端手法よりも高い動的度と時間的品質で 1 分間の動画を生成できることを示しており、動的メモリ選択が将来の長期地平生成のための重要な要素であることを示唆しています。

著者は限界を指摘しており、現在の視覚のみのインデックスは微細な意味論的またはオブジェクトレベルの手がかりを見逃す可能性があり、動的検索の真の可能性は、現在の 100 秒の評価地平を超えた複雑で密度の高いイベントや多段階の遷移が存在するシナリオにおいてより顕著になる可能性があるとしています。