技術概要：長時間尺度のビデオ間生成のためのアンカー付き木サンプリング

1. 問題定義

長時間尺度のビデオ生成、特にビデオ間（V2V）領域においては、ドリフトと連続性の問題という、互いに密接に関連する 2 つの主要な課題に直面しています。

• ドリフト: 生成が時間とともに進行するにつれて誤差が蓄積し、ビデオの品質が劣化します（例：色、テクスチャ、コントラストのシフト）。
• 連続性の問題: これらは、物体の永続性の欠如や、一時的なコンテンツの矛盾したレンダリングとして現れます（例：異なるスタイルや色で物体が再登場する）。

現在の解決策は、主に双方向モデルを因果的な生成器に変換する自己回帰（AR）蒸留に依存しています。これらの手法はシーケンシャルなロールアウトを安定化しようと試みますが、本質的な限界に苦しんでいます：

1. ホライズンスケーリング依存性: 1 つのチャンクの誤りが次のチャンクを条件付けるため、ドリフトが時間とともに線形的に蓄積します。
2. シーケンシャルなロールアウト: 生成はステップバイステップで実行されなければならないため、利用可能なハードウェアに関係なく、ウォールクロック時間が線形的に増加します。
3. リセットアーティファクト: メモリを管理するために、AR システムはしばしば KV キャッシュのリセットを実行します。これらのリセットは蓄積された状態を破棄し、物体の同一性やシーンの状態における「跳ねる」ような不連続性を引き起こします。

さらに、既存の長編作品はテキストからビデオ（T2V）に重点を置いています。事前に分かっている密なフレームごとの条件信号（例：ポーズ、深度、エッジ）を伴う長編 V2V は、未だ十分に研究されていません。著者らは、完全な条件 $c_{1:T}$ が既知である場合、因果的（左から右へ）なロールアウトに固執する必要はないと主張しています。

2. 手法：アンカー付き木サンプリング（ATS）

本論文は、シーケンシャルな AR ロールアウトを、木構造として組織化されたスパースからデンスへのアンカー境界付補間戦略に置き換える、トレーニング不要の推論時スケジューラーである**アンカー付き木サンプリング（ATS）**を提案します。

中核メカニズム

ATS は「両側」プリミティブ（式 2）を利用します。ここでモデルは、開始アンカー $A_a$ と終了アンカー $A_b$、ならびに中間条件 $c_{a:b}$ に条件付けられて、スパン $x_{a:b}$ を生成します。これにより、モデルは因果的ではなく双方向的にコンテンツを埋め込むことができます。

生成プロセスは階層的に組織化されます：

1. ルート呼び出し（スパースアンカー）: 単一の呼び出しで、ホライズン $T$ 全体にわたるスパースな「アンカー」（キーフレームまたは短いクリップ）を生成します。静止カメラの領域では、これらのアンカーは再トレーニングなしで、密な条件信号から直接導出されます。
2. 再帰的洗練（中間アンカー）: 木は、既存のアンカー間に新しいアンカーを生成することで洗練されます。もし区間がモデルのコンテキストウィンドウに対して大きすぎる場合、中間アンカーが挿入されます。
3. リーフ生成（密なフレーム）: 最終ステップでは、隣接するアンカー間の密なフレームを合成します。これらの「リーフ」スパンは、両側でアンカーによって境界付けられます。

主要な特性

• トップダウン因数分解: 依存グラフは左から右へではなく、トップダウン（ルート $\to$ 洗練 $\to$ リーフ）です。
• 並列性: 同じ木レベルの兄弟ノードは、親アンカーが与えられれば条件付き独立です。これにより、複数の GPU 間での並列実行が可能になります。
• トレーニング不要: ATS はベースモデルの重みを修正しません。事前学習された双方向生成器をブラックボックスのプリミティブとして扱います。
• 静止カメラ仮定: 現在の実装は、スパースな条件と密な条件がほぼ同一に見える静止カメラを仮定しており、これによりベースモデルは「箱から出してそのまま（out-of-the-box）」クリーンなスパースアンカーを生成できます。

複雑性とレイテンシ

• 自己回帰（AR）: レイテンシはチャンク数 $K$ に比例して線形にスケーリングします（$T_{AR} \approx K \cdot \tau_{call}$）。
• ATS: レイテンシはホライズンの深さ $L$ に比例して対数的にスケーリングします（$T_{tree} \approx (L+1) \cdot \tau_{call}$）。
• ドリフトの軽減: 各生成ステップを 2 つのアンカー間で境界付けることで、ドリフトはビデオ全体にわたって蓄積するのではなく、アンカーペアのスパン内に収束します。

3. 実験結果

著者らは、2 つの最新の自己回帰ベースラインであるLongLiveとReward Forcingに対して、Wan 2.1 + VACE（双方向 V2V バックボーン）上で ATS を評価しました。

設定

• タスク: 5 つの条件モダリティ（インペインティング、アウトペインティング、エッジ、ポーズ、深度）にわたる 30 分間の V2V 生成。
• 指標: VBench-1.0 からの審美的品質（AQ）と画像品質（IQ）を、グローバルに、「チャンクドリフト」（キャッシュ内での劣化）として、および「リセットジャンプ」（キャッシュリセット時の不連続性）として測定しました。

主要な発見

1. 品質の向上: ATS はグローバル品質において、両方の AR ベースラインを上回りました。
   • LongLive 対比: AQ +4.0 / IQ +6.6。
   • Reward Forcing 対比: AQ +5.7 / IQ +6.2。
2. ドリフトの排除:
   • チャンクドリフト: AR 手法はキャッシュウィンドウ内で著しい品質劣化を示しました。ATS はこれを平坦化し、チャンク全体で一貫した品質を維持しました。
   • リセットジャンプ: AR 手法はキャッシュリセット時に大きな不連続性を示しました。ATS はこれらのジャンプを完全に排除しました。
3. 速度: 並列化により、ATS は 2000 秒のビデオにおいて、最良の AR ベースラインよりも5.3 倍高速な生成を達成しました。8 GPU を使用することで、リアルタイムより高速（3.3 倍）なパフォーマンスを達成しました。
4. 長時間尺度の安定性: 著者らは、LTX-2.3上で 5 つのすべてのモダリティにおいて、40 分以上の安定した生成を実証し、観測可能なホライズンスケーリングによるコンテンツドリフトは見られませんでした。

4. 限界と将来の方向性

本論文は、現在の静止カメラ実装における限界を明示的に認めています：

1. アンカー汚染: 単一の不良アンカー（例：ルートにあるもの）が、その完全なサブツリーを汚染します。これは静止カメラでは重要度が低いですが、スパース生成が困難な動的カメラでは問題となります。
2. 弱い運動ガイダンス: 弱い運動信号（例：深度マップ）の場合、単一のキーフレームでは不十分であり、多フレームのビデオアンカーが必要です。
3. 一貫性のギャップ: ATS は境界付けられたスパン内の時間的整合性を保証しますが、アンカー間に現れるオブジェクト（オフカメラのエンティティ）の同一性を明示的に追跡しない限り、本質的に強制しません。
4. 非 V2V への一般化: 現在の手法は、スパースアンカーを生成するために密なソース信号に依存しています。密なガイドなしでスパースなコンテンツをハルシネートする必要がある純粋なテキストからビデオ（T2V）や動的カメラの領域には、まだ一般化されていません。

提案される前進の道筋

著者らは、ATS を一般化するための 3 つの構造的拡張を提案します：

1. スパース生成専門家: T2V や動的カメラ用のスパースアンカーを生成するために、DCARL のキーフレーム生成器に似た専用モデルを導入し、ルート呼び出しの密な条件への依存を置き換えます。
2. セマンティック DAG: 時間だけでなく、セマンティックな制約（例：キャラクターの同一性、シーン変化）によってインデックス付けされた**有向非巡回グラフ（DAG）**で、厳密な時間木を置き換えます。これにより、非隣接するリーフが制約を共有できるようになります。
3. 参照ベースの条件付け: 画像やクリップなどの明示的な参照入力を活用して、サフィックスベースのメモリに固有のドリフトを回避し、全期間にわたる連続性を強制します。

5. 意義

本論文は、ATS が長時間尺度生成戦略において重要な転換点であると主張しています。スケジューリング問題をモデリング問題から切り離すことで、ATS は以下を実現します：

• ドリフト防止: ホライズンにわたって蓄積するドリフトを、アンカー境界付きドリフトに変換します。
• 連続性: AR キャッシュリセットによって引き起こされる「跳ねる」ようなアーティファクトを排除します。
• 効率性: 臨界経路を線形から対数に削減し、並列化による大幅な高速化を可能にします。
• スケーラビリティ: ベースモデルの再トレーニングなしで、時間規模（40 分以上）に迫る一貫性がありドリフトのない生成を可能にする、最初の非アバターフレームワークを実証しました。

この研究は、現在静止カメラ V2V 向けに最適化されていますが、木構造ベースの双方向パラダイムが、長編生成を動的およびテキスト駆動の領域へ拡張するための堅牢な基盤を提供すると結論付けています。