技術サマリー: UnityShots

問題提起

一貫性のあるマルチショットのオーディオ・ビデオ・シーケンスを生成するには、ショットの境界を越えて被写体の外観、シーンのコンテキスト、および話者のアイデンティティを維持する必要があります。既存のアプローチには以下の構造的な限界があります：

• エンドツーエンドの手法は、固定長のシーケンスで学習するため、GPUメモリの制約により長編のストーリーテリングへのスケーラビリティが制限されます。
• ショットごとの手法は、スライディングウィンドウやキーフレームバンクに依存することが多く、これらはシーケンス長に対して線形に増加するため、条件付けウィンドウがオープニングショットを通り過ぎるとアイデンティティのドリフト（乖離）が発生します。
• エージェントによるオーケストレーション手法は、LLMプランナーを使用して学習済みジェネレーターを連鎖させますが、基礎となるモデルにはネイティブなクロスショットの一貫性学習が欠けているため、信号の伝播が困難です。

さらに、現在の設計はメモリをモノリシックなコンテキストウィンドウとして扱っており、長期的な物語のアンカー（オープニングショット）と短期的な局所的連続性（直前のテール部分）を区別できていません。加えて、既存のモデルには、視覚およびオーディオの境界信号を共同利用して、ショットカット時にメモリ更新を動的に制御する仕組みがありません。

メソドロジー

UnityShotsは、LTX-2.3 22B デュアルストリーム拡散トランスフォーマーに基づいた、メモリ駆動型のマルチショット・オーディオ・ビデオ生成システムです。本システムは、クロスショットの一貫性を解決するために、構造化されたメモリバンクと境界条件付きゲーティングメカニズムを導入しています。

1. デュアルストリーム・メモリバンク

システムは、ビデオおよびオーディオの両方のストリームに対して固定サイズのメモリスロットを保持します：

• ビデオメモリ: カットごとに更新される2つの固定サイズスロットで構成されます：
  • 長期メモリ (LTM): オープニングショット（$P_\ell=2$ ラテントフレーム）に固定されています。これにより、グローバルな物語のアイデンティティを保持します。その寄与度は、カットの強弱に関わらずアンカーが完全に消去されないことを保証するルールベースの係数によって制御されます。
  • 短期メモリ (STM): 直前のテール（$P_v=4$ ラテントフレーム）を保持します。これは局所的な動きのダイナミクスとシーンの状態を捉えます。その重みは、出力されるショットと入力されるショットの内容に基づいて条件付けられた、コンテンツ適応型MLPによって精緻化されます。
• オーディオメモリ: スライディングウィンドウの代わりに、システムは参照オーディオ（$A_{ref}$）から導出された固定のリファレンス・スピーカー・トークンを各ショットに注入します。これにより、スライディング・オーディオバンクを維持することなく、音声の音色を保持します。

2. 境界条件付きメモリゲーティング

メモリ更新は、視覚およびオーディオ信号を融合させた複合境界スコア（$b_N$）によって駆動されます：
$$b_N = \tau_N \cdot (\alpha s_{vis} + \beta s_{aud} + \gamma s_{beat})$$
ここで、$\tau_N$ は離散的なカットタイプ事前分布（FIRST, CONTINUE, HARD）、$s_{vis}$ は視覚的カット確率、$s_{aud}$ はRMSエネルギー変化、$s_{beat}$ はビート位置をエンコードしたものです。

• ゲーティング係数: クリップされた境界スコアから、2つの単調増加係数（$g_{ltm}$ および $g_{stm}$）が導出されます。LTM係数はアンカーの喪失を防ぐためにゼロより大きい値に厳密に制限されており、STM係数は境界を橋渡しするように適応します。
• 更新メカニズム: メモリスロットは、オープニングショットのアンカーの急激な上書きを防ぐ有界な更新ルールを用いて、各デノイジングパスの前に更新されます。

3. Strata-RoPE 位置エンコーディング

追加の深度トークンを使用せずに、現在のショット、STM、およびLTMを区別するために、システムはStrata-RoPEを採用しています。時間的RoPE軸は、3つの重複しないストラタ（層）に分割されます：

• 現在のショット: $[0, T_v - 1]$
• STMバンド: $[f_{lim} - P_v, f_{lim} - 1]$
• LTMバンド: $[f_{lim} - 2P_v, f_{lim} - P_v - 1]$
  この設計により、ロータリーカーネルは距離に基づいてクロスストラタ間の相互作用を自動的に減衰させることができます。

4. 学習と推論

• 学習: モデルは、146k個の注釈付きシネマティックおよびミュージックビデオ・クリップを用いて、2段階で学習されます。ステージ1では、シングルショット上でバックボーンを微調整します。ステージ2では、メモリスロットとゲーティングを導入し、混合条件（I2V, T2V, R2V）の下でマルチショット・チャンク（$k \in [3, 9]$）を用いて学習します。
• 推論: 各ショットにおいて、STMは前のショットのテールを受け取り、LTMはゲーティングメカニズムを介して更新されます。バックボーンは、リファレンス・アイデンティティ、メモリスロット、およびリファレンス・オーディオを条件として、現在のショットをデノイジングします。

主な貢献

1. メモリ駆動型デュアルストリーム生成: 2つのスロットを持つビデオメモリバンク（LTM/STM）とリファレンス・スピーカー・アンカーを備えたエンドツーエンド学習済みのバックボーンにより、AdaLNを通じて学習されたカットタイプ事前分布による遷移強度の制御を可能にします。
2. 境界条件付きメモリゲーティング: 視覚・オーディオの結合境界信号を用いて、各カットでメモリバンクを更新するメカニメントであり、グローバルなアンカーと局所的な連続性を区別します。
3. 多文化マルチショット・ベンチマーク: 6つの文化グループと10の言語にわたる200のマルチショット・シーケンスをリリースしました。これには、リファレンス・アイデンティティ、オーディオ、および境界ごとの遷移ラベルが含まれています。

結果

I2V、T2V、R2Vモードにおけるマルチカルチャー・ベンチマークでの評価において、UnityShotsは優れた性能を示しました：

• 一貫性: すべてのクロスショット一貫性指標（物語の一貫性、ストーリー、キャラクターの一貫性）において、オープンソースのベースラインをリードしています。例えば、I2Vモードにおいて、最も強力なオープンソース・ベースラインに対し、NCで+0.40、Storyで+0.69を達成しています。
• クローズドソースとの比較: Klingのようなクローズドソースのシステムは高いフレームごとの忠実度を示しますが、UnityShotsはマルチショットの軸（NC、Story、Pace）においてそれらに匹敵または凌駕し、スピーカー・アンカーによりオーディオの連続性（AES-A, CLAP）において大幅に上回っています。
• 長尺シーケンスの堅牢性: アブレーション研究により、両方のメモリスロットが必要であることが確認されました。フルシステムは6ショット以上のシーケンスでもアイデンティティの一貫性を維持しますが、シングルスロット・バリアントやベースラインはドリフトが発生します。
• 人間による評価: 32人の参加者によるユーザー調査では、アイデンティティの一貫性と全体的な品質において、UnityShotsがすべてのオープンソース・ベースラインに対して多数派の支持を得ました。

意義

本論文は、メモリをモノリシックなウィンドウとして扱うことは、長編生成には不十分であると主張しています。長期的なアイデンティティ・アンカーと短期的な連続性を明示的に分離し、視覚・オーディオの結合境界信号によってそれらの更新を制御することで、UnityShotsは一貫性のあるマルチショット生成のためのスケーラブルなソリューションを提供します。本研究は、シングルショット生成の品質と、映画的なストーリーテリングの構造的要求事項との間の溝を埋めるものであり、手動およびエージェント駆動の制作パイプラインの両方に適合するシステムを提供します。多様な多文化ベンチマークの公開は、人口統計学的な多様性とクロスショットの一貫性に関するさらなる研究を促進することを目的としています。