技術要約：Avatar-Forever

問題提起

インタラクティブなアバターを生成するための既存のストリーミングビデオシステムは、通常、数ステップでの長尺ビデオ生成を可能にするために、逐次的な蒸留中心のトレーニングパイプラインに依存しています。このパラダイムは、以下の2つの決定的な制限に直面しています。

1. 学習の不安定性： 逐次的なパイプラインの初期段階で発生した失敗や分布の変化が、後の最適化に悪影響を及ぼし、収束を困難にし、特定のステージの寄与を診断することを難しくします。
2. 長尺ロールアウトにおける品質劣化： 蒸留中心の目的関数は、短期間の生成品質を優先する傾向がありますが、自己回帰的な誤差が蓄積される長いロールアウトでは品質の劣化に苦しみます。初期のアーティファクト、アイデンティティのドリフト、またはリップシンクのエラーが履歴コンテキストの一部となり、その後の生成を徐々に劣化させます。

現在の手法は、ティーチャーフォーシング、ODE初期化、および複雑なフォーシング戦略を含む、密結合された単一の逐次的パイプラインを用いて、効率的な数ステップ生成と長期間の堅牢性を結合することで、これらの問題に対処しようとしています。この絡み合いにより、学習プロセスは脆弱になり、大規模なビデオ基盤モデルへのスケールアップを困難にしています。

手法

著者らは、効率的な数ステップ生成と長期間の堅牢性の目的を、逐次的ではなく並列に学習させることでデカップル（分離）するフレームワーク、Avatar-Foreverを提案しています。このフレームワークは、3つのコアコンポーネントで構成されています。

1. デカップルされた並列学習

蒸留と長文脈適応を絡め合う代わりに、Avatar-Foreverは2つの独立した学習ブランチを採用しています。

• 効率ブランチ（数ステップ蒸留）： このブランチは、Distribution Matching Distillation (DMD) を用いてフルパラメータ蒸留を実行します。これは、事前学習済みの22Bビデオ基盤モデル（LTX）を高品質な4ステップ生成器へと圧縮します。このブランチは、自己回帰的なロールアウトや破損した履歴を導入することなく、減少したデノイジングステップ下での短期的視覚品質、動きのリアリズム、および効率的なサンプリングの保持のみに焦点を当てます。
• 堅牢性ブランチ（回復指向ロールアウト学習 - RRT）： このブランチは、軽量な LoRAアダプター を学習させ、拡張されたロールアウト条件下での安定性を向上させます。RRTは、確率的な劣化（ノイズ、ブラー、またはマスキング）を用いて初期の履歴チャンクを摂動させることで、学習時とテスト時のミスマッチに対処します。
  • メカニズム： モデルは初期の履歴チャンクを摂動させた後、勾配追跡なしでマルチステップの自己回帰的ロールアウト（$K$ チャンク）を実行します。
  • 教師あり学習： ローカルな再構成を監視する手法とは異なり、RRTは、劣化がロールアウトを通じて伝播した後の最終ターゲットチャンクに対してのみ、標準的なフローマッチングによる監視を適用します。これにより、モデルは単なる合成的な破損ではなく、モデルに起因するコンテキストのドリフトから回復するように学習されます。

2. 推論時の最適化：ForeverCache

ストリーミング推論を加速するために、著者らはチャンク単位の自己回帰的履歴特徴キャッシュメカニズムである ForeverCache を導入しています。

• 問題点： 標準的な自己回帰的推論では、現在のチャンクのみが更新される場合でも、すべてのデノイジングステップにおいて可視的な履歴ウィンドウ全体を再計算します。
• 解決策： ForeverCacheは、初期のデノイジングステップ（$t=T$）においてのみ、履歴ウィンドウのフルフォワードパスを実行して、パーブロックの履歴コンテキスト特徴を生成・蓄積します。後続のステップでは、現在のチャンクのトークンのみをフォワードしながら、これらの安定したキャッシュされた特徴を再利用します。
• 利点： これにより、固定された履歴チャンクの冗長な計算が排除され、アイデンティティの一貫性と動きのコヒーレンスを維持しながら、長期間の生成におけるスループットが23%向上します。

3. デプロイメントの構成

推論時には、効率ブランチからのフルパラメータ更新（$\Delta\theta_{DMD}$）と、堅牢性ブランチからのLoRA更新（$\Delta\theta_{RRT}$）をベースモデル（$\theta_0$）と結合して、最終的な生成器を形成します。
$$\theta^* = \theta_0 + \Delta\theta_{DMD} + \Delta\theta_{RRT}$$
これにより、システムは最小限の追加コストで、蒸留された生成器の高い忠実度を活用しながら、自己回帰的ドリフトに対する堅牢性を追加することが可能になります。

4. 合成データパイプライン

スケーラブルな適応をサポートするために、著者らは完全な合成データパイプラインを構築しました。彼らはビデオ基盤モデルを使用して、高品質な対話プロンプトから学習用ビデオを合成し、続いて低品質、静止、または意味的に不整合なサンプルを除去するための自動フィルタリングを行っています。これにより、学習データがターゲットの生成分布に自然に適合することを保証しています。

主な貢献

1. Avatar-Forever フレームワーク： 数ステップの効率性と自己回帰的な堅棒性が、並列に効果的に学習可能であることを示す、デカップルされた並列学習パラダイム。これは、逐次的パイプラインにおける目的関数の干渉を回避します。
2. 回復指向ロールアウト学習 (RRT)： 標準的なフローマッチング目的関数を用い、エラーがマルチチャンクのロールアウトを通じて伝播した後の回復を監視することで、自己回帰生成の主要な失敗モード（誤差の蓄積）を標的とする新しい学習戦略。
3. ForeverCache： 安定したコンテキスト特徴をデノイジングステップ間で再利用し、冗長な再計算を排除して長期間の生成スループットを23%向上させる、チャンク単位の履歴特徴キャッシュ。
4. スケーラブルな実装： 22Bビデオ基盤モデルと合成データパイプラインを用いて実装され、リアルタイムで高品質な、長時間のアドリブ駆動型アバター生成を実現。

実験結果

フレームワークは、TalkVid、EMTD、HDTFを含むデータセットを用いた、短尺（5秒）および長尺（30秒）のビデオ分割による評価が行われました。

• パフォーマンス： Avatar-Foreverは、長期間のオーディオ駆動型アバター生成において最先端の性能を達成しています。単一のH100 GPU上で、768 × 512 解像度のビデオに対して 27.2 FPS で無制限のオーディオ駆動生成をサポートします。
• 品質指標： 強力なベースライン（OmniAvatar, LiveAvatar, SoulX-FlashTalk, InfiniteTalk）と比較して、Avatar-ForeverはLLM Overallスコアを平均で短期間で4.6%、長期間で5.0%向上させています。また、視覚的品質（IQA, ASE）、動きのリアリズム、およびリップシンク（Sync-C/Sync-D）において大幅な改善を示し、FIDおよびFVDを低減させています。
• 長期間の安定性： 30秒および11分間の連続生成テストにおいて、Avatar-Foreverは、競合する手法で見られるような漸進的なドリフト、反復的なジェスチャー、または視覚的劣化を起こすことなく、安定したアイデンティティ、顔構造、およびシーン内容を維持します。
• 効率性： ForeverCacheのバリアントは、短尺ビデオで19.1%、30秒のビデオで31.2%のレイテンシ削減を実現しつつ、競争力のある品質指標を維持しています。
• ユーザー調査： 二重盲検ユーザー調査において、Avatar-Foreverはすべての知覚的次元（オーディオ・ビジュアル、ビジュアル、モーション、総合）で第1位となり、評価者は優れた時間的自然さとジェスチャーの多様性を指摘しました。

意義と主張

本論文は、Avatar-Forever が、トレーニングパイプラインを根本的に再考することで、安定したリアルタイムのデジタルヒューマンへの実用的な道を提供すると主張しています。核心となる洞察は、数ステップの効率性と長期間の安定性は異なる時間スケールで動作し、単一の蒸留目的関数の中で絡み合わせるべきではないということです。

これらの目的をデカップルして並列に学習することにより、フレームワークはトレーニングプロセスを簡素化し、各目的を最適化および診断しやすくし、逐次的パイプラインの脆弱性を回避します。著者らは、これを、高品質で一貫したビデオを無期限に生成できるインタラクティブなアバターのためのスケーラブルなソリューションとして位置づけており、これまで長期間の生成を妨げてきた誤差蓄積の限界を克服しています。また、本研究は、アバター生成のような特定の要求の厳しいタスクのために、大規模なビデオ基盤モデルを訓練するための完全な合成データパイプラインの実行可能性も強調しています。