💻 computer science

Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length

本論文は、蒸留された因果的拡散パイプラインとTimestep-forcing Pipeline Parallelismを組み合わせることで、45 FPSを実現しつつ長期間のアイデンティティ漂流を排除し、140億パラメータの音声駆動型アバターの初の実用的なリアルタイムかつ無限長のストリーミング生成を可能にする、アルゴリズムとシステムの共同設計フレームワークであるLive Avatarを導入するものである。

原著者： Yubo Huang, Hailong Guo, Fangtai Wu, Weiqiang Wang, Shifeng Zhang, Shijie Huang, Qijun Gan, Lin Liu, Sirui Zhao, Enhong Chen, Jiaming Liu, Steven Hoi

公開日 2026-08-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yubo Huang, Hailong Guo, Fangtai Wu, Weiqiang Wang, Shifeng Zhang, Shijie Huang, Qijun Gan, Lin Liu, Sirui Zhao, Enhong Chen, Jiaming Liu, Steven Hoi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットに物語を話す方法を教えようとしていると想像してください。あなたは、自分の声と完璧に同期して、話し、唇を動かし、表情を変えるようにしたいと考えています。それも、本物の人間のように見えるように。これが「オーディオ駆動型アバター生成（audio-driven avatar generation）」の世界です。長い間、科学者たちは「拡散モデル（diffusion model）」と呼ばれる一種のAIを用いて、「デジタル俳優」を作り上げてきました。拡散モデルとは、ノイズの混じった静止画というブロックから、少しずつノイズを削り取っていくことで完璧な彫像を現していく彫刻家のようなものだと考えてください。通常、この彫刻家は非常に厳格な順序に従って作業します。つまり、体を作る前に頭を完成させなければならず、これをステップ・バイ・ステップで行う必要があるため、非常に時間がかかります。

大きな問題は、もしこのロボットに1時間の物語を話すよう頼んだ場合、ロボットが混乱してしまう傾向があることです。例えば、キャラクターの顔が5分前はどうだったかを忘れてしまったり、声が全く別人のように聞こえ始めたりすることがあります。これは「ドリフト（漂流）」と呼ばれます。さらに、彫刻家が非常にゆっくりと作業するため、リアルタイムの会話をすることはできません。ロボットがひとつの文章を終える頃には、あなたはすでに自分が何を言ったのか忘れてしまっているでしょう。研究者たちの目標は、あなたとライブで会話できるほど速く、何時間もアイデンティティを維持できるほど賢く、そしてフォトリアルに見えるほど詳細なデジタル俳優を構築することでした。

そこで登場したのが、膨大な数のコンピュータチップのオーケストラを指揮するマスターコンダクターのような新プロジェクト、「Live Avatar」です。中国科学技術大学とアリババのチームによる研究者たちは、140億個のパラメータを持つ巨大なAIモデル（AIの世界では「14B」と呼ばれる非常に巨大なものです）に、精神を失うことなく、リアルタイムで話し、動き、ビデオをストリーミングさせる方法を見つけ出しました。

通常、これほど長いビデオをこれほど速く作成することは矛盾しています。スピードを取るか、品質を取るか、そのどちらかしか選べません。Live Avatarは、AIが「時間」と「記憶」について考える方法を変えることで、この問題を解決しました。過去のあらゆる完璧な細部をすべて記憶しようとする代わりに（それがAIを混乱させ、ドリフトの原因となります）、システムは「ノイズを含んだ」記憶を保存します。これは、曲を思い出す際に、すべての音符を完璧に思い出すのではなく、メロディを大まかにハミングして思い出すようなものです。この「粗い」記憶がフィルターとして機能し、キャラクターの顔を安定させつつ、口の動きを自然にします。

チームはまた、「Timestep-forcing Pipeline Parallelism（タイムステップ強制パイプライン並列化）」と呼ばれる、作業を加速させる巧妙な方法を考案しました。これは、自動車の製造工程における工場のアセンブリラインを想像してください。通常の工場では、一人の作業員が車の製造におけるすべての工程を行うのではなく、チームで分担します。通常のビデオAIでは、すべての作業員が前の作業員の終了を待ってから開始しますが、Live Avatarはルールを変えました。ライン上のすべての作業員（あるいは、GPUとして知られる各コンピュータチップ）に特定の工程が割り当てられます。作業員Aがホイールを磨いている間に、作業員Bはドアを塗装し、作業員Cはエンジンを設置しているというように、すべてが同時に進行します。これにより、遅い逐次的なプロセスが、高速な並列プロセスへと変わります。

その結果は驚くべきものです。5枚の強力なH100グラフィックスカードを備えたセットアップにおいて、Live Avatarは人間の視覚よりも速い毎秒45フレーム（FPS）の速度でビデオを生成できます。あなたが話してから最初のフレームが生成されるまで、わずか1.21秒しかかかりません。最も重要なのは、これを永遠に継続できることです。研究者たちは、アバターに10,000秒以上（これは連続で3時間近くに相当します）話をさせるテストを行いましたが、キャラクターはドリフトせず、グリッチ（不具合）も起きず、アイデンティティを失うこともありませんでした。

これは単なる理論上の勝利ではありません。チームは、他の手法が長時間の動作において失敗することを証明するために、「GenBench」という新しいテスト環境を構築しました。彼らは、他のシステムは数秒間は見栄えが良くても、数分後には劣化したり、色が変わったり、人物の顔を失ったりすることを発見しました。しかし、Live Avatarは一貫性を保ちます。これは、「ノイズを含んだ」記憶戦略とスマートなアセンブリライン・システムを組み合わせることで、リアルタイムで無限の会話が可能なデジタルヒューマンがついに実現できることを示唆しています。

このシステムは非常に高速ですが、著者らは依然として小さな遅延があることも指摘しています。ネットワークの移動時間を含めると、あなたが話してからビデオが表示されるまでの時間は約3秒です。これは多くのインタラクションには十分な速さですが、ミリ秒単位の精度が求められるシームレスな対面式の会話には、まだ不十分かもしれません。しかし、ストリーミング、バーチャルアシスタント、そしてデジタルストーリーテリングにとって、これは大きな飛躍であり、無限のリアルタイム・デジタルアバターの時代がもはや夢ではないことを示しています。

技術要約: Live Avatar

1. 問題提起

音声駆動型アバター生成は、入力された音声ストリームによって動きが制御される、フォトリアルな人間の顔ビデオの合成を目的としている。拡散モデルは優れた視覚的忠実度を実現してきたが、それらをインタラクティブ、リアルタイム、かつ無限の長さの生成にデプロイするには、2つの根本的かつ相反する課題に直面する：

長期間の整合性（Long-Horizon Consistency）: 既存の手法は、自己回帰的なロールアウトにおける誤差の累積により、数分間の生成においてアイデンティティの漂流、色のアーティファクト、および時間的な不安定性を引き起こす。現在のソリューションは、大規模モデル（例：14Bパラメータ）へのスケールアップに失敗するか、分単位の生成において急速に劣化するかのいずれかである。
リアルタイム性と忠実度のトレードオフ: 大規模な拡散モデル（例：14B）は優れた品質を提供するが、逐次的な多段階デノイジング due to その性質上、本質的に低速である。逆に、リアルタイム性を重視した手法は、通常、非反復的な生成や小規模なモデルに依存しており、視覚的な忠実度を犠牲にしている。

本論文は、既存の手法では、大規模な拡散モデルを用いて、ストリーミング、リアルタイムのスループット、および無限の長さの安定性を同時に達成することはできないと断じている。

2. 手法

Live Avatarは、140億パラメータの拡散モデルに基づき、アルゴリズムとシステムの共同設計によって構築されたフレームワークである。これは、2段階のトレーニングパイプラインと新しいシステムレベルの並列化戦略を通じて課題に対処する。

A. アルゴリズムの革新

本フレームワークは、事前学習済みの双方向拡散モデルを、因果的（causal）で数ステップのストリーミングモデルへと適応させるための2段階のパイプラインを採用している：

ステージ1: モーションフレーム・スキャフォールディングを用いたDiffusion Forcing事前学習:
- モデルは、ブロック単位の独立したノイズ・スケジューリングと因果的アテンション・マスクを使用して事前学習される。
- モーションフレーム・スキャフォールディング（Motion-Frame Scaffolding）: 収束を加速させるため、ノイズを含んだモーションフレーム（現在のクリップに先行するコンテキストフレーム）が補助的なコンテキストとして注入される。これは「足場（scaffold）」として機能し、自己強制（self-forcing）によるロールアウトの高いコストをかけることなく、ダイナミクスとアイデンティティの分離を教える。このステージにより、スキャフォールディングなしの場合と比較して5倍の収束加速を実現する。
ステージ2: ヒストリー・コラプト（History Corrupt）を用いたSelf-Forcing 分布マッチング蒸留（DMD）:
- 双方向のティーチャー（teacher）モデルが、因果的で数ステップのスチューデント（student）モデルへと蒸留される。
- ヒストリー・コラプト（History Corrupt）: キー・バリュー（KV）キャッシュに、クリーンな履歴ではなくノイズを含んだ表現を格納するという重要な設計上の選択である。
  - メカニズム: ガウスノイズがローパスフィルタとして機能し、高周波の累積アーティファクトを抑制しつつ、低周波の運動ダイナミクスを保持する。
  - 利点: これにより、モデルはアイデンティティと外観を永続的な「シンクフレーム（sink frame）」に依存させ、ノイズを含んだキャッシュがモーションを処理するように強制される。これにより、アイデンティティとモーションを効果的に分離し、約3秒のクリップで学習されているにもかかわらず、10,000秒を超える安定した外挿を可能にする。
- 適応型アテンション・シンク（Adaptive Attention Sink: AAS）: 実参照画像とモデルの生成多様体（manifold）との間の不一致によって引き起こされる分布のドリフトを防ぐため、最初のブロックの後で、シンクフレームはモデル自身が最初に生成した潜在表現に置き換えられる。
- ローリングRoPE（Rolling RoPE）: テスト時のコンディショニングのドリフトを軽減するため、シンクフレームのRoPE（回転位置エンコーディング）インデックスが動的に調整され、現在のノイズを含む状態に対して一貫した相対的位置を維持し、長期間にわたるアテンションの劣化を防ぐ。

B. システムの革新: タイムステップ強制パイプライン並列性（Timestep-forcing Pipeline Parallelism: TPP）

拡散モデルの逐次的サンプリングのボトルネックを打破するために、著者らは**タイムステップ強制パイプライン並列性（TPP）**を提案している：

概念: 単一のデバイス上での逐次的なデノイジングではなく、 $T$ 個のデノイジングステップを $T$ 個のGPUに分割する。各GPUには固定されたタイムステップ $t_i$ が割り当てられ、 $t_i \to t_{i-1}$ の変換を繰り返し実行する。
メカニズム:
- 逐次的な拡散チェーンが、非同期的な空間パイプラインへと変換される。
- KVキャッシュがノイズを含んでいる（History Corrupt）ため、各GPUは、GPU間のキャッシュ更新のための通信を必要とせずに、独自のローカルなローリングKVキャッシュを維持できる。
- GPUは、コンパクトな潜在表現のみを次のデバイスに渡す。
結果: スループットは、全ステップの合計ではなく、単一のデノイジング・フォワードパスによって決定され、デノイジングステップの数に比例した理想的な線形加速を実現する。

3. 主な貢献

因果的でストリーミング可能な適応フレームワーク: 双方向モデルを因果的で数ステップのストリーミングモデルへと蒸留する2段階の学習手法を用い、モーションフレーム・スキャフォールディングを利用して5倍の収束加速を実現した。
長期間の安定性: KVキャッシュにノイズを含んだ履歴のみを格納すること（History Corrupt）が、「短期間で学習し、長期間推論する（train-short-infer-long）」能力を可能にし、10,000秒を超える安定した生成を実現することを示す。これは、分布と位置のドリフトに対処するためのAASおよびRolling RoPEによって補完される。
タイムステップ強制パイプライン並列性（TPP）: 固定されたタイムステップをGPUに割り当てることで、逐次的なボトルネックを打破し、大規模モデルの高スループット推論を可能にするシステムレベルの最適化。
標準化されたベンチマーク（GenBench）: 長期間のパフォーマンスを評価するために、5分を超える長尺ビデオのテストケースを含むベンチマークを導入。

4. 実験結果

システムは、14Bパラメータモデルを用いて5枚のNVIDIA H100 GPUで評価された：

パフォーマンス: 45 FPSを達成し、Time-to-First-Frame（TTFF）は1.21秒である。
スケール: 著者の知る限り、14Bの拡散モデルを用いた、無限の長さの生成を目的とした実用的なリアルタイム・ストリーミングはこれが初である。
品質指標（GenBench）:
- 短尺ビデオ: 視覚的品質（IQA: 4.51, ASE: 3.44）およびアイデンティティの一貫性（Dino-S: 0.96）において、既存の最先端手法（Ditto, OmniAvatar, WanS2Vなど）を凌駕し、競争力のある音響・視覚同期を維持している。
- 長尺ビデオ: 既存のベースライン（OmniAvatarやWanS2V）が時間の経過とともに視覚的品質とアイデンティティの一貫性を著しく低下させるのに対し、本手法は期間を通じてほぼ同一の品質を維持する（例：IQA 4.51 $\to$ 4.76, Dino-S 0.96 $\to$ 0.97）。
アブレーション研究:
- History Corruptを除去すると、アイデンティティの一貫性（Dino-Sが0.81に低下）と視覚的品質が著しく低下する。
- AASを除去すると、漸進的な色の彩度低下が生じる。
- Rolling RoPEを除去すると、アイデンティティの漂流（Dino-Sが0.86に低下）が誘発される。
- TPPは高いFPSを達成するために不可欠であり、これがない場合、4枚のGPUを使用してもシステムは約5 FPSで動作する。

5. 意義と主張

本論文は、Live Avatarが、アバター生成におけるモデルスケール、視覚的忠実度、およびリアルタイム性能の間の長年のトレードオフを解決することを主張している。アルゴリズム（ノイズを含むKVキャッシング、蒸留）とシステム（TPP）を共同設計することで、14Bの拡散モデルによる無限の長さのリアルタイム・ストリーミングの実用的なデプロイを可能にした。

著者らは、彼らの長期間の安定性戦略が、アバターの相互作用に固有の静的なシーンの事前知識（static-scene prior）（被写体と背景が大部分変化しないこと）に基づいていることを強調している。ネイティブな長期間の学習が可能になれば、これらの事前知識は不要になる可能性があることを認めている。また、システムはリアルタイムのスループット（45 FPS）を達成しているものの、エンドツーエンドのレイテンシ（ネットワーク転送を含む約3秒）は、シームレスな双方向会話の厳格な要件にはまだ達していないが、インタラクティブなデジタルコミュニケーションに向けた重要な一歩であると述べている。