💻 computer science

InteractiveAvatar: Real-Time Streaming Video Generation for Consistent and Intent-Aware Avatars

InteractiveAvatarは、自己回帰蒸留、長短視覚メモリメカニズム、および推論・反応モジュールを活用することで、音声駆動型アバターに対して最先端の視覚的一貫性と意図を認識したインタラクションを実現する、リアルタイムかつ無限ストリーミング可能なビデオ生成フレームワークです。

原著者： Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビデオ通話でデジタルな友人と話している場面を想像してみてください。通常、こうしたデジタルな友人は、少し壊れた操り人形のようなものです。あなたの声に合わせて唇の動きは完璧に合わせられるかもしれませんが、長く話し続けていると、顔が変に見え始めたり、5分前に自分がどんな姿だったのかを忘れてしまったりすることがあります。また、もしあなたが「時間を確認して」と言ったとしても、彼らはただ時間を口に出して言うだけで、実際に時計を見ることはできず、ただぼんやりと見つめたままかもしれません。

論文「InteractiveAvatar」は、これらのデジタルな友人が、見た目が崩れることなく永遠にあなたと話し続け、さらにあなたが指示したことを実際に「実行」できるようにするための、新しい構築方法を紹介しています。

以下に、その仕組みを簡単な比喩を用いて説明します。

1. 問題点：「記憶喪失」と「ロボット」

著者らは、現在のデジタルアバターには主に2つの問題があると述べています。

「漂流する」顔： ビデオを長時間流し続けていると、アバターの顔が徐々に変化し始めます。例えば、目が大きくなったり、髪の色が変わったりすることもあります。これは、元のスケッチを見ずに新しい絵の具を塗り重ね続ける画家のようで、最終的には、最初に描いた人物とは似ても似つかない姿になってしまいます。
「盲目の」ロボット： 現在のアバターは、主に「音声駆動」です。もしあなたが「時計を見て」と言ったとしても、彼らはその音を聞いて口を動かしますが、その「意味」までは理解していません。彼らは、あなたのリクエストについて「考える」ことができないため、実際に時計を見るために頭を動かすことはありません。

2. 解決策：二部構成の脳

この問題を解決するために、チームは2つの特別なツール、すなわち「メモリシステム」と「思考する脳」を構築しました。

メモリシステム：「短期的なノート」と「長期的なフォトアルバム」

アバターの顔が漂流するのを防ぐために、彼らは**長短視覚メモリ（LSVM）**と呼ばれるものを作成しました。

短期的なノート： アバターが直近数秒間のビデオをノートに記録していると考えてください。これにより、頭を動かすときも、動きがぎこちなくなることなく、スムーズで自然に見えるようになります。
長期的なフォトアルバム： これが巧妙な部分です。アバターはすべてのフレームを記憶しようとする（それは重すぎて動作が遅くなるため）のではなく、最も重要な瞬間を収めた「フォトアルバム」を持っています。
- 仕組み： ビデオが再生されるにつれ、システムは常に「この新しいフレームは重要か？」と問いかけます。もしアバターが帽子を被ったり、コーヒーカップを手に取ったりすれば、システムはその「スナップショット」を撮ってアルバムに入れます。もしアサーがただ座って話しているだけなら、スナップショットの作成はスキップされます。
- メリット： これは「錨（いかり）」のような役割を果たします。10分間話し続けても、アバターは自分の「アルバム」を振り返って、「ああ、そうだ、私は帽子を被っていた」「コーヒーカップを持っている」と思い出すことができます。これにより、キャラクターは最初から最後まで一貫した姿を保つことができます。

思考する脳：「ディレクター」と「ステージマネージャー」

アバターにあなたの意図を理解させるために、彼らは**推論・反応モジュール（RRM）**を追加しました。

ディレクター（LLM）： あなたが話すと、強力なAI「ディレクター」があなたの言葉を聞きます。それは単に言葉を聞くのではなく、あなたの「意図」を理解します。もしあなたが「時間を確認して」と言えば、ディレクターは「ああ、ユーザーはアバターに時計を見ることを求めているのだ」と理解します。
状態のサイクリング（State Cycling）： システムは2つのモードを切り替えます。
1. アクションモード： アバターが何か（時計を見る、座るなど）を行っている状態です。
2. 安定モード： アクションが終わると、アバターは穏やかなポーズ（静かに座っているなど）に戻ります。これにより、不必要な動きを続けることがなくなります。
高速切り替え（Cache-Switching）： 通常、指示が変わるとコンピュータはすべてを再計算する必要があり、時間がかかります。このシステムは「高速切り替え」というトリックを使用します。現在のシーンの計算結果をバックアップとして保持しておきます。指示が変わったとき（例：「立つ」から「座る」へ）、古いバックアップを新しいものへと瞬時に入れ替えることで、反応を即座かつスムーズにします。

3. 結果：リアルタイムで無限の会話

これらのツールを、特別な学習方法（蒸留/Distillation。これは、学生に問題を1ステップではなく10ステップかけて解かせる代わりに、1ステップで解けるように教えるようなものです）と組み合わせることで、彼らは以下の特徴を持つシステムを作り上げました。

リアルタイムで動作： あなたが話しかけると、アバターは長い待ち時間なしに即座に反応します。
永遠に続く： 何時間でも会話を続けることができ、アバターは同じ人物、同じ服装、同じアクセサリーの姿を保ち続けます。
あなたを理解する： もしあなたが何か行動をするよう頼めば、アバリーは単にそれについて話すだけでなく、実際にその行動を実行します。

要約すると： InteractiveAvatarは、デジタルな操り人形に、自分の顔を忘れないための長期記憶と、あなたの冗談やリクエストを理解する脳を与えることで、スムーズで無限、そしてリアルな会話を可能にするものです。

技術要約: InteractiveAvatar

問題提起

近年の拡散ベースのモデルは、音声駆動型のアバター生成を前進させ、リアルなリップシンクロと外見を可能にしています。しかし、既存の手法は、リアルタイム・ストリーミング・シナリオにおいて2つの根本的な限界に直面しています：

視覚的な時間的不整合（Visual Temporal Inconsistency）: 現在の手法は通常、限定された受容野（少数の過去のチャンクと参照画像）を持つ因果的アテンションに依存しています。生成が長期間にわたって継続すると、隣接するビデオチャンク間で乖離が生じ、「時間的ドリフト（temporal drift）」が発生し、アイデンティティ、物体、またはシーンの安定性に不整合が生じます。
意図認識型インタラクションの欠如（Lack of Intent-Aware Interaction）: ほとんどのシステムは、大規模言語モデル（LLM）が音声を生成し、音声と動作の相関に基づいて唇の動きや粗いジェスチャーをアニメーション化するという、単純な音声駆動パラダイムに従っています。これらのシステムは、ユーザーの意図を明示的に感知して、微細かつ意味的に整合したアクション（例：時間を尋ねられた際に時計を見るなど）を生成したり、シーンを動的に適応させたりすることができず、インタラクティブな挙動のリアリズムを制限しています。

手法

著者らは、以下の3つのコアコンポーネントを通じてこれらの課題に対処するために設計された、リアルタイム・無限ストリーミング・ビデオ生成フレームワークであるInteractiveAvatarを提案しています。

1. 長短視覚メモリ (Long-Short Visual Memory: LSVM)

任意に長い期間にわたって視覚的一貫性を維持するために、著者らは履歴の視覚情報を柔軟に圧縮するメモリメカニズムを導入しています。

二重メモリ構造: システムは、局所的な時間的一貫性を確保するための直近のフレーム（例：過去5秒間）の密な表現を含む**短期メモリ ( $M_s$ )と、グローバルに顕著な視覚状態を表すコンパクトなトークンで構成される固定容量の長期メモリ ( $M_l$ )**を保持します。
メモリ圧縮: 軽量なモデルが、ビデオ潜在変数（latents）を時間的なダウンサンプリングなしにコンパクトなトークンへと圧縮し、ストリーミング中に潜在変数を分離および更新する能力を維持します。
動的キーフレーム選択 (Dynamic Key-Frame Selection: DKFS): 推論時、フレームが短期ウィンドウから外れる際、長期保持のための評価が行われます。システムはSigLIP2を使用して意味的特徴を抽出し、グローバルな冗長スコアを計算します。候補となるフレームは、それが全体の意味的冗長性を減少させる場合にのみ長期メモリに挿入されます。これにより、メモリが均一な時間サンプリングされたフレームではなく、多様で代表的なキーフレームを格納することを保証します。

2. 推論・反応モジュール (Reasoning-Reaction Module: RRM)

意図認識型のインタラクションを可能にするため、フレームワークはLLMベースの推論センターを統合しています。

ステート・サイクリング戦略 (State-Cycling Strategy): LLMはユーザー入力と現在の安定した状態を処理し、3つのコンポーネントを出力します：アクション・プロンプト（身体の動きやポーズをガイド）、応答音声、および安定状態プロンプト（アクション後の静的な視覚条件を定義）。拡散モデルは、応答中にアクション・プロンプトと音声に基づいて条件付けられ、音声が終了すると安定プロンプトに切り替わることで、モーション・ドリフトなしにアバターが一定の状態に戻ることを保証します。
キャッシュ切り替えメカニズム (Cache-Switching Mechanism): 状態遷移時のレイテンシを低減するため、システムは更新されたテキスト条件を再エンコードし、直前のチャンクのKey-Value (KV) キャッシュを再計算します。これにより、モデルはフル再生成を待つことなく、新しいアクション・プロンプトに迅速に再整列できます。

3. 自己回帰蒸留適応 (Autoregressive Distillation Adaptation)

リアルタイム性能を実現するために、著者らは事前学習済みのDiffusion Transformer (DiT) バックボーン（Wan 2.2 5B）を、4段階のトレーニングパイプラインを通じて適応させています。

AI2V 事前学習: 双方向アテンションを伴う大規模な音響・視覚データを用いた学習。
メモリ圧縮事前学習: ビデオ再構成に関する圧縮モジュールの学習。
ODE 初期化: 教師モデルのODE軌道に近似するための、ブロック単位の因果的アテンションを用いた学習。
Self-Forcing DMD: 分布マッチング蒸留（Distribution Matching Distillation: DMD）を適用し、拡散モデルを数ステップの自己回帰生成器へと蒸留します。これにより、教師分布と生徒分布の間の逆KLダイバージェンスを最小化し、安定した低ステップの推論を可能にします。

主な貢献

InteractiveAvatar フレームワーク: 長期的な合成において強力な視覚的一貫性と意図認識型のインタラクションが可能な、新しいリアルタイム・ストリーミング音声駆動型アバター生成システム。
長短視覚メモリ (LSVM): 動的なキーフレーム選択を通じて履歴の視覚表現を保持するメカニズムであり、長いシーケンスにおける視覚的一貫性を大幅に向上させ、時間的ドリフトを防止します。
推論・反応モジュール (RRM): ステート・サイクリングとキャッシュ切り替えを備えたモジュールであり、アバターがユーザーの意図を解釈し、調整された音声とアクションを生成し、低レイテンシでコマンドを実行することを可能にします。

実験結果

著者らは、500の多様なインタラクション・シナリオを含むビデオテストケースを用いて、Interactive-Avatarを最先端の手法（OmniAvatar, WanS2V, LiveAvatarなど）と比較評価しました。

定量的パフォーマンス: InteractiveAvatarは、物体レベルの一貫性 (OBJ) (85.2) および テキスト・ビデオ整合性 (TV) (25.93) において最先端の結果を達成し、アイデンティティ保持 (ID) においても競争力のある結果を示しました。ビデオ品質指標（IQA, FID）についてはベースラインと同等でしたが、本手法は優れた時間的安定性を示しました。
リアルタイム効率: 軽量な5Bモデルと蒸留を活用することで、システムは 26.68 FPS を達成し、すべてのベースライン（次に速いLiveAvatarは21.94 FPS）を上回りました。
定性的分析: 視覚的な比較では、ベースラインが物体の形状や色の変化、急激なカメラのシフト、あるいはアクション指示への追従失敗に陥る一方で、InteractiveAvatarは一貫した物体の外観（例：時計）を維持し、ユーザーの意図に沿った複雑なアクション（例：座る、時計を確認する）を正しく実行できることが示されました。
アブレーション研究: LSVMモジュールを除去すると、物体の一貫性が大幅に低下しました（OBJは85.2から78.4へ低下）。RRMコンポーネントを除去すると、意図認識型のアクションが失われ、システムは単純な言語的応答へと退行しました。DMD蒸留を除去すると、推論速度が1.27 FPSへと急落しました。

重要性

本論文は、InteractiveAvatarが、高品質なアバター生成とリアルなインタラクティブ・デジタルヒューマンの間の溝を埋めるものであると主張しています。長距離の視覚的一貫性と意図認識型の応答性の課題を共同で解決することにより、本フレームワークは次世代の没入型アプリケーションのための実用的な基礎を提供します。著者らは、本アプローチによって、アバターが単に話すだけでなく、文脈に関連したアクションを実行し、長期的なインタラクションにおいても視覚的安定性を維持できることを強調しており、単純な反応型システムを超えた、完全に意図を認識するデジタルエージェントへの移行を実現しています。