技術概要：EchoAvatar

問題定義

大規模言語モデル（LLM）と音声エージェントの急速な進化により、自然な対話が可能になりましたが、視覚的な身体化（エンボディメント）は依然としてボトルネックとなっています。現在の音声駆動モーション合成手法は、主に以下の 2 つの制限により、次世代のインタラクティブなアバターが求める要件を満たせていません。

1. レイテンシ: 最先端の手法の多くはオフライン処理向けに設計されており、モーションを生成する前に完全な音声シーケンスを必要とします。これにより、リアルタイムインタラクションには許容できないレイテンシが生じます。
2. ドメインの断片化: 既存のアプローチは通常、会話音声またはリズム音楽のいずれか一方を処理するドメイン固有のものであり、両方を同時に扱うことは稀です。このため、複雑なモデル切り替えが必要となり、多様な音響入力を一様に処理する汎用音声エージェントへの適用性が制限されます。

明示的なドメインラベルを必要とせず、ストリーミング音声と音楽から低レイテンシで連続的かつ整合性のある全身モーションを生成できる統合フレームワークが、緊急に求められています。

手法

EchoAvatar は、リアルタイムかつ高忠実度な 3D モーション合成のために設計された統合ストリーミングアーキテクチャを導入します。このシステムは 3 つの中核コンポーネントで構成されます。

1. アテンションベースの因果的モーショントークナイザー

以前の因果的トークナイザーが抱えるレイテンシと表現性の課題に対処するため、著者は連続的なモーション多様体を潜在トークンに離散化しつつ、厳密に時間的因果性を遵守するトークナイザーを提案します。

• アーキテクチャ: 硬直的な畳み込みバックボーンではなく、因果マスクによって支配されたスタックされたアテンションブロックを使用し、受容野を先行フレームに限定します。
• デュアルパス戦略: DC-AE に着想を得て、時間的ダウンサンプリング（時間プーリングブランチと特徴量連結ブランチを統合）およびアップサンプリング（時間的複製とチャネル拡張 MLP を組み合わせ）にデュアルパス戦略を採用し、情報損失なしにリサンプリングを処理します。
• 物理的制約: 足滑りなどのアーティファクトを抑制するため、最適化ループには、グローバル関節位置、速度、加速度、および足接地の一貫性に対する前方運動学（FK）損失を統合します。
• 量子化: 連続的な潜在軌道は、解剖学的に分割されたトークナイゼーション（上半身、下半身、手それぞれに個別のコードブック）を用いた残差ベクトル量子化（RVQ）で離散化されます。

2. 統合音声駆動モーション生成

このシステムは、3 段階のカリキュラムを通じて事前学習済み大規模言語モデル（LLM）を適応させ、生成モーション合成を実現します。

• 埋め込み空間の整合: 離散的な音声およびモーションコードブックを LLM の連続的潜在多様体へ投影します。
• 音響 - 運動学的整合: 音声ストリームからモーションを合成できるよう、バックボーンを条件付けます。
• 例示駆動制御: 参照モーションを明示的なスタイル指示として受け入れるようモデルを微調整します。

主要なトレーニング革新:

• 階層的トークン汚損: 「条件付崩壊」（モデルが音声入力を無視し、自己回帰的なモーション履歴のみに依存する状態）を防ぐため、著者はターゲットを絞った正則化戦略を導入します。トレーニング中、コンテキストモーショントークンを確率的に攪乱します。重要なのは、この汚損が RVQ 階層を尊重することです。選択されたタイムステップにおいて、層の深さをサンプリングし、その層およびそれより細かい層からのトークンをランダム化しますが、より粗い基盤層はそのまま維持します。これにより、モデルは音声とモーション間の相互情報に依存せざるを得なくなります。
• 平坦化インターリーブ: MusicGen に倣い、多層 RVQ インデックスを単一の自己回帰ストリームとして直列化します。階層的損失スケーリング戦略により、深い RVQ 層に対して単調に減衰する重みを適用し、微細な詳細よりも構造的整合性を優先します。

3. 強化学習（RL）アライメント

トレーニング分布を超えた生成品質の向上のため、著者は 2 つの RL パラダイムを探求します。

• 報酬誘導最適化（GRPO）: 自己教師ありプロキシ報酬を用いたグループ相対方策最適化（Group Relative Policy Optimization）を使用します。人工的に汚損されたモーションシーケンス（FID スコアを用いて汚損の深刻度を品質にマッピング）でモーション品質報酬モデルを学習し、InfoNCE 対照目的を通じて音声 - モーション整合報酬を学習します。
• 直接選好アライメント（DPO）: 明示的な報酬モデルなしに、選好ペア（勝者対敗者のサンプル）を用いて人間の選好に対して直接方策を最適化します。Best-of-N サンプリング戦略を用いてデータセットを構築します。

4. システム統合

このフレームワークには、上流の LLM が音声駆動の暗黙的モーションと交互に、明示的な意味制御（特定のジェスチャーなど）を注入できるツールコールインターフェースが含まれています。システムは、連続的な自己回帰ストリーミングを維持するためのスライディングウィンドウ戦略をサポートする分散推論に対応した、プラグアンドプレイモジュールとして展開されます。

主要な貢献

1. 統合ストリーミングアーキテクチャ: アテンションベースの因果的トークナイゼーションを活用し、ストリーミング音声と音楽から低レイテンシで連続的かつ高忠実度なモーションを合成する新規フレームワーク。ドメイン固有のモデル切り替えを不要にします。
2. 堅牢なトレーニングカリキュラム: 多様なドメイン（音声と音楽）における協調学習を可能にする階層的トークン汚損の導入により、条件付崩壊を防ぎ、個々のタスクのパフォーマンスを向上させます。さらに、論文では知覚される生成品質を向上させるための**RL 戦略（GRPO/DPO）**を探求しています。
3. 展開可能なプラグアンドプレイシステム: 音声エージェントと統合され、暗黙的な音声駆動アニメーションとツールコールによる明示的な意味制御の両方をサポートする完全機能システム。ライブ展開に適しています。

結果

広範な実験により、EchoAvatar がモーション品質と同期性の両面で最先端のリアルタイムベースラインを上回ることが示されました。

• 定量的パフォーマンス: BEAT2 ベンチマークにおいて、本手法は 2.874 という新たな最先端の Fréchet Inception Distance（FID）を達成し、MECo（3.401）や EMAGE（5.512）といった専門モデルを凌駕しました。
• 統合能力: 統合モデルは、両ドメインにおける客観的指標（FID、BAG、BAD）および主観的選好において、専門ベースライン（音声用 MECo、音楽用 EDGE）を上回ります。
• アブレーション研究: 階層的トークン汚損を除去すると、モデルが音声入力を無視する「条件付崩壊」が発生します。音声と音楽データセットの共同トレーニングは、両ドメインでパフォーマンス向上をもたらし、クロスモーダル相乗効果（例：音楽データが音声ジェスチャーにおけるビートマッチングを改善）を実証しました。
• RL の影響: GRPO と DPO の両方が主観評価を向上させます。DPO は会話ジェスチャーにおいて自然さを優先し、より大きな改善を示す一方、GRPO はダンスにおいてリズム同期を優先し、より大きな改善を示します。
• レイテンシ: システムは約 300 トークン/秒のスループットを達成し、エンコーディング、合成、デコーディング、IK 後処理を含む総計算レイテンシは、NVIDIA H200 および RTX 4090 ハードウェアの両方で、266ms のオーディオチャンク持続時間を大幅に下回っています。

意義と主張

本論文は、EchoAvatar を真のインタラクティブアバターおよび仮想アシスタントへの重要な一歩として位置づけています。その意義は、反応的な音声駆動アニメーションと、制御可能で意図に基づく行動の間のギャップを埋める点にあります。低レイテンシのストリーミングアーキテクチャにおいて音声と音楽処理の統合に成功したことで、このフレームワークは音声エージェントをインタラクティブなヒューマノイドアバターへ変換するための「プラグアンドプレイ」ソリューションとして機能します。

著者は謙虚に、システムが統合リアルタイムアニメーションのための堅牢なベースラインを確立している一方で、現在、顔と身体のダイナミクスが分離されており、急激な音響終了に対する特定の遷移ポリシーが欠如していると指摘しています。さらに、システムは話者役割に焦点を当てており、双方向コミュニケーション（能動的聴取）の相互性は今後の課題として残されています。この研究は、『Whispers from the Star』のような完全なエンドツーエンドのインタラクティブシステムとして提示されるものではなく、あらゆる音声エージェントの背後に統合可能な、ストリーミング音声からアニメーションへの変換に特化した高性能モジュールとして提示されています。