技術概要：Together Talking：単一の混合音声ストリームからの共在 3 対話の合成

問題定義

本論文は、単一の混合音声ストリームから、相互作用する 2 名の共在する参加者に対する完全で写実的な 3 次元顔アニメーションを生成する課題に取り組む。既存の音声駆動型 3 次元アニメーション研究は大幅に進展したが、それは主に単一話者の生成に焦点を当てているか、またはビデオ会議通話に似た「身体を伴わない」トークングヘッドを生成するに留まっている。これらの先行手法は、参加者の物理的な共在をモデル化できず、共有された 3 次元空間から派生する重要な非言語的手がかり、すなわち反応的な頭部運動、相互の視線、および動的な空間的関係（相対位置と向き）を無視している。著者らは、自然な二項対話を捉える大規模かつ高忠実度の 3 次元トレーニングデータの不足が、この分野の進展における主要な障壁であると特定している。

手法

1. データ選定パイプライン

データ不足を克服するため、著者らは 2 つの補完的なデータセットを選定するための新規パイプラインを導入する。

• 二項対話データセット: 「イン・ザ・ワイルド（野外）」の動画から抽出された 200 万組を超える相互作用ペアの巨大なコーパス。このデータセットは自然な対話ダイナミクスと空間的関係を捉えるが、遮蔽や低解像度に悩まされる。このパイプラインには、シナリオフィルタリング（ビデオ通話の除去）、品質管理（遮蔽またはぼやけた顔のフィルタリング）、音声源分離（Looking to Listen の使用）、および 3 次元顔再構成が含まれる。
• 合成吹き替えデータセット: 高品質で正面を向いた単一人物の動画のセグメントを再構成して生成された高忠実度データセット。これは、堅牢なリップシンク専門家のトレーニングに不可欠な、完全なグランドトゥルース話者マスクと正確な口唇運動を持つ「疑似対話」を生成する。

2. モデルアーキテクチャ

システムの核心は、共有された U-Net バックボーン上に構築されたデュアルストリーム拡散アーキテクチャである。

• デュアルストリーム設計: 2 つの並列ストリームが各参加者のノイズ混入入力を同時に処理し、顔面運動の統合された話者非依存表現を促進する。
• クロスアテンション機構: デコーダ内のデュアル話者クロスアテンション層が、2 つのストリーム間の双方向情報交換を可能にする。これにより、モデルは相互影響、ターンテイクダイナミクス、および反応的な非言語行動を捉えることができる。
• 話者役割埋め込み: 学習可能な埋め込み（$e_{speak}$ および $e_{listen}$）は、話者確率マスクに基づいて補間され、各参加者の対話状態（話しているか聴いているか）を動的に符号化する。
• 動的条件付け: モデルは、Wav2Vec 音声特徴、役割埋め込み、話者確率マスク、そして決定的に重要な両頭の初期 3 次元変位を含む包括的なベクトルに条件付けられる。

3. トレーニング戦略

著者らは、相互作用ダイナミクスと発音精度のバランスを取るために2 段階のトレーニング戦略を採用する。

• 段階 1（事前トレーニング）: モデルは、一般的な音声 - 視覚の整合性と相互作用行動（頭部回転、変位、表情）を学習するために、大規模で多様な二項対話データセットで事前トレーニングされる。
• 段階 2（微調整）: モデルは、高品質な合成吹き替えデータセットで微調整される。この段階では、損失は主に「イン・ザ・ワイルド」データに内在するリップシンクの曖昧さを修正するために、話している参加者の口唇と顎の発音パラメータに制限される。

4. 空間制御と視線モデリング

• テキストから空間への制御: 参加者の相対位置を直感的に制御可能にするため、システムは数ショットプロンプティング手法で大規模言語モデル（LLM）を使用する。ユーザーは自然言語プロンプト（例：「並んで立っている」）を提供し、LLM は拡散モデルを条件付ける初期 3 次元変位座標を予測する。
• 補助的視線損失: 写実的な相互アイコンタクトを促進するために、標的とした損失関数が導入される。この損失は、顕著な頭部運動を持つサンプルに選択的に適用され、モデルが自然な視線移動とアイコンタクトパターンを学習することを促す。

主要な貢献

1. 大規模データセットの選定: 堅牢なトレーニングのための 200 万組の二項対話データセットと高忠実度の合成吹き替えデータセットを生み出す自動化パイプラインの構築。
2. デュアルストリーム拡散アーキテクチャ: 共有 U-Net バックボーン、クロスアテンション、および FiLM 条件付けを備えた新規モデル。これは混合音声を効果的に分離し、話者 - 聴取者相互作用をモデル化する。
3. 混合データトレーニング戦略: 相互作用の基盤付けには大規模な実世界データ、精密なリップシンクには高品質な合成データを活用する 2 段階アプローチ。
4. 制御可能な空間ダイナミクス: テキストプロンプトによる制御可能な空間配置と、特殊な損失関数による写実的な相互アイコンタクトを伴う、共在 3 次元パフォーマンスを明示的に合成する初のシステム。

結果

本手法は、単一話者モデル（CodeTalker, SelfTalk, FaceFormer）および既存のデュアル話者相互作用モデル（DualTalk, L2L）を含む最先端のベースラインに対して評価された。

• 定量的性能: 提案手法は、写実性のためのフレレヒェ距離（FD）、相互作用の整合性のためのペア FD（P-FD）、および表情・回転・変位精度のための平均二乗誤差（MSE）を含むほぼすべての指標で最良の性能を達成した。特に、視線と聴取者運動の指標においてベースラインを大幅に上回った。
• 人間評価: 19 名の参加者を対象とした強制選択ユーザー調査において、フルモデルはすべてのカテゴリ（リップの品質、話者/聴取者の動き、相互作用の品質、視線）で最良として選択され、約 70-79% の好意率を示し、最良のベースライン（DualTalk）を大幅に上回った。
• アブレーション研究: どのコンポーネント（2 段階目のトレーニング、クロスアテンション、または視線損失など）を除去しても性能が低下することが実験で確認され、完全なパイプラインの必要性が立証された。
• 汎化性: モデルは、未見のアイデンティティを含む分布外（OOD）データセットにおいて優れた汎化性を示し、専門的なベースラインを上回った。

意義と主張

本論文は、単一の音声ストリームから、2 名の相互作用する参加者間の動的な 3 次元空間的関係（相対位置、向き、相互視線を含む）を明示的にモデル化した初の論文であると主張している。「ビデオ会議」という孤立したトークングヘッドのパラダイムを超えて、このシステムは流動的で制御可能、かつ空間を認識した二項アニメーションを生成する。著者らは、この研究を、バーチャルリアリティ（VR）やテレプレゼンスにおける真に没入型の社会的相互作用への基礎的な一歩として位置づけている。そこでは、対面対話の有機的な流れと非言語的手がかりが、信憑性にとって決定的に重要である。この研究は、現実的な対面対話には正確なリップシンクだけでなく、参加者が物理的に意味のある方法で互いに反応する共有された 3 次元空間の合成が必要であると強調している。