UniLS: 音声駆動による統合的な「話・聴」アバターの生成技術

1. 背景と課題 (Problem)

対話型アバター（バーチャルヒューマン）の生成において、自然な「話す（Speaking）」動作の生成は進歩していますが、「聴く（Listening）」動作の生成は依然として大きな課題でした。

• 既存手法の限界: 従来の多くの手法は「話す」ことに特化しており、聴く動作を生成する場合は「話者 A の動き」を参照して「聴き手 B」の動きを生成する非エンドツーエンドなアプローチ（例：DualTalk）が主流でした。これにより、リアルタイム性が損なわれ、追加の処理パイプラインが必要になります。
• 聴く動作の硬直性（Stiffness）: 単純にエンドツーエンドで「話す・聴く」データを同時に学習させようとすると、聴く動作が硬直化し、不自然になる問題が発生します。
  • 原因: 話者の動きは音声（発音やリズム）と強く相関しますが、聴き手の動きは音声との相関が弱く、主に「内的な運動の事前分布（Internal Motion Prior）」（瞬き、微細なうなずき、表情など）に依存します。この不均衡により、モデルは安全策として静止した「ポーカーフェイス」のような状態に収束してしまいます。

2. 提案手法：UniLS (Methodology)

本論文では、UniLS（Unified Listening and Speaking）を提案します。これは、双トラック音声（話者と聴き手の音声）のみを入力とし、エンドツーエンドで話者と聴き手の両方の自然な動きを生成する初のフレームワークです。

核となるアイデア

聴く動作を「音声から直接動きをマッピングする」のではなく、以下の 2 つの要素の組み合わせとして再解釈します。

1. 内的運動の事前分布 (Internal Motion Prior): 瞬き、微細なうなずき、筋肉の協調など、音声に依存しない自発的な動き。
2. 外部音声の手がかり (External Audio Cues): 会話の文脈に応じた動きの調整。

2 段階の学習パラダイム

この課題を解決するため、ユニークな 2 段階学習戦略を採用しています。

• Stage 1: 音声なしの生成器トレーニング (Audio-free Generator Training)

  • 目的: 内的運動の事前分布を学習する。
  • データ: 音声を使わず、多様なシナリオ（ニュース、インタビュー、カジュアルな会話など）のペア外（unpaired）動画データを使用。
  • 手法: 過去の動きとスタイル埋め込み（Style Embedding）のみを入力とし、自己回帰（Autoregressive）モデルで次の動きのチャンクを予測させます。これにより、モデルは自然な「自発的な動き（瞬きや微細な表情）」を内在化します。

• Stage 2: 音声駆動の微調整 (Audio-driven Finetuning)

  • 目的: 学習された内的分布を外部音声で調整し、話・聴の両動作を生成できるようにする。
  • データ: 話者 A と話者 B の音声と動きが同期したペアデータ（Seamless Interaction データセット等）。
  • 手法: Stage 1 で学習したモデルをベースに、Transformer ブロックに2 つのクロスアテンション層を追加します。
    • 一方は話者 A の音声（話す動作用）に注意を向けます。
    • もう一方は話者 B の音声（聴く動作用）に注意を向けます。
  • 最適化: 追加されたクロスアテンション層はゼロから学習し、ベースモデルの重みは LoRA（Low-Rank Adaptation）を用いて微調整します。これにより、学習済みの内的分布を保持しつつ、音声による制御を効率的に追加できます。

3. 主要な貢献 (Key Contributions)

1. 初のエンドツーエンド統合フレームワーク: 音声入力のみから、話者と聴き手の両方の自然な動きをリアルタイムで生成する初のシステム。
2. 聴く動作の硬直性解決: 2 段階学習パラダイムを導入し、聴く動作における「硬直化」問題を根本的に解決。
3. 高性能な生成: 話の正確性と、聴く動作の多様性・自然さの両方で SOTA（State-of-the-Art）を達成。

4. 実験結果 (Results)

Seamless Interaction データセットなどを用いた大規模な評価を行いました。

• 定量的評価:
  • 話す動作: 唇の同期精度（LVE, MHD）や顔の動きのダイナミクス（FDD, PDD, JDD）において、既存手法（ARTalk, DiffPoseTalk など）を上回る精度を達成。
  • 聴く動作: 分布ベースの指標（FDD, PDD, JDD, F-FID, P-FID）で、既存手法（DualTalk など）と比較して最大 44.1% の改善を達成。静止した動きではなく、多様で自然な聴き応えを生成できることを示しました。
• 定性的評価:
  • 既存手法では硬直した動き（赤枠で示されたような不自然な静止）が見られるのに対し、UniLS は自然な瞬き、うなずき、微細な表情変化を生成しています。
• ユーザー調査:
  • 25 名の参加者による評価で、すべての項目（リップシンク、表情、聴き応え、頭の動き）においてベースラインを圧倒的に上回りました。特に「聴き応え（Listening Reaction）」では、DualTalk に対して**91.35%**のユーザーが UniLS を好みました。
• リアルタイム性能:
  • NVIDIA RTX 5090 上で560.6 FPSを達成。非エンドツーエンドな DualTalk はリアルタイム化が不可能（N/A）であり、UniLS は高スループットかつ低遅延で動作可能です。

5. 意義と将来展望 (Significance & Future Work)

• 意義: UniLS は、双方向の自然な対話を可能にするデジタルヒューマンの実現に向けた重要な基盤を築きました。特に、聴く動作の自然さは、人間と AI のインタラクションにおける没入感を劇的に向上させます。
• 限界と将来:
  • 現在のモデルは意味理解（Semantic Understanding）を持たず、音声の韻律や強調に基づいて反応するため、「同意するうなずき」や「反対の首振り」のような意味に基づく反応はまだ生成できません。
  • 将来的には、意味情報を組み込んだモデルや、より連続的な長視野（Long-horizon）の動き生成モデルへの発展が期待されます。

結論:
UniLS は、音声と動きの相関の非対称性という根本的な課題を洞察し、それを解決する 2 段階学習アプローチを提案することで、対話型アバターの「聴く」動作の生成において画期的な進歩をもたらしました。これにより、より没入感のあるリアルタイムな AI 対話システムの構築が可能になりました。