🤖 AI

CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation

本論文は、離散的な感情カテゴリの限界を克服するために、連続的なバレンス・アローザル（価数・覚醒度）表現とマルチスケール・テンポラル・モデリング・アーキテクチャを活用することで、きめ細かな感情制御と正確なリップシンクロナイゼーションを実現する、オーディオ駆動型の3Dトーキングヘッド生成フレームワークであるCETalkを提案する。

原著者： Peng Jia, Li Dai, Zhen Xiao, Xueliang Liu, Jia Li

公開日 2026-08-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Peng Jia, Li Dai, Zhen Xiao, Xueliang Liu, Jia Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

急速に進化するデジタルメディアの世界において、実物そっくりのバーチャルヒューマンを作成する能力は、もはや空想科学の領域から実用的な応用の段階へと移行しています。これらのデジタルアバターは、バーチャルアシスタントやバーチャルリアリティにおけるコミュニケーション、そしてインタラクティブなエンターテインメントにおいてますます活用されるようになっています。この分野における中心的な課題は、これらのキャラクターに、単に口だけでなく顔全体で語らせることにあります。初期のシステムは、音声と言葉の動きを一致させることには成功していましたが、人間の会話をリアルに感じさせる微妙で移ろいゆく感情を伝えることには、しばしば苦慮してきました。従来のアプローチでは、感情を「喜び」「悲しみ」「怒り」といった、個別の独立した箱として扱っていました。この手法は、大まかな表現には機能しましたが、笑顔がゆっくりと消えていく様子や、興奮が爆発する前に静かに高まっていく様子といった、人間の感情が持つ流動的で連続的な性質を捉えることはできませんでした。さらに、発話のタイミングと感情のタイミングは根本的に異なります。口は言葉の素早い音に合わせて迅速に動かなければなりませんが、感情による表情は、顔全体を通じてより緩やかに変化していくものです。

合肥工業大学の研究者たちは、これらの特定の問題を解決するために、「CETalk」と呼ばれる新しいシステムを開発しました。感情を硬直したカテゴリーに押し込める代わりに、このシステムは、感情がどれほどポジティブか、あるいはネガジティブか、そしてどれほど活動的か、あるいは受動的かということを追跡する、連続的な二次元マップを使用して感情を記述します。このアプローチにより、コンピュータは人間の会話の自然な満ち引きを反映するように、滑らかに変化する顔の 애니메이션（アニメーション）を生成することが可能になります。研究チームは、既存のビデオ録画から3Dの顔の動きを再構成し、すべてのフレームに対してこれらの連続的な感情値を自動的に推定することで、システムを訓練するための大規模な新しいデータセットを構築しました。このデータは、音声に求められる高速で精密な動きと、気分を伝えるためのより緩やかで広範な動きを、コンピュータに区別させるための必要な基礎を提供しました。

この新システムの核心は、時間の扱い方にあります。研究者たちは、音声と感情が異なる速度で作動することに気づきました。それは、ドラマーが一定の速いビートを刻む一方で、歌手が長くゆっくりとした音を保持する様子に似ています。これを管理するために、システムは処理を2つの並行したパスに分割します。一方のパスは、口や顎の高精度なディテールに焦力し、すべての音節がオーディオと完璧に同期していることを保証します。もう一方のパスは、眉をひそめる、あるいは目を見開くといった、感情を表現するより緩やかで広範な顔の動きに焦点を当てます。これら2つの情報のストリームは、スマートな統合システムによって再び結合され、音声の動きと感情表現のどちらにどの程度の重みを与えるかを、瞬間ごとに決定します。これにより、最終的なアニメーションは、リップシンク（口の動きの同期）において正確であると同時に、感情的な深みも豊かなものとなります。

彼らの成果を検証するため、チームは3種類のビデオデータを用いて、彼らのシステムをいくつかの既存の手法と比較しました。その結果、彼らのアプローチは、従来の最良の手法よりも大幅に正確な唇の動きと、よりリアルな表情を生み出すことが示されました。MEADデータセットを用いたテストでは、彼らのシステムは唇の動きの誤差を約7.48ミリメートルに、顔全体の動きの誤差を約9.91ミリメートルに抑え、この特定のベンチマークにおいて、テストされたすべての技術を上回りました。正確さだけでなく、このシステムは連続的な感情の指示に従う優れた能力も示しました。負の状態から正の状態へと徐々に移行する顔を生成するよう求められた際、システムは高い精度でその経路を辿り、意図された感情の軌跡を競合他社よりもはるかに良く一致させました。

研究者たちはまた、このシステムによって、感情の強さを細かく制御できることも実証しました。入力値を調整することで、声との同期を崩すことなく、キャラクターの表情を微妙に強めたり、あるいは抑えたりすることができました。このレベルの制御は、デジタルヒューマンに真に生命を吹き込み、現実の人間同士の相互作用を定義づけるような、ニュアンスに富んだ連続的な感情の変化を可能にするために極めて重要です。離散的なカテゴリーから脱却し、人間の情動の連続的な性質を受け入れることで、この研究は、バーチャルなコミュニケーションを「機械を見ている」感覚から「人とつながっている」感覚へと変えるための、重要な一歩を踏み出しています。

技術要約：CETalk – オーディオ駆動型3Dトーキングヘッド生成のための連続的なバレンス・アローザル制御

1. 問題提起

オーディオ駆動型の3Dトーキングヘッド生成は、音声から時間的に一貫性があり、視覚的にリアルな表情アニメーションを合成することを目的としている。近年の手法は正確なリップシンクロを実現しているものの、感情豊かなアバターを生成する上で主に2つの限界に直面している。

離散的な感情による制限: 既存のアプローチは、多くの場合、離散的な感情カテゴリ（例：喜び、悲しみ）に依存している。これは、人間の会話において自然に発生する、感情の連続的かつ微細な進化や滑らかな遷移を捉えることができない。
時間的周波数のミスマッチ: 音声の調音（アーティキュレーション）と感情表現の間には、時間スケールの根本的な相違が存在する。唇の動きは音声に同期した高周波かつフレームレベルの同期を必要とするが、感情表現はより長い時間軸にわたって緩やかに進化する。既存のモデルは、これらのダイナミクスを分離することに苦慮することが多く、その結果、アニメーションが硬直化するか、あるいは感情的なニュアンスに欠けるといった問題が生じる。

2. 手法：CETalk フレームワーク

著者らは、きめ細かな感情制御を可能にするために、連続的なバレンス（価数）・アローザル（喚起）表現に基づいた条件付けを行うフレームワークである CETalk を提案している。本システムは、入力オーディオ ( $A$ )、話者アイデンティティ ( $S$ )、および連続的な感情条件 ( $E_{cond}$ ) が与えられたときに、FLAMEパラメータ ( $P$ ) のシーケンスを予測する。アーキテクチャは、以下の3つのコアコンポーネントで構成される。

動的感情変調モジュール (DEMM):
このモジュールは、静的な感情仕様と動的な表情の間のギャップを埋める役割を果たす。静的なVA条件 ( $E_{cond}$ ) を受け取り、オーディオ由来のキューを用いてこれを変調する。
- 表情エンコーダが、VA信号をベースとなる感情表現 ( $E_{VA}$ ) に変換する。
- オーディオ・エモーションエンコーダ（Emotion2Vecに基づく）が、オーディオからフレームレベルの感情的キュー ( $E_{audio}$ ) を抽出する。
- 動的強度調整モジュールが、 $E_{audio}$ に基づいて時間的スケーリング係数 ( $\alpha$ ) を予測する。
- 最終的な動的埋め込み ( $E_{mod}$ ) は、要素ごとのスケーリング $E_{mod} = \alpha \odot E_{VA}$ によって得られる。
マルチスケール時間モデリング (MSTM):
時間的周波数のミスマッチに対処するため、CETalkは並列ブランチを用いて、高周波（HF）の調音動作と低周波（LF）の感情ダイナミクスを分離する。
- HFブランチ: 音声と密接に同期した微細な調音に焦点を当てる。話者埋め込みと高解像度オーディオ特徴量（HuBERTを介して抽出）の間のクロスアテンションを使用する。
- LFブランチ: 緩やかに変化する感情ダイナミクスをモデル化する。オーディオ特徴量と動的感情埋め込みの両方に時間的なダウンサンプリングを適用し、粗いスケールでクロスアテンションを実行した後、結果を元の時間解像度へとアップサンプリングする。
動的融合メカニズム (DFM):
このモジュールは、HF特徴量とLF特徴量を適応的に統合する。軽量なゲーティングネットワークが、両方の特徴集合の連結に基づいて、チャンネルごとの適応的重み ( $g$ ) を計算する。最終的な統一表現 ( $\tilde{F}$ ) は、加重和 $\tilde{F} = g \odot F_{HF} + (1 - g) \odot F_{LF}$ として求められる。この表現は、その後、表情およびジョー（顎）係数を予測するために投影される。

3. データセット構築：3D-VA-MEAD

訓練と評価をサポートするために、著者らはMEADデータセットから派生した大規模データセット 3D-VA-MEAD を構築した。

プロセス: 学習済みの感情認識モデルを利用してビデオからフレームレベルのVA係数を推定し、単眼3D顔再構成手法（EMOCA）を用いてFLAMEパラメータを復元した。
精緻化: 時間的な不安定性を軽減するため、回帰された感情ベクトルを平滑化する1次元移動平均フィルタを適用した。
成果: このデータセットは、再構成された3D顔運動と、フレームレベルの連続的なVA注釈を対にしたものを提供する。

4. 実験結果

モデルは、MEAD、RAVDESS、およびHDTFデータセットにおいて、最先端のベースライン（FaceFormer、CodeTalker、EMOTE、UniTalkerを含む）と比較して評価された。

顔の動きの精度: CETalkはすべてのデータセットにおいて最も低い誤差を記録した。MEADにおいて、リップ頂点誤差（LVE）7.4772 mm、平均頂点誤差（MVE）9.9059 mm を記録し、すべてのベースラインを上回った。また、イン・ザ・ワイルド（実環境）のHDTFデータセットに対しても強力な汎化性能を示した。
感情の制御可能性: VA予測の指標としてRMSE（平方根平均二乗誤差）およびSAGR（符号一致率）を用いた結果、CETalkは最高の性能を達成した（RMSE：バレンス 0.1223、アローザル 0.0747；SAGR：バレンス 0.9247、アローザル 0.9906）。
定性的分析: 視覚的な比較により、CETalkは、過度な平滑化や硬直したアニメーションを示す手法と比較して、より豊かで一貫した表現ダイナミクスと滑らかな遷移を生み出すことが示された。
アブレーション研究: 動的感情変調モジュール（DEMM）を除去すると、最も顕著な性能低下（EVEが1.3256から2.4367へ増加）が見られ、動的な強度変調の必要性が確認された。

5. 意義と主張

本論文は、離散的な感情カテゴリを超えて連続的な感情空間へと移行することで、CETalkが重要な進歩を遂げたことを主張している。主な貢献は以下の通りである。

連続的な制御: バレンス・アローザル条件付けを通じて、きめ細かく時間的に一貫した感情制御を可能にし、感情状態間の滑らかな遷移を実現する。
時間的デカップリング: マルチスケール時間モデリングメカニズムにより、音声の調音と感情表現という異種の時間ダイナミクスを明示的に分離し、この分野の核心的な課題に対処している。
リソースの提供: 3D-VA-MEADの構築は、将来の研究に不可欠なリソースを提供し、連続的なVA注釈を持つ公開データセットの不足を解消するものである。

著者らは、オーディオ駆動の調音と感情ダイナミクスを適応的な融合を通じて統合することにより、CETalkが優れたリップシンク精度と感情表現力を達成し、3Dトーキングヘッド生成における連続的な感情モデリングの有効性を立証したと結論付けている。