💻 computer science

CapTalk: Text-Guided Stylization and Speech-Driven 3D Head Animation

CapTalk は、大規模なテキスト記述データセットと駆動音声を活用することで、話法と感情表現を個別かつ動的に制御し、リアルタイムかつ同期した 3D ヘッドアニメーションを実現する、新しいテキスト誘導型フレームワークである。

原著者： Xuangeng Chu, Yuan Gan, Ziteng Cui, Shuhong Liu, Jian Wang, Bing Zhou, Tatsuya Harada

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

原著者： Xuangeng Chu, Yuan Gan, Ziteng Cui, Shuhong Liu, Jian Wang, Bing Zhou, Tatsuya Harada

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

デジタル人形、つまり話せる3Dの頭を持っていると想像してください。通常、音声（誰かが話している録音など）を入力すると、その人形は口元の動きだけを真似します。これは、唇しか動かない腹話術の人形のようです。人形を幸せそうに見せたり、怒らせたり、特定の仕方で頭を上下させたりしたい場合、通常はそれらの動作を手動でプログラムするか、まず実際にそれを行っている人の映像を入力する必要があります。

CapTalkは、ゲームのルールを変える新しいシステムです。音声だけを聞くのではなく、あなたがタイプしたテキスト指示も聞きます。これは、俳優に指示を出す監督のようなものです。「この文を話すが、神経質でテンポの速いスタイルで、幸せそうな表情で話せ」とか、「ゆっくりと、真剣なトーンで、大きく頭を上下させながら言え」といった具合に、デジタルの頭に指示を出せます。

ここでは、簡単な比喩を使ってその仕組みを解説します。

1. 問題点：「万能型」の人形

従来の方法は、オルゴールのようでした。曲（音声）を入れると、毎回全く同じメロディ（表情の動き）が流れます。「スタイル」を変えたい場合、オルゴールの仕組み全体を交換するか、すでにそのように動いている人の特定の録音を見つける必要がありました。これでは、ユニークなキャラクターを作ったり、会話の雰囲気をその場で変えたりすることが難しくなっていました。

2. 解決策：新しい「脚本」と新しい「ライブラリ」

研究者たちは、この問題を解決するために主に2つのものを構築しました。

新しいライブラリ（データセット）： 彼らはYouTubeから200時間分の動画の膨大なコレクションを作成しました。しかし、単に動画を保存しただけではなく、すべてのクリップに対して「脚本」を書くためにスマートなAIツールを使用しました。
- あるAIが音声を聞いて感情を推測します（例：「この人は怒っているのか、それとも幸せなのか？」）。
- もう一つのAIが映像を見て物理的なスタイルを記述します（例：「口は大きく開いているか？頭は頻繁に上下しているか？」）。
- これにより、すべての動きが感情とスタイルの説明の両方でタグ付けされた巨大なライブラリが生まれました。
新しい監督（モデル）： 彼らはCapTalkというモデルを構築しました。これは通訳のような役割を果たします。3つのものを受け取ります。
1. 音声： 何と言われているか。
2. スタイルキャプション： どのように言うかのテキスト説明（例：「微妙な頭の動き」、「口を大きく開ける」）。
3. 感情キャプション： 感情のテキスト説明（例：「無表情」、「興奮している」）。

3. 仕組み：「時間ウィンドウ」パズル

長い連続したアニメーションを描こうと想像してください。一度に全体を描こうとすると、ぐちゃぐちゃになってしまいます。CapTalkは、アニメーションを小さな「時間ウィンドウ」（4秒程度の短いクリップのようなもの）に分割します。

コーデック（縮小光線）： まず、システムは顔の複雑な3D動きを単純なコードに圧縮します。高画質の映画をデジタル指令（0と1）のセットに変えるようなものです。
自己回帰生成器（語り部）： 次に、モデルは前の指令、音声、そしてあなたのテキストメモに基づいて、次の指令セットを予測します。これは、プロット（音声）とキャラクターの性格（あなたのテキストメモ）を知っている語り部のように、物語の次の数文（表情の動き）を完璧に即興で紡ぎ出すようなものです。
テキストの魔法： 音声はそのままに、テキストメモを「神経質」から「自信に満ちた」に変えると、モデルは文の途中であっても、新しい指示に合うように頭の動きや口の形を瞬時に変更します。

4. 結果：より優れたパフォーマンス

研究者たちはCapTalkを他の方法と比較してテストし、以下の結果を得ました。

より優れたリップシンク： 口は言葉と完璧に同期して動きます。
より優れたスタイル制御： 「大きな頭の動き」を求めれば、頭は実際に大きく動きます。「微妙な動き」を求めれば、静止したままです。
リアリズム： 人間が動画を視聴するテストでは、他の方法よりもCapTalkが好まれました。動きがより自然で、指示とよく合っていたためです。

まとめ

CapTalkは、デジタル俳優に、台詞だけでなく舞台指示も含んだ脚本を与えるようなものです。「劇的で、目を見開いたスタイルで話せ」とタイプすると、3Dの頭は即座にその特定のスタイルを披露し、音声と完璧に同期してパフォーマンスします。それは、硬直した事前プログラムされたアニメーションから、柔軟でテキストに導かれたパフォーマンスへと移行するものです。

技術概要：CapTalk

問題定義

音声駆動の 3 次元顔面アニメーションは、任意の音声入力から同期した口元の動きと表現豊かな顔面表情を生成することを目指す。しかし、既存の手法は制御性と適応性において重大な限界に直面している：

硬直的なスタイル制御: 現在のアプローチは、通常、事前に定義されたアイデンティティ潜在特徴に依存するか、スタイル埋め込みを抽出するために参照動画を必要とする。これにより、特定の動作シーケンスを提供することなく、ユーザーが話スタイルを柔軟に制御する能力が制限される。
動的適応の欠如: 音声セグメント全体を通じて固定されたスタイルまたはアイデンティティを適用すると、話の動的な感情的内容に適応しないアニメーションが生じることが多い。
データ不足: 音声駆動生成に必要な、話スタイルと感情の両方に関するテキスト記述を提供する大規模データセットが存在しない。

既存の解決策は、未見のアイデンティティや話スタイルへの汎化に苦しみ、参照動画を必要とするものはエンドユーザーにとって煩雑である。

手法

著者は、音声とテキストキャプションから 3 次元頭部動きを生成し、リアルタイムでリアルかつ様式化されたアニメーションを合成することを可能にするフレームワーク「CapTalk」を提案する。手法は 3 つの主要な構成要素からなる：

1. データセット構築：CapTalkingHead

データギャップに対処するため、著者は約 200 時間の動画（24,441 クリップ）を含む大規模データセット「CapTalkingHead」を構築した。

アノテーション戦略: 以前のデータセットがアイデンティティ ID のみに依存していたのに対し、このデータセットはスタイルと感情に対して自然言語アノテーションを使用する。
- 感情: Audio-Language Model（Qwen-Audio-Chat）を用いて音声から抽出され、事前に定義された感情セット（例：怒り、喜び、中立）にマッピングされる。
- スタイル: Vision-Language Model（微調整済み Qwen2.5-VL）を用いて動画から抽出される。モデルは頭部の形状、口の開き具合、頭部動きの振幅に焦点を当て、背景の文脈は無視する。
運動データ: 各クリップはフレームレベルの FLAME 運動パラメータ（形状、表情、ポーズ）と対になっている。

2. マルチスケールコーデック

著者はまず、運動空間の離散表現を作成するためのコーデックを訓練する。

アーキテクチャ: 二値球面量子化を備えたトランスフォーマーベースのエンコーダ・デコーダ。
プロセス: 運動シーケンスは潜在空間にエンコードされ、二値のマルチスケール離散コード（ $C_{lvl}$ ）に量子化される。量子化は、異なる時間スケール（例：1、5、25、50、100 フレームの長さ）にわたって残差的に実行される。
目的: モデルは、運動精度（ $L_1$ ）、メッシュ頂点誤差（ $L_2$ ）、口元領域誤差、およびコードブック安定性損失（ $L_{vq}$ ）を組み合わせたハイブリッド損失関数を最小化する。

3. 音声から運動への自己回帰生成器

中核となる生成モデルは、時間ウィンドウとコードスケールの両方にわたって動作する自己回帰トランスフォーマーである。

入力: モデルは駆動音声、スタイルテキストキャプション（動画から）、感情テキストキャプション（音声から）を受け取る。
特徴抽出:
- 音声: 多言語事前学習済み wav2vec2。
- テキスト: スタイルと感情の特徴のための T5 モデル。
融合メカニズム:
- 音声条件付け: 音声特徴と運動コード間の正確な時間的整合性を確保するために、回転位置埋め込み（RoPE）を使用する。
- テキスト条件付け: テキスト特徴はクロスアテンション層を介して融合される。音声とは異なり、テキストは特定のフレームに時間的に整合しない。代わりに、時間ウィンドウ内のすべてのコードレベルに均一に影響を与え、グローバルなスタイル制御を可能にする。
生成: モデルは、時間ウィンドウ内および時間ウィンドウ間で運動コードを自己回帰的に生成し、テキスト記述が変更された場合でも連続性を維持するために過去の動作情報を活用する。

主要な貢献

CapTalk フレームワーク: テキスト記述を通じて話スタイルとキャラクターの感情の両方を直接かつ微細に制御することをユーザーに可能にする最初のモデルであり、参照動画の必要性を排除する。
CapTalkingHead データセット: 「in-the-wild」の YouTube 動画から派生した、話スタイルと感情のための豊富なマルチモーダルアノテーションを備えた、初の大規模 3 次元顔面運動データセットの公開。
新規アノテーションパイプライン: VLM と ALM を組み合わせて、単一のモダリティでは捉えられない包括的なスタイル記述（口元の振幅、頭部動き、感情）を生成する手法。

実験結果

本手法は、CapTalkingHead テスト分割と MEAD データセットで評価された。

定量的パフォーマンス

口元同期: CapTalk は Lip Vertex Error (LVE) で 6.44 を達成し、ARTalk (7.71) や DiffPoseTalk (11.38) などのベースラインを上回った。
スタイル制御: モデルは、平均頭部距離（MHD: 1.80）、顔面動的偏差（FFD: 25.14）、口開き動的偏差（LODD: 58.27）、頭部ポーズ動的偏差（HPDD: 7.59）を含むスタイル制御指標において優れた性能を示した。
汎化: 訓練されず、スタイルキャプションではなく感情ラベルのみを受け取った MEAD データセットにおいて、CapTalk は競争力のある性能を維持し、LVE 8.07 を達成した。これは参照動作シーケンスを使用する最先端手法と同等である。

定性的評価とユーザー調査

視覚的品質: 定性的な比較により、表現スタイル、口元のダイナミクス、頭部動きにおいて、特にストレスやアクセントの捕捉において、グランドトゥルースとの整合性が向上していることが示された。
ユーザー選好: ペアワイズ比較を含むユーザー調査において、CapTalk は口元同期（一部のベースラインに対して最大 96% の選好）、スタイルの一貫性、表情の一貫性、ポーズの一貫性においてベースラインよりも好まれた。
アブレーション: テキストキャプションを除去すると、スタイル制御指標（FFD、LODD、HPDD）で性能が大幅に低下し、表現制御におけるテキストガイダンスの必要性が確認された。スタイルキャプションは、運動振幅を制御する上で感情キャプションよりも重要であることが判明した。

意義と主張

本論文は、CapTalk が音声駆動の 3 次元アニメーションをよりアクセスしやすく制御可能にするための重要な前進を表すと主張している。アイデンティティベースまたは参照動画ベースの制御からテキストガイダンス制御へと移行することで、このフレームワークは以下を可能にする：

柔軟なスタイル操作: ユーザーは自然言語を用いて推論中にキャラクターの話スタイルと感情を動的に変更できる。
スケーラビリティ: モデルは追加の訓練データや参照動画を必要とせず、未見のアイデンティティやスタイルに汎化する。
リアルタイム合成: 自己回帰アプローチは、同期かつ表現豊かなアニメーションのリアルタイム生成をサポートする。

著者は、CapTalk をバーチャルアバター、言語学習、ゲーム・映画アニメーションのアプリケーションにおける基盤的解決策として位置づけており、完全な連続的な運動生成と文化的文脈の理解における限界を、今後の研究分野として認識している。