技術サマリー: InteracVid

問題提起

大規模言語モデル（LLM）は、テキストを人間とAIの相互作用におけるデフォルトの媒体として確立したが、表現力豊かで接地された（grounded）応答を必要とするマルチモーダル・アシスタント、アバター、およびエンボディド・エージェントにとって、テキストだけでは不十分である。近年のオーディオ・ビデオ生成モデルは、合成の忠実度と同期性は向上しているものの、その教師あり学習は主に**記述的（descriptive）なものに留まっている。つまり、モデルは入力されたキャプションによって指定された内容を描画するように訓練されており、外部のユーザーとの相互作用によって引き起こされる（caused）**応答を生み出すようには訓練されていない。

インタラクティブなオーディオ・ビジュアル生成のための既存のデータセットには、主に3つの制限事項がある：

1. 因果構造の欠如： ビデオのコンテキストとテキストをペアにしていることが多いが、特定の反応的なビデオセグメントを特定できておらず、あるいはそれらを引き起こしたユーザー側のクエリを提供できていない。
2. モダリティの制約： 多くのデータセットがトーキングヘッド（顔の動き）や人間の発話行動に限定されており、多様なオブジェクト操作、スクリーン上のアクション、またはエンボディドなデモンストレーションを欠いている。
3. 教師信号の不足： 現在のリソースは、モデルが特定のユーザー刺激に対して適切なオーディオ・ビジュアルな反応を生成しなければならないような、クエリによってトリガーされ、コンテキストに接地したインタラクティブな応答を学習するためのデータを十分に提供していない。

手法

データセットのキュレーション: InteracVid

著者らは、インタラクティブなオーディオ・ビジュアル応答生成における不足している教師信号に対処するために設計された、初のオープンソースかつ大規模なデータセットであるInteracVidを導入する。このデータセットは、ストリーマーが視聴者のコメントに反応するという自然な相互作用のループを捉えた、ライブチャット動画から構築されている。

キュレーション・パイプラインは、生のリブストリームの希薄さとノイズを処理するために、メタデータを意識した2分岐アプローチを採用している：

1. リアル・クエリ・ブランチ（自然な相互作用）：

   • タイムスタンプ付きのライブチャット・メタデータを持つビデオに対し、システムは視聴者のコメントと、その後のストリーマーの発話を整合させる。
   • 字幕から文レベルのセマンティック・タイムラインを構築し、談話の役割（能動的なモノローグか、反応的なレスポンスか）を決定する。
   • LLMを用いてペアをフィルタリングし、妥当なクエリとレスポンスの因果関係を確保し、完全な相互作用構造（先行するコンテキスト $C$、ユーザーのクエリ $Q$、および実際のオーディオ・ビジュアル・レスポンス $Y$）を抽出する。

2. 再構成クエリ・ブランチ（合成されたトリガー）：

   • チャット・メタデータを持たないビデオ（VODなど）に対し、システムは談話役割分類に基づいて、トランスクリプト内の反応的なレスポンスの瞬間を特定する。
   • ビジョン・ランゲージ・モデル（VLM）が局所的なビデオ・コンテキストとレスポンスのトランスクリプトを観察し、そのレスポンスを引き起こしたであろう妥当なユーザー・クエリを再構成する。
   • 極めて重要な点として、ターゲットとなるレスポンス ($Y$) は常に実際の映像から抽出される。入力されるクエリの条件のみが合成されたものである。これにより、データセットが真正な人間の反応に接地した状態を維持できる。

データ処理と品質管理

• 規模： パイプラインにより、会話中心、オブジェクト中心、手順的、エンボディド、およびスクリーンベースのシナリオにわたる、59K件以上のライブストリーム動画から、454K件以上のコンテキスト・クエリ・レスポンスのトリプレットを生成した。
• マルチモーダル・フィルタリング： 厳格な品質管理により、音声と視覚のセマンティックな整合性を確保する。急激なシーン遷移があるクリップは削除される。抽出されたクリップに対して自動音声認識（ASR）を再実行し、トランスクリプトと単語レベルのタイムスタンプを精緻化する。
• 補助的キャプション： 各クリップに対して、音声と視覚的観察を組み合わせた補助的なオーディオ・ビジュアル・キャプション ($T$) を生成し、学習と分析をサポートする。

実験フレームワーク

著者らは、インタラクティブな生成の複雑さに取り組むため、2段階の生成パイプラインを提案している：

1. インタラクション・プランナー： ビジョン・ランゲージ・モデル（VLM）が、コンテキスト ($C$) とクエリ ($Q$) を受け取り、相互作用を考慮したテキスト記述 ($T$) を予測する。
2. オーディオ・ビデオ共生成器： 拡散ベースのモデル（MOVA）が、記述 ($T$) とコンテキスト ($C$) を受け取り、最終的なマルチモーダル・レスポンス ($Y$) を合成する。

実験では、ゼロショット・ベースラインおよびオラクル・キャプションの上限値と比較しながら、両方のプランナーとジェネレーターをInterfacVidでファインチューニングする。

主な貢献

1. InteracVidデータセット： 外部刺激とオーディオ・ビジュアルなレスポンスの間の因果関係を明示的にモデル化した、454K以上の高品質なインタラクティブ・トリプレット ($C, Q, Y$) を持つ大規模なデータセット。これは、多様なビデオドメインにおいて、先行するコンテキストを伴うオーディオ・ビジュアル入出力の両方をサポートする唯一のデータセットである。
2. メタデータ意識型構築パイプライン： 長くノイズの多いライブストリームからインタラクティブなクリップを抽出するための新しい手法であり、（リアルおよび再構成されたクエリを用いる）デュアルブランチ戦略を利用して、因果関係の整合性を維持しながらデータ・カバレッジを最大化する。
3. ヒューマン・バリデーション： 10人の評価者による調査により、リアルおよび再構成されたクエリの両方が因果的であり、自然であり、時間的に完全であることが確認された。再構成されたクエリは、生のライブチャットに見られるスラングや省略表現が除去されているため、自然さにおいてわずかに高いスコアを記録した。
4. 相互作用構造化データの経験的検証： 実験により、InteracVidでのファインチューニングが、アップストリームのインタラクション・プランナーとダウンストリームのオーディオ・ビジュアル・ジェネレーターの両方を大幅に改善することが示され、相互作用構造化データがマルチモーダル・エージェントの重要な基盤であることを証明した。

結果

セマンティック・パフォーマンス

保持された100件の真正なライブチャット・クエリのベンチマークにおいて：

• ジェネレーターのファインチューニング： オーディオ・ビジュアル共生成器（MOVA）をInteracVidでファインチューニングすることで、すべてのセマンティック次元（関連性、適切性、表現力）において大幅な向上が見られた。例えば、Qwen3.5-9Bをプランナーとして使用した場合、総合スコア（OVRL）は**+1.41**上昇した。
• プランナーのファインチューニング： インタラクション・プランナーのファインチューニングも一貫した改善を示したが、ジェネレーターのファインチューニングよりは小さかった（例：Qwen3.5-9Bで+0.44 OVRL）。これは、インタラクティブなレスポンスを計画することが重要なボトルネックであることを示唆している。
• オラクル比較： グラウンドトゥルースのキャプション（Oracle）を用いた場合でも、ジェネレーターの向上はわずか（+0.09 OVRL）であった。これは、主な限界が、描画（レンダリング）ではなく、正しいレスポンスを**計画（プランニング）**することにあることを示している。しかし、Oracleは依然として学習された最高のプランナーよりも0.71 OVRL高く、現在のプランニング能力のギャップを浮き彫りにした。

ヒューマン・エバリュエーション

自動VLM判定器によって得られたシステムのランキングを再現する、10人の評価者による独立した人間による評価：

• 人間の評価者は、ジェネレーターのファインチューニングが改善の支配的な要因であることを確認した（InternVLプランナーを使用した場合、+1.68 OVRL）。
• 結果は、モデルが単にシーンに応答しているのではなく、クエリに応答していることを検証した。これは、クエリを入れ替えた際のカウンターファクチュアル（反事実的）テストにおいて、モデルがクエリを認識している場合にのみ関連性のスコアが維持されることによって確認された。

オーディオ・ビジュアル品質

InteracVidでのファインチューニングは、低レベルの生成指標を改善した：

• ビデオ： 被験体の一貫性（+1.3%）、背景の一貫性（+1.2%）、および動きのスムーズネス（エラーが39.2%減少）において改善が見られた。
• オーディオ： コンテンツの楽しさ（+3.4%）、コンテンツの有用性（+5.7%）、および制作品質（+5.6%）において向上した。
• 同期： リップシンク距離が4.1%改善し、AV-Alignは16.3%増加した。
• コンテキスト・オーディオ： 先行するオーディオ（最初のフレームに加えて）を条件付けることで、話者類似性と音響状態が大幅に改善され、実際の録音とのギャップの大部分を回復できることが実験で示された。

意義と主張

本論文は、相互作用構造化データが次世代のマルチモーダル・エージェントにとって不可欠な、欠けている基盤であると主張している。現在のモデルは記述的な生成には優れているが、インタラクティブな生成（外部刺激によって因果的にトリガーされるレスポンスの生成）には苦戦している。

著者らは以下の通り断定している：

1. データがボトルネックである： 外部刺激と、それに接地した反応的なオーディオ・ビジュアル・レスポンスをペアにしたデータセットの欠如が、インタラクティブ・エージェントの進歩を妨げてきた。InteracVidはこのギャップを埋めるものである。
2. プランニングが主要な課題である： 実験は、妥当なインタラクティブ・レスポンスを計画すること（「考える」段階）が、そのレスポンスを描画すること（「演じる」段階）よりも、依然として大きなボトルネックであることを示唆している。
3. 汎用性： オブジェクト操作からスクリーンベースのアクションに至るまで、InteracVidの多様なカバレッジは、トーキングヘッドのデータセットの制限を超え、一般的なケースにおけるオーディオ・ビジュアルな相互作用の研究を可能にする。

本研究は、InteracVidが、接地し、表現力豊かで、相互作用を意識したオーディオ・ビジュアル・レスポンスが可能なマルチモーダル・アシスタントの研究を促進し、テキストベースのチャットボットから、真のエンボディドおよびアバターベースのエージェントへと移行するための必要な教師信号を提供すると結論付けている。