SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models

本論文は、音声・視覚・テキストを統合するオムニモデルの社会的対話能力（話者の特定、割り込みのタイミング制御、自然な割り込み生成）を評価するための包括的なベンチマーク「SocialOmni」を提案し、既存の知覚中心の評価指標では対話の社会的competence を捉えきれないことを示すと同時に、知覚と相互作用のギャップを埋めるための指針を提供しています。

要約

「SocialOmni」の解説：AI に「会話の空気感」を教える新しいテスト

この論文は、最新の「オムニモデル（音声・映像・テキストを同時に理解する AI）」が、単に正解を答えるだけでなく、「人間らしい会話」ができるかどうかを測るための新しいテスト「SocialOmni（ソーシャル・オムニ）」を紹介しています。

まるで、AI に「おしゃべりの達人」になるための試験を受けさせるようなものです。

---

🎭 従来のテストと、新しいテストの違い

これまでの AI のテストは、**「静かな図書館でのクイズ」**のようなものでした。

• やり方: 映像や音声を一度見て、「誰が話している？」「何と言った？」という質問に答える。
• 評価: 答えが合っていれば「優秀」となる。
• 問題点: 実際の会話では、相手が話し終わるのを待たずに割り込む（割り込み）こともあれば、タイミングを逃して沈黙してしまうこともあります。従来のテストでは、この**「会話のリズム」や「空気を読む力」**は測れていませんでした。

SocialOmniは、これを**「ライブのジャムセッション」**のようなテストに変えました。
AI はただの観客ではなく、バンドメンバーとして参加し、以下の 3 つのスキルを同時に試されます。

1. 「Who（誰が話している？）」👀👂

• シチュエーション: 画面には 3 人が映っていますが、誰の声が聞こえているのか？
• 難しさ: 画面の左にいる人が口を動かしているのに、右にいる人の声が聞こえる場合（音声と映像がズレている状況）でも、正しく「右の人が話している」と判断できるか？
• メタファー: 騒がしいパーティーで、自分の名前を呼んでいる声が、どの方向から聞こえているかを見極める力です。

2. 「When（いつ割り込む？）」⏱️

• シチュエーション: 会話の流れの中で、「今、自分が話すタイミングは来るか？」
• 難しさ: 相手がまだ話し終わっていないのに「割り込む（早口）」のは失礼です。逆に、相手が完全に話し終わってから「遅れて」話すのも会話の雰囲気を壊します。
• メタファー: 音楽のバンドで、他のメンバーのソロが終わる瞬間を見計らって、自分の楽器を奏で始める「間（ま）」の取り方です。

3. 「How（どう返す？）」💬

• シチュエーション: 割り込んだ後、何を言うか？
• 難しさ: 文法的に正しい言葉でも、その場の感情や文脈に合っていなければ「空気が読めていない」ことになります。
• メタファー: 相手が悲しんでいる時に、無理に冗談を言わず、共感の言葉をかける「心の通った返事」ができるか。

---

🔍 実験結果：AI はまだ「おしゃべり上手」ではない

このテストで、12 種類の最新の AI を試したところ、驚くべき結果がわかりました。

1. 「耳が良い」ことと「おしゃべりが上手」ことは別物

   • 誰が話しているかを正確に聞き分ける AI（耳が良い）が、必ずしも「タイミングよく割り込んで、自然な返事をする」AI であるとは限りませんでした。
   • 例: 正解率が高い AI でも、相手が話し終わる前に「割り込む」失敗を繰り返したり、逆に「遅すぎて」会話に参加できなかったりします。

2. 音声と映像がズレると AI は混乱する

   • 画面と音がズレている（例：画面の A さんが動いているのに、B さんの声が聞こえる）ような「不自然な状況」になると、多くの AI が正しく判断できなくなりました。人間なら「あ、映像と音がズレてるな」と気づいて修正できますが、AI は画面の顔に引きずられて間違えます。

3. オープンソース AI と大手企業の AI の差

   • 大手企業（Google や OpenAI など）のモデルは、特に「自然な返事（How）」の面で優れていましたが、オープンソースのモデルはまだ「会話の空気感」を掴むのが難しいようです。

---

💡 なぜこのテストが重要なのか？

このテストは、AI が**「正解を出す機械」から「人間と会話するパートナー」へ進化するための道しるべ**になります。

• 今の課題: AI は「正解」を追求しすぎて、会話の「タイミング」や「感情」を無視してしまいがちです。
• 未来への期待: SocialOmni というテストを通じて、AI が「いつ黙って聞くか」「いつ話すか」「どう返すか」を学ぶことで、より自然で心地よい会話ができるようになるでしょう。

まとめると：
SocialOmni は、AI に「正解」を教えるだけでなく、**「会話というダンスのステップ」**を教えるための新しい教科書なのです。AI が人間と自然に会話できるようになるためには、この「リズム感」を磨くことが不可欠だ、とこの論文は伝えています。

技術概要

論文サマリー：SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models

本論文は、オムニモーダル大規模言語モデル（OLM）の「社会的インタラクション能力」、特にリアルタイムな対話における「誰が話しているか（Who）」「いつ割り込むか（When）」「どのように応答するか（How）」を評価するための新しいベンチマーク**「SocialOmni」**を提案し、12 種類の最先端 OLM に対する評価結果を報告したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

• 現状の課題: 既存のオムニモーダルモデルのベンチマーク（OmniBench, OmniVideoBench など）は、主に静的な「理解タスク（正解率）」に焦点を当てており、動的な対話における社会的な相互作用能力（誰が話しているかの特定、割り込みのタイミング制御、自然な応答生成）の評価が欠落しています。
• ギャップ: 実際のリアルタイム対話では、内容の正しさだけでなく、「いつ発言するか（ターン取り）」や「誰に話しかけるか」といった社会的なタイミングがユーザー体験を決定づけます。しかし、現在の評価指標はこれらの能力を十分に捉えられておらず、モデルの「知覚能力（Perception）」と「生成能力（Generation）」の間に乖離がある可能性が指摘されていました。

2. 提案手法：SocialOmni

SocialOmni は、社会的インタラクションを以下の 3 つの核心次元で定式化し、包括的に評価するベンチマークです。

2.1 評価の 3 つの次元

1. Who（話者識別）: 視覚的手がかり、音響特徴、文脈を統合し、特定の時刻に誰が話しているかを特定する能力。
2. When（割り込みタイミング制御）: 対話のダイナミクスとターン取りのパターンを分析し、最適な割り込みタイミングを決定する能力。
3. How（自然な割り込み生成）: 話者の意図や会話の流れと整合性を取りながら、文脈に適合した応答を生成する能力。

2.2 データセット構成

• 規模: 2,000 件の知覚サンプル（多肢選択問題）と、209 件の相互作用生成サンプル（オープンエンド）。
• カバレッジ: 15 の対話サブカテゴリ（エンターテインメント、スポーツ、教育、日常など）を網羅。
• ロバスト性テスト: 音声と映像が一致する「一貫性（Consistent）」サンプルと、映像上の人物と音声源が異なる「不一致（Inconsistent）」サンプルを混在させ、クロスモーダルな矛盾に対するモデルの頑健性を評価します。
• タスク設計:
  • Task I (Perception): 指定された時刻で誰が話しているかを 4 択で回答。
  • Task II (Generation): 映像と音声のプレフィックスに基づき、「今発言すべきか（Yes/No）」を判断し、Yes の場合は適切な応答を生成。

2.3 評価指標

• Who: 正解率（Top-1 Accuracy）、マクロ F1 スコア、および一貫性/不一致セット間の精度差（$\Delta_{cons}$）によるロバスト性評価。
• When: 応答のオフセット（$\Delta\tau$）に基づき、「早すぎる（割り込み）」「適時」「遅すぎる」に分類。適時率（On-time rate）を主要指標とします。
• How: LLM-as-a-Judge（GPT-4o, Gemini, Qwen 等）による 3 名の評価者によるスコアリング（25, 50, 75, 100 の 4 段階）。

3. 主要な貢献

1. 新しいオムニモデルベンチマーク: 「Who, When, How」の 3 軸を統合的に評価する初の包括的なベンチマーク「SocialOmni」の提案。
2. 双軸評価プロトコルの導入: フレームレベルの知覚診断と多評価者による生成スコアリングを組み合わせ、知覚と生成の能力を分離して分析する手法を確立。
3. ロバスト性プローブ: 音声 - 映像の不一致シナリオを制御的に設計し、現実的な対立状況下でのモデルの頑健性と一般化能力を定量化。

4. 実験結果と知見

12 種類の OLM（GPT-4o, Gemini 2.5/3, Qwen3-Omni など）を評価した結果、以下の重要な発見がありました。

• 能力の非相関性（Decoupling）:
  • 知覚能力（Who）が高いモデルが、必ずしも生成能力（How）やタイミング制御（When）が高いとは限りません。
  • 例：Qwen3-Omni は「Who」で最高精度（69.25%）を記録しましたが、「How」のスコアは低く（45.57）、GPT-4o は「Who」が低い（36.75%）一方で「How」は高い（69.64）など、モデルごとに得意不得意が明確に分かれました。
• タイミング制御の課題:
  • モデルは「早すぎる割り込み（Early）」と「遅すぎる反応（Late）」の 2 つの極端な失敗モードを示す傾向があります。
  • 一部のモデルは音声の一時停止（ポーズ）をターン終了と誤認して割り込みすぎ、他方は反応が鈍く会話の窓を逃す傾向がありました。
• 知覚と生成の乖離:
  • 話者を正しく識別できても、その文脈に合わせた社会的に適切な応答を生成できないケースが多く見られました。これは「理解」さえできれば「対話」ができるという仮定が誤りであることを示唆しています。
• オープンソース vs 商用モデル:
  • 応答品質（How）において、商用モデル（Gemini 2.5 Flash: 85.08）はオープンソースモデル（Qwen2.5-Omni: 66.15 など）を大きく上回っており、特に文脈適合性の面で差が顕著でした。

5. 意義と将来展望

• 評価パラダイムの転換: 単なる「正解率」だけでなく、対話の社会的適切性やタイミングを評価する必要性を浮き彫りにしました。これにより、将来的な OLM の開発において、リアルタイムな対話能力の向上が優先されるべきであるという指針を示しました。
• アーキテクチャへの示唆: 現在のモデルは、音声と映像の微細な時間的整合性（Who）、プロソディと視覚の融合（When）、そして文脈に根ざした生成（How）において構造的な課題を抱えていることが明らかになりました。
• 今後の課題: 生成タスクの評価が主にテキスト転写に基づいている点や、人間による評価の不足を指摘し、将来的にはマルチターン対話の拡張や、人間評価の導入、プロソディやジェスチャーへの対応を計画しています。

結論:
SocialOmni は、オムニモーダルモデルが真の意味で「社会的に賢い」対話システムとなるために必要な能力を測定する重要なツールであり、現在のモデルが「知覚」から「相互作用」へ移行する際に直面している根本的な課題を浮き彫りにしました。