💻 computer science

CogniRoute: Learning to Route Social Evidence in Omni-Modal Models

本論文は、ジェスチャー、トーン、および時間的な手がかりを含む複雑な推論タスクにおいて、マルチモーダルな証拠を効果的にルーティングおよび調整することにより、ソーシャルビデオへの質問回答を大幅に向上させる、ルート認識型強化学習によって強化され、新しいOmniSocialBenchデータセットで学習されたスキーマ誘導型混合エキスパートフレームワークであるCogniRouteを導入する。

原著者： Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、混雑した部屋の中でミステリーを解こうとしている探偵だと想像してください。手元にはビデオカメラ、マイク、そして人々が話している内容の書き起こしがあります。ミステリーを解くためには、「何を」見るべきか、「どのように」解釈すべきか、そして「いつ」それが起きたのかを知る必要があります。

現在のほとんどのAIモデルは、こうした機材はすべて持っているものの、その使い方がわからない探偵のようなものです。彼らは、音声のトーンに耳を傾けるべき時にビデオを見てしまったり、会話の中の決定的な2秒間の沈黙を見逃してしまったりすることがあります。彼らは運良く正解を当てたり、パターンを暗記したりすることはできますが、なぜその答えが正しいのかを真に理解しているわけではありません。

この論文では、AIをより優れた探偵へと鍛え上げるための新しい手法であるCogniRouteを紹介します。その仕組みを、シンプルな概念に分解して説明します。

1. 問題点：「器用貧乏」なAI

現在のAIモデルは、視覚、聴覚、読解を同時に行うことができます。しかし、難しい社会的質問（例：「あの人は本当に幸せなのか、それとも演技しているのか？」）を投げかけられると、しばしば混乱します。言葉に集中しすぎるあまり、微妙な表情の変化を見逃したり、会話の中の決定的な2秒間のポーズを見落としたりすることがあります。彼らはすべての手がかりにアクセスできるにもかかわらず、どの手がかりが「決定的な証拠（スモーキング・ガン）」であるかを知らないのです。

2. 解決策：「スマートな交通管制官」（CogniRoute）

著者らはCogniRouteと呼ばれるシステムを構築しました。AIモデルを、数百人の専門家（「エキスパート」と呼ばれます）を擁する巨大な工場と考えてください。顔の分析が得意なワーカーもいれば、声のトーンを理解するのが得意なワーカー、時間を追跡するのが得意なワーカーもいます。

通常の工場では、マネージャー（ルーター）は単に空いている人に仕事を振るだけです。しかし、CogniRouteでは、マネージャーはスマートな交通管制官として訓練されます。タスクをワーカーに送る前に、コントローラーはタスクについて3つの特定の質問を投げかけます。

エビデンスのソース： ビデオを見る必要があるのか、音声を聞く必要があるのか、あるいは両方を比較する必要があるのか？
推論の要求度： 単に何が起きたかを「見る」だけでよいのか、それとも誰かの隠れた感情や社会的なルールを「解明」する必要があるのか？
時間の範囲： ほんの一瞬の瞬間を見る必要があるのか、それともシーン全体を見る必要があるのか？

3. トレーニング：「カンニングペーパー」を用いた学習

この交通管制官を教えるために、研究者たちは**「認知スキーマ（Cognitive Schema）」**と呼ばれる特別な「カンニングペーパー」を作成しました。

比喩： テストを受けている学生を想像してください。通常、学生は最後に成績（正解／不正解）を受け取るだけです。しかし、CogniRouteの場合、先生はテストの「最中」に、「この問題については、音声を確認し、タイミングをチェックしなければならない」と書かれたカンニングペーパーを渡します。
プロセス： AIは、自身の内部的な「交通管制」の決定を、このカンニングペーパーと一致させるように訓練されます。例えば、皮肉なトーンを理解する必要がある質問に対しては、単に「視覚のエキスパート」に頼るのではなく、「音声のエキスパート」と「社会のエキスパート」にデータをルーティングしなければならないことを学習します。

4. 強化：「正解したか、そして正しく行ったか？」

たとえAIが正解にたどり着いたとしても、それは勘で当たっただけかもしれません。これを修正するために、研究者たちは**「ルート認識型強化学習（Route-Aware Reinforcement Learning）」**と呼ばれる第2のトレーニングフェーズを追加しました。

比喩： コーチが選手のゴールシーンを見ている場面を想像してください。もし選手が相手を転ばせてゴールを決めたなら、コーチは「ゴールは決まったが、テクニックは良くない」と言います。もし完璧なパスからゴールを決めたなら、「素晴らしいゴールだ、素晴らしいテクニックだ！」と言います。
報酬： AIは、以下の条件を満たしたときにのみ「高スコア」を得られます。
1. 正解を出した。
2. 正しい種類のエビデンスを使用した（例：音声を無視しなかった）。
3. 正しい瞬間に焦点を当てた。

5. 新しいテスト：OmniSocialBench

この手法が機能することを証明するために、チームはOmniSocialBenchという新しいテストを構築しました。

比例： ほとんどのビデオテストは、単に正しい文字を選ぶだけの多肢選択式のクイズのようなものです。一方、OmniSocialBenchは、自分の思考プロセスを示さなければならない「探偵試験」のようなものです。このテストには、118,000の事例が含まれており、「正解」には、どの手がかりが「いつ」使われたかを示す詳細なマップがペアになっています。
結果： このテストにおいて、CogniRouteは**59.38%**を記録し、既存の最高水準のAIモデルを大幅に上回りました（トップクラスの商用モデルよりも15%以上高いスコアです）。特に、音声とビデオを組み合わせたり、矛盾（例：「大丈夫」と言いながら悲しそうな顔をしている場合など）を解決したりする質問において、非常に優れた成績を収めました。

まとめ

CogniRouteは、AIに「推測するのをやめ、人間の探偵のように考え始めること」を教えるようなものです。単に正解を探すのではなく、以下のことを学習させます。

どのような種類のヒントが必要か（視覚、音声、またはその両方）。
そのヒントをどのように処理すべきか（単純な観察か、複雑な社会的推論か）。
そのヒントがいつ発生したのか。

これらの手がかりに基づいて、AIに「脳のパワー」を正しいスペシャリストへと振り分けさせることで、AIは人間同士の複雑で入り組んだ社会的相互作用を理解する能力を劇的に向上させているのです。

技術要約: CogniRoute

問題提起

ビデオ、オーディオ、テキストを統一された自己回帰システム内で取り込むオムニモーダルモデルは、マルチモーダルな知覚において強力な能力を示しています。しかし、複数のモダリティにアクセスできることと、特定の質問に答えるために「適切な」証拠を効果的に活用することの間には、決定的なギャップが存在します。この問題は、ジェスチャー、声のトーン、時間的順序、あるいは発話内容と視覚的表現の間の不一致といった微妙な手がかりが正解の鍵となる**ソーシャルビデオ質問応答（QA）**において特に顕著です。

既存のベンチマークは通常、最終的な回答のみを教師あり学習の対象としており、基礎となる証拠構造を暗黙的なものとしています。その結果、モデルは誤ったモダリティに依存したり、無関係な時間領域に注意を向けたり、データセットの事前分布を利用したりすることで、正しい回答を導き出してしまう可能性があります。さらに、標準的な混合エキスパート（MoE）のルーティング・メカニズムは、通常、次トークン予測とロードバランシングによって最適化されますが、異なる種類のマルチモーダル推論（例：視覚のみの推論 vs 音声・視覚の矛盾解決）を区別するための、サンプルレベルの明示的な教師あり信号を欠いています。

手法: CogniRoute

これらの課題に対処するため、著者らは、ソーシャル・オムニモーダル推論のためのスキーマ誘導型MoEトレーニングフレームワークであるCogniRouteを導入します。このフレームワークは、2つの主要な段階を通じて、各入力の潜在的な証拠構造とエキスパートのルーティングを整合させます。

1. スキーマ整合型予測ルーティング (SAPR)

教師あり微調整（SFT）において、CogniRouteは、各例を以下の3つの次元に分解する、トレーニング専用の**認知スキーマ（Cognitive Schema）**を導入します。

証拠ソース（Evidence-Source）: 音声と視覚の証拠の関係（視覚、音声、結合、または矛盾）。
推論要求（Reasoning-Demand）: 必要とされる推論操作（例：直接的知覚、社会規範、精神状態、皮肉）。
時間的範囲（Temporal-Scope）: 関連する手がかりの時間窓（瞬間的、ローカルウィンドウ、長期的範囲、マルチセグメント）。

この手法は、すべてのMoEレイヤーにおける入力トークン（ビデオ、オーディオ、質問）に対するルーターの確率分布をプーリングすることにより、グローバル・ルーティング・シグネチャを算出します。軽量な予測ヘッドが、このシグネチャをスキーマタグから派生したターゲット埋め込みへとマッピングします。SAPR損失は、ルーターが異なる証拠構造を持つサンプルに対して、それぞれ異なるシグネチャを生成するように促し、モデルが回答を生成する前に、どのモダリティと推論タイプが必要であるかを「理解」できるように学習させます。

2. ルート認識型MoE強化学習 (RMRL)

標準的な回答の尤度は、エキスパートの割り当てを最適化するには不十分です。なぜなら、正しい回答であっても、誤った内部ルートを経て生成される可能性があるからです。CogniRouteは、複合的な報酬信号を用いて、トークン生成とエキスパート・ルーティングを共同で最適化する第2の学習段階、ルート認識型MoE強化学習を導入します。

回答の正確性 ( $\mathcal{R}_{ans}$ ): 最終的な回答に対するバイナリ報酬。
モダリティ一貫性のある推論 ( $\mathcal{R}_{mcr}$ ): 生成された推論プロセスが、必要なモダリティの証拠（視覚、音声、またはその両方）に明示的に基づいているか、およびそれらの関係を正しく特徴付けているかを検証する報酬（凍結されたLLMジャッジによって算出）。
認知的時間的接地 ( $\mathcal{R}_{ctg}$ ): モデルの最終的な推論状態が、注釈付けされた時間的証拠のスパンに集中しているかどうかを測定する報酬。これは、モデル自身の音声・視覚トークンに対する因果的アテンション重みを、時間的分布に変換し、グラウンドトゥルースの証拠スパンとのKLダイバージェンスを計算することで算出されます。

RL（強化学習）の目的関数は、トークン生成ポリシーとルーターのゲート選択の両方を、ロールアウトレベルのアドバンテージを用いて更新します。これにより、生成された内容が単に正しいだけでなく、証拠に基づき、かつ時間的に接地していることを保証します。

主な貢献

CogniRouteフレームワーク: エキスパートのルーティングをソーシャルビデオの質問の証拠構造に整合させる、スキーマ誘導型MoEフレームワーク。これにより、モデルはいつ特定のモダリティに依存すべきか、どのように矛盾を解決すべきか、あるいはどのように時間的に接地した推論を行うべきかを判別できるようになります。
ルート認識型強化学習: 正確性、モダリティの一貫性、および時間的接地に関する報酬を用いて、回答生成とエキスパートの割り当てを共同で最適化する新しいRL目的関数。これは、単純な回答の教師あり学習を超えたアプローチです。
OmniSocialBench: 11.8万個の構造化されたトレーニング例と、手動で検証された評価スプリットを含む、診断用ソーシャルビデオQAリソース。標準的なベンチマークとは異なり、モダリティの証拠、音声・視覚の関係、推論要求、および時間的証拠のスパンに対する明示的な教師あり信号を提供します。

結果

OmniSocialBenchにおいて、CogniRouteは平均精度**59.38%**を達成しました。

最も強力なプロプライエタリ・ベースライン（Gemini 3.1 Pro）を15.33パーセントポイント上回りました。
最も強力なオープンソースのオムニ・ベースライン（Qwen3 Omni）を26.77パーセントポイント上回りました。
最も顕著な改善は、行動目標（Action Goal）（ベスト・ベースラインに対し+18.79%）や**社会規範（Social Norm）**の推論（+24.80%）といった、複雑な協調を必要とするカテゴリで見られました。

OmniSocialBench以外でも、CogniRouteは10個中8個の公開音声・視覚およびビデオ推論ベンチマーク（OmniBench、WorldSense、Video-MME-v2を含む）において性能を向上させており、提案されたルーティングおよび強化学習の目的関数が、より広範なマルチモーダル・タスクにも汎用することを示しています。

意義と主張

本論文は、証拠構造化されたルーティングが、ソーシャル・オムニモーダル推論を向上させるための効果的な学習信号であることを主張しています。証拠構造（モダリティの関係、推論要求、および時間的範囲）に従ってモデルの内部ルーティング挙動を明示的に監督することで、CogniRouteはモデルにより解釈可能で適切な計算を行わせることを強制します。

著者らは、このアプローチが、モデルが偽の相関関係を利用して正しい回答に到達してしまうという、マルチモーダル推論の「ブラックボックス」的な性質に対処することを強調しています。CogniRouteは、エキスパートの割り当てをタスクの認知スキーマに適合させることが、クロスモーダルな協調、矛盾の解決、および時間的に接地したソーシャル推論を必要とするタスクにおいて、大幅な改善をもたらすことを実証しています。本研究は、ソーシャルビデオQAをオムニモーダル理解の強力なテストベッドとして位置づけ、複数のモダリティへのアクセスは必要条件ではあるものの、正しい証拠を選択し統合するメカニズムなしには十分ではないことを浮き彫りにしています。