技術要約：マルチモーダル感情推論のためのオムニ知覚方策最適化（OPPO）

1. 問題提起

GPT-4oやQwen-Omniといった、感情認識のために設計された既存のオムニモーダル大規模言語モデル（Omni-MLLM）は、単純なラベル予測から**マルチモーダル感情推論（Multimodal Emotion Reasoning: MER）へのパラダイムシフトを推進してきました。MERは、視覚、音響、およびテキストの合図に基づいた明示的な推論チェーンを生成することを要求します。しかし、本論文は決定的な欠陥を指摘しています。それは、既存の感情指向型Omni-MLLMには信頼できるオムニモーダル知覚（omni-modal perception）**が欠けているという点です。

著者らは、信頼できる知覚は以下の2つの原則に基づくと主張していますが、現在のモデルはこれらに違反しています。

1. 活用（Utilization）: モデルはしばしばマルチモーダルな合図を十分に活用できず、「思考の慣性（thinking inertia）」に陥っています。つまり、微細な視覚的または音響的な証拠を無視して、単一の支配的なモダリティ（例：顔の表情が中立であるにもかかわらず、声の大きさだけで怒りを予測する）に依存してしまうのです。
2. 忠実性（Faithfulness）: モデルは不誠実な挙動を示し、モダリティ固有の記述をハルシネーション（幻覚）することがよくあります。例えば、ビデオ入力がマスクされているか、あるいは顔が中立であるにもかかわらず、音声の怒ったトーンのみに基づいて、モデルがビデオに「眉をひそめている」様子が映っていると主張するようなケースです。これは、特定のモダリティへの因果的な帰属ではなく、偽のクロスモーダル相関に起因しています。

これらの問題を定量化するために、著者らはMEP-Bench（Multimodal Emotion Perception Benchmark）を導入しました。これは、活用（合図の想起による測定）と忠実性（単一モーダル・マスキング・プローブによる測定）を測定するものです。MEP-Benchにおける実験の結果、ベースラインモデルは人間がアノテーションした合図の約50%しか捉えられず、忠実性プローブにおける精度はわずか26〜35%にまで低下することが明らかになりました。

2. 手法：OPPO

著者らは、マルチモーダル知覚を明示的に最適化するために設計された強化学習（RL）フレームワークである**OPPO（Omni-Perception Policy Optimization）**を提案しています。パイプラインは、MER-Caption+データを用いた標準的な教師あり微調整（SFT）段階に続き、2つの新しいコンポーネントで拡張されたGRPOスタイルのRLフェーズに従います。

A. オムニ知覚報酬（$R_{omni}$）

この報酬は活用に対処するためのもので、モデルが推論の軌跡の中で正解の証拠を回収することを促します。

• メカニズム: 正解の推論パラグラフは、原子的な証拠の合図（視覚用の$C_V$、音響用の$C_A$、感情用の$C_E$）に分解されます。モデルが生成した推論は節（clause）に分割されます。
• 計算: **証拠ルーティング行列（Evidence-Routing Matrix）**が、正解の合図と生成された節の間の意味的類似度（コサイン類似度）を計算します。ある合図のいずれかの節に対する類似度が閾値$\delta$を超えた場合に「ヒット」として記録されます。
• 目的: この報酬は、視覚、音響、および感情の各セットにおけるカバーされた合図の割合を集計し、モデルが多様なマルチモーダル証拠を明示的に参照するように促します。

B. オムニ知覚損失（$J_{omni}$）

この損失は、全入力時と単一モーダル・マスキング入力時のモデルの挙動を対比させることで、クロスモーダルなハルシネーションにペナルティを課し、忠実性に対処します。

• メカニズム: 視覚または音響ストリームのいずれかの一部（$\rho$）をマスクすることによって、反事実的な入力が作成されます。
• 標的化された監督: 全てのトークンにグローバルなKLペナルティを適用する先行研究（例：PAPO）とは異なり、OPPOは証拠ルーティング行列を使用して、モダリティ固有の証拠トークン（視覚的または音響的な事実を記述するトークン）を特定します。
• 目的: KLダイバージェンスのペナルティは、これらの特定のトークンに対してのみ適用されます。目標は、全入力の下でのトークン分布と、マスクされた入力の下での分布との間のダイバージェンスを最大化することです。もしモデルが視覚的証拠を音声からハルシネーションしている場合、ビデオをマスクしても「視覚的主張」のトークンの分布は変化しないため、低いKLペナルティとなります。逆に、忠実なモデルは、ソースとなるモダリティが取り除かれた際にその主張を撤回または変更するため、高いKLペナルティが生じます。

総目的関数は、タスク報酬（精度）、フォーマット報酬、オムニ知覚報酬、およびオムニ知覚損失を組み合わせたものです。

3. 主な貢献

1. 診断用ベンチマーク（MEP-Bench）: 感情推論の「活用」と「忠実性」を定量化するベンチマークを構築し、最先端のモデルが合図の活用不足とクロスモーダルなハルシネーションに大きく苦しんでいることを明らかにしました。
2. OPPOフレームワーク: 以下の手法を通じて知覚を明示的に最適化するRLフレームワークを提案しました。
   • 網羅的な合図のカバーを実現する、きめ細かなオムニ知覚報酬。
   • ハルシネーションを抑制するために、モダリティ固有の証拠トークンに対してのみKLペナルティを適用する、標的を絞ったオムニ知覚損失。
3. 理論的洞察: オムニ知覚損失が、情報のチャネル（トークンとモダリティの間の相互情報量）を拡大する正則化因子として機能し、それによってオムニ知覚報酬が有効になるための上限を引き上げることを示す、情報理論的な分析を提供しています。

4. 実験結果

著者らは、MER-UniBench（感情分析、基本感情認識、および詳細な感情認識をカバー）およびMME-EmotionにおいてOPPOを評価しました。

• 最先端の性能: OPPOはMER-UniBenchにおいて平均スコア**81.05%**を達成し、再現されたAffectGPT-R1のベースラインを5.45%上回り、他の強力なベースライン（例：Qwen-Audio, Emotion-LLaMA）を凌駕しました。また、MME-Emotionにおいても、特に推論およびChain-of-Thought（CoT）の指標において最高の性能を達成しました。
• 知覚診断: MEP-Benchにおいて、OPPOは両方の指標を大幅に改善しました。
  • 活用: 合図の想起率は、ベースラインの58.00%から**70.44%**に増加しました。
  • 忠実性: マスクされたプローブに対する精度は、ビデオでは59.20%から**76.40%へ、音声では33.00%から50.60%**へと向上しました。
• アブレーション研究:
  • オムニ知覚報酬のみを追加すると性能は向上しますが、オムニ知覚損失を加えることで、忠実性と全体的なタスク性能において最も顕著な利得が得られます。
  • 全体的なペナルティを適用する汎用的な知覚損失（PAPOなど）は、性能を向上させることができず、むしろ忠実性を低下させることもあり、OPPOのトークンレベルかつモダリティ固有の標的化の必要性を浮き彫りにしました。
  • ハイパーパラメータ分析により、最適化を安定させ、報酬のポテンシャルを解き放つためには、十分な重み（$\beta \ge 8e^{-3}$）が必要であることが確認されました。

5. 意義と主張

本論文は、十分かつ忠実なオムニ知覚こそが、マルチモーダル感情タスクにおける堅牢な推論を解き放つ鍵であると主張しています。著者らは、粗い粒度の報酬やグローバルなペナルティに依存する従来の手法は、特定の感覚入力とモデルの推論文との間の因果関係を強制できないため、失敗すると論じています。

推論文が特定のモダリティに関するものである場合、そのモダリティの入力に依存しなければならないこと（忠実性）、およびモデルが多様な合図を能動的に取得しなければならないこと（活用）を強制することで、OPPOは、信頼できる知覚が単に優れた言語モデリングの副産物ではなく、明示的に最適化されるべき独立した能力であることを示しています。これらの結果は、感情コンピューティングと人間とAIの相互作用の将来の進歩が、モデルが証拠をハルシネーションするのではなく、検証可能なマルチモーダル信号に感情解釈を根付かせることができることを保証できるかどうかにかかっていることを示唆しています。