💬 NLP

Evaluating and Steering Modality Preferences in Multimodal Large Language Model

本論文は、マルチモーダル大規模言語モデル（MLLM）におけるモダリティの好みを体系的に評価するためのベンチマークであるMC²を導入し、これらの好みがタスクのパフォーマンスと相関していること、および追加のファインチューニングを行うことなく表現エンジニアリングに基づく手法を用いて望ましい方向へと効果的に制御できることを明らかにしている。

原著者： Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

公開日 2026-02-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yu Zhang, Jinlong Ma, Yongshuai Hou, Xuefeng Bai, Kehai Chen, Yang Xiang, Jun Yu, Min Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、画像を見ることができ、同時にテキストも読むことができる、非常に賢いアシスタントを持っています。あなたはこのアシスタントが、答えを導き出すために画像とテキストの両方を平等に見ていると仮定するかもしれません。しかし、もしこのアシスタントが密かに「お気に入り」を持っているとしたらどうでしょう？もし、画像が「赤」と言い、テキストが「青」と言っているとき、アシスタントが画像を完全に無視して、毎回盲目的にテキストを信じてしまうとしたら？

この論文は、マルチモーダル大規模言語モデル（MLLM）——画像と単語の両方を扱うAIの脳——が、しばしばこのような「秘密のお気に入り」、すなわち**「モダリティの偏好（modality preferences）」**を持っていることを発見したことについてのものです。

以下に、研究者が発見し、行ったことを、簡単な比喩を用いて解説します。

1. 問題点：「偏った裁判官」

研究者たちは、これらのAIは多くのことに長けているものの、画像とテキストが矛盾している場合にどのように対処するかについては、これまで真剣にテストされてこなかったことに気づきました。

比喩： 裁判所で、裁判官が2人の証人の言葉に基づいて判決を下さなければならない場面を想像してください。証人A（画像）は、「赤い車を見た」と言っています。証人B（テキスト）は、「青い車を見た」と言っています。
従来の方法： 以前のテストでは、裁判官に証人Aの声だけを聞かせたり、あるいは証人Bの声だけを聞かせたりしていました。これでは、両方が同時に叫んでいるときに、裁判官がどちらをより信頼しているのかは分かりません。
新しい方法（MC2ベンチマーク）： 研究者たちは、MC2と呼ばれる特別なテストを作成しました。彼らは、画像とテキストが明確に矛盾する2,000のシナリオを用意しました。
- 例：画像には、フリスビーで遊んでいる4人の男の子が写っています。しかし、テキストの説明には「靴紐を結んでいる子を含めて、5人の男の子がいる」と書かれています。
- AIに対して、「何人の人がいますか？」と問いかけます。
- もしAIが「4人」と答えたら、それは**視覚（画像）**を優先しています。
- もしAIが「5人」と答えたら、それはテキストを優先しています。

2. 発見：ほとんどのAIは「テキスト至上主義」である

彼らがこれら20種類のAIモデルに対してこのテストを実行したところ、いくつかの驚くべき事実が判明しました。

全員に「お気に入り」がある： テストされたすべてのモデルが、明確な偏りを示しました。完全に中立なモデルは一つもありませんでした。
テキストが王様である： 多くのモデル（人気の高いLLaVAなど）は、テキストを強く支持していました。たとえ画像が明らかに異なることを示していても、AIは画像を無視して、ただ言葉を読んでしまうことがよくありました。それは、教科書の図解を無視してキャプションだけを読み、たとえそのキャプションが間違っていても気にしない学生のようなものです。
大きければ必ずしもバランスが取れるわけではない： 興味深いことに、モデルが大きくなる（より「脳のパワー」が増す）につれて、画像をもっと信頼し始めるモデルもありましたが、多くは依然としてテキストへの習慣に固執していました。
「ビジョン比（Vision Ratio）」： 彼らはビジョン比と呼ばれるスコアを作成しました。スコアが高いモデルは「視覚的な思考者」であり、低いモデルは「テキスト読解者」です。彼らは、このスコアが、実際に「見る」ことを必要とするタスクにおいて、モデルがいかに優れているかを予測する優れた指標になることを見出しました。

3. 解決策：AIの脳のための「リモコン」

この論文の最もエキサイティングな部分は、彼らが問題を発見しただけでなく、AIを再学習させる（これは大人を再教育しようとするようなものです）ことなく、問題を解決したことです。

比喩： AIの内部の脳を、目に見えないスイッチで満たされた巨大な部屋だと考えてください。研究者たちは、「テキストへの偏好」と「画像への偏好」が、この部屋における2つの特定の「方向」であることを発見しました。
手法（表現エンジニアリング / Representation Engineering）：
1. プロービング（探索）： AIにいくつかの質問を行い、AIがテキストに傾いている正確な「方向」を見つけ出しました。
2. ステアリング（操舵）： 彼らは、リモコンのように機能する数学的な「押し（steering vector）」を作成しました。
3. 結果： この「押し」を適用することで、AIの脳を、画像をもっと信頼するように、あるいはテキストをもっと信頼するように、瞬時に物理的に動かす（ナッジする）ことができました。
- 例：モデルが通常、画像を無視してテキストに基づいて幻覚（作り話）を生み出してしまう場合、彼らはAIを「画像を見るように」ステアリング（操舵）することができます。

4. なぜこれが重要なのか

研究者たちは、この「リモコン」を使うことで、AIが困難なタスクにおいて大幅にパフォーマンスを向上させられることを示しました。

数学と論理： テキストが邪魔（ディストラクション）になっているとき、AIを画像を信頼するようにステアリングすることで、数学の問題を正しく解くことができました。
翻訳： 翻訳を行う際、画像によって混乱しないように、テキストに集中するようにAIをステアリングすることができました。

まとめ

要約すると、この論文は、AIモデルがしばしば「お気に入りの感覚」（見るよりも読むこと）を持っており、情報が衝突したときにバイアス（偏り）を生じさせることを明らかにしています。著者たちは、このバイアスを測定するためのテストを構築し、モデルをゼロから作り直すことなく、人間がAIの集中力を手動で調整できる**「学習不要のステアリング・ホイール（操舵輪）」**を考案しました。

技術要約：マルチモーダルLLMにおけるモダリティ・プレファレンスの評価と制御

問題提起

マルチモーダル大規模言語モデル（MLLM）は、ヘテロジニアスなデータ（テキスト、画像、ビデオ）を処理する上で卓越した能力を示している。しかし、モデルが相反するマルチモーダルな文脈を処理する際、一方のモダリティを他方よりも優先的に扱う系統的な傾向である「モダリティ・プレファレンス（モダリティの嗜好性）」を示すかどうかを理解するという点において、重大なギャップが残っている。既存の評価手法は、モダリティを単独で分離してテストしたり（例：テキストのみ、または画像のみの入力）、シャプレー値に依存したりすることが多いが、これらはモダリティが共起し、かつ潜在的に衝突する現実的なシナリオを反映できていない。さらに、これらの内在的な嗜好性が制御可能なものなのか、あるいはダウンストリーム・タスクのパフォーマンスと相関しているのかについても不明である。

メソドロジー

1. MC2ベンチマーク

モダリティ・プレファレンスを厳密に評価するために、著者らは制御された証拠衝突シナリオを作成するように設計されたベンチマークであるMC2（Modality Context Conflict）を導入する。

データ構築: データセットは、8つのタスク（計数、属性認識、感情分析など）にわたる2,000サンプルで構成される。これはTDIUCおよびMS-COCOから派生している。
衝突メカニズム: 各サンプルについて、特定の質問（ $q$ ）に関する矛盾する証拠を提供する視覚的コンテキスト（ $c_v$ ）とテキスト的コンテキスト（ $c_t$ ）が構築される。
検証: 構築パイプラインは、モデルが（単一モダリティのテストにおいて95%以上の精度を達成することで）衝突が発生する前に両方のモダリティを正確に理解できることを保証する。これにより、視覚認識の低さや内部知識のバイアスといった混同要因を排除している。
アノテーション: LLM（DeepSeekV3、GPT-4o-mini）を用いた半自動フレームワークにより、ディストラクター（妨害）回答と矛盾するテキストを生成し、その後、モダリティ間の意味的な不一致を保証するために人間による検証を行っている。

2. 評価指標：Vision Ratio

著者らは、プレファレンスを定量化するためにVision Ratioを定義する：
$\text{Vision Ratio} = \frac{S_{\text{vision}}}{S_{\text{vision}} + S_{\text{text}}}$
ここで、 $S$ は、モデルの応答が視覚的コンテキストまたはテキスト的コンテキストのいずれかに一致するサンプルの割合を表す。比率が0.5より大きければ視覚への優先を示し、0.5未満であればテキストへの優先を示す。

3. 駆動因子の分析

本研究では、これらのプレファレンスを駆動する要因を調査している：

アテンション・パターン: 著者らは、Vision RatioとAttention Ratio（視覚的アテンション対総アテンション）を相関させ、不均衡なアテンション分布がプレファレンスを駆動していることを見出した。
スケールと学習: 実験により、より大きなモデルは一般に、より強い視覚的プレファレンスを示すことが示されている。さらに、マルチモーダルな衝突データを用いたファインチューニングは、プレファレンスを変化させることから、学習中の相反するコンテキストへの露出がこれらのバイアスに影響を与えることが示唆されている。

4. ステアリングのための表現エンジニアリング

モダリティ・プレファレンスが潜在表現にエンコードされているという知見に基づき、著者らはトレーニングフリーのステアリング手法を提案する：

プロービング: モデルに対し、視覚またはテキストのいずれかを優先するよう指示を出してクエリを実行する。最終トークンにおける各レイヤーの隠れ状態（ $x^t_{i,\ell} - x^v_{i,\ell}$ ）の差分を計算し、モダリティ・プレファレンス方向ベクトル（ $u^\ell_t$ ）を特定する。
レイヤー選択: 分析の結果、（Qwen2.5VLのようなモデルにおいて）レイヤー20–23が最も安定し、かつ有意なプレファレンス信号を示すことが明らかになった。
ステアリング: 推論中、スケーリングされたステアリング・ベクトル（ $s^\ell = w \cdot u^\ell$ ）を、選択されたレイヤーの隠れ状態に加算する。重み $w$ は、介入が言語能力を損なうことなく効果的に機能するように、プローブされた方向の平均を元の分布に合わせるように計算される。

主な結果

MLLMにおけるモダリティ・プレファレンス

普及度: テストされた20のMLLMすべてが、明確なモダリティ・プレファスを示す。
テキスト・バイアス: ほとんどのモデル（例：LLaV1.5-7B）は、強いテキスト・プレファレンス（Vision Ratio ~13.4%）を示しており、「言語的事前分布（language prior）」仮説と一致している。
視覚的プレファレンス: Qwen2.5VLやInternVL3のようなモデルは、より強い視覚的プレファレンスを示し、これはモデルのスケールとともに増大する。
相関関係: Vision Ratioと、ダウンストリーム・ベンチマーク（MathVista、TallyQAなど）における視覚的理解のパフォーマンスとの間には、強い正の相関（ $\rho = 0.964$ ）があり、プレファレンスが能力の信頼できる指標であることを示唆している。

ステアリングの有効性

提案された表現エンジニアリング手法は、ファインチューニングなしで、望ましいモダリティへとモデルをステアリングすることに成功した：

MC2のパフォーマンス: 本手法は、Vision Ratioを調整する上で、ベースライン（Zero-shot、Instruction Design、Chain-of-Thought、Few-shot）を凌駕している。例えば、Qwen2.5VL-7Bをテキスト側にステアリングすることで、テキスト整合スコアを35.4%から63.6%に向上させた。
ダウンストリーム・タスク:
- 推論: MathVista（62.3% vs ベースライン 59.0%）およびTallyQA（76.6% vs 74.4%）において精度が向上した。
- ハルシネーションの軽減: PhDベンチマーク（特に誤解を招くテキストを含むサブセット）において、視覚側へステアリングすることで、矛盾するテキストによるハルシネーションを大幅に減少させた。
- 翻訳: AmbigCaps（マルチモーダル機械翻訳）において、テキスト側へステアリングすることで、不適切な視覚的手がかりへの依存を減らし、BLEUスコアを向上させた。

内部メカニズム

アテンション分析により、ステアリング手法がモデルのアテンション分布を正常に変更していることが確認された。テキスト側にステアリングすると、テキスト・トークンに対するアテンションの重みが大幅に増加し（例：約55%から約83%へ）、一方で視覚的アテンションは減少した。これにより、介入が表現レベルで機能していることが検証された。

意義と主張

本論文は、主に以下の3つの貢献を主張している：

評価フレームワーク: MC2の導入は、MLLMにおけるモダリティ・プレファレンスを、理解能力から切り離して体系的に評価するための、初の制御された大規模ベンチマークを提供する。
潜在空間への洞察: 本研究は、モダリティ・プレファレンスがMLLMの潜在表現内にステアリング可能であり、かつ識別可能であることを明らかにし、マルチモーダルな推論メカニズムに対する新しい視点を提供している。
トレーニングフリーの制御: 提案されたプロービングおよびステアリング手法は、追加のデータやファインチューニングなしで、モダリティ・プレファレンスの明示的かつ制御可能な調整を可能にする。これにより、特定のモダリティへの依存が重要となるダウンストリーム・タスク（例：視覚的推論におけるテキスト誘発性のハルシネーションの回避）での性能を高めることができる。

著者らは、モダリティ・プレファレンスを理解し制御することは、特に相反する情報が存在するシナリオにおいて、より信頼性が高く堅牢なマルチモーダル・システムを開発するために不可欠であると結論づけている。