Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention

コンピューターが、見ることと読むことを同時にできる世界を想像してみてください。これらはマルチモーダル大規模言語モデル（MLLM）と呼ばれます。これらは、図書館にあるすべての本を読み、かつ写真を見るための目も持っている、非常に賢い学生のようなものです。しかし、ここでミステリーが発生します。これらの学生が写真を見て、それに関する質問を読んだとき、彼らはどのようにして脳内で画像とテキストを混ぜ合わせているのでしょうか？画像全体を一度に見ているのでしょうか？テキストを先に読んでから、写真をちらりと見ているのでしょうか？それとも、全く別のことをしているのでしょうか？

長い間、これらのモデルが素晴らしい回答を出せることは分かっていましたが、彼らの「脳」（コンピュータコードの層で構成されています）の中でどのように行われているのかは分かっていませんでした。それはまるで、手品師が帽子からウサギを取り出すトリックを一度も見ることなく、その魔法を見ているようなものでした。このプロセスを理解することは極めて重要です。なぜなら、どのように機能しているかが分からなければ、彼らが気が散ったり、事実を捏造したりしたときに修正することができないからです。この論文は、作者たちが手品師の帽子の中を覗き込み、層ごとにどのようにしてウサギが現れるのかを突き止める、探偵小説のようなものです。

探偵の仕事：モデルの脳を覗き見る

この論文の著者たちは、魔法がどこで起きているのかを突き止めるために、コンピューターの脳を使った「かくれんぼ」をする決心をしました。彼らはいくつかの異なるMLLMを取り上げ、一つの層ずつ、コンピューターの脳の一部をオフにする（機能を停止させる）実験を行いました。おもちゃを作るロボットがいる工場のアセンブリラインを想像してください。もしステップ3でロボットを止めれば、おもちゃはバラバラになります。もしステップ20で止めれば、おそらく完成しているでしょう。異なる層で視覚情報を「マスキング」（またはオフに）することで、研究者たちは、コンピューターがいつ画像の観察をやめ、テキストのみに頼り始めるのかを正確に把握することができました。

大きな発見：それは滑らかなスライドではない
彼らが発見した最も驚くべきことは、コンピューターは最初から最後まで画像と単語を均等に混ぜ合わせているわけではないということです。それは、コーヒーにミルクを注いでゆっくりと混ざっていくようなものではありません。代わりに、混合はアセンブリライン上の特定の、クリティカルな「ステーション（駅）」で行われます。

• クリティカル・ゾーン（重要な領域）： ほとんどのモデルにおいて、実際の混合は初期から中盤の層（おおよそ18層から20層）で行われていることが分かりました。もしこのゾーンの直前で画像を遮断してしまうと、コンピューターは画像に関するすべてを忘れ、テストに失敗します。
• 「レビュー（再確認）」現象： ここで面白いことが起こります。一部のモデル（LLaVA-1.5やLLaVA-Nextなど）では、コンピューターが混合を終えたと思った直後に、突然もう一度画像を見戻していたのです！著者たちはこれを「レビュー」フェーズと呼んでいます。それは、テストを終えてペンを置いた学生が、突然「待てよ、図面をもう一度確認しなきゃ！」と思い出すようなものです。

問題点：コンピューターが気が散ってしまう
調査を進める中で、著者たちは奇妙な不具合に気づきました。コンピューターが画像の正しい部分（例えば飛行機のロゴなど）を見ているときでも、空や飛行機の尾翼といった、全く役に立たない部分を強烈に凝視していたのです。彼らはこれを「高アテンション・ノイズ（高い注意のノイズ）」と呼んでいます。
あなたが飛行機の機体に書かれた「LAPE」という文字を読もうとしている場面を想像してください。あなたの目は文字に集中すべきです。しかし、このコンピューターは背後の雲に気を取られ、雲に対して文字と同じくらいの注意を払ってしまいます。これは最初から発生しており、モデルを混乱させたまま残っています。

解決策：トレーニング不要の「ハイライター（蛍光ペン）」
この注意散漫を解決するために、著者たちは（再学習という、コストがかかり時間がかかる方法を使わずに）巧妙なトリックを考案しました。彼らはこれを**コントラスティブ・アテンション（対照的注意）**と呼んでいます。
その仕組みは、簡単な比喩を使って説明すると以下の通りです：

1. 「前」のスナップショット： プロセスの初期段階（画像を見始めたばかりの時）で、コンピューターが何を見ているかの写真を撮ります。この段階では、コンピューターは（注意を引く）雲を含むすべてを見ています。
2. 「後」のスナップショット： プロセスの最後（回答する準備ができた時）に、コンピューターが何を見ているかの写真を撮ります。この段階では、本来は文字を見ているはずです。
3. 差分： 「前」の写真から「後」の写真を引きます。
   • もしコンピューターが両方の写真で雲を見ていた場合、雲は相殺されます（注意が変わっていないため）。
   • もしコンピューターが「後」の写真では文字を見ているのに、「前」の写真では無視していた場合、文字が明るく浮かび上がります！

この差分が、質問によってコンピューターが「注目することを学んだ」部分を正確に示す「ハイライター」を作り出します。著者たちはこのハイライターを使用して、注意を逸らす部分を画像の切り出し、重要なハイライト部分だけを再びコンピューターに送り込み、二度目の試行を行います。

結果
この新しい手法をテストしたところ、コンピューターの回答精度は大幅に向上しました。再学習の必要はなく、ただノイズを無視するように少し促すだけで済みました。

• GQAというデータセットでは、彼らの手法によりスコアが 66.03 から 69.40 に向上しました。
• VQAv2では、74.06 から 77.59 になりました。
• TextVQAでは、57.21 から 59.86 へと跳ね上がりました。

これらの数字は、単にコンピューターが正しいものに集中し、ノイズ（注意を引く雲）を無視するように助けるだけで、世界をより良く理解できることを示しています。著者たちは、この手法が、コンピューターが「すべてを見ている状態」から「重要なものを見ている状態」へと注意をシフトさせる瞬間を捉えているからだと示唆しています。

否定されたこと
著者たちはまた、これが単にランダムな層を選んで見ているのではないことも明確にしました。彼らは、プロセスの最後の方の層を選んだり、ルールなしに最初の方の層を選んだりするテストも行いましたが、それらはうまく機能しませんでした。「スイートスポット（最適解）」は、視覚情報とテキスト情報がちょうど混ざり始め、まだ完全に定まっていない層にあります。また、彼らはこれが一度限りの修正ではなく、多くの異なる種類のモデルや、多くの異なる種類の質問に対して機能することも示しました。

要約すると、この論文は、これらの超スマートなコンピューターには、視覚と音（テキスト）を組み合わせる特定の「混合ゾーン」があり、時として背景のノイズに気を取られてしまうことを教えてくれます。単純な数学的トリックを使って彼らの注目の変化をハイライトすることで、何年もかけて新しいレッスンを教え込むことなく、ノイズを無視させ、より良い回答を導き出すことができるのです。