Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination

あなたは、何百万枚もの画像を見、何十億冊もの本を読んできた、超スマートなロボットの友人と話していると想像してください。あなたは彼に、晴れた公園の写真を見せます。すると、ロボットはシーンの描写を始めます。しかし、時々、このロボットは少しばかり想像力が豊かになりすぎてしまいます。例えば、木の上に赤い風船が浮いているはずもないのに、自信満々に「巨大な赤い風船が木の上に浮いている」と言ってしまうことがあります。これは「ハルシネーション（幻覚）」と呼ばれる現象で、これらのAIシステムを構築している科学者たちにとって大きな頭痛の種となっています。もしロボットが見ていないものを見ていると主張するなら、私たちは重要なタスクで彼らを信頼することができなくなってしまいます。

長い間、研究者たちは、AIが十分に「見て」いないことが問題なのだと考えてきました。AIが空想にふけっているのは、その目がさまよっているからだと考え、AIにもっと画像に注意を向けるよう強制しようとしました。しかし、もしロボットが実際に「見ている」としたらどうでしょう？ もし、ロボットがまさに「偽の風船」があるはずの場所を凝視しているのに、単にそこにあるものを誤解しているだけだとしたら？ 「Same Attention, Different Truths（同じ注意、異なる真実）」と題されたこの論文は、まさにその謎に切り込んでいます。彼らは「ロジット・レンズ（Logit Lens）」という、AIの脳内をX線検査するように覗き見る巧妙なトリックを使い、AIが話している最中にその思考を覗き見ました。目的は、なぜロボットが見ているものについて嘘をつくのかを解明し、ゼロから再学習させることなく、真実を話せるように教えることです。

謎：凝視しているのに、間違える

著者たちはまず、有力な説を検証することから始めました。それは、「AIのハルシネーションは、モデルが画像に対して十分な注意を払っていないために起こる」という考えです。彼らはAIが画像を説明する様子を観察し、その「視線（アテンション）」がどこに着地したかを正確に追跡しました。すると、驚くべきことが分かりました。AIは、実在する物体（椅子など）に対して払うのと全く同じ量の注意を、存在しない物体（存在しないボウルなど）に対しても払っていたのです。

それはまるで、壁に隠された秘密のメッセージがあると信じ込んで、空白の壁を熱心に見つめている探偵のようなものです。探偵は壁を無視しているのではなく、まさにそれを見つめているのです！ 問題は「どれだけ見ているか」ではなく、「見たものをどう解釈するか」なのです。論文ではこれを「Same Attention, Different Truths（同じ注意、異なる真実）」と呼んでいます。AIはエネルギーを集中させてはいますが、見ているものと、それが語る内容との間の繋がりが壊れているのです。

X線：AIの心を読み解く

何が起きているのかを理解するために、研究者たちは「ロジット・レンズ（Logit Lens）」というツールを使用しました。AIの脳を多層構造のケーキだと想像してみてください。AIが画像を処理するにつれて、情報はこれらの層を通過していきます。ロジット・レンズを使うと、研究者は異なる層における「ケーキのフィリング（中身）」を覗き見ることができ、「もしここでAIの処理を止めたら、彼はどんな言葉を発するか？」と問いかけることができるのです。

これを行った結果、明確な分裂が見つかりました。

• 実在する物体： AIが実在する椅子を見ているとき、その脳の「フィリング」は画像を正しく「椅子」としてデコードしていました。視覚的な証拠と言葉が一致していたのです。
• 架空の物体： AIが地面のぼやけた一画を見ながら、それを「ボウル」と呼ぶことに決めたとき、ロジット・レンズは、脳が実際にはボウルを見ていないことを示しました。視覚的な証拠は乱れていて不確実でしたが、AIはそれでもなお「ボウル」と言うことに固執していたのです。

二種類の嘘つき

論文では、AIが二つの全く異なる理由で嘘をつくことが発見されました。それは、テストを受けている二種類の異なる生徒のようです。

1. 「視界がぼやけている」嘘つき（視覚的不確実性）
時として、画像が単に混乱を招くことがあります。例えば、ボウルのように見える暗くてぼやけた形があるかもしれません。AIはこのぼやけた場所に凝視し、混乱し、「これはきっとボウルに違いない！」と推測します。

• 解決策： 研究者たちは、そのぼやけて混乱を招く場所を単に覆い隠す（マスクする）だけで、AIが嘘をつかなくなることを発見しました。AIは「ああ、ここには何も見えないので、推測はやめよう」と気づくのです。これは「高アテンション領域マスキング（H-ARM: High-Attention Regions Masking）」と呼ばれます。これは、探偵に「あのぼやけた壁は見ずに、代わりにクリアな窓を見なさい」と伝えるようなものです。

2. 「空想している」嘘つき（文脈的事前知識）
またある時は、画像は明快であるにもかかわらず、AIが「何が見えるはずか」という期待に影響されすぎてしまうことがあります。例えば、AIがキッチンを描写しているとしましょう。たとえ写真の中に電子レンジがなくても、AIの学習データにおいてキッチンには通常電子レンジがあるため、「電子レンジがある」と言ってしまうかもしれません。AIは電子レンジという概念に慣れすぎていて、それを幻覚として作り出してしまうのです。

• ひねり： AIが見ている画像の部分を覆い隠したとしても、嘘をつくことは止まりません！ AIは視線を別の場所に移し、そのまま「電子レンジ」と言い続けます。AIは台本に従っているのです。「『電子レンジ』と言う前に、何かを見なければならない」という台本です。
• 解決策： このタイプに対して、研究者たちは「視覚的証拠強化デコーディング（V-EED: Visual Evidence Enhanced Decoding）」という手法を用いました。彼らは、AIがすでに発見した実際の視覚的証拠（この場合は電子レンジが存在しないという証拠）に対して、より注意を払うよう強制し、それを使って空想を打ち消させました。これは、探偵に「ノートをもう一度確認して。ノートには電子レンジはないと書いてあるのだから、推測をやめなさい」とリマインドするようなものです。

解決策：探偵のツールキット

これらの知見に基づき、著者たちはシンプルな「トレーニング不要（training-free）」のツールキットを構築しました。これは、AIをゼロから再学習させる必要はなく、AIが最終的な答えを出す前に、スマートな「健康診断」のステップを追加するという意味です。

1. 健康診断： システムは、AIが文章を生成する際、ロジット・レンズを使用して「画像はこの言葉を実際に支持しているか？」とチェックします。もし答えが「ノー」であれば、その言葉をハルシネーションとしてフラグを立てます。
2. 診断： 次に、なぜAIが嘘をついたのかを判断します。画像がぼやけていたから（タイプ1）でしょうか、それともAIが空想していたから（タイプ2）でしょうか？
3. 治療法：
   • もしタイプ1であれば、そのぼやけた部分をマスクし、AIに再度試行させます。
   • もしタイプ2であれば、実在する視覚的証拠の信号を強め、空想をかき消します。

結果

チームはこの手法をいくつかの異なるAIモデルでテストし、非常にうまく機能することを確認しました。彼らがテストしたどの手法よりも、AIが捏造する架空の物体を減少させ、かつ、実在する物体を言い忘れるといったことも起こしませんでした。

要約すると、この論文は、AIのハルシネーションが単にロボットが十分に見ていないことによるものではないことを示しています。時には、ぼやけた手がかりを誤解して直視してしまっていることもあれば、時には、以前聞いた物語に従おうとしすぎてしまうこともあるのです。これらの二種類の「嘘」を理解することで、研究者たちはそれらを捉えて修正する方法を見出し、私たちのロボットの友人を、より正直で、より信頼できるものにすることに成功しました。