Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation

この論文は、マルチ画像タスクにおける大規模視覚言語モデルの幻覚を軽減するため、画像間の注意メカニズムを調整し、真の視覚証拠に基づく選好学習を行う構造化フレームワーク「CAPL」を提案し、マルチ画像の性能向上と単一画像タスクへの汎化能力の維持を実現したことを示しています。

要約

この論文は、**「複数の画像を見て、AI が嘘をついてしまう（幻覚を起こす）問題を、どうやって解決するか」**というテーマについて書かれています。

AI（特に大規模な視覚言語モデル）は、1 枚の画像を見るのは得意ですが、**「2 枚以上の画像を比べて」**何かを説明させると、よく間違ったことを言ったり、画像にないものを作り出したりします。

この論文の著者たちは、その原因を**「画像同士が会話できていないこと」と「AI が学習する時の教え方が甘かったこと」にあると考え、「CAPL（キャップル）」**という新しい仕組みを提案しました。

以下に、専門用語を避け、わかりやすい例え話で解説します。

---

1. なぜ AI は嘘をつくのか？（問題の正体）

Imagine（想像してみてください）：
AI は、**「左から右へ順番に読む」**というルールで本を読んでいるようなものです。

• 1 枚目の画像を見て、2 枚目の画像を見て、3 枚目の画像を見て……という順番です。

このルールだと、「1 枚目の画像は、2 枚目の画像が何を持っているかを知ることができません」。
逆に、2 枚目の画像は 1 枚目の画像を知っています。

【例え話：会議室でのトラブル】
2 人の人が画像について議論していると想像してください。

• A さん（1 枚目の画像）：「私は赤い犬を持っているよ」と言います。
• B さん（2 枚目の画像）：「私は青い猫を持っているよ」と言います。

しかし、今の AI のルールだと、B さんは A さんの話を聞いても、A さんは B さんの話を聞くことができません。
だから、A さんは「B さんも赤い犬を持っているに違いない」と勝手に推測して、**「私たちは赤い犬を 2 匹持っている！」**と嘘をついてしまうのです。

これが**「画像間の幻覚（ハルシネーション）」**の原因です。画像同士が双方向に会話できていないため、AI は画像を見ずに「言葉の癖」だけで適当な答えを推測してしまいます。

---

2. 解決策：CAPL（キャップル）の 2 つの魔法

著者たちは、この問題を 2 つのステップで解決しました。

① 魔法のメガネ：「双方向の会話」を可能にする

まず、AI に**「画像同士が自由に会話できるメガネ」**を着せました。

• 従来のルール：前の画像は後ろの画像を見られない。
• 新しいルール：どの画像も、他のすべての画像と**「双方向」**に情報をやり取りできるようにしました。

【例え話：会議室の再編成】
会議室の壁を取り払って、全員が互いの顔を直接見られるようにしました。

• A さんは B さんの猫を見て、「あ、君は猫を持ってるんだね」と確認できます。
• B さんも A さんの犬を見て、「君は犬なんだね」と確認できます。

これにより、AI は「赤い犬を 2 匹」という嘘をつかずに、「犬と猫が 1 匹ずつ」という正しい事実を認識できるようになりました。
ただし、すべての情報をすべて混ぜると混乱するので、「重要な部分（キーとなる情報）」だけを選んで会話させるという工夫もしています。

② 厳しいコーチング：「嘘つきトレーニング」

次に、AI に**「正解と不正解を比べる」**という特別なトレーニングをさせました。

• 正解の練習（Good Sample）：
  画像同士が会話できる状態で、「正しい答え」を AI に言わせます。
• 嘘の練習（Bad Sample）：
  あえて**「画像同士の会話線を切断」**した状態で質問します。
  • すると、AI は画像を見られず、自分の勘（言葉の癖）だけで答えざるを得なくなります。
  • この時、AI は**「赤い犬を 2 匹いる！」**という、よりひどい嘘をつきます。

【例え話：探偵の訓練】

• コーチ：「さあ、この 2 枚の写真をよく見て答えなさい（正解）」
• コーチ：「じゃあ、目を隠して、写真を見ずに答えなさい（嘘）」
  • AI は目を隠すと、すぐに「赤い犬 2 匹！」と間違った答えを出します。
• コーチ：「ほら見ろ！目を隠すと嘘をつくだろう？だから、**『写真を見ながら会話する状態』**こそが正解なんだよ！」

このように、「画像同士が会話した時の答え」と「会話できない時の嘘の答え」を徹底的に比較させることで、AI の脳（パラメータ）に「画像を見ずに推測するのはダメだ」というルールを深く刻み込みました。

---

3. 結果：どう変わった？

この新しい方法（CAPL）を取り入れた結果、以下のような良いことが起きました。

1. 嘘が減った：複数の画像を比べても、「ないものがある」という嘘をつくことが激減しました。
2. 推理力が上がった：画像の関係を正しく理解できるようになり、複雑な質問にも正しく答えられるようになりました。
3. 1 枚の画像でも大丈夫：実は、このトレーニングは「複数の画像」で行いましたが、**「1 枚の画像を見るだけ」**という普通のタスクでも、AI の性能が落ちるどころか、少し良くなりました。
   • 理由：「嘘をつかないようにする訓練」を積んだので、1 枚の画像を見ても、勝手に想像して嘘をつく癖がなくなったからです。

まとめ

この論文は、**「AI に画像同士を『会話』させ、さらに『嘘をついた時の自分』を見せつけて反省させる」**という、とても人間らしいアプローチで、AI の幻覚（嘘）を減らすことに成功しました。

まるで、**「仲間同士で情報を共有し合い、かつ『独断で判断する危険性』を痛感させる」**ことで、より賢く、信頼できる AI を作ろうという試みです。

技術概要

論文要約：多画像タスクにおける幻覚（Hallucination）軽減のための CAPL フレームワーク

1. 背景と課題 (Problem)

大規模視覚言語モデル（LVLM）は単一画像のタスクにおいて高い性能を示していますが、複数の画像を入力とするタスク（多画像タスク）では深刻な「幻覚（Hallucination）」問題が発生します。これは、モデルが事実と異なる、あるいは画像に存在しない情報を生成してしまう現象です。

既存の研究が抱える主な限界点は以下の通りです：

• 非対称な情報フロー: 現在の Transformer ベースの LVLM は、因果的アテンション（Causal Attention）を採用しており、画像トークンの処理が時系列順（直前の画像から後の画像へ）に行われます。これにより、後の画像は前の画像を参照できますが、前の画像は後の画像を参照できません。この非対称性が、画像間の対称的な関係性モデリングを阻害し、モデルが視覚的証拠ではなく言語的な事前知識（Text Priors）に依存して推論してしまう原因となっています。
• 既存手法の限界: 従来の幻覚軽減手法は、単一画像向けに設計されたものが多く、デコーディング戦略の変更や単一画像の整列トレーニングに依存しています。多画像タスクにおいては、画像間の関係性を明示的にモデル化していないため、効果に限界があります。

2. 提案手法 (Methodology)

著者らは、構造化された幻覚軽減フレームワーク**「CAPL (Cross-Image Attention calibration and Preference Learning)」**を提案しました。これはアーキテクチャレベルでのアテンション補正と、トレーニング段階での選好学習の 2 つの柱で構成されます。

2.1 選択的クロス画像アテンション (Selective Cross-Image Attention)

因果的アテンションの非対称性を解消し、画像間の双方向の情報フローを可能にします。

• メカニズム: 異なる画像に属するトークン間のアテンションマスクを解除し、双方向の接続を許可します（画像内部の因果構造は維持）。
• キートークン選択: 全トークン間の接続は冗長になるため、埋め込みのエネルギー（ノルム）に基づき、各画像から重要なトークン（キートークン）のみを選択的に相互接続します。これにより、ノイズを抑制しつつ、重要な実体間の整合性を高めます。
• 融合戦略: 推論時には、元の因果アテンションと選択的クロス画像アテンションを等重みで融合させ、単一画像タスクでの安定性を保ちつつ多画像タスクでの性能向上を図ります。

2.2 注意深い選好学習 (Attentive Preference Learning)

モデルを効果的にトレーニングするために、Direct Preference Optimization (DPO) を採用し、正解サンプルと「幻覚を露呈させる」負のサンプルの対比を行います。

• 正サンプルの構築: 提案した「選択的クロス画像アテンション」を用いて生成された回答を、高度なモデル（Qwen3）でフィードバックし、修正・精製します。
• 負サンプルの構築（トリミング）: 既存の因果アテンションの弱点を逆手に取り、**異なる画像間のアテンション接続を完全に遮断（Truncation）**します。これにより、モデルは画像間の関係性を無視し、単一の画像と言語の事前知識のみに依存して回答を生成せざるを得なくなります。この条件下で生成された回答は、画像間の矛盾や誤った推論（幻覚）を強く含むため、強力な負のサンプルとなります。
• トレーニング目的: DPO 損失関数を用いて、正サンプル（双方向アテンションあり）を好み、負サンプル（アテンション遮断あり）を嫌うようにモデルを最適化します。さらに、正サンプルの生成軌跡を模倣するための NLL 損失を組み合わせ、構造的な推論プロセスを内部化させます。

3. 主な貢献 (Key Contributions)

1. 構造的な原因の解明: 多画像推論における幻覚の主要因が、「視覚情報の非対称なフロー」と「画像間意味的関連性の不足」にあることを特定しました。
2. CAPL フレームワークの提案: 選択的クロス画像アテンションと、画像間接続の「完全接続」と「遮断」を対比した選好学習を統合した新しいフレームワークを提案しました。これにより、モデルは画像間の依存関係を明示的に学習し、視覚的証拠に基づいた推論を強化します。
3. 広範な汎化性能: 複数の最新 LVLM（Qwen2.5-VL, InternVL2.5, GLM4.1VBase など）において、多画像の幻覚タスクだけでなく、一般的な多画像推論タスクでも性能を向上させ、単一画像タスクの性能も維持・向上させることを実証しました。

4. 実験結果 (Results)

• 多画像幻覚ベンチマーク: BLINK および MUIRBench において、ベースラインモデルに対して一貫して性能向上（BLINK で 1-3 ポイント、MUIRBench で最大 3.5 ポイント以上の改善）を達成しました。特に、複雑な画像間関係性を問う MUIRBench において顕著な効果が確認されました。
• 一般タスク: NLVR2, QBench2 などの多画像一般タスクでも安定した性能、あるいは微増を示しました。これは、画像間の情報フローが視覚的証拠への依存度を高めた結果と考えられます。
• 単一画像タスク: 単一画像のベンチマーク（POPE, MMBench など）においても、性能が低下することなく、一部では改善が見られました。これは、トレーニングを通じてモデルの潜在的な幻覚傾向が抑制され、視覚的シグナルの解釈能力が向上したためです。
• アブレーション研究:
  • アテンション補正のみでも改善が見られますが、DPO と組み合わせることで相乗効果が生まれます。
  • 「トリミングされたアテンション」を用いた負サンプルが、通常の負サンプルよりも幻覚を多く含み、DPO による学習信号として有効であることを確認しました。

5. 意義と結論 (Significance)

本論文は、多画像タスクにおける LVLM の幻覚問題に対し、単なるデコーディング調整やデータ量の増加ではなく、アーキテクチャレベルでのアテンションメカニズムの再設計と、意図的に幻覚を誘発させる負サンプルを用いた選好学習という 2 段階のアプローチで解決策を提示しています。

CAPL は、モデルが画像間の対称的な関係を正しく理解し、言語的なバイアスに流されない視覚的推論を行う能力を根本から強化します。このアプローチは、複雑なマルチモーダル推論タスクにおけるモデルの信頼性を高めるための実用的かつ効果的な設計指針を提供しており、今後の多画像理解システムの発展に寄与するものと考えられます。