💬 NLP

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

本論文は、言語的事前知識への過度な依存を減らし、視覚的手がかりとのよりバランスの取れた統合を促進するためにテキスト埋め込みを精緻化することにより、大規模視覚言語モデルにおけるハルシネーションを軽減する手法を提案し、複数のハルシネーション・ベンチマークにおいて大幅な性能向上を実現するものである。

原著者： Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：「自信満々なストーリーテラー」

想像してみてください。あなたの前には、図書館にあるすべての本を読み尽くしたものの、本物の写真を見たことが一度もない、非常に優秀なストーリーテラー（大規模言語モデル、またはLLM）がいます。あなたがこのストーリーテラーに、空っぽのキッチンのカウンターの写真を見せて、「何が見えますか？」と尋ねたとします。

このストーリーテラーは、キッチンに関する物語を読みすぎているため、すぐに推測を始めてしまいます。カウンターは完全に空っぽであるにもかかわらず、「湯気が立つコーヒーカップとフルーツのボウルが見えます」などと言い出すかもしれません。彼らは、画像を見ているのではなく、言葉の記憶に頼っているのです。

AIの世界では、これを**ハルシネーション（幻覚）**と呼びます。モデルは流暢で賢そうに聞こえますが、視覚的な証拠よりもテキストの学習を信頼しているため、作り話をしてしまうのです。

現在の仕組み：「二本の線路」

現在、画像を見る多くのAIモデル（LVLMと呼ばれます）は、最後に合流する2つの別々の線路を持つ列車のように機能しています。

線路A（テキスト）： ストーリーテラーの言葉。
線路B（ビジョン）： 画像のデータ。

問題は、列車のエンジン（AI）が線路A（テキスト）の上を走るように作られていることです。2つの線路が合流するとき、エンジンは自然と、慣れ親しんだスムーズな線路Aを好みます。そして、線路B（画像）にある凹凸や細部を無視してしまいます。モデルは、画像を「主要な事実」としてではなく、「二次的な提案」として扱ってしまうのです。

解決策：「VisAlign」――「描かれた地図」

研究者たちは、VisAlignと呼ばれる新しい手法を提案しています。単に最後に線路を合流させるのではなく、物語が始まる前に、画像の内容を言葉の上に直接描き込むという方法です。

その仕組みは以下の通りです：

グローバル・スナップショット： まず、AIは画像全体を素早く、平均的に眺めます（絵画を凝視して、全体的な雰囲気をつかむようなものです）。
注入（インジェクション）： この「雰囲気」を取り出し、AIがこれから発するすべての単語のDNAの中に直接混ぜ込みます。
結果： これにより、AIが「カップ」という言葉を考えるとき、その言葉はもはや単なるテキスト上の定義ではなく、今見ている実際の画像の「質感」を伴うものになります。

比喩：
あなたが友人に道案内をしている場面を想像してください。

従来の方法： あなたは「パン屋の角を左に曲がって」と言っていますが、実際に見ている地図にはパン屋は存在しません。あなたはただ台本を暗唱しているだけです。
VisAlignの方法： あなたは手に地図を持っており、「パン屋」と言うたびに、地図上のその場所を物理的に指し示しています。言葉と画像が融合しているのです。「パン屋」と言うことは、地図を見ることと切り離せません。

修正するとどうなるのか？

研究チームは、この手法をビデオ（動画）を見て質問に答えるモデルであるVideo-LLaVAでテストしました。彼らは、AIの「注意（アテンション）」（脳のエネルギーをどこに集中させているか）がどのように変化したかを調査しました。

VisAlignの前： AIは文章の始まりと終わり（テキスト）に強く集中し、画像データが存在する中間部分をほとんど見ていませんでした。それは、試験問題の文章は読んでいるのに、図解を無視している学生のような状態でした。
VisAlignの後： AIは文章全体を通して画像データに注意を払うようになりました。「注意」のバランスが取れたのです。AIは「通常何が起こるか」に基づいて推測することをやめ、「実際に何が起こっているか」を見るようになりました。

結果：作り話の減少

チームは、この新しい手法をいくつかの「ハルシネーション・ベンチマーク（AIに嘘をつかせようとするテスト）」でテストしました。結果は明白でした。

精度の向上： モデルは、存在しないもの（存在しない犬など）を見抜く能力や、存在するものを説明する能力が大幅に向上しました。
具体的な成果：
- MMVP-MLLMにおいて、精度が**9.33%**上昇しました。
- POPE（物体ハルシネーションのテスト）において、精度が3%近く向上しました。
- Merlin（物体の存在を確認するテスト）において、最大**3.4%**改善しました。
汎用性： このテクニックを他のAIモデル（LLaVA 1.5やOpen-Qwen2VLなど）にも試したところ、同様に機能しました。これは「テキスト過多・ビジョン不足」の問題に対する普遍的な解決策です。

トレードオフ：支払うべき小さな代償

論文では、一つの小さな制限についても触れています。AIが世界の一般的な知識よりも画像に依存するように強制されるため、一般的な知識（例：「有名な俳優は誰ですか？」など）のみを必要とする質問に対しては、わずかに性能が低下する可能性があります。しかし、画像を見る必要があるタスクにおいては、その改善は極めて劇的です。

まとめ

この論文は、AIモデルがハルシネーションを起こす理由は、彼らが「テキストに偏り、ビジョンが不足している」からであると主張しています。AIが思考を開始する前に、視覚情報をテキストの単語の中に直接混ぜ込むことで、モデルに画像を見ることが強制されます。このシンプルな調整は、まるで「接地（グラウンディング）ワイヤー」のように機能し、AIが空想の物語へと浮遊してしまうのを防ぎ、視覚的な現実の中にしっかりと繋ぎ止める役割を果たします。

テクニカルサマリー：テキスト埋め込みの洗練による大規模視覚言語モデルにおけるハルシネーションの軽減に向けて

1. 問題提起

大規模視覚言語モデル（LVLM）は、言語的には流暢であるものの、事実として誤っていたり、視覚的な入力に裏付けられていなかったりする出力、すなわち**ハルシネーション（幻覚）**に頻繁に陥ります。これらのエラーは、オブジェクト・ハルシネーション（存在しないアイテムの捏造）、属性ハルシネーション（色や特性の誤認）、関係性ハルシネーション（空間的関係の捏造）、および時間的ハルシネーション（ビデオにおける動作の捏造）として現れます。

著者らは、これらのハルシネーションの主要な原因は、普及しているアーキテクチャのパラダイムに根ざした**モダリティの不均衡（modality imbalance）**にあると仮定しています。ほとんどのLVLM（例：Video-LLaVA, LLaVA）は、事前学習済みの大規模言語モデル（LLM）の入力トークンストリームに視覚的埋め込みを付加することで動作します。しかし、LLMのバックボーンはテキストのみで学習されているため、言語駆動型の推論に対して固有のバイアスを持っています。ファインチューニング中、モデルはテキストの事前知識に過度に依存し、視覚的埋め込みを十分に活用せず、視覚トークンを二次的なものとして扱う傾向があります。これにより、非対称なアテンション分布が生じ、モデルはシーケンスの境界にあるテキストトークンに強く集中する一方で、その間にある視覚トークンを軽視してしまい、結果として意味的には妥当だが視覚的には根拠のない出力をもたらします。

2. 手法：VisAlign

この不均衡に対処するため、著者らは、トークンがトランスフォーマー層に入る前にグローバルな視覚コンテキストを統合することでテキスト埋め込みを洗練させる手法、VisAlignを提案します。推論時にアテンションメカニズムを修正したり、複雑なクロスアテンションモジュールを追加したりするアプローチとは異なり、VisAlignは、訓練中にバランスの取れたクロスモーダル推論を促進するために、表現レベルで動作します。

コアとなるメカニズムは、以下の3つのステップで構成されます：

グローバル視覚集約（Global Visual Aggregation）: プロジェクションされた視覚的埋め込み（ $V_{proj}$ ）を、パラメータフリーのプーリング操作を用いて平均化し、単一のグローバルな視覚要約ベクトル（ $\hat{V}$ ）を作成します。
テキスト埋め込みの洗練（Textual Embedding Refinement）: このグローバルな視覚ベクトルを、元のテキスト埋め込み（ $T$ ）と埋め込み次元に沿って結合します。その後、線形投影層（linear projection layer）を用いて、この融合された表現を元のLLM埋め込み次元へと写像し、視覚的に裏付けられたテキスト埋め込み（ $\hat{T}$ ）を生成します。
再構成（Reconstruction）: ベースラインモデルで使用される標準的な順序に従って、洗練されたテキスト埋め込み（ $\hat{T}$ ）と元の視覚的埋め込み（ $V_{proj}$ ）を付加することで、シーケンスを再構成します。

主要な設計原則:

表現レベルの注入（Representation-Level Injection）: 視覚情報を言語表現に直接注入することで、テキストと視覚の両方の意味を保持する埋め込みをモデルに学習させます。
アーキテクチャに依存しない（Architecture Agnostic）: この手法は、LLMバックボーンのアーキテクチャを変更したり、複雑なクロスアテンションメカニズムを必要としたりすることなく、単に入力トークンシーケンスを修正します。
学習戦略: VisAlignは、ベースラインのLVLM（例：Video-LLaVA）の標準的な事前学習およびファインチューニングの段階と並行して訓練されます。事前学習段階では、LLMを凍結した状態でプロジェクション層と線形層が訓練され、ファインチューニング段階では、フルモデルがエンドツーエンドで訓練されます。

3. 主な貢献

モダリティ不均衡の体系的な分析: 本論文は、標準的なLVLMがテキストトークンに対して強いバイアスを持ち、視覚的内容へのアテンションが断片化していることを、アテンションスコアの可視化を通じて実証的に示しています。
シンプルかつ効果的な緩和戦略: VisAlignは、視覚的コンテキストをテキストトークンに直接埋め込むことでアテンションのバランスを再調整し、アライメントの段階をアテンション段階から埋め込み段階へとシフトさせる軽量なソリューションを提供します。
汎用性: この手法は、Video-LLaVAだけでなく、LLaVA 1.5やOpen-Qwen2VLといった他の最先端モデルにおいても効果的であることが示されています。
相補性: このアプローチは、推論時のデコーディング戦略（例：Visual Contrastive Decoding）と直交しており、両者を組み合わせることでさらなる改善が可能であることが示されています。

4. 実験結果

著者らは複数のハルシネーション・ベンチマークを用いてVisAlignを評価し、一貫して統計的に有意な向上を報告しています。

MMVP-MLLM: 正解率において**+9.33%**の向上を達成し、微細な視覚的識別能力の向上を示しました。
POPE (A-OKVQA): 正解率で**+2.99%、適合率で+1.76%、F1スコアで+1.18%**の向上を示し、オブジェクトレベルのハルシネーションの減少を裏付けました。
Merlin: 事実の一貫性とオブジェクトの存在検証において、最大**+3.4%**の向上を示しました。
HallusionBench: ハードデータ分割において最大**+3%**の向上を達成し、特に記憶された知識よりも視覚的なグラウンディングを必要とするタスク（例：地図、OCR、表）において効果を発揮しました。
Mementos: ロボティクス領域において、オブジェクト（+1.13%）およびアクション（+0.97%）の両方のハルシネーションで改善を示しましたが、コミックや日常生活のような複雑なドメインでの改善はより緩やかでした。
汎用性: LLaVA 1.5およびOpen-Qwen2VLに適用した場合も、VisAlignは一貫してハルシネーションを減少させ、POPEベンチマークにおける性能を向上させました。
比較: VisAlignは、推論時手法であるVisual Contrastive Decoding (VCD) 単体よりも優れた性能を示しました。VisAlignとVCDを組み合わせることで最高の全体性能が得られ、両者の相補的な性質が確認されました。

5. 重要性と主張

本論文は、LVLMにおけるハルシネーションは、現在のアーキテクチャの構造的な非対称性（LLMが推論プロセスを支配していること）に根本的に関連していると主張しています。グローバルな視覚コンテキストを含むようにテキスト埋め込みを洗練することで、VisAlignはモデルが視覚的証拠に対してより平等に注意を向けることを強制し、それによって言語的プライア（事前知識）への依存を低減します。

著者らは、VisAlignを、アーキテクチャの大幅な刷新や外部からの教師あり学習を必要とせずに視覚的グラウンディングを向上させる、シンプルかつ原理に基づいたアプローチとして位置付けています。また、本手法は視覚的グラウンディングのタスクにおいて性能を大幅に向上させる一方で、記憶された世界知識の利用が有益となる知識集約的なカテゴリ（例：ランドマーク、有名人）においては、わずかな性能のトレードオフが生じる可能性があると指摘しています。本研究は、安全性が重視されるアプリケーションにおけるマルチモーダル推論の信頼性を高めるための、表現レベルのアライメントに関するさらなる研究を促すことを目的としています。