🤖 machine learning

Instruction Lens Score: Your Instruction Contributes a Powerful Object Hallucination Detector for Multimodal Large Language Models

本論文は、マルチモーダル大規模言語モデル向けのプラグアンドプレイ型オブジェクト幻覚検出器であるInstruction Lens Score（InsLen）を導入するものであり、これは補助モデルや追加学習を必要とせず、指示トークンの埋め込みを活用することで既存の手法を上回る性能を発揮する。

原著者： Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いロボットアシスタント（マルチモーダル大規模言語モデル）が、画像を見て詳細に記述できる状況を想像してください。あなたが「何が見えますか？」と尋ねると、それは話し始めます。しかし、このロボットは時々、少し空想が過ぎることがあります。スキーヤーがいる雪山の画像を見て、「スキーヤーの赤いバッグが見えます」と自信満々に言うかもしれませんが、実際には画像にバッグは存在しません。これをオブジェクト幻覚と呼びます。

この論文は、これらの嘘を捉えるための新しいツールとして、インストラクションレンズスコア（InsLen） を紹介しています。その仕組みを、簡単なアナロジーを用いて説明します。

問題：「ノイズの多いカメラ」対「賢いガイド」

ロボットの視覚システムを、悪い照明や反射によって時々混乱するカメラだと考えてください。それは影がバッグのように見えるのを見て、ロボットの脳に「ねえ、バッグがあるよ！」と伝えます。

通常、他の手法はカメラの生データ（「視覚埋め込み」）を確認することでロボットの回答をチェックしようとします。しかし、カメラが混乱している場合、このチェックは失敗します。

著者たちは驚くべき発見をしました。ロボットのインストラクション（「画像を記述してください」など、あなたが入力するテキスト）は、賢いガイドとして機能するのです。カメラがノイズにまみれていても、この賢いガイドにはノイズをフィルタリングする方法があります。ロボットがあなたのインストラクションを読むとき、それは暗黙のうちに画像に実際に何が含まれているかを「知っており」、混乱したカメラから来る偽の「バッグ」シグナルを無視できるのです。

解決策：「インストラクションレンズ」

研究者たちは、カメラの思考ではなく、賢いガイドの思考に特化して焦点を当てた拡大鏡のような検出器InsLenを構築しました。

彼らはこれを 2 つの主要なチェックに分解します。

1. 「現実チェック」（較正済みローカルスコア）

アナロジー: 探偵（カメラ）がバッグに見える手がかりを見つけたとします。しかし、賢い裁判官（インストラクション）が同じ手がかりを見て、「あれはバッグではないと思う。ただの影だ」と言います。
仕組み: この手法は、ロボットがバッグを見ていることに対する「確信度」を考慮します。カメラがバッグに興奮していても、「賢いガイド」（インストラクション）が非常に懐疑的で、それに低い確率を割り当てている場合、システムは確信度を較正（低下）させることを知ります。それは実質的に、「カメラは嘘をついている。ガイドの方がよく知っている」と言っているのです。

2. 「文脈チェック」（文脈一貫性スコア）

アナロジー: 群衆の中から人物を特定しようとしている状況を想像してください。
- ローカルチェック: 顔のように見えるぼやけたピクセルの断片を見ます。
- 文脈チェック: 「賢いガイド」に、「この人物は全体のシーンの物語に合っていますか？」と尋ねます。もしシーンがスキー場であれば、ガイドはスキーヤーや雪があるべきだと知っていますが、空中に浮かぶ「バッグ」は必要ないと理解しています。
仕組み: この手法は、「賢いガイド」による全体のシーンの理解を見ます。ロボットが見たと主張する物体（例えば「バッグ」）が、ガイドが語るグローバルな物語と合致するかどうかがチェックされます。ガイドの物語がバッグの存在を支持しない場合、システムはそれを幻覚としてフラグ付けします。

なぜこれが優れているのか？

これまでのほとんどの手法は、ロボットを修正するために、より重厚な機械を追加する（例えば、作業をチェックするために 2 番目の超高額 AI を尋ねる）か、ロボットを完璧に訓練すること（これには永遠に時間がかかる）を試みました。

InsLen は以下の点で異なります：

「プラグアンドプレイ」型です: ロボットを再訓練したり、新しい高価なツールを追加したりする必要はありません。ロボット自身の内部にある「賢いガイド」の思考を使って、その作業をチェックするだけです。
高速です: ロボットの思考プロセスにほとんど追加の時間を要しません。
高精度です: 彼らのテストでは、この手法は試した他のどの手法よりも多くの嘘を捉えました。それは、実際の物体と偽の物体が非常に似ている（スプーンとナイフなど）トリッキーな画像を見ている場合でさえもです。

まとめ

この論文は、ロボットの目（カメラ）だけでなく、そのインストラクション（「賢いガイド」）に耳を傾けることで、偽の物体を効果的にフィルタリングできると主張しています。インストラクションレンズスコアは、「現実チェック」（カメラの確信度を較正する）と「文脈チェック」（物体が物語に合致するかを確認する）を組み合わせ、AI による画像記述のための極めて信頼性の高い嘘発見器を創り出します。

技術概要：オブジェクト幻覚検出のためのインストラクションレンズスコア

問題定義

マルチモーダル大規模言語モデル（MLLM）は、視覚的理解と推論において顕著な能力を示しています。しかし、その信頼性の高い展開に対する重要な障壁は、入力画像に存在しないオブジェクトの記述をモデルが生成する「オブジェクト幻覚（OH）」です。既存の検出手法には、主に 2 つの限界があります。

補助モデルへの依存: 外部モデル（例：GPT-4）や専用の幻覚検出器に依存する手法は、多大な計算オーバーヘッドを招き、追加の学習を必要とします。
誤った視覚信号への脆弱性: 視覚に基づく検出スコア（例：注意重み、局所類似性）は、視覚エンコーダが誤った情報を導入する場合や、幻覚化したオブジェクトの局所的視覚パターンが実在のものに類似する場合（例：スプーンとナイフの類似したテクスチャ）、誤って高い信頼性を示す傾向があります。

手法：インストラクションレンズスコア（InsLen）

本論文は、インストラクショントークンの内部埋め込みを活用して誤った視覚情報をフィルタリングする、学習不要のプラグアンドプレイ検出器である「インストラクションレンズスコア（InsLen）」を提案します。核心的な洞察は、インストラクション埋め込みが画像に根ざした信頼性の高い視覚情報を暗黙的に符号化しつつ、視覚埋め込みによって導入された誤った手がかりを効果的に抑制する点にあります。

本手法は、中間層の埋め込みを語彙空間に投影して信頼度分布を分析する「Logit Lens」技術を利用します。InsLen は、2 つの相補的な構成要素で構成されます。

1. 較正局所スコア（ $S_{cls}$ ）

この構成要素は、視覚ベースのスコアにおける誤った過信の問題に対処します。

メカニズム: すべてのインストラクション埋め込みに対してオブジェクトトークンに割り当てられた最大信頼度を測定することで、「較正信頼度（ $S_{cafe}$ ）」を導入します。
ロジック: インストラクション埋め込みは誤った視覚的手がかりをフィルタリングするため、この投影において幻覚化したオブジェクトは低い信頼度を受けます。
融合: $S_{cafe}$ は、既存の視覚ベースのスコア（例：局所類似性スコア、内部信頼度）と乗法的に融合され、局所的視覚証拠を較正します。
$S_{cls}(o) = S_{cafe}(o) \cdot S_{local}(o)$

2. 文脈一貫性スコア（ $S_{ccs}$ ）

この構成要素は、類似した局所的テクスチャを持つオブジェクトの区別ができない可能性のあるパッチレベルの視覚埋め込みの限界に対処します。

メカニズム: オブジェクトトークンに高い確率を割り当てるインストラクション埋め込みを集約し、グローバル文脈表現（ $\bar{z}$ ）を形成します。
ロジック: インストラクション埋め込みはグローバルなオブジェクト文脈を捉えます。生成されたオブジェクトトークン埋め込み（ $h_o$ ）と集約されたインストラクション文脈（ $\bar{z}$ ）との間の一致度は、正規化された $\ell_2$ 距離を用いて測定されます。
重み付け: 選択されたインストラクション埋め込みの平均信頼度によって一貫性スコアに重みを付け、信頼性を確保します。
$S_{ccs}(o) = S_{con}(o) \cdot p(o|\{\hat{z}_1, ..., \hat{z}_m\})$

最終スコアリング

最終的な InsLen スコアは、較正局所スコアと文脈一貫性スコアの重み付き組み合わせです。
$S_{Ins}(o) = \omega \cdot S_{cls}(o) + (1 - \omega) \cdot S_{ccs}(o)$
ここで、 $\omega$ はハイパーパラメータです。

主要な貢献

インストラクション埋め込みの分析: 著者らは、MLLM におけるインストラクション埋め込みが信頼性の高い視覚的意味を暗黙的に符号化し、視覚埋め込み由来の誤った情報を効果的にフィルタリングできることを明らかにしました。これは、幻覚検出の文脈において以前は見落とされていた能力です。
提案検出器（InsLen）: 補助モデルや追加の学習を必要とせず、較正された視覚証拠とインストラクションベースの文脈一貫性を統合する、新規の学習不要な検出器です。
包括的な評価: 複数のベンチマーク（MSCOCO, Objects365, POPE, CLEVR）および多様な MLLM アーキテクチャ（LLaVA-1.5, InstructBLIP, mPLUG-Owl3, Qwen3-VL, LLaVA-OneVision）にわたる広範な実験により、本手法の有効性が実証されました。

実験結果

性能: InsLen は、すべてのテストベンチマークおよびモデルアーキテクチャにおいて、既存の最先端手法（GLSIM, SVAR, Internal Confidence など）を一貫して上回ります。
- MSCOCO ベンチマーク（Qwen3-VL 使用）において、InsLen は最強のベースライン（GLSIM）に対して AUROC を 7.70% 改善しました。
- POPE ベンチマークにおいて、LLaVA-1.5 に対してベースラインより最大 13.81% 高い AUROC を達成しました。
- CLEVR ベンチマーク（属性および関係性の幻覚をテスト）において、InsLen は特に強力なモデル（Qwen3-VL など）で優れた性能を示しました（SVAR の 73.01% に対し、77.72% の AUROC）。
頑健性: 本手法は、事後学習モデル（例：LLaVA-RLHF, LLaVA-RLAIF-V）においても有効であり、異なる入力インストラクションの長さやハイパーパラメータ設定（ $\omega$ , $m$ , $\tau$ ）においても安定性を示します。
効率性: 一部のベースライン（例：LLaVA-1.5 で約 104ms 対 95ms）よりもわずかに高い計算オーバーヘッドを導入しますが、そのコストは回答生成に比べて最小限であり、補助モデルやゼロ化操作を必要とする手法（例：EAZY）に比べて著しく低いです。

意義と主張

本論文は、インストラクションレンズスコアが、MLLM 生成の信頼性を向上させるための価値あるかつ未探索のシグナルを提供すると主張しています。インストラクション埋め込みが誤った視覚情報を効果的に抑制できることを実証することで、この研究は外部リソースや再学習に依存しない幻覚検出に関する新たな視点を提供します。著者らは、オブジェクト幻覚が実世界アプリケーションにおいて重大なリスクをもたらす状況において、InsLen を信頼性の高い MLLM を強化する堅牢なプラグアンドプレイソリューションとして位置づけています。