💬 NLP

LookBack: Where and How to Score LVLM Responses via Visual Reference Usage

本論文は、既存の信頼度ベースの指標の限界に対処するため、トークンの尤度に視覚的なルックバック・スコアを付加することで、幻覚の検出と根拠に基づいた出力の選択を改善する、学習不要な手法であるLookBackを導入する。

原著者： Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

公開日 2026-08-13

📖 1 分で読めます☕ さくっと読める

原著者： Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、目と脳の両方を持つ、とても賢いロボットに話しかけているところだと想像してみてください。このロボットは「大規模視覚言語モデル（略してLVLM）」と呼ばれています。このロボットは、写真を見て、その写真について物語を書いたり質問に答えたりすることができます。それは、世界を見ることができ、それを完璧に説明できる友人がいるようなものです。しかし、ここには落とし穴があります。時として、このロボットは自分自身の声に対して自信過剰になってしまうことがあります。たとえ写真には全く存在しないことをでっち上げていたとしても、完璧な文法と流れでシーンを描写することで、まるでそれが完全に真実であるかのように聞こえてしまうことがあるのです。これは「ハルシネーション（幻覚）」と呼ばれます。

これを修正するために、科学者たちは通常、ロボットが行う多くの推測の中からベストな答えを選ぶ方法を試みます。彼らはよく、単純なトリックを使います。それは、ロボット自身の内部的な計算に基づいて、最も自信に満ちている、あるいは可能性が高いと思われる答えを選ぶというものです。これは、最も流暢に聞こえるエッセイを先生が選ぶようなものです。しかし、もしそのロボットが、ただ口の上手い「自信満々な間違い役」だとしたらどうでしょう？これが、この論文が取り組んでいる問題です。つまり、ロボットが実際に写真を見ているのか、それとも賢そうに振る舞いながらただ空想しているだけなのか、どうすれば判別できるのかという問題です。

延世大学の研究チームは、ロボットの通常の「自信メーター」は、画像に関しては壊れていることに気づきました。彼らは、たとえ写真を取り去って、ただ推測させるだけにしても、ロボットが依然として高い自信スコアを出して回答することを発見しました。それは、歴史のエッセイを記憶から完璧に暗唱できる学生のようなものです。しかし、教科書の特定の写真について尋ねると、その学生は証拠を見ているのではなく、単に言葉を推測するのが得意なだけなので、「教室の中に恐竜がいる」と自信満々に描写してしまうかもしれません。

この問題を解決するために、チームはLOOKBACKと呼ばれる新しい手法を考案しました。その学生のエッセイを再び採点しているところを想像してみてください。文章の流れが良いかどうかをチェックする代わりに、あなたはこう問いかけます。「この言葉を書いているとき、本当に写真を見たのですか？」LOOKBACKは、ロボットが書くすべての単語をチェックし、その単一の単語を書いている瞬間に、ロボットの「目」（その内部的なアテンション）が実際に画像を見ていたかどうかを確認する特別なツールです。

その仕組みを楽しく説明すると、以下のようになります：

自信のチェック： まず、LOOKBACKは、従来のメソッドと同様に、ロボットがその単語に対してどれほど確信を持っているかをチェックします。
ルックバック（振り返り）のチェック： 次に、「この言葉を言うために、写真を見ましたか？」と問いかけます。もしロボットが「パンダ」と言い、その内部的な目がまさに画像内のパンダを凝視していたなら、その単語には大きなボーナスが与えられます。もしロボットが「パンダ」と言ったものの、単に「パンダ」という言葉が好きだからと推測していただけなら、ペナルティが課されます。
最終スコア： このツールはこれら2つのチェックを組み合わせます。流暢で自信に満ちているだけでなく、視覚的な証拠を実際に見ていたことを証明した回答に対して、最も高いスコアを与えます。

チームは、写真と質問に関する4つの異なる課題を用いて、3つの異なるスマートなロボットの脳でこのアイデアをテストしました。彼らは、LOOKBACKが従来のメソッドよりも正解を選ぶ能力が高いことを発見しました。実際、ロボットに25通りの異なる推測を生成させ、LOOKBACKを使って勝者を選ばせたところ、LOOKBACKは他のどの手法よりも一貫して正解を選び出しました。

本当に素晴らしいのは、LOOKBACKが新しいことを学習したり、助けとなる別のロボットを使用したりする必要がないことです。それは、メインのロボットが考えている間にすでに送っている信号を利用するだけなのです。それは、ロボットに鏡を与えて、教師がそばで見守ることなく、自分自身の仕事をチェックできるようにするようなものです。この研究は、単にロボットに話しながら写真を「振り返って見る（look back）」ように求めるだけで、ロボットが目に見えるものについて自信満々に嘘をつくのを防ぎ、これらのAIの友人をより信頼できるものにできることを示唆しています。

技術要約: LOOKBACK – 視覚的参照の使用を通じたLVLMの応答の評価場所とその手法

1. 問題提起

大規模視覚言語モデル（LVLM）は、視覚的知覚と言語生成を統合しているが、特定の種類のハルシネーション（幻覚）に悩まされている。それは、入力画像に基づかない、流暢でもっともらしい応答を生成してしまう現象である。Best-of-N (BoN) 選択のような既存の信頼性向上手法は、候補となる応答をスコアリングして最適なものを選択することに依存しているが、現在のスコアリングメカニズムは不十分である。

本論文は、出力空間の確信度（例：トークン尤度や自己確信度）における決定的な欠陥を特定している。診断の結果、これらの確信度スコアは視覚入力に対してほとんど敏感ではないことが明らかになった。具体的には、入力コンテキストから画像を取り除いても、上位ランクの応答の選択にはほとんど変化が見られない。これは、出力空間の確信度がテキストの妥当性（言語的な流暢さ）を主に捉えており、視覚的なグラウンディング（画像との一致）を捉えていないことを示している。その結果、確信度のみに頼ることは、言語的には流暢だが視覚的にハルシネーションを起こしている応答と、画像に対して忠実な応答を区別できない。

2. 手法: LOOKBACK

これに対処するため、著者らはLOOKBACKを提案する。これは、学習を必要としない、モデル内部の応答スコアリング手法である。LOOKBACKは、トークン尤度に**視覚的ルックバック・スコア（Visual Lookback Score）**を付加する。これは、生成された各トークンがどれほど強く視覚入力へと遡及（参照）しているかを測定する軽量な指標である。この手法は、以下の3つの段階で動作する。

A. 視覚的ルックバック・スコア ( $A_t$ )

著者らは、LVLMの内部アテンション・メカニズムを活用する。LVLMは画像を因果的コンテキスト内の明示的な視覚トークンとして処理するため、生成される各トークンの予測は、これらの視覚トークンを直接注視（アテンド）することができる。

定義: 生成されたトークン $y_t$ について、視覚的ルックバック・スコア $A_t$ は、すべてのレイヤーおよびアテンション・ヘッドにわたって、予測ステップから視覚トークン ( $P_v$ ) へと向けられたアテンションの重みの割合である。
意義: $A_t$ は視覚的参照の使用のプロキシ（代理指標）として機能する。画像内に存在する物体、属性、または関係性を記述するトークンでは高く、一般的な機能語では低くなる。

B. ルックバック校正済みトークンスコア ( $u_t$ )

LOOKBACKは、モデルの出力空間の確信度 ( $p_t$ ) と視覚的ルックバック・スコア ( $A_t$ ) を組み合わせ、校正されたトークンスコアを形成する。
$u_t = \log(p_t) + \alpha \log(A_t)$

ここで、 $\alpha$ は校正の強さを制御するハイパーパラメータである。
この定式化により、確信度は高いが視覚的なアテンションが低いトークン（ハルシネーション）はスコアが低くなり、確信度が高く、かつ視覚的にグラウンディングされているトークンが優先されるようになる。

C. 視覚的関連性の重み付けと集計

すべてのトークンが視覚的グラウンディングに等しく寄与するわけではない。LOOKBACKは、一様な平均ではなく、視覚的関連性分布 ( $q_\lambda$ ) を用いてトークンスコアを集計する。

分布: $q_\lambda$ は、エントロピー正則化された関連性目的関数を最大化することによって導出され、視覚的ルックバック・スコア ( $A_t$ ) が高いトークンに確率質量を集中させる。
最終スコア: 最終的な応答スコア $S(y)$ は、この分布下における校正済みトークンスコアの期待値である：
$S(y) = \sum_{t=1}^{T} q_\lambda(t) \cdot u_t$
これにより、最終的なスコアは、確信度が高く、かつ視覚的入力と強く結びついているトークンによって大きく左右されるようになる。

3. 主な貢献

診断的洞察: 本論文は、標準的な出力空間の確信度指標（Self-Certaintyなど）が、画像に対する感度が極めて低く、Best-of-N 選択の設定において視覚的ハルシネーションを検出できないという経験的な証拠を提示している。
学習不要のスコアリング: LOOKBACKは、外部の報酬モデルや追加の学習、あるいは追加の推論パスを必要とせずに、LVLMの応答をスコアリングする手法を導入する。これは、生成中に利用可能な内部信号（トークン確率とアテンションの重み）のみを利用する。
トークンレベルの相補性: 本研究は、出力空間の確信度と視覚的ルックバック・スコアが、生成の相補的な側面を捉えていることを示している。すなわち、確信度は言語的な予測可能性を、ルックバックは視覚的参照を優先する。
効率的な集計: 視覚的関連性に基づいてトークンを重み付けすることで、LOOKBACKは最終的なスコアリングにおいて、一般的な流暢さを示す言葉よりも、診断的な内容語（名詞、属性）を優先する。

4. 実験結果

著者らは、4つのベンチマーク（VQAv2, CHAIR, AMBER, HallusionBench）および3つの代表的なLVLM（LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B）にわたってLOOKBACKを評価した。

パフォーマンス: LOOKBACKは、言語側の手法（Self-Certainty, Universal Self-Consistency）や視覚側の手法（CLIPScore, VAUQ）を含む既存のベースラインを一貫して上回った。
- すべての3つのLVLMにおいて、モデルごとの平均パフォーマンスで最高値を達成した。
- ランダム選択と比較して約4.97%の相対的な利得を実現し、一貫してSelf-Certaintyのベースラインを上回った。
スケーリング: 候補プールサイズ ( $N$ ) が1から25に増加しても、他の手法が収穫逓減や不安定性を示す中で、LOOKBACKは一貫した優位性を維持した。
効率性: LOOKBACKによる計算オーバーヘッドは、生成時間と比較して無視できる程度であった。摂動を必要とする手法（VAUQ）や外部エンコーダ（CLIPScore）よりも大幅に高速であり、生成後のスコアリングコストもわずかであった。

5. 意義と主張

本論文は、LOOKBACKがLVLMの応答の信頼性を向上させるための、軽量でモデル内部的な解決策を提供すると主張している。その意義は以下の通りである：

ギャップの解消: 現在のスコアリング指標における、画像条件付けと画像感度の間の乖離を直接的に解決している。
実用性: 学習不要であり、補助モデルを必要としないため、リソース制約のある環境や、内部アテンションの重みにアクセス可能なブラックボックス・シナリオに適用可能である。
汎用性: 著者らは、「ソースを意識したスコアリング（高確信度の生成ステップが意図したソースに遡及しているかを確認すること）」という原理が、視覚を超えて、検索拡張生成（RAG）やツール利用といった他のグラウンデッドな生成タスクにも拡張できる可能性を示唆している。

認められた限界事項:
著者らは、LOOKBACKが内部のアテンションの重みへのアクセスを必要とするため、厳格なブラックボックスAPIでの使用には制限があることを指摘している。さらに、視覚的ルックバックは参照の使用のプロキシ（代理指標）であり、事実としての正確性を保証するものではない。つまり、モデルは画像トークンに注目しながらも、誤った、あるいは偏った内容を生成する可能性がある。したがって、LOOKBACKは、タスク固有の検証や人間による監視と併用されるべき、応答選択の支援手段として推奨される。