Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models
本論文は、視覚的トークン埋め込みを対応するテキスト概念と整合させることで、アーキテクチャの変更や大規模な再学習を必要とせずに、グラウンディングの向上とハルシネーションの抑制を実現し、Vision-Language Modelにおけるパッチレベルの説明可能性を強化する軽量な補助目的関数であるLogit Lens Loss (LLL)を提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたには、写真を見て物語を語ることができる、とても賢いロボットの友達がいます。このロボットは、2つの全く異なるパーツで構成されています。一つは、画像を小さな色の付いた正方形（パッチ）の格子として捉える「目」であり、もう一つは、言葉を使って物語を書くエキスパートである「脳」です。あなたが「猫はどこですか？」と尋うと、その目は写真のすべての正方形に対する信号を脳へと送ります。すると脳は、これらの画像信号を自分自身の言葉の信号と混ぜ合わせ、答えを導き出します。
問題は、画像信号が脳の中を通り抜けるにつれて、人混みの中で少しずつ迷子になってしまうことです。脳は言葉を操るのが非常に上手すぎるため、時として画像の正方形の具体的な詳細を無視し始めたり、さらに悪いことに、画像信号と言葉の信号をあまりに徹底的に混ぜ合わせてしまい、どの正方形が実際に猫に属しているのかをロボットが忘れてしまったりすることがあります。ロボットは「猫」という答えを正しく推測できるかもしれませんが、それは画像の中の猫を見ているのではなく、言葉に基づいて推測しているに過ぎません。これは重大な問題です。なぜなら、私たちがこれらのロボットを信頼したい場合、あるいは、なぜロボットが写真の中に猫がいると考えているのかを知りたい場合、ロボットが画像のどの部分を見ているのかを正確に特定できなければならないからです。もしロボットが猫を指し示すことができなければ、それは幻覚（ハルシネーション）を見ている、つまり、そこに存在しないものをでっち上げている可能性があります。
この論文は、まさにその問題に取り組んでいます。著者であるParsa Esmaeilkhani氏とLongin Jan Latecki氏は、現代の「視覚言語モデル（VLM）」において、特定の画像パッチとそれを説明する言葉との結びつきが、データがシステム内を移動するにつれて弱まり、曖昧になっていることに気づきました。これを解決するために、彼らは**Logit Lens Loss (LLL)**と呼ばれる新しい学習トリックを考案しました。
ロボットの脳を、あらゆる本が単語を表す巨大な図書館だと考えてみてください。通常、ロボットは次にどの本を選ぶべきか（例えば質問に答えること）だけを教えられます。しかし著者たちは、もしロボットが猫のパッチを見ているのであれば、その特定のパッチは、ロボットが話し始める前であっても、図書館に対して「猫」という言葉をささやいているはずだと考えました。彼らは新しい学習ルールを作成しました。それは、ロボットが猫を含むパッチを見るたびに、そのパッチが図書館の語彙の中で「猫」という単語を強く予測するように強制するというものです。彼らがこれを「Logit Lens Loss」と呼ぶのは、「Logit Lens」というツールを使ってロボットの脳の中を覗き込み、画像パッチが密かにどのような単を見たと考えているかを確認できるからです。
素晴らしい点は、ロボットを再構築したり、新しい部品を追加したりする必要がなかったことです。彼らは単に学習ルールを微調整しただけでした。彼らがこの新しいルールを2つの人気のあるロボット（LLaVA-v1.5とQwen2.5-VL）でテストしたところ、その結果はまるでスポットライトを点灯させたかのようでした。以前は、ロボットの「確信度マップ」（オブジェクトがどこにあると考えているかを示すヒートマップ）は、霧がかった窓のようにぼやけて散らばっていました。LLLを使った後、そのマップは鋭く精密になり、まさに猫がいる場所を照らし出しました。
この論文は、このシンプルな修正がいかに大きな役割を果たすかを示しています。これにより、ロボットは画像内の物体を見つける能力（グラウンディング）が向上し、存在しない物体をでっち上げる回数（幻覚）が減り、さらには見たことがない新しい画像の中の物体を指し示すことさえできるようになりました。驚くべきことに、これによって質問に答えたり物語を語ったりする能力が低下することはありませんでした。実際、言語能力は以前と同じくらい強力なまま維持されました。著者たちは、画像信号を元の意味に結びつけ続けることで、ロボットはより賢くなり、かつ、見ているものに対してより誠実になれるのだと示唆しています。それは、学生に単に答えを暗記させるのではなく、見ている地図を実際に理解するように教えることに似ています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。