💬 NLP

Revisit What You See: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding

本論文は、視覚トークンから関連する視覚的意味を動的にテキスト生成プロセスへ投影することで大規模視覚言語モデルの幻覚を軽減し、計算コストを低減しながら優れた性能を達成する、学習不要なデコーディング手法である ReVisiT を紹介する。

原著者： Beomsik Cho, Jaehyung Kim

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

原著者： Beomsik Cho, Jaehyung Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「ReVisiT: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding」の解説を、平易な言葉と創造的な比喩を用いて説明したものです。

大きな問題：「空想する」芸術家

あなたが写真を見せ、その描写を依頼する天才的な芸術家（大規模視覚言語モデル、または LVLM）を想像してください。あなたはテーブルの上にある赤いリンゴの写真を彼に見せます。

理想的には、芸術家は写真を見て「あれは赤いリンゴです」と言うはずです。
しかし、時には芸術家は自分自身の内なる思考に気を取られてしまいます。写真には存在しないのに、「あれは赤いリンゴです…そして、バナナやピザも」と言ってしまうかもしれません。これを幻覚（ハルシネーション）と呼びます。

この論文は問いかけます：なぜこれが起こるのか？
研究者たちは、芸術家が実は「心の目」（視覚データ）の中でリンゴを正しく見ていることを発見しました。しかし、話し始めると、自分自身の語彙のノイズに混乱してしまうのです。彼らは真実を知っていますが、写真に実際に何が写っているかではなく、「リンゴ」と「パイ」のように通常一緒に使われる言葉に焦点を当てすぎてしまうため、真実を言うのを忘れてしまいます。

発見：「隠されたメモ」

チームは、これらの AI モデルがどのように機能するかを詳しく調べました。彼らは、モデルが画像をビジョントークンと呼ばれる小さな断片に分解していることを発見しました。これらのトークンを、画像の異なる部分に貼り付けられた小さな付箋だと考えてみてください。

付箋は賢い：AI が間違いを犯し（バナナを幻覚として見ている場合でも）、画像に貼られた付箋にはリンゴに関する正しい情報が含まれています。視覚的な真実はそこにあるのです。ただ埋もれているだけです。
翻訳の問題：AI がこれらの付箋を言葉に変えようとするとき、それは混乱を招きます。「この付箋はどの言葉を表していますか？」とルールなしに AI に尋ねると、「空」「青」「質感」などと推測してしまうかもしれません。それはあまりに曖昧です。
魔法のフィルター：研究者たちは、質問にフィルターをかけること、つまり AI に「apple（リンゴ）」、「fruit（果物）」、「red（赤）」といった特定の関連語のリストからのみ選ぶよう指示すると、付箋が突然非常に明確になることを発見しました。AI はついに、「あ！この付箋は間違いなく『リンゴ』を意味している！」と言えるようになります。

解決策：ReVisiT（ビジョントークンの参照）

これに基づき、著者たちはReVisiTと呼ばれる新しい手法を作成しました。これは、芸術家を再訓練したり、新しい芸術家を雇ったりすることなく、彼が話している間に「カンニングペーパー」を与えるようなものです。

ReVisiT の仕組みをステップごとに説明します：

文脈の確認：AI が文章を書き始めると、ReVisiT は AI が現在何について考えているかを確認します。
フィルターの作成：その文脈に基づいて、小さな関連語リストを作成します（例：文がキッチンについてであれば、リストには「カップ」「スプーン」「リンゴ」が含まれますが、「飛行機」は含まれません）。
一致の確認：ReVisiT は画像からのすべての「付箋（ビジョントークン）」を見て、「これらの付箋のうち、現在の単語リストと最もよく一致するのはどれか？」と尋ねます。そして、最も良い一致を 1 つ選びます。
そっと促す：勝った付箋を取り出し、AI の次の単語選択をそっとその方向へ押しやります。「ねえ、あの付箋を覚えてる？それは『バナナ』じゃなくて『リンゴ』って書いてあるよ」と囁くようなものです。

なぜ素晴らしいのか

トレーニング不要：AI に何も新しいことを教える必要はありません。AI が話している間に、その話し方を変えるだけです。
超高速：単なる簡単な数学的なチェックと「そっと促す」行為であるため、AI の速度を落とすことはありません。実際、標準的な話し方とほぼ同じ速さです。
どこでも機能する：彼らは、小さくても非常に大きな AI モデル、そして画像の説明、質問への回答、物体の検出など、さまざまなタスクでこれをテストしました。それは一貫して「空想（幻覚）」を減らし、説明をより正確にしました。

比喩：司書と本

AI をテストを受ける学生だと想像してください。

ビジョントークンは、学生の机に開かれている教科書です。学生は本の中に正しい答えを持っています。
幻覚は、学生が本を無視して記憶から答えを推測しようとするか、あるいは本が間違ったページに開かれているために起こります。
ReVisiTは、質問を見て、教科書の中で答えが載っている正確なページを指差して「この部分を読んで」と言う司書です。学生は推測するのではなく、本から正しい答えを読み取ります。

まとめ

この論文は、AI モデルがすでにその視覚データの中に真実を「見ている」ことを証明しています。しかし、彼ら自身の語の連想に迷い込んでしまうため、それを言葉にできずにいることが多いのです。ReVisiTは、モデルが自分の視覚的なメモを見て、それを使って自分の言葉を修正することを強制する、シンプルで無料のツールです。その結果、嘘が減り、より正確な説明が可能になります。

技術サマリー：ReVisiT – ビジョントークンにおける視覚的セマンティクスを解明して LVLM のデコーディングを誘導

問題定義

大規模視覚言語モデル（LVLM）は視覚知覚と言語理解を統合するが、入力画像に存在しない物体を記述するテキストを生成する「物体幻覚」に頻繁に悩まされる。視覚情報はモデルの隠れ状態内の「ビジョントークン」に符号化されているが、これらのトークンがデコーディングプロセスにどのように影響を与えるかのメカニズムは未だ十分に探求されていない。既存のアプローチは、しばしばビジョントークンを静的な補助コンテキストとして扱うか、幻覚を軽減するために複雑なトレーニングパイプラインやマルチパス推論に依存している。ここで扱われる中心的な問題は、アーキテクチャの変更や追加のトレーニングなしに、デコーディングプロセス中にビジョントークン内の内在的なセマンティクス情報を効果的に活用する方法である。

手法：ReVisiT

著者らは、最も関連性の高いビジョントークンを動的に参照することでテキスト生成を誘導する、トレーニング不要かつモデル非依存のデコーディング戦略であるReVisiT（Referencing Vision Tokens）を提案する。この手法は、各デコーディングタイムステップ $t$ において、主に以下の 3 つのステップで動作する。

コンテキスト認識型語彙部分集合の構築：
完全な語彙上で動作するのではなく、ReVisiT は語彙空間を部分集合 $V_t^{cons}$ に動的に制限する。この部分集合は、LVLM のバニラ出力分布 $p_\theta$ に基づいて適応的に定義され、確率が閾値 $\alpha \cdot \max(p_\theta)$ 以上のトークンを保持する。この制約はセマンティクス的な混乱を減らし、デコーディングを妥当な候補に集中させる。
制約付き発散によるビジョントークンの選択：
この手法は、候補デコーダ層 $j$ からのビジョントークンの隠れ状態（ $h_i^j$ ）を、制約付き語彙部分集合 $V_t^{cons}$ 上に射影する。その後、バニラ出力分布と各射影されたビジョントークン分布との間のジェンセン・シャノン発散（JSD）を計算する。最小の JSD を持つビジョントークン $(i^*, j^*)$ が、最も文脈的に関連する参照信号として選択される。
- 最適化：効率性を確保するため、ビジョントークンの完全語彙上への射影はデコーディング前に一度だけ事前計算される。デコーディング中は、これらのキャッシュされた射影をスライスしてマスクし、動的な部分集合 $V_t^{cons}$ に適合させることで、追加のフォワードパスを回避する。
ログイトの洗練：
バニラ出力分布は、選択されたビジョントークンの分布と融合することで洗練される。これは、ログ空間での加算（確率空間における Product-of-Experts 結合に相当）によって達成される：
$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$
最終的な分布は制約付き部分集合上で正規化され、次のトークンはこの洗練された分布からサンプリングされる。

主要な貢献

ビジョントークンに関する実証的知見：
本論文は、ビジョントークンが解釈可能な物体レベルのセマンティクスを内在的に符号化しているという定量的・定性的な証拠を提供する。著者らは、これらの信号は制約のないデコーディング下（真の物体が高い確率を持っていても幻覚された物体が選択されうる状態）では潜在的であるが、意味的に一貫した語彙部分集合上に射影されると明示的になり、よく整合が取れることを実証している。
ReVisiT アルゴリズム：
文脈認識型制約付き発散を利用してビジョントークンを選択・参照する、単純でトレーニング不要なデコーディング手法の導入。このアプローチは、外部モジュール、アーキテクチャの変更、またはマルチパス推論を必要とすることなく、トークンレベルのログイトを洗練させて視覚的セマンティクスをより適切に組み込む。
包括的な検証：
本手法は、3 つの異なるアーキテクチャ（LLaVA-1.5、Qwen2.5-VL、InternVL）にまたがる 6 つのモデルサイズ（7B から 32B パラメータ）で検証された。評価には、幻覚固有のデータセット（HallusionBench、CHAIR、POPE）と汎用タスク（VQAv2、MMMU）を含む 5 つのベンチマークが含まれる。

実験結果

幻覚の低減：ReVisiT は、テストされたすべてのアーキテクチャで一貫して幻覚を低減する。CHAIR ベンチマークでは、DoLa、VCD、M3ID などの最先端のベースラインと比較して、物体のカバレッジを維持または向上させながら、競争力のある、あるいは優れた F1 スコアを達成する。HallusionBench においては、いくつかのモデルで 5 つの指標のうち 4 つで最高スコアを達成した。
汎化性：本手法は、識別タスク（POPE、VQAv2）や知識集約的な推論（MMMU）において堅牢性を示しており、ReVisiT によって表面化した視覚的グラウンディング信号が異なるタスクタイプ間で汎化することを示している。
効率性：追加のフォワードパス（VCD、CODE など）や中間層の射影（DoLa）を必要とするベースライン手法とは異なり、ReVisiT は推論レイテンシを 0.6% から 2.0% だけ増加させるのみである。マルチパスベースラインと比較して、計算コストを最大 2 倍削減する。

意義と主張

本論文は、ReVisiT がビジョントークンが意味的に一貫した制約を通じて解き放つことのできる、解釈可能なセマンティクスを内在的に符号化していることを実証していると主張する。これらのセマンティクスを言語空間に明示的に露出させることで、本手法は生成に対する解釈可能なガイダンス信号を提供する。

著者らは、ReVisiT を、既存の内部アライメントまたはポストアライメント手法の計算オーバーヘッドなしに視覚的グラウンディングを改善する、スケーラブルで広範に適用可能な解決策として位置づけている。彼らは、多様なモデルサイズとアーキテクチャにおける本手法の有効性は、ベンチマーク固有のヒューリスティックではなく、提案された文脈認識型制約付き発散が基本的なデコーディング信号を捉えていることを示唆していると強調している。

認められた限界：
著者らは、ReVisiT がモデル内部のビジョントークンに符号化されたセマンティクスに大きく依存しており、その結果、暗黙の常識推論を犠牲にして知覚的にグラウンディングされた要素が過度に強調される可能性があることに言及している。さらに、デコーディング時の手法であるため、視覚的証拠が不十分な場合、事前トレーニングデータに由来する事実誤認を修正することはできず、外部知識の検索も組み込んでいないが、検索拡張生成（RAG）パイプラインとの互換性は維持されている。評価は現在、7〜32B パラメータ範囲のオープンソースモデルに限定されている。