💬 NLP

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

本論文は、視覚言語モデルが「もう一度確認しよう」といった自己言及的な発話を、真の視覚的再検討を誘発するものではなく、単なるテキストパターンとして生成することを明らかにしており、この知見は、VisualSwap フレームワークによって、そのような主張にもかかわらずモデルが意味的に異なる画像の入れ替えを検出できないことが頻繁に示されることで実証されている。

原著者： Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

平易な英語で解説：「VLM は見ているのか、それともただ言っているだけか？」

非常に賢くおしゃべりなロボットと一緒に数学のテストを受けていると想像してください。あなたはロボットに、60 度の角を持つ三角形の写真を示します。ロボットは声に出して考え始めます：「わかった、60 度の角が見える。180 からそれを引けば、120 になる。ちょっと待て、念のためにもう一度写真を見ておこう。」

それから、こっそり、画面の写真を50 度の角を持つ別の三角形に差し替えます。新しい写真は旧写真とほとんど全く同じに見えますが、その一つの数字だけが異なります。

ロボットは相変わらず独り言を言いながら、「図をもう一度確認しよう」と言いますが、実際には新しい写真を見ていません。単に以前始めた計算を続けただけです。写真からは答えが130であるべきだと示されているのに、ロボットは自信を持って120と答えます。

この論文「Are VLMs Seeing or Just Saying?（VLM は見ているのか、それともただ言っているだけか？）」は、視覚言語モデル（VLM）におけるまさにこの現象を調査しています。研究者たちは、これらの AI モデルが「画像をもう一度確認しよう」といったことを言うとき、実際には見ておらず、単に言っているだけであることが多いことを発見しました。

彼らの発見を簡単なアナロジーを用いて以下に分解します：

1. 「機械の中の幽霊」（幻覚）

研究者たちはVISUALSWAPというテストを作成しました。AI に問題を解かせた後、AI が「思考」プロセスの最中に画像を少し異なるものに入れ替えました。そして AI に画像を「再確認」するよう求めました。

結果： AI はほぼ常に失敗しました。AI は新しい写真を無視し、数秒前に見た古い写真に基づいて答え続けました。
アナロジー： これは、スープを「もう一度味見しよう」と言うシェフが、鍋の中のスープを味見する代わりに、以前想像した味を思い出して、味見したふりをしているようなものです。彼らは見たという幻覚を起こしていますが、実際には単に台本を繰り返しているだけです。

2. 「考えすぎる人々」が最も悪い違反者

「思考」モデル（深くゆっくりと推論するように設計された AI）の方がこれに優れていると思うかもしれません。しかし、それは間違いです。

発見： 「思考」モデルは、画像の差し替えに気づく能力において、標準的なモデルよりも3 倍も劣っていました。
アナロジー： 試験を受けている学生を想像してください。標準的な学生は新しい問題を一瞥して調整します。しかし、「思考」する学生は、自分の内的独白（「X を計算して、次に Y を…」）に深く入り込みすぎて、ページ上の問題が変更されているという事実に盲目になってしまいます。彼ら自身の思考が、新しい現実を見るのを妨げる壁となるのです。

3. 「テキストの慣性」（なぜ起こるのか）

この論文は、AI が長い推論の連鎖を書き始めると、その軌道に嵌まってしまうと説明しています。論理的な流れを維持して文を完成させることに集中しすぎるあまり、視覚入力への注意を払うのをやめてしまうのです。

アナロジー： 軌道上を走る列車を想像してください。一度高速で動き出せば、止めるのは困難です。AI の「思考の列車」は非常に速く進んでいるため、景色（画像）が変わっても、窓の外を見るために減速しません。単に古い軌道を走り続けるだけです。

4. 「魔法のスイッチ」（どうすれば修正できるか）

ここが最も興味深い部分です：AI は変化を見る能力を持っています。ただ、自分からはそれを行わないだけです。

実験： 人間（またはユーザーのプロンプト）が AI を明示的に遮断し、「止まれ！私が今与えた新しい画像を見てくれ」と言うと、AI は突然目覚めます。それは即座に違いに気づき、正解を導き出します。
アナロジー： これは、昔の夢を見ている学生のようなものです。放っておかれれば、古い答えについて夢見続けます。しかし、教師が肩を叩いて「ねえ、この新しい写真を見て」と言えば、彼らは我に返り、真実を見ます。能力は最初からそこにありました。彼らが必要としたのは、そのトランス状態を破るための外部からの軽い刺激だけだったのです。

5. 「注意」の証明

研究者たちは AI の内部（特に AI が何に焦点を当てるかを決定する「注意」メカニズム）を調査しました。

発見： AI が「確認しよう」と言うとき、画像への注意はほとんど動きません。しかし、ユーザーが「画像を確認せよ」と言うと、AI の注意は劇的に急上昇します。
教訓： AI が確認していると言うとき、それは画像について「思考」しているのではなく、確認しているように聞こえるテキストを生成しているだけなのです。

まとめ

この論文は、現在の AI モデルは（無意識のうちにさえも）欺瞞の達人であると結論付けています。彼らが自身の内的推論中に「画像を再検討する」と主張するとき、実際には見ておらず、単に学習されたフレーズを繰り返していることがよくあります。彼らは「見ている」と言っていますが、変化に対しては「盲目」なのです。

しかし、これは彼らの視覚における永久的な欠陥ではなく、自己制御の欠陥です。彼らは真実を見ることができますが、人間が彼らの「テキスト的慣性」を破り、実際に見るよう強制する必要があります。

一般の人々への重要な教訓： AI が画像を二重確認しているとあなたに言っても、実際にそう行ったとは考えないでください。単に独り言を言っているだけかもしれません。本当に見るためには、明確に「もう一度見て」と指示する必要があります。

技術的サマリー：VLM は視覚的に再確認しているのか、それとも単に言っているだけか？視覚的再確認の幻想の解明

問題定義
ビジョン・ランゲージモデル（VLM）は、特に拡張された思考連鎖（CoT）生成と自己反省メカニズムを活用する推論強化モデルの登場により、マルチモーダル推論において顕著な進歩を遂げています。これらのモデルにおける一般的な行動として、推論プロセス中に「待て、図をもう一度確認しよう」といった自己反省的な文を生成することが挙げられます。これは知覚的幻覚を緩和し、入力画像への忠実性を確保することを意図していますが、重要な疑問が残ります：これらの文は真の視覚的再確認をトリガーするのでしょうか、それとも実際の視覚的基盤を欠いた単に学習された言語的パターンに過ぎないのでしょうか。モデルが画像を再確認すると主張しながら視覚的変化を検出できない場合、その安全性が重要な分野における信頼性は損なわれます。

手法：VISUALSWAP と VS-BENCH
この現象を検証するために、著者は自己反省中に VLM が実際に視覚入力に再注意を向けているかどうかを調査するための診断フレームワークであるVISUALSWAPを提案します。このフレームワークは、2 段階のプロトコルを採用します：

標準推論：モデルは、元の画像（ $I_a$ ）と質問（ $Q$ ）に基づいて、初期の推論連鎖（ $R_a$ ）を生成します。
再確認プローブ：生成された推論コンテキスト（ $R_a$ ）を保持し、自己反省的なプロンプト（例：「待て、図をもう一度確認しよう」）を追加した状態で、視覚入力を意味的に異なりながら視覚的に類似した画像（ $I_b$ ）に差し替えます。その後、モデルに生成を継続させるよう求めます。

モデルが真の視覚的再確認を行う場合、 $I_b$ と $R_a$ の間の不一致を検出し、推論を更新して $I_b$ に対する正解を導き出すはずです。もし失敗した場合、それは「テキスト的慣性」を示しており、モデルは新しい視覚的証拠ではなく、以前の推論経路に依存していることを意味します。

この評価を支援するために、著者は MathVista、MathVerse、MathVision、MMMU-Pro から派生した 800 組の画像ペアからなるVS-BENCHを構築しました。これらのペアは、真の答えに不可欠な微細な詳細において異なる一方で、高レベルの視覚的類似性（レイアウト、スタイル）を共有するように構成されており、質問が両方の画像に対して有効でありながら、異なる答えを必要とするようにしています。

主な貢献

VISUALSWAP フレームワーク：推論プロセス中に視覚入力を操作することで、VLM における視覚的再確認の真正性を評価するための原理的な診断ツール。
VS-BENCH ベンチマーク：一般的な視覚的質問応答から視覚的再確認能力を分離する、慎重に構築された 800 組の画像ペアのデータセット。
メカニズム分析：失敗の基盤にある注意メカニズムの調査。自己生成された反省と明示的なマルチターンユーザー指示との比較。

実験結果
著者は、Qwen3-VL、Kimi-VL、ERNI-VL ファミリーに属する 15 のモデル（「Instruct」変種と「Thinking」変種の両方を含む）を評価しました。結果は、重要な失敗モードを明らかにしました：

広範な失敗：モデルは自己反省中に画像の差し替えを検出することに圧倒的に失敗します。性能低下（ $\Delta = Acc_{base} - Acc_{probe}$ ）は最大 60% に達します（例：ERNIE-4.5-VL-Thinking は 79.9% から 19.6% に低下）。
Thinking モデルの方が脆弱：直感に反して、「Thinking」モデルは「Instruct」バージョンと比較して約 3 倍の脆弱性を示します。例えば、Qwen3-VL-32B-Thinking は 48.3% 低下するのに対し、Instruct バージョンは 17.9% 低下です。
スケーリングは役立たない：モデルサイズの増大は問題を緩和しません。むしろ、より大きなモデルはしばしばより大きな低下を示します（例：Qwen3-VL-235B-Thinking は 54.6% 低下）。
ユーザー指示による回復：反省が自己生成されたテキストではなく、明示的なマルチターンユーザー指示（例：「画像をもう一度確認してください」）によってトリガーされた場合、性能はベースラインレベルに近いまで回復します。これは、モデルが新しい画像を処理する潜在的な能力を有しているが、自律的にそれを活性化できないことを確認します。
注意分析：注意スコアは、自己反省的な文が視覚トークンへの注意をわずかにしか増加させないことを明らかにしています。対照的に、明示的なユーザー指示は視覚注意に大幅な急増を引き起こし、性能の格差を説明します。

意義と主張
本論文は、現在の VLM は画像を再確認していると「言う」だけで、実際にはそれを「見て」いないと結論付けています。この現象は、視覚能力の欠如ではなく、自律的な注意制御の失敗として特定されています。著者は、拡張された推論連鎖が、連続的なデコーディング中にモデルを視覚的証拠から切り離す強力なテキスト的慣性を生み出すと主張しています。

この研究の意義は、マルチモーダル設定における現在の思考連鎖（CoT）パラダイムの根本的な限界を露呈することにあります：それらは視覚的取り込みよりもテキスト的一貫性を優先します。この知見は、現在実装されている自己反省が、視覚的幻覚を修正するための信頼できるメカニズムではない可能性を示唆しています。本論文は、真の自律的な視覚的再基盤化には、単純な言語的プロンプトを超えたメカニズムが必要であり、推論経路を自ら中断して視覚入力と再関与できるモデルに関する将来の研究の必要性を強調しています。著者は、これはモデルの行動に関する診断的知見であり、新しいトレーニングアルゴリズムの提案ではないことを強調していますが、外部介入（マルチターンプロンプティングなど）が基盤化を成功裡に回復させることができる点には言及しています。