💬 NLP

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

本研究は、小型の視覚言語モデルは、現実的な画像劣化条件下において自身の誤りに関する正確な内部的自己知識を有しているものの、この不確実性を言語化することには失敗しており、内部のトークン確率が表明された確信度よりも委譲のための優れた信号となる一方で、両方の信号とも深刻な低照度条件下では信頼できなくなることを明らかにしている。

原著者： M M Asif Ferdous

公開日 2026-07-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： M M Asif Ferdous

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、とても賢いけれど小さなロボットガイドと一緒に、賑やかな街を歩いているところだと想像してみてください。このロボットは、カメラを「目」として、声を「口」として持っています。その仕事は、あなたの周りにあるものを観察して、それが何であるかを伝えることです。しかし、一つ問題があります。街の中はとても「散らかって」いるのです。太陽が眩しすぎたり、真っ暗だったり、あるいはカメラのレンズが汚れていたり、揺れていたりすることもあります。人工知能の世界では、このような「質の悪い」画像のことを**劣化画像（degraded images）**と呼びます。

ロボットが質の悪い画像に混乱したとき、ロボットには、適当に推測して間違った答えを自信満々に答えるのではなく、「分かりません、人間に聞いてください」と言う能力が必要です。自分が確信を持てていないことを知るこの能力を、**不確実性（uncertainty）**と呼びます。ロボットが不確実さを示す方法は2つあります。1つ目は、**言語化された自信（verbalized confidence）**です。これは、ロボットが単に「私は90%の自信があります！」と声に出して言うことです。2つ目は、**内部的な自信（internal confidence）**です。これは、たとえ言葉を発していなくても、ロボットの脳内で自分の思考がどれほど揺らいでいるかを測定する、秘密の静かな信号です。ほとんどの人は、ロボットが自信があると述べれば、おそらく本当に自信があるのだろうと考えます。しかし、もしそのロボットがただの「下手な嘘つき」だとしたらどうでしょう？それこそが、この論文が投げかけている大きな問いです。

沈黙の信号の物語

この研究の中で、研究者たちは2つの小さなオープンソースのロボットガイド（Qwen2-VLとSmolVLMと呼ばれます）に対して、厳格なテストを行いました。彼らはただ綺麗で完璧な写真を見せたのではありません。代わりに、100枚の食べ物の写真を用意し、意図的に6つの方法でそれらを台無しにしました。JPEGファイルのように画質を劣化させたり、ブレを加えたり、暗くしてほとんど真っ暗にしたり、眩しい光（グレア）を加えたり、カメラを傾けたり、あるいは画像を縮小・引き伸ばしたりしました。彼らは、それぞれの劣化タイプに対して3段階の深刻度で行いました。

ロボットは、あらゆる劣化した写真の中で、その食べ物が何であるかを推測しなければなりませんでした。その後、研究者は2つのことを確認しました。

ロボットは「自信があります！」と言ったか、それとも「分かりません」と言ったか？（言語化された信号）
ロボットの脳内にある、正解である可能性を示す秘密のスコアはどの程度だったか？（内部信号）

大いなる驚き：間違いを認めようとしないロボット

結果は、まるで「仕事が下手なのに、何度も何度もお辞儀をして『完璧でした！』と言い続ける手品師」を見ているかのようでした。

言語化された信号（ロボットの口）：
自信を表明するよう求められたとき、ロボットたちは非常に頑固でした。写真がどれほどひどくても、どれほどブレていても、どれほど暗くなっても、彼らは一貫して87%から90%の自信があると言い続けました。たとえ写真があまりに暗くて、ロボットがほぼランダムに推測している状態（正解率がわずか22%）であっても、それでも自信満々に「87%の自信があります！」と言ったのです。まるで、ロボットの自信のダイヤルが「高」のまま壊れて動かなくなっているかのようでした。実際、あるロボットについては、自信の数値を答えさせることが非常に困難で、数字を一切出さずに食べ物の名前だけを答えることがほとんどでした。

内部信号（ロボットの脳）：
しかし、研究者がロボットの脳内を覗き込み、その秘密の「トークン確率（token probabilities）」（ロボット自身の数学的確信度を測る高度な方法）を確認したところ、全く異なる結果が出ました。ロボットの内部信号は、実は非常に正直だったのです！写真がクリアであれば内部スコアは高く、写真がブレたり暗かったりすると、内部スコアは大幅に低下しました。この秘密の信号は、間違いを見抜く能力が非常に高く、正解と不正解を**92%から99%**の精度で見分けることができました。

「低照度」の罠

しかし、この物語には一つ恐ろしい瞬間がありました。研究者が写真を極端に暗くしたとき（「深刻な低照度」レベル）、両方の信号が失敗しました。ロボットの正確性は崩壊し（**99%から22%**へと低下）、正直な内部信号さえも機能しなくなったのです。内部信号は、正解の推測と不正解の推測の区別をつけることができなくなりました。まるで、暗闇があまりに濃すぎて、ロボットの秘密の脳までもが霧に包まれてしまったかのようでした。

これがあなたにとって意味すること

では、研究者は何を学んだのでしょうか？

ロボットの口を信じてはいけない。 小さなロボットガイドにどれくらい自信があるか尋ねても、ロボットはたいてい嘘をつき、完全に迷っている時でも非常に自信があると言います。この論文は、この「表明された自信」は、いつ立ち止まって人間に助けを求めるべきかを知るための指標としては役に立たないことを示しています。
ロボットの脳を信じる（大部分において）。 秘密の内部的な数学的計算の方がはるかに優れています。それは、ロボットが混乱していることを察知し、それをコンピュータシステムに伝えることができます。これにより、システムは「よし、分からないので、人間に確認してもらおう」と判断できるようになります。
ただし、暗闇には注意。 正直な内部信号であっても、画像が暗すぎると機能しなくなります。もしこれらのロボットを暗い部屋や夜間に使用する場合、画像が暗すぎないかを確認するための「安全チェック」を、ロボットが画像を見ようとする前に別途用意する必要があります。

要約すると、小さなAIロボットは、コードの奥深くでは自分が間違っていることを知っていますが、それを口に出して言うことはありません。彼らは、テストの答えを間違えたのに、手を挙げて「私は絶対に自信があります！」と言う学生のようなものです。彼らを見破る唯一の方法は、彼らが何を言っているかを聞くことではなく、彼らの「秘密の計算用紙」を覗き見ることなのです。

技術要約：小型ビジョン言語モデルは、自身の誤りを認識しているが、それを言葉にすることはできない

問題提起

ビジョン言語モデル（VLM）がコンシューマー向けハードウェアやエッジデバイスへの導入が進むにつれ、圧縮、モーションブラー、低照度、グレア（眩しさ）といった現実世界の条件下で劣化した入力画像に直面することが頻繁に発生している。これらの制約された環境下では、生の精度（accuracy）だけでは安全なデプロイには不十分であり、システムには、誤った回答を提供する代わりに人間に判断を委ねるべきかどうかを判断するための信頼できる不確実性シグナルが必要となる。

生成型VLMは、不確実性の推定に対して、言語化された確信度（モデルが自然言語で確信度スコアを述べること）と、内部的な確信度（生成されたトークンの平均確率）という2つの潜在的な経路を提供しているが、現実的な画像の劣化条件下において、これらのシグナルの関係性が小型のオープンウェイトモデルにおいてどのようになっているかは、体系的に調査されていない。プロプライエタリなモデルに関する先行研究では、内部のトークン確率にアクセスできなかったため、小型モデルが「言葉として出力されない形での、利用可能な自己知識」を保持しているかどうかを理解する上で空白が生じていた。

手法

本研究では、2つの小型オープンウェイト指示チューニング済みVLM、Qwen2-VL-2B-InstructおよびSmolVLM-Instructを評価する。両モデルは、単一のNVIDIA T4 GPU上でfp16形式、かつグリーディ・デコーディングを用いて実行された。

実験設定:

データセット: Food101テストセットの100項目のサブセット。4択の多肢選択形式として構成。
劣化処理: 以下の6種類の現実的な写真学的劣化ファミリーを、それぞれ3段階の深刻度で適用した：
1. JPEG圧縮
2. モーションブラー
3. 低照度（輝度低下＋ノイズ）
4. グレア（輝度増幅）
5. 回転
6. リサンプリング（ダウンスケール／アップスケール）
総予測数: 3,800件の予測（19の条件［クリーンなベースラインを含む］に対し、モデルごとに1,900件ずつ）。

確信度シグナル:

言語化された確信度: モデルに対し、整数値の確信度スコア $[0, 100]$ を出力するようプロンプトし、 $[0, 1]$ に正規化したもの。
内部的な確信度: 回答スパンの生成中に放出された各トークンに割り当てられた平均確率として算出（ $c_{int} = \frac{1}{T} \sum p_\theta(y_t | y_{<t}, x)$ ）。

指標:
不確実性の有用性を評価するための主要指標は、エラー検出AUROC（ランダムに選ばれた正解が、ランダムに選ばれた不正解よりも高い確信度スコアを受け取る確率）とした。二次的な指標には、精度（Accuracy）、期待較正誤差（ECE）、およびブライア・スコア（Brier score）を含めた。

主な結果

1. 精度の低下

両モデルとも、ほとんどの劣化（圧縮、ブラー、グレア、回転、リサンプリング）に対して堅牢性を示し、高い精度を維持した。しかし、深刻な低照度条件下では性能が壊滅的に崩壊した：

Qwen2-VL-2B: 精度は0.99（クリーン）から0.22（深刻な低照度）へと低下した。
SmolVLM: 精度は0.97（クリーン）から0.42（深刻な低照度）へと低下した。

2. 言語化された確信度は情報を持たない

Qwen2-VL-2B: 言語化された確信度は、精度に関わらず、あらゆる条件下でほぼ一定（平均0.87〜0.90）であった。精度が0.22まで崩壊した際でも、モデルは0.87の確信度を表明した。その結果、言語化された確信度はエラー検出においてチャンスレベル（AUROC $\approx$ 0.50）付近の性能となった。
SmolVLM: 言語化された確信度は、ほとんど得られなかった。3つのプロンプト・テンプレートを用いた試行において、パース可能な確信度を出力したのは5回のパイロット試行のうちわずか1回であり、モデルは確信度を述べる指示に関わらず、通常は回答のみを返した。

3. 内部的な確信度はエラーを検出する

これとは対照的に、内部的なトークン確率は、エラー検出のための強力なシグナルを提供した：

Qwen2-VL-2B: 内部AUROCは、クリーンおよび中程度の劣化条件下において0.92から0.99の範囲にあり、言語化された確信度を大幅に上回った。
SmolVLM: 内部AUROCはほとんどの条件下でチャンスレベルを上回った（0.54〜0.92）が、信号はQwen2-VLよりもノイズが多く弱かった。

4. 深刻な低照度下での失敗

両方の確信度シグナルは、まさに必要とされる場面で失敗した。深刻な露出不足（精度が崩壊した状況）において、内部AUROCはチャンスレベルまで低下した（Qwen2-VLで0.62、SmolVLMで0.54）。内部的な確信度は言語化された確信度よりも精度の低下に対してわずかに反応的であったものの、どちらのシグナルも、壊滅的な失敗モードを信頼性高く検出することはできなかった。

5. 較正指標 vs 診断的有用性

ほとんどの条件下で、期待較正誤差（ECE）は両方のシグナルにおいて低く、信頼できるという誤解を与える結果となった。本研究は、ECEがこの文脈において診断的ではないことを示している。なぜなら、モデルが概して正確であれば、ほぼ一定の確信度シグナルは、特定の誤りに関する情報を全く持っていなくても、良好に較正されているように見えることがあるからである。エラー検出AUROCが、委譲の有用性を評価するための優れた指標であると特定された。

意義と主張

本論文は、小型のVLMは、自身の言語化された出力には表現されない「利用可能な自己知識」をエンコードしていると結論付けている。

デプロイに向けて: 実務者は、小型のオープンウェイトVLMにおける委譲の判断材料として、表明された確信度に依存すべきではない。それはチャンスレベルであるか、あるいは取得不能である。代わりに、内部トークン確率を使用すべきである。これは計算コストがかからず、再学習を必要とせず、軽度から中程度の劣化条件下で利用可能なエラー検出を提供する。
安全性の限界: いずれのシグナルも、深刻な低照度条件下では信頼すべきではない。なぜなら、両者とも精度の崩壊を追跡できないからである。このような条件下でのデプロイには、ダウンストリームの確信度閾値ではなく、明示的なアップストリームの画像品質チェックが必要となる。
方法論的貢献: 本研究は、言語化された確信度と内部確率が異なる量であり、劣化の下で鋭く乖離することを強調している。小型VLMにおける言語化された確信度に関する今後の研究は、較正誤差よりもエラー検出AUROCを優先すべきであると主張している。

著者らは、これらの知見がパラメータ数約2Bのクラスに特有のものであること、および、より大規模なモデルにおける言語化された確信度と内部確率の乖離については未解決の課題であることを述べている。また、本研究は単一のデータセット（Food101）と、現実世界のアーティファクトを近似した合成的な劣化に限定されている。