💬 NLP

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

这项研究表明，虽然小型视觉-语言模型在现实图像退化条件下拥有关于其错误的准确内部自我认知，但它们无法将这种不确定性转化为语言表达，这使得内部标记概率成为比陈述置信度更优越的推迟决策信号，尽管在严重的低光照条件下，这两种信号都会变得不可靠。

原作者： M M Asif Ferdous

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： M M Asif Ferdous

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在一个繁忙的城市里，身边跟着一个非常聪明但个头极小的机器人向导。这个机器人有一双摄像头作为眼睛，还有一个用于说话的声音。它的任务是观察周围的事物并告诉你它们是什么。但问题在于，这个城市很“乱”。有时阳光太刺眼，有时漆黑一片，有时你的相机镜头又模糊或在晃动。在人工智能的世界里，这些“糟糕”的照片被称为退化图像（degraded images）。

当像这样的机器人被一张糟糕的照片搞糊涂时，它需要知道什么时候该说：“我不知道，请去问问人类”，而不是自信地猜错答案。这种知道自己何时不确定的能力被称为不确定性（uncertainty）。机器人有两种展示这种不确定性的方式。第一种是言语化置信度（verbalized confidence）：机器人直接大声说，“我有90%的把握！”第二种是内部置信度（internal confidence）：这是机器人大脑中一个秘密的、无声的信号，用来衡量它的想法有多么摇摆不定，即使它一言不发。大多数人认为，如果机器人说它很有信心，那它可能真的很有信心。但如果机器人只是个蹩脚的骗子呢？这就是这篇论文要探讨的核心问题。

关于“无声信号”的故事

在这项研究中，研究人员让两个小型开源机器人向导（称为 Qwen2-VL 和 SmolVLM）接受了一场严格的测试。他们没有只给它们看清晰、完美的照片。相反，他们拍了100张食物的照片，并故意用六种不同的方式破坏了它们：通过压缩质量（如JPEG文件）、运动模糊、调暗光线直到几乎全黑、增加刺眼的眩光、倾斜相机，或者缩放和拉伸图像。他们针对每种破坏类型都设置了三个不同的严重程度等级。

机器人必须在每一张被破坏的照片中猜出食物是什么。然后，研究人员检查了两件事：

机器人是说了“我有信心！”还是“我不确定”？（言语化信号）
机器人的秘密内部得分（即它有多大的概率是正确的）是多少？（内部信号）

大惊喜：那个拒绝承认错误的机器人

结果就像是在看一个魔术师，他虽然水平很差，却一直在鞠躬并高喊：“刚才那场表演完美无缺！”

言语化信号（机器人的嘴巴）：
当被问及置信度时，这些机器人表现得异常固执。无论照片多么糟糕，无论多么模糊或黑暗，它们都坚持说自己有大约 87% 到 90% 的把握。甚至当照片黑到机器人基本上只能随机猜测（正确率仅为 22%）时，它依然自信地宣称：“我有87%的把握！”这就像机器人的置信度旋钮卡在了“高”档位。事实上，对于其中一个机器人来说，要求它给出置信度数值是非常困难的，因为它大多时候只是拒绝回答，只给出食物的名字而没有任何数字。

内部信号（机器人的大脑）：
然而，当研究人员窥视机器人的大脑，查看其秘密的“Token概率”（一种衡量机器人自身数学逻辑确定性的高级方式）时，他们发现了完全不同的情况。机器人的内部信号其实非常诚实！当照片清晰时，内部得分很高；当照片模糊或黑暗时，内部得分显著下降。这个秘密信号非常擅长发现错误，它能以 92% 到 99% 的准确率分辨出答案是正确还是错误。

“低光照”陷阱

不过，故事中出现了一个可怕的时刻。当研究人员将照片变得极其黑暗（即“严重曝光不足”等级）时，两种信号都失效了。机器人的准确率崩塌了（从 99% 跌至 22%），甚至连那个诚实的内部信号也停止了工作。它无法再区分正确答案和错误答案，仿佛黑暗如此浓厚，以至于连机器人的秘密大脑也变得一片混沌。

这对你意味着什么

那么，研究人员到底学到了什么呢？

不要相信机器人的嘴。 如果你问一个小型的机器人向导它有多确定，它很可能会撒谎说它非常有信心，即便它已经完全迷失了。论文表明，这种“陈述的置信度”对于判断何时该停下来寻求人类帮助是毫无用处的。
信任机器人的大脑（大部分情况下）。 秘密的内部数学逻辑要好得多。它知道自己何时感到困惑，并可以将这一信号传递给计算机系统，从而让系统说：“好吧，我不确定，让我们找个人来检查一下。”
但要警惕黑暗。 即便是诚实的内部信号，在图像过于黑暗时也会失效。如果你在黑暗的房间或夜间使用这些机器人，你不能依赖机器人来告诉你它是否失败了。你需要一个单独的“安全检查”机制，在机器人尝试观察之前，先确保照片不会太暗。

简而言之，小型AI机器人在其代码深处知道自己错了，但它们就是不会说出来。它们就像是一个学生在考试中答错了题，却仍然举手说：“我对这个答案非常有把握！”捕捉它们的唯一方法是去看它们秘密的“草稿纸”，而不是听它们说什么。

技术摘要：小型视觉语言模型知道自己错了，但无法表达出来

问题陈述

随着视觉语言模型（VLMs）越来越多地部署在消费级硬件和边缘设备上，它们经常遇到由压缩、运动模糊、光照不足和眩光等现实世界条件导致的输入图像退化问题。在这些受限环境中，单纯的原始准确率对于安全部署是不够的；系统需要一个可靠的不确定性信号，以决定何时将任务交由人类处理，而不是提供一个可能错误的答案。

虽然生成式 VLM 提供了两种潜在的确定性估计途径——口头表达的置信度（模型用自然语言陈述置信度分数）和内部置信度（生成 Token 的平均概率）——但在现实图像退化条件下，这两种信号之间的关系在小型开源模型中尚未得到系统性的研究。先前针对闭源模型的研究无法获取内部 Token 概率，这留下了一个认知空白：即小型模型是否拥有其文本输出未能表达出的可用自知能力。

研究方法

本研究评估了两个小型开源指令微调 VLM：Qwen2-VL-2B-Instruct 和 SmolVLM-Instruct。两个模型均在单块 NVIDIA T4 GPU 上以 fp16 精度运行，并采用贪婪解码（greedy decoding）。

实验设置：

数据集： Food101 测试集的 100 项子集，格式为四选一的多选题。
退化处理： 应用了六类真实的摄影退化家族，每类包含三个严重程度等级：
1. JPEG 压缩
2. 运动模糊
3. 低光照（亮度降低 + 噪声）
4. 眩光（亮度放大）
5. 旋转
6. 重采样（降采样/升采样）
总预测数： 3,800 次预测（每个模型 1,900 次，涵盖 19 种情况，包括干净的基准情况）。

置信度信号：

口头表达的置信度： 模型被提示输出一个 $[0, 100]$ 的整数置信度分数，并归一化至 $[0, 1]$ 。
内部置信度： 计算为生成答案跨度（answer span）期间每个发射 Token 的平均概率（ $c_{int} = \frac{1}{T} \sum p_\theta(y_t | y_{<t}, x)$ ）。

指标：
用于评估不确定性效用的主要指标是 误差检测 AUROC（即随机选择的一个正确答案获得比随机选择的一个错误答案更高置信度分数的概率）。次要指标包括准确率（Accuracy）、预期校准误差（ECE）和 Brier 分数。

关键结果

1. 准确率退化

两个模型对大多数退化（压缩、模糊、眩光、旋转、重采样）表现出鲁棒性，保持了较高的准确率。然而，严重的低光照条件导致了性能的灾难性崩溃：

Qwen2-VL-2B： 准确率从 0.99（干净状态）下降到 0.22（严重低光照）。
SmolVLM： 准确率从 0.97（干净状态）下降到 0.42（严重低光照）。

2. 口头表达的置信度缺乏信息量

Qwen2-VL-2B： 无论在何种条件下，口头表达的置信度都保持接近常数（均值 0.87–0.90），与准确率无关。即使在准确率跌至 0.22 时，模型仍声称置信度为 0.87。因此，口头表达的置信度在误差检测方面的表现接近随机水平（AUROC $\approx$ 0.50）。
SmolVLM： 口头表达的置信度在很大程度上无法获得。在五次试点尝试中，仅有一种提示模板能产生可解析的置信度值；模型通常会忽略要求陈述置信度的指令，直接返回答案。

3. 内部置信度能够检测误差

与口头输出形成鲜明对比的是，内部 Token 概率为误差检测提供了强有力的信号：

Qwen2-VL-2B： 在干净和中度退化的条件下，内部 AUROC 在 0.92 到 0.99 之间，显著优于口头表达的置信度。
SmolVLM： 在大多数条件下，内部 AUROC 高于随机水平（0.54–0.92），但其信号比 Qwen2-VL 更嘈杂且更弱。

4. 在严重低光照下的失效

两种置信度信号在最需要它们的时候都失效了。在严重欠曝（准确率崩溃）的情况下，内部 AUROC 跌至随机水平（Qwen2-VL 为 0.62，SmolVLM 为 0.54）。虽然内部置信度对准确率下降的响应比口头表达的置信度稍好，但没有任何一种信号能可靠地检测这种灾难性的失败模式。

5. 校准指标 vs. 诊断效用

在大多数条件下，两种信号的预期校准误差（ECE）都很低，这造成了可靠性的误导性印象。研究表明，ECE 在此背景下作为诊断工具的效果较差，因为如果一个模型普遍准确，那么一个接近常数的置信度信号可能会显得校准良好，即便该信号对特定误差并不携带任何信息。研究认为，误差检测 AUROC 是评估推迟决策（deferral）效用的更优指标。

意义与主张

论文得出结论：小型 VLM 编码了可用的自知能力，但其口头表达的输出并未体现这一点。

对于部署： 从业者不应依赖小型开源模型的口头表达置信度来进行推迟决策，因为该信号要么处于随机水平，要么无法获得。相反，应当使用内部 Token 概率作为推迟信号，因为它计算成本低，无需重新训练，并且在轻度到中度退化下能提供可用的误差检测。
安全限制： 在严重低光照条件下，不应信任任何信号，因为两者都无法追踪准确率的崩溃。面临此类情况的部署需要依靠显式的上游图像质量检查，而非下游的置信度阈值。
方法论贡献： 本研究强调了口头表达的置信度与内部概率是两种截然不同的量，并且在退化情况下会发生剧烈分歧。研究认为，未来关于小型 VLM 口头表达置信度的研究应优先考虑误差检测 AUROC，而非校准误差指标。

作者指出，其发现仅适用于约 2B 参数规模的模型，且口头表达置信度与内部置信度之间的差距在更大规模的模型中是否依然存在仍是一个开放性问题。此外，本研究的局限性在于使用了单一数据集（Food101）以及模拟现实伪影的合成退化。