💬 NLP

Bigger or Cheaper? Scale and Quantization Effects on Uncertainty Signals in Vision-Language Models Under Image Degradation

本文证明了对于在固定内存预算下运行的视觉语言模型而言，选择一个较大的量化模型而非较小的全精度模型是更优的选择，因为规模显著提升了内部不确定性检测能力，而量化在保持准确性的同时，尽管会降低口头表达的置信度信号。

原作者： M M Asif Ferdous

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： M M Asif Ferdous

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人助手，它可以通过看图片来告诉你它看到了什么。但有时，图片是模糊的、昏暗的或者充满了噪点——就像你在光线昏暗的房间里拍照，或者通过信号不稳定的短信发送照片时那样。在这种混乱的情况下，机器人需要知道什么时候它是在瞎猜，什么时候它是确定的。如果它错了却表现得很自信，可能会误导你；如果它错了却承认错误，你就可以请人类来帮忙。这就是“视觉语言模型”（Vision-Language Models）的世界，在这里，计算机试图同时理解图像和文字。工程师们面临的大问题是：我们如何让这些机器人对自己的错误保持诚实？我们需要一个巨大且昂贵的“大脑”来保持诚实吗？还是说，如果我们只是微调一下设置，一个更小、更便宜的“大脑”也能做到呢？

这篇论文就像是一个实验室实验，研究人员对三个不同版本的机器人“大脑”进行了测试。研究人员想看看两件事如何改变机器人的诚实度：让大脑变大（增加更多“神经元”）以及通过压缩数字来缩小大脑的记忆容量（这个过程叫做“量化”）。目标是为内存有限的计算机（比如标准的笔记本电脑或手机）找到最佳配置。研究人员发现了一个令人惊讶的转折：让机器人变大确实让它在“意识到”自己出错方面变得更强了，但并没有让它在“说出”自己出错方面变得更好。与此同时，为了节省空间而“挤压”机器人的记忆，虽然让它的准确率略微下降，但也导致它的“诚实信号”彻底崩溃。最终结论是：如果你有固定的内存限制，买一个更大的机器人并挤压它的内存，要比买一个微小但完美的机器人更好。

设置：三个机器人，一个预算

想象一下，你有一个建造机器人的预算，而且你只能在里面装一张 16 GB 的内存卡。你有三个选择：

微小的完美主义者： 一个小型的机器人（20 亿参数），以全高清的高精度运行。
微小的挤压版： 同一个小型机器人，但它的内存经过了压缩（4-bit 量化）以节省空间。
巨大的挤压版： 一个大得多的机器人（70 亿参数），它也被压缩以适应同样的 16 GB 空间。

研究人员用完全相同的 5,700 张图片测试了这三种机器人。这些图片并不干净；它们被六种不同类型的“数字噪声”（如运动模糊、低光照、眩光和 JPEG 压缩）破坏了，每种噪声都有三个严重程度等级。机器人必须回答一个关于图像的选择题，然后告诉研究人员它对答案有多大的信心。

两种表达“我不确定”的方式

论文研究了机器人发出信心信号的两种不同方式：

“言语化”信号（The Verbalized Signal）： 机器人被要求写下一个数字，例如“信心度：85%”。这是它“说出”的内容。
“内部”信号（The Internal Signal）： 机器人没有大声说话。相反，研究人员查看了机器人大脑内部的数学逻辑——它为它输入的每个词分配的概率。如果机器人非常确定，这些数字就会很高；如果它在瞎猜，这些数字就会很低。这是它“知道”的内容。

大惊喜：知道 vs. 说出

结果非常有趣。当研究人员把机器人做大（从 2B 模型变为 7 亿 B 模型）时，机器人的内部知识变得惊人地强大。它区分正确答案和错误答案的能力（通过一个叫做 AUROC 的指标衡量）从 0.80 跳升到了 0.98。它基本上变成了一个能够精准识别自己何时感到困惑的大师。

然而，机器人的言语化信心几乎没有改善。它的得分仅从 0.61 提高到 0.69。这几乎和抛硬币的结果差不多！更大的机器人仍然和小的机器人一样，在用语言承认错误方面表现糟糕。事实上，随着机器人变得更大，它“知道”与“说出”之间的差距反而扩大了。大机器人几乎完美地知道自己错了，但当被要求说出来时，它只会自信地猜一个与现实不符的数字。

挤压的代价：节省空间，失去信任

接着是“挤压”（量化）。研究人员发现，挤压小型机器人的内存并不会严重损害其准确性，仅下降了 1.6 个点。为了节省空间，这是一个很小的代价。但它对“诚实信号”造成的代价却是巨大的。

内部信号（它所知道的）从优秀的 0.95 下降到了平庸的 0.80。
言语化信号（它所说的）变得更糟了。那个被挤压的小型机器人不再遵守指令了！它经常忘记写下“信心度”这个数字，成功率从 99% 掉到了仅 64%。

最终建议：大而挤压版胜出

所以，如果你是一名拥有 16 GB 内存限制的工程师，你应该怎么做？论文给出了明确的答案：选择“大而挤压版”机器人（7B, 4-bit）。

尽管这个大机器人是被挤压过的，但它对自己的错误仍然比那个微小的完美主义者知道得更多。它的内部信号是所有三个选项中最好的（0.98）。那个微小的完美主义者在检测自身错误方面甚至不如这个大而挤压版的机器人。此外，大而挤压版的机器人是唯一一个可以被信任去使用“安全阈值”的。如果你告诉机器人：“如果你不是 90% 确定，就不要回答”，大而挤压版的机器人即使面对糟糕的照片也能完美执行这条规则。然而，那个微小的挤压版机器人会忽略这条规则，并自信地给出错误的答案。

漏洞：当灯光熄灭时

这里有一个例外。如果照片极其黑暗（“低光照”测试），即使是大而挤压版的机器人也会开始挣扎。它的准确率会下降，内部信号也会变弱。在这种极端的、糟糕的光照条件下，任何机器人规模或内存挤压都无法拯救局面。论文建议，对于这些极端情况，需要人类在机器人观察照片之前先检查照片质量。

总结

主要的教训是，对于这些 AI 模型来说，“它们所说的”和“它们所知道的”是两回事。让模型变大会让它在面对错误时变得更聪明，但并不会让它变成一个更好的骗子或更好的言语表达者。而且，如果你必须在小型完美机器人和大型挤压机器人之间做出选择，那么大而挤压版的机器人才是更安全、更明智的选择——只是别在光线太暗看不清的时候让它相信它自己。

技术摘要：更大还是更便宜？图像退化环境下视觉语言模型规模与量化对不确定性信号的影响

问题陈述

视觉语言模型（VLMs）正越来越多地部署在消费级硬件（如边缘设备、消费级 GPU）上，这些设备的内存预算是固定的，且输入图像往往存在退化现象（压缩、模糊、曝光不足）。在这种环境下，可靠的不确定性信号对于“选择性预测”（即系统在可能出错时主动请求人工介入的能力）至关重要。

从业者面临着在固定内存预算（例如 16 GB）下的权衡：

小规模，全精度： 高精度，低参数量。
小规模，量化： 低精度，低参数量（最快/最便宜）。
大规模，量化： 低精度，高参数量（同样适配该预算）。

目前尚不清楚在选择模型规模与数值精度之间，如何影响生成式 VLM 的两种主要不确定性路径：

口头置信度（Verbalized Confidence）： 模型显式地陈述一个置信度分数（例如，“置信度：85”）。
内部置信度（Internal Confidence）： 生成答案的平均 Token 概率。

本文研究了增加模型规模是否能改善这些信号，以及 4-bit 量化是否会降低这些信号，并探讨哪种配置能提供最佳的部署权衡。

研究方法

本研究采用受控的三臂实验，使用 Qwen2-VL 系列模型，并在包含 100 张 Food101 图像的四选一多项选择题数据集上进行测试。

实验分支

分支 A： Qwen2-VL-2B-Instruct (fp16) — 小规模，全精度。
分支 B： Qwen2-VL-2B-Instruct (NF4 4-bit) — 小规模，量化。
分支 C： Qwen2-VL-7B-Instruct (NF4 4-bit) — 大规模，量化。

该设计隔离了两个正交效应：

规模效应（B vs. C）： 保持精度不变（4-bit），改变参数量。
量化效应（A vs. B）： 保持参数量不变（2B），改变精度。

数据与退化类型

模型在 5,700 次预测中进行了测试，涵盖了 六种现实中的摄影退化情况，每种情况设有三个严重程度等级：

JPEG 压缩
运动模糊
低光照
眩光
旋转
重采样（降采样/升采样）

指标

主要指标： 误差检测 AUROC（受试者工作特征曲线下面积）。这衡量了正确答案被分配更高置信度分数的概率。选择此指标而非校准误差（Calibration Error），是因为它直接衡量了信号对于“推迟决策”（Deferral）的效用。
次要指标： 准确率（Accuracy）、预期校准误差（ECE）、Brier 分数以及风险-覆盖率曲线（Risk-Coverage curves, AURC）。
解析率（Parsing Rate）： 模型成功遵循所要求的两行格式（答案 + 置信度）的百分比。

核心贡献

受控规模测量： 测量了模型规模（2B vs. 7B）如何影响图像退化下的口头置信度和内部置信度，揭示了规模对提升内部自我认知能力的贡献显著大于提升口头报告能力。
隔离量化效应： 在保持模型大小不变的情况下，测量了 4-bit 量化对不确定性信号的影响，证明了量化会严重削弱置信度信号，但能保持准确率。
部署建议： 针对固定预算部署，通过选择性预测操作点（风险-覆盖率曲线和阈值迁移行为）给出了具体的建议。
方法论论证： 证明了对于具有近乎零方差的置信度信号，误差检测 AUROC 是比校准误差更优越的诊断指标，因为一个信号可能看起来校准良好（低 ECE），但在区分正确与错误答案方面却毫无用处。

结果

1. 准确率 vs. 置信度信号

准确率在所有分支中均保持在高水平且具有可比性（0.88–0.94）。然而，置信度信号的质量差异巨大：

规模效应： 将规模从 2B 增加到 7B（两者均为 4-bit）使内部误差检测 AUROC 从 0.80 提升至 0.98。相比之下，口头置信度 AUROC 仅从 0.61 提升至 0.69，在许多条件下（包括低光照）仍接近随机水平。
差距扩大： 模型“知道什么”（内部信号）与模型“说出什么”（口头信号）之间的差异随规模增大而扩大。在 7B 模型下，内部信号接近完美（0.98），而口头信号依然微弱（0.69）。

2. 量化影响

在 2B 模型上从 fp16 切换到 4-bit：

准确率： 仅轻微下降（0.904 $\rightarrow$ 0.888）。
内部信号： 显著下降（AUROC 0.95 $\rightarrow$ 0.80）。
口头信号： 解析率从 99% 崩塌至 64%。量化后的模型经常无法遵循格式指令，仅返回标签而没有返回置信度分数。

3. 部署建议

在固定的 16 GB 内存预算下，7B-4bit 配置优于 2B-fp16 和 2B-4bit 配置。

它实现了最高的准确率（0.935）。
它实现了最高的内部不确定性信号（AUROC 0.98），优于 2B 全精度模型（AUROC 0.95）。
阈值迁移： 在清晰图像上校准的推迟阈值可以安全地迁移到退化条件下的 7B 模型（保持约 100% 的选择性准确率），而 2B-4bit 模型在退化情况下会默默地产生错误。

4. 校准误差 vs. AUROC

所有分支的预期校准误差（ECE）都很低（0.01–0.07），表明模型是“校准良好”的。然而，这一指标未能区分信号的效用。例如，2B-fp16 的口头置信度 ECE 为 0.011，但 AUROC 仅为 0.56（随机水平）。本文认为 ECE 对于这类信号具有误导性，因为在一个高准确率任务中，一个恒定的高置信度分数虽然校准良好，但对于排序错误而言是毫无用处的。

意义与主张

本文的主张是，对于部署在边缘硬件上的 VLM：

规模是实现不确定性的主要杠杆： 增加模型规模极大地锐化了内部概率分布（即模型区分正确与错误答案的能力），但并不会让模型在口头置信度方面变得更诚实或更具判别力。
量化对准确率是“廉价”的，但对信号是“昂贵”的： 虽然 4-bit 量化保留了原始准确率，但它显著降低了模型表达不确定性的能力（无论是内部还是口头）。
实际建议： 从业者应优先考虑参数量而非精度。一个更大的量化模型（如 7B-4bit）比较小的全精度模型能提供更好的准确率和更可靠的不确定性信号。
信号选择： 应使用内部 Token 概率来进行推迟决策，而非口头置信度。在这些模型中，口头置信度似乎是一种学习到的表面行为，虽然随规模增大而变得更流利，但不一定变得更真实。
局限性： 在极端的低光照条件下（严重程度 3），没有任何配置是可靠的，此时准确率崩溃且内部信号减弱。在这种情况下，需要依靠上游的图像质量检查，而不是依赖下游的置信度阈值。

研究结论指出，模型的内部自我认知与其口头自我报告之间的差距随规模增大而扩大，而误差检测 AUROC 是揭示这种分歧的必要指标。