💬 NLP

Consistent but Miscalibrated: Evaluating LLM Limitations for Risk Communication in Natural Language

本研究评估了九种大型语言模型作为概率风险传播事后解释器的表现，并发现尽管它们总体上具有一致性，但在校准方面仍存在显著偏差——尤其是在不确定性方面——这表明它们尚不足以成为将数值预测转化为自然语言的可靠零样本工具。

原作者： Diego Cerda-Mardini, Sarath Chandar, Sreenath Madathil

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Diego Cerda-Mardini, Sarath Chandar, Sreenath Madathil

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个可以预言未来的水晶球，但它不会直接给你清晰的“是”或“否”，而是向你低语着数字，比如“73% 的概率”或“预测非常不稳定”。现在，想象你要求一个超级聪明的机器人（大语言模型，简称 LLM）将这些数字翻译成普通人能听懂的白话。你希望当数字很高时，机器人说“很有可能下雨”；而当数字很不稳定时，它说“非常不确定”。

这个核心问题是：这些机器人真的能在不出错的情况下胜任这项工作吗？

研究人员设置了一场大规模的“翻译”游戏来寻找答案。他们不仅仅是让机器人进行猜测，而是向它们输入了来自“水晶球”的模拟预测（在数学上使用被称为 Beta 分布的模型），这些预测具有特定的、已知的可能性水平和不确定性。然后，他们要求九种不同的 AI 模型从一个严格的菜单选项中（例如“极有可能”或“高度不确定”）挑选出最完美的短语来描述这种情况。他们反复进行这项测试，通过改变“温度”（即机器人被允许进行创作或随机发挥的程度），并在六个不同的现实场景中（从预测洪水到猜测赌徒是否会赢）进行测试。

以下是来自实验室的结论：这些机器人表现得很一致，但在校准方面表现糟糕。

把它想象成一位天气预报员：他非常可靠，每次你问他时，他都会给出完全相同的话，但他对于这些话背后的实际含义却完全理解错了。

一致性（“可靠的机器人”）： 如果你问同一个机器人同一个问题十次，它几乎总是会给出完全相同的答案。它就像一只从不忘记剧本的鹦鹉。大多数模型在此项得分很高，其中一个顶尖模型（GPT-5.4）甚至得到了 1.0 的满分。它从未动摇。
校准度（“诚实的说话者”）： 这是机器人栽跟头的地方。校准意味着让文字与实际的数学逻辑相匹配。如果数学显示“95% 的概率”，机器人应该说“几乎确定”；如果数学显示“10% 的概率”，它应该说“极不可能”。研究发现，大多数机器人都是失校准的。无论数学数据是在高喊“几乎不可能”还是“板上钉钉”，它们往往都会选择中间地带的词汇（比如“有些确定”）。它们就像一个无论掷出什么点数都只会说“也许吧”的人。

论文明确排除了以下可能性：
你可能会想：“也许机器人只是不会做数学！也许如果我们直接给它们最终的数字，而不是原始数据，它们就能做对了。”研究人员测试了这种想法。他们直接在提示词中提供了预先计算好的“众数”（最可能的数字）和“样本量”（数学上的确定程度）。结果如何？ 并没有帮助。机器人仍然无法将数字映射到正确的词汇上。这表明问题不在于它们不会做数学，而是在于翻译步骤本身。它们只是没有一套能够将数字与词汇联系起来的稳固内部字典。

“温度”的权衡：
研究人员还调整了控制机器人选择随机性的“温度”设置。

低温度： 机器人变得很乏味。它每次都会选择一个安全的词。一致性很高，但它会陷入思维定式，无法很好地匹配数字。
高温度： 机器人变得有点狂野。它开始挑选不同的词，这实际上有助于它更好地匹配数字（提高了校准度），但它也会变成一个靠谱度下降的机器人，会对同一个问题给出不同的答案（破坏了一致性）。

唯一的明星选手：
有一个例外：GPT-5.4。这个模型在描述可能性方面表现得像头猛兽。它得到了接近完美的 0.96 校准分和 1.0 的完美一致性得分。它似乎学习到了一套完美且僵化的规则手册：“如果数字是 X，我就说 Y。”然而，即使是这个超级机器人，在处理不确定性时也失败了。它在不确定性任务上的得分仅为 0.37，和其他模型一样，倾向于使用模糊的中立短语。事实证明，即使是最聪明的机器人，也不知道如何用一种符合数学逻辑的方式来说出“我真的不太确定”。

底线结论：
论文得出结论：目前这些 AI 模型尚未准备好作为向公众解释风险的独立工具。它们就像是一个非常连贯的翻译官，但所使用的语言中，词汇与实际意义并不匹配。如果你让它们解释医疗风险或洪水预警，它们可能会给出一个听起来很自信、但实际上具有误导性的答案。

作者们指出，虽然这些模型擅长生成流畅、易读的句子，但我们不能直接把它们接入风险计算器并期望它们是准确的。这个“瓶颈”不在于数学，而在于机器人无法真正理解如何将一个数字转化为一个值得信赖的词汇。在解决这个问题之前，我们需要非常谨慎地对待让 AI 解释关乎生死的概率情况。

技术摘要：一致但失准：评估大语言模型在自然语言风险沟通中的局限性

1. 问题陈述

大语言模型（LLMs）正越来越多地被部署为高风险领域（如医疗、金融和法律）中 AI 生成输出的后验解释器。虽然存在校准后的不确定性评分来指示何时应信任模型的预测，但由于形式化的统计定义与直觉理解的概率之间存在分歧，最终用户往往难以理解这些数值。

本文解决的核心问题是：LLM 是否能够可靠地将概率信息（特别是似然性和预测不确定性）转化为自然语言解释（NLEs）。要使这一角色可行，模型必须满足两个标准：

一致性（Consistency）： 对于相同的输入，在重复查询时产生相同的言语描述符。
校准度（Calibration）： 选择能够准确反映底层数值量级的描述符（例如，将“极有可能”分配给高概率事件，将“不太可能”分配给低概率事件）。

现有文献表明，LLM 可能会优先考虑帮助性和果断性，而非表达不确定性，从而导致在概率言语化方面存在系统性局限。然而，目前缺乏一个同时衡量多种架构、领域上下文和生成设置下的校准度和一致性的受控评估。

2. 方法论

实验设计

本研究将风险沟通形式化为描述符选择任务。实验流程包括：

上游模拟： 通过从参数化为众数（ $m$ ，代表似然性）和先验样本量（ $k$ ，代表不确定性）的 Beta 分布中采样来模拟预测。使用 100 种组合（ $m \in [0.05, 0.95]$ , $k \in [50, 950]$ ）的网格来生成似然性和不确定性的系统性变化。
任务构建： 提示 LLM 从一组固定的、有序的 NLEs（例如，“几乎确定”到“极不可能”）中，为这些模拟场景选择最佳的言语描述符。
变量：
- 模型： 评估了九种 LLM，涵盖从小型开源模型（4B–8B 参数）到大型商业和开源模型（高达 32B 和 GPT-5.4）。
- 领域上下文： 使用了六个上下文来测试鲁棒性，通过改变风险水平（高、中、低）和事件范围（个体 vs. 群体）进行变化：洪水预测、癌症预测、药物过敏反应、赌博、餐厅推荐和极光远足。
- 温度（Temperature）： 实验在十个温度设置（0.0 到 0.9）下重复进行。
- 重复次数： 每个实验重复十次以测量一致性。
消融研究：
- 预计算统计数据： 通过在提示词中直接提供众数（ $m$ ）和样本量（ $k$ ）进行消融，以确定瓶颈在于统计推理还是言语化。
- 指标鲁棒性： 六个额外的消融研究测试了指标敏感性，包括针对专家引导范围的外部验证、惩罚参数变化以及替代不确定性度量（方差、熵）。

评估指标

一致性得分（Consistency Score）： 测量对于相同输入，在十次重复中选择相同描述符的频率（范围 [0, 1]）。
校准度得分（Calibration Score）： 改编自 Jonckheere-Terpstra (JT) 趋势检验。它评估模型选择的描述符是否尊重底层分布的数值顺序。如果模型将“更强”的描述符分配给比其他地方“较弱”的描述符更低的数值，则视为违规。对于未能充分利用可用描述符词汇表的模型，该得分会受到惩罚。
任务正确性（pass@k）： 测量模型在 $k=5$ 次尝试中产生正确格式化输出的概率，以确保格式错误不会人为地抬高校准度或一致性得分。

3. 关键结果

一致性 vs. 校准度

总体发现： 研究发现 LLM 普遍具有一致性但存在失准现象。
一致性： 大多数架构在似然性任务中实现了较高的一致性得分。GPT-5.4 在似然性和不确定性方面均达到了 1.0 的完美平均一致性得分。然而，随着温度的升高，一致性显著下降。
校准度：
- 似然性： 大多数模型是失准的。GPT-5.4 是例外，实现了 0.96 的平均似然性校准度。其他模型的范围在 0.07 到 0.78 之间。
- 不确定性： 所有模型在不确定性任务上的校准度都明显较弱。没有任何架构在不确定性任务中达到 0.40 以上的分数（GPT-5.4 得分为 0.37，其他模型低至 0.07）。

变量的影响

温度： 增加温度创造了一种权衡：它略微提高了校准度（通过鼓励使用更广泛的词汇），但显著降低了一致性。
领域上下文： 上下文会影响两种指标，但没有单一领域能在所有模型中统一地改善或恶化性能。GPT-5.4 在领域上下文变化下基本不受影响。
预计算数据： 提供显式的数值摘要（众数和样本量）并未提高任何模型的校准度或一致性。这表明瓶颈在于言语化步骤（将数字映射到单词），而非统计推理。
词汇使用： 大多数模型未能选择所有可用的描述符。它们倾向于默认使用一组中等程度的描述符（例如，“有些确定”），无论潜在的数学不确定性如何，很少选择极端的描述符。

鲁棒性

消融研究证实了这些发现是鲁棒的。针对专家引导范围的外部验证显示，GPT-5.4 紧密追踪专家共识，而其他模型则表现出巨大的绝对误差。使用预计算参数并未改变基本的失准现象，这进一步强化了结论：问题不在于无法计算统计数据，而在于无法准确地将数值量转化为言语描述。

4. 贡献与意义

本文对 LLM 作为概率预测的后验解释器进行了系统性评估，并得出以下结论：

当前局限性： 当前的 LLM 尚不能构成可靠的零样本独立风险沟通工具。虽然它们具有一致性，但在校准度方面存在显著缺陷，特别是在预测不确定性方面。
言语化瓶颈： 无法准确传达风险并非源于统计推理能力的失败（因为提供地面真值参数也无济于事），而是存在于将已知数值量映射到校准后的言语描述符的过程中。
规模与架构： 强大的性能并未在所有架构中统一出现。虽然 GPT-5.4 在似然性方面展示了近乎完美的校准度，但这种能力并未转移到不确定性任务中，这表明规模本身可能不足以产生对概率概念的涌现式理解。
上下文敏感性： 模型对领域上下文表现出敏感性，可能会在高风险医疗或灾难场景中使用更谨慎的语言，这使得区分真正的失准与社会化的适度回避变得复杂。

5. 结论

作者总结道，虽然 LLM 在生成流畅且易懂的语言方面仍具前景，但它们目前缺乏在概率信息与 NLEs 之间建立足够稳定的内部映射。研究强调，仅将 LLM 与上游统计方法配对并不能解决校准缺陷，这凸显了在言语化阶段进行针对性干预的必要性。研究结果强化了这样一个观点：风险沟通是一项困难且专业的任务，目前的模型尚未准备好可靠地将概率预测转化为自然语言，以供知情决策使用。