💬 NLP

UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs

该论文介绍了 UnpredictaBench，这是一个全新的基准测试和指标（KS@N），旨在评估大语言模型从真实底层分布中进行准确采样的能力，并揭示了尽管这些模型在模拟中的应用日益广泛，但它们在处理分布随机性方面仍面临显著困难。

原作者： Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位厨师来为一场派对烹饪美食。你不仅仅想要一道美味的菜肴，你还想要一个能完美体现整个菜单比例的自助餐。如果菜单规定“50% 意面，30% 沙拉，20% 汤”，你期望自助餐里的食物比例也大致符合这些比例。

UNPREDICTABENCH 是一项测试，旨在观察大语言模型（LLMs）是否能像那位厨师一样工作。研究人员想知道：这些 AI 模型能否生成真正符合其给定“配方”（统计分布）的随机结果？

以下是使用简单类比对该论文进行的解读：

1. 问题所在：“保守型”厨师

作者注意到，虽然 AI 模型擅长推理，但在处理真正的随机性方面表现得很差。

问题： 当被要求模拟一个随机事件（比如掷骰子或模拟股市崩盘）时，AI 往往会变得“无聊”或“保守”。它不会为了匹配现实世界的混沌而分散其答案，而是会坍缩成一个单一且可预测的答案。
类比： 想象一下，要求 AI 模拟 100 次抛硬币。一枚真实的硬币在大约 50 次正面和 50 次反面之间随机分布。然而，AI 可能会连续给出 50 次正面，或者每次都只说“正面”。因为它认为这才是“最合逻辑”的答案。它未能捕捉到现实世界的不可预测性。

2. 测试方法：UNPREDICTABENCH

为了解决这个问题，研究人员构建了一个巨大的测试集，名为 UNPREDICTABENCH。

设置： 他们创建了 448 个不同的挑战。有些是简单的数学问题（例如“给我一个符合正态分布的数字”），有些是代码谜题，还有些是现实世界的情景（例如“如果两辆车同时到达红绿灯会发生什么？”）。
目标： 他们要求 AI 为每个问题生成 100 个样本。
评分标准 (KS@100)： 他们使用了一种被称为 Kolmogorov-Smirnov 检验 的统计尺子（可以将其理解为“形状匹配器”）。
- 如果 AI 的 100 个答案看起来像完美的、现实世界的形状，它就会获得高分。
- 如果 AI 的答案聚集在一起或看起来像一条平坦的直线，它就会得到低分。
- 结果： 任何模型获得最高分也仅为 32% 左右。这意味着即使是最聪明的 AI，在超过三分之二的时间里也无法模仿真实的随机性。

3. 研究发现：谁失败了，以及为什么失败？

研究人员测试了许多不同的模型，从微小的开源模型到庞大的、昂贵的企业级模型。

“坍缩”现象： 大多数模型都遭受了“模式坍缩”（mode collapse）。想象一位 DJ 被要求播放摇滚、爵士和流行乐的混合曲目，但他却一直在重复播放同一首摇滚乐，因为他认为那是“最好”的歌。AI 在处理数字时也是如此；它会挑选一个“看似合理”的数字并坚持下去。
规模并不重要： 更大的模型并不一定表现更好。一些规模巨大的模型表现甚至不如微小的模型。
推理并无帮助： 研究人员尝试让 AI 在回答前“多思考一下”。这确实有一点帮助，但并没有解决核心问题。AI 仍然无法生成真正随机的分布。
指令微调让情况变得更糟： 那些经过微调以变得“乐于助人”和“安全”的模型，在随机性方面表现得反而更差。变得“乐于助人”似乎会让 AI 倾向于给出一个单一、自信的答案，而不是一个混乱、随机的答案。

4. 比喻：破碎的骰子

把 LLM 想象成一个神奇的掷骰子机器。

我们想要的： 一个公平的骰子，随着时间的推移，落在 1、2、3、4、5 和 6 上的频率相等。
AI 做的是： 它掷出了一个“3”，然后决定：“3 是一个非常合理的数字。我会再次掷出 3。” 然后又掷了一次，又一次。
后果： 如果你使用这个 AI 来模拟疾病爆发或经济危机，你的预测将会是错误的，因为 AI 并没有模拟事件中的混沌，它模拟的是它对自己单一结果的信心。

5. 结论

论文得出结论：目前的 AI 模型尚未准备好取代人类进行需要真正随机性的模拟（如经济建模或科学实验）。它们过于“确定性”（即过于可预测）。

研究人员创建这个基准测试是为了向我们展示 AI 究竟在哪里失败了。在能够教会这些模型展现出真正的不可预测性，并像真实的随机过程那样分散其答案之前，我们无法信任它们去模拟复杂的混沌系统。

简而言之： AI 是一个优秀的讲故事的人，但却是一个糟糕的赌徒。它知道游戏的规则，但它无法真正随机地进行游戏。

技术摘要：UNPREDICTABENCH

问题陈述

大语言模型（LLMs）正越来越多地被部署为人类行为和随机系统的代理，应用于经济模拟、流行病学建模以及多智能体环境等领域。尽管 LLM 展示了对概率分布进行推理和估计概率的能力，但在生成能够忠实反映底层目标分布的样本方面，仍存在关键性的差距。目前的模型往往表现出向单一合理答案或狭窄输出范围“坍缩”的倾向，无法捕捉现实世界随机过程所固有的真实不可预测性和方差。现有的提高输出多样性的工作不足以应对此类模拟任务，因为这些任务要求样本必须经过目标分布的校准，而不仅仅是产生多样化的输出。目前缺乏系统性的评估来确定 LLM 是否能够产生与地面真值（ground-truth）分布统计一致的不确定性结果。

方法论

为了填补这一空白，作者引入了 UNPREDICTABENCH，这是一个旨在评估 LLM 分布随机性的基准测试。

基准构建

该基准包含由 40 个目标概率分布（涵盖从单峰到多峰、从离散到连续的分布）衍生的 448 个测试实例。任务分为七类，旨在通过多种表示形式探测其对分布的理解：

文本显式（Text Explicit）： 明确命名分布及其参数；模型必须生成一个样本。
文本隐式（Text Implicit）： 描述一个现实场景而不命名分布；模型必须推断随机过程并进行采样。
代码显式（Code Explicit）： 模型预测直接从分布中采样（例如通过 NumPy）的 Python 程序输出。
代码隐式（Code Implicit）： 模型预测通过变换（例如伽马变量的比率）诱导目标分布的程序输出。
多模态（Multimodal）： 从两个或多个成分分布组成的混合分布中采样。
洗牌（Shuffling）： 生成列表的均匀随机排列（通过 Lehmer 编码进行评估）。
现实场景（Real-World Scenarios）： 手工策划的任务，涉及本质上具有不确定性的环境（例如竞态条件、MCMC 动力学、网络模拟）。

评估指标：KS@N

主要评估指标是 KS@N，它使用 Kolmogorov-Smirnov (KS) 统计检验来量化分布保真度。

流程： 对于给定的问题，模型生成 $N$ 个独立样本（通常 $N=100$ ）。这些样本将与从地面真值分布中抽取的 $M=10,000$ 个参考样本进行比较。
计算： 执行双样本 KS 检验以获得 p 值。如果 p 值超过严格的阈值（ $p_{threshold} = 0.0001$ ），则认为模型的样本未被拒绝为与地面真值不一致。
评分： KS@N 定义为模型样本未被拒绝的问题比例。得分越高，表示分布校准能力越好。
补充指标： 研究还报告了 去偏 Wasserstein-1 距离 (WDZ) 以捕捉尾部行为和位置偏移，以及 Jensen–Shannon 散度 (JSD) 以衡量密度层面的形状失配。

关键结果

作者评估了一系列开源权重模型和商业模型（包括 GPT-4o/5.4、Claude Sonnet、Llama 3、Qwen、Nemotron 和 DeepSeek）。

总体表现： 没有模型的 KS@100 得分超过 40%。表现最好的模型 Nemotron-3 Super 120B 达到了 32.64%，而许多前沿模型（如 GPT-5.4、Claude Sonnet 4.6）得分低于 15%。大多数模型聚集在 0% 到 20% 之间。
失效模式： 模型有两种主要的失效方式：(1) 缺乏对目标分布的内部表示，或者 (2) 理解大致形状但坍缩到狭窄的输出范围（模式坍缩）。
任务难度：
- 洗牌和代码任务最具挑战性，没有模型超过 40%，且数个强力模型甚至坍缩至 0%。
- 现实场景任务为某些模型提供了最高的个体得分（例如 Llama-3.2-1B 达到了 59.09%），这可能是由于在这些特定场景下有效的输出范围较窄。
- 多模态分布被证明对具有强确定性倾向的模型而言显著困难，常导致完全坍缩。
干预的影响：
- 推理（Reasoning）： 启用推理 Token 提高了某些模型最终输出的表现，但也揭示了其他模型存在“知之更多却言之较少”的现象，即它们的推理 Token 中包含了比最终输出更广泛的候选集。
- 指令微调（Instruction Tuning）： 指令微调仅提供了边际收益，在某些情况下，与基座模型相比，它反而降低了输出多样性。
- 温度（Temperature）： 更高的温度（例如 $T=1.2$ ）通常通过增加多样性来提高 KS@100，尽管较弱的模型有时会受到增加的尾部偏差的影响。
- 列表提示（List Prompting）： 要求模型生成样本列表（例如一次生成 10 个）对于有能力的模型提高了全局覆盖率，但对于其他模型（如 Llama-3.2-1B）则损害了性能。

重要性与主张

论文将 UNPREDICTABENCH 定位为将 LLM 作为复杂随机系统可靠替代品的必要第一步。

统计基础： 与“LLM 作为评委（LLM-as-a-judge）”的评估不同，UNPREDICTABENCH 提供了一个具有统计学意义的指标（KS@N），直接测量相对于已知地面真值的分布保真度。
与效用的相关性： 该基准与来自创意基准（NoveltyBench, CREATE）的效用指标强相关，表明分布保真度捕捉到了与创意和多样化生成相关的真实质量维度。
当前局限性： 作者强调，即使是简单的分布模拟对于目前的模型来说仍然是一个重大挑战。当前表现与理论上限（随机机器）之间的巨大差距表明，LLM 尚未准备好承担需要高度保真随机性的高风险模拟任务。
未来路线图： 该基准提供了一个模板用于未来的研究，通过增加 $N$ 提供可扩展的难度曲线，并作为一个统一的测试平台，用于研究随机性、不确定性校准以及训练目标（如 RLHF）对随机行为的影响。

论文得出结论：虽然 LLM 可以对随机性进行推理，但它们产生随机性的能力在根本上仍然存在缺陷，这需要对旨在保持输出多样性而不牺牲校准能力的模型架构和训练策略进行进一步研究。