💬 NLP

Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions

该论文通过大规模统计审计发现，当前大型语言模型在生成符合特定概率分布的随机数方面表现极差，无论是批量生成还是独立请求均存在严重缺陷，且随着分布复杂度和采样规模增加而加剧，导致其在多项下游应用中产生系统性偏差，表明其缺乏内置的有效随机采样机制，必须依赖外部工具来满足统计保证。

原作者： Minda Zhao, Yilun Du, Mengyu Wang

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minda Zhao, Yilun Du, Mengyu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一份**“大型语言模型（LLM）的体检报告”**，专门检查它们是否真的懂得什么是“随机”。

简单来说，作者们发现：现在的 AI 虽然很聪明，能写诗、能写代码，但它们完全不会“掷骰子”。 如果让它们直接生成随机数字，它们就像是一个喝醉了的人，根本分不清什么是真正的随机。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这篇论文的核心发现：

1. 核心问题：AI 是个“假随机”的赌徒

想象一下，你让 AI 扮演一个赌场发牌员，让它发 1000 张牌，要求每张牌出现的概率必须完全一样（比如红桃、黑桃、梅花、方块各占 25%）。

理想情况：AI 应该像一台精密的机器，发出来的牌分布非常均匀，没有任何规律。
实际情况：AI 发出来的牌有严重的**“偏好”**。它可能特别喜欢发“红桃”，或者总是把“方块”放在最后。它以为自己在随机，其实心里早就有了“小算盘”。

2. 两个实验：是“作弊”还是“真随机”？

为了搞清楚 AI 是真的懂随机，还是只是在“演戏”，作者设计了两种测试方法：

实验 A：一次发一堆（Batch Generation）
- 比喻：你让 AI 一次性写下 1000 个随机数字。
- 结果：AI 表现得**“还行”**。因为它在写第 1000 个数字时，可以回头看看前面写了什么，然后自我纠正：“哎呀，前面‘3'写多了，这次我写个‘7'吧。”
- 真相：这就像是一个**“事后诸葛亮”**。它不是真的随机，而是靠上下文在“补漏”。
实验 B：一次只发一个（Independent Requests）
- 比喻：你让 AI 发一次，然后关掉对话，再发一次，再关掉……重复 1000 次。每次它都像个失忆的人，不知道之前发过什么。
- 结果：彻底崩盘。11 个最顶尖的模型里，有 10 个连一个分布都发不对。
- 真相：一旦切断了“记忆”，AI 就暴露了它根本没有内在的随机机制。它所谓的“随机”，其实只是模仿了人类语言中“看起来像随机”的套路，而不是真的在计算概率。

3. 越复杂，越抓瞎

作者测试了 15 种不同的数学分布（从简单的均匀分布到复杂的“长尾分布”）。

比喻：
- 简单任务：让 AI 在 1 到 10 之间随便选个数。它还能蒙对个大概。
- 复杂任务：让 AI 模拟“地震发生的频率”或者“股票价格的波动”（这些分布很复杂，有长尾巴）。
- 结果：任务越复杂，AI 的“随机”就越离谱。它就像是一个只会背乘法口诀的小学生，突然被要求解微积分，直接就开始胡编乱造了。

4. 数量越多，错得越离谱（反直觉的发现）

通常我们认为，样本越多，结果越准。但 AI 恰恰相反。

比喻：如果你让 AI 写 10 个随机数，它可能还能蒙对。但如果你让它写 1000 个，它积累的“错误”就会像滚雪球一样越来越大，最后完全偏离轨道。
结论：AI 生成的样本越多，统计上的偏差就越明显，甚至到了“一眼假”的地步。

5. 现实世界的危害：不仅仅是数字游戏

如果 AI 连随机数字都发不准，那它在实际应用中会出什么乱子？作者举了两个例子：

例子 1：出题考试（选择题）
- 要求：让 AI 出 1000 道医学题，正确答案要在 A、B、C、D 四个选项里均匀分布（各 25%），防止学生猜答案。
- 结果：AI 根本做不到。比如 GPT-4o 出的题，正确答案有 46.8% 都在 B 选项，而 D 选项几乎没人选。学生如果发现了这个规律，就能不学知识直接“蒙对”答案，考试就废了。
例子 2：生成图片提示词（Text-to-Image）
- 要求：让 AI 生成 1000 个描述人物的提示词，要求男女比例、种族比例严格符合美国人口普查数据（比如黑人占 12.6%，亚裔占 6.5%）。
- 结果：AI 完全失控。有的模型生成的全是白人，有的模型生成的全是女性，有的模型生成的衣服颜色 96% 都是绿色的。
- 后果：如果你用这些 AI 生成的数据去训练其他 AI，或者用来做社会研究，得到的结论将是严重偏见的。

总结：AI 需要“外挂”

这篇论文告诉我们一个残酷的事实：目前的 AI 并没有真正学会“概率”和“随机”。 它们只是学会了用语言描述“随机”的样子，就像一个人背熟了“随机”的定义，却不会真的掷骰子。

这意味着什么？
如果你需要 AI 做涉及随机性、公平性、统计推断的工作（比如生成测试题、模拟社会实验、做科学采样），你不能直接信任 AI 的输出。你必须给 AI 配一个“外挂”——比如让它调用 Python 的 numpy.random 库来生成数字，然后 AI 只负责把数字变成文字。

一句话总结：
现在的 AI 是个“语言天才”，但也是个“数学白痴”。在需要真正随机的时候，别让它自己掷骰子，给它递个真正的骰子（外部工具）吧！

这篇论文题为《大语言模型是糟糕的骰子玩家：LLM 难以从统计分布中生成随机数》（Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions），由哈佛大学的研究团队完成。文章对当前最先进的大语言模型（LLMs）在原生概率采样（Native Probabilistic Sampling）方面的能力进行了大规模、统计驱动的审计。

以下是该论文的详细技术总结：

1. 研究背景与问题定义

随着 LLM 从单纯的对话接口转变为随机性流水线（Stochastic Pipelines）和通用智能系统的核心组件，能否忠实地从指定的概率分布中采样已成为一个功能性需求，而不仅仅是理论好奇。

核心问题：LLM 是否具备内部机制来生成符合特定统计分布（如均匀分布、高斯分布等）的随机样本？
现实痛点：在合成数据生成、教育材料（如多选题生成）和文本转图像（Text-to-Image）提示词生成等应用中，如果 LLM 无法遵循分布约束，会导致系统性偏差（如答案位置偏好、人口统计特征失衡），进而影响下游任务的公平性和有效性。
现有局限：之前的研究样本量小（N=100）、分布类型单一，且多采用“批量生成”模式，无法区分模型是真正具备独立采样能力，还是仅仅依赖上下文依赖（Context-dependency）进行的自我修正。

2. 方法论 (Methodology)

作者设计了一个大规模、双协议（Dual-Protocol）的实验框架，对 11 个前沿 LLM 在 15 种概率分布 上的表现进行了基准测试。

2.1 实验设计

模型选择：涵盖 11 种主流模型（包括 GPT-4o/5.2, Gemini-3, DeepSeek-V3.2, Llama-3.3/4, Qwen3 等）。
分布集 (Distribution Taxonomy)：将 15 种分布分为三个复杂度层级：
- Tier I (基础)：均匀分布 (Uniform)、高斯分布 (Gaussian)、伯努利分布 (Bernoulli)。
- Tier II (有界/离散)：Beta、二项式 (Binomial)、泊松 (Poisson)、指数分布 (Exponential)。
- Tier III (复杂/重尾)：柯西 (Cauchy)、学生 t 分布、卡方分布、F 分布、Gamma、Weibull、拉普拉斯、Logistic 等。
双协议设计 (Dual-Protocol)：
1. 批量生成 (Batch Generation)：单次提示词要求模型在一次响应中生成 N=1000 个样本。这测试了模型利用上下文历史进行自我修正的能力。
2. 独立请求 (Independent Requests)：进行 N=1000 次无状态的独立调用，每次只生成 1 个样本。这测试了模型内在的、无上下文干扰的采样能力。
评估指标：
- 统计有效性：连续分布使用双样本 Kolmogorov-Smirnov (KS) 检验，离散分布使用卡方拟合优度检验 ( $\chi^2$ )，显著性水平 $\alpha=0.01$ 。
- 保真度度量：Wasserstein-1 距离 (W1) 和 KL 散度，用于量化生成分布与目标分布的几何距离。
下游任务验证：
- 多选题 (MCQ) 生成：测试模型是否能将正确答案均匀分布在 A/B/C/D 四个位置。
- 属性约束提示词生成：测试模型在生成文本转图像提示词时，能否遵循性别、种族、身高等特定的人口统计分布。

3. 关键发现与结果 (Key Results)

3.1 协议不对称性 (Protocol Asymmetry)

批量生成表现尚可：在批量生成模式下，模型表现中等，中位通过率仅为 7%，领先模型（如 GPT-4o）在部分简单分布上能达到 40% 的通过率。这表明模型可以利用上下文历史进行某种程度的“自我修正”。
独立请求彻底失败：在独立请求模式下，11 个模型中有 10 个在所有分布上均未能通过统计检验（通过率为 0%）。这证明 LLM 缺乏真正的内部随机采样器，其看似随机的输出实际上依赖于上下文依赖，而非内在的概率机制。

3.2 复杂度与采样保真度的负相关

随着分布复杂度的增加（从 Tier I 到 Tier III），采样保真度单调下降。
对于重尾分布（如 Cauchy, Student's t）和多参数分布，所有模型均表现极差，W1 距离显著增大。这表明模型仅能模仿训练数据中常见的简单分布模式，无法处理复杂的数学结构。

3.3 样本量缩放悖论 (Inverse Scaling)

传统统计学认为，随着样本量 $N$ 增加，经验分布应更接近目标分布（收敛于 $O(N^{-1/2})$ ）。
LLM 的异常：研究发现，随着 $N$ 的增加（从 50 到 2000），LLM 生成的分布与目标分布的偏差（W1 距离）反而单调增加。
在批量生成中，随着序列变长，累积的漂移（Drift）超过了早期的修正（Correction），导致分布彻底偏离。在独立请求中，即使 $N$ 很小，偏差已存在，且随 $N$ 增大而暴露得更明显。

3.4 下游任务的系统性偏差

MCQ 生成：尽管提示词明确要求答案位置均匀分布，所有模型均表现出严重的位置偏好（Positional Bias）。例如，GPT-OSS-120B 将 54.6% 的正确答案放在 C 位置，而 GPT-4o 偏好 B 位置。
文本转图像提示词：在生成包含人口统计属性的提示词时，模型无法遵循指定的分布。
- 性别/种族：出现极端偏差（如某些模型生成的提示词中 97% 为女性，或完全忽略特定种族）。
- 高度：方差坍缩（Variance Collapse），所有模型生成的标准差远低于目标值（目标 $\sigma=10$ ，模型仅生成 $\sigma \approx 1-6$ ）。
- 颜色：模式坍缩（Mode Collapse），模型倾向于集中生成某几种颜色，完全忽略均匀分布指令。

4. 主要贡献 (Contributions)

首个大规模审计：提供了首个针对 11 种前沿 LLM 在 15 种分布上的大规模、统计强力的原生采样能力评估。
揭示机制缺陷：证明了当前 LLM 缺乏功能性的内部概率采样器。其表现出的随机性主要是自回归条件依赖的涌现属性，而非对概率分布的内在理解。
发现缩放规律：揭示了采样保真度随分布复杂度增加而下降，且随采样预算（样本量 $N$ ）增加而恶化的“逆缩放”现象。
下游影响实证：展示了采样失败如何直接转化为下游应用中的系统性偏差（如考试题目不公、合成数据缺乏多样性），强调了在需要统计保证的应用中必须依赖外部工具（如 Python 的 numpy.random）。

5. 意义与结论 (Significance)

理论意义：挑战了 LLM 具备“世界模拟”能力的假设。如果模型无法在不依赖外部计算器的情况下生成基本分布，说明它仅学会了随机性的语言描述，而未掌握其功能性能力。
实践建议：
- 在涉及统计严谨性、公平性或随机决策的应用中（如教育评估、合成数据生成、社会模拟），不能依赖 LLM 的原生采样能力。
- 必须采用外部工具调用（Code Interpreter / Tool Use）来生成随机数，以确保统计有效性。
- 未来的模型架构或训练范式需要解决这一根本性的“采样器缺失”问题，以实现真正的通用智能。

总结：这篇论文通过严谨的统计实验证明，目前的 LLM 在概率采样方面表现极差，尤其是缺乏独立采样能力。这一缺陷不仅限制了其在科学计算中的应用，更在生成式任务中引入了难以察觉但危害巨大的系统性偏差。