💻 computer science

The Dice Roll Method: A StandardizedProtocol for Measuring Stochastic Bias in Large Language Model Output

本文介绍了“掷骰子法”（Dice Roll Method），这是一种具有统计学原则的协议，它通过负二项分布广义线性混合模型（GLMM）框架和基于模拟的效能分析，取代了存在缺陷的参数假设，旨在为衡量大语言模型输出中的随机偏差建立标准化的迭代次数和可靠性阈值。

原作者： Dmitrij Żatuchin

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dmitrij Żatuchin

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图弄清楚一个特定的六面骰子是否“公平”。你掷了一次，得到了 4。这枚骰子坏了吗？也许吧。你又掷了一次，得到了 2。它坏了吗？也许吧。要真正了解一枚骰子是否公平，你不能只掷几次；你必须掷很多、很多次，并观察其中的模式。

这篇论文讨论的就是做同样的事情，只不过对象不是物理骰子，而是正在测试的大语言模型（LLMs），比如那些驱动聊天机器人的模型。

以下是作者 Dmitrij Żatuchin 所发现并提出的内容的简单拆解。

1. 问题所在：“数字骰子”摇晃不定

当你两次询问 AI 完全相同的问题时，它往往会给出两个略有不同的答案。这并不是 Bug，而是一种被称为**随机性（stochasticity）**的特性。AI 就像一个数字骰子，每次都会掷出一个新的答案。

研究人员一直试图衡量这些 AI 是否存在偏见（例如，它们对男性和女性推荐的品牌是否不同？）。但他们掷“骰子”的次数太少了。有些研究人员掷了 5 次，有些掷了 40 次。他们并没有一套规则手册来告诉他们，到底需要掷多少次才能信任结果。

2. 解决方案：“掷骰子法”

作者形式化了一套标准规则手册，称为**“掷骰子法”（Dice Roll Method）**。你可以把它看作是测试 AI 公平性的标准化食谱。论文指出，你不能仅仅把 AI 的回答当作简单的数学问题（比如计算平均分）来对待。AI 的回答是混乱的、相互关联的，并且遵循着奇特的模式。

为了解决这个问题，作者构建了一个新的“统计厨房”，配备了特定的工具：

正确的刻度尺： 他们没有使用假设一切都是直线（高斯分布）的直尺，而是使用了一个灵活的卷尺（负二项广义线性混合模型，Negative Binomial GLMM），它可以处理 AI 文本那种混乱且“凹凸不平”的特性。
正确的测量工具： 他们没有使用旧式数学方法（Cohen's d）来测量两个答案之间的“距离”，而是使用了一种新的测量工具（Cliff's δ），这种工具在处理偏态数据或含有零值的数据时表现更好。
正确的模拟： 他们没有靠猜测要掷多少次骰子，而是使用计算机模拟（蒙特卡洛模拟）来演练成千上万种场景，以找到那个“最佳平衡点”。

3. 金科玉律：应该掷多少次？

这是最实用的结论，即根据你调查的严肃程度，将你应该向 AI 询问相同问题的次数分为三个等级。作者根据这些等级进行了命名：

第一级：“好奇探索者”（5–7 次掷骰）
- 目标： 仅仅为了获得一个粗略的概念或描述正在发生的情况。
- 可靠性： 低。适用于发现巨大的、明显的差异，但你可能会错过较小、细微的偏见。
第二级：“事实核查员”（10–12 次掷骰）
- 目标： 这是推荐的标准，适用于大多数研究。
- 可靠性： 高。如果你想有信心地说“是的，这个 AI 存在偏见”，你应该瞄准这个等级。它能捕捉到大多数现实世界的偏见。
第三级：“法庭律师”（15–20 次掷骰）
- 目标： 用于严谨的、高风险的研究，当你需要证明即使是极其微小、微妙的偏见时。
- 可靠性： 极高。这是当你需要绝对确定时使用的。

4. 真相的代价

论文还研究了价格标签。事实证明，获得一个“好”答案并不那么昂贵。

将 AI 的提问次数从 5 次增加到 10 次，只会增加几美元的 API 调用费用。
作者认为，这点额外的成本是值得的，因为它能防止研究人员基于偶然的结果做出错误的断言。

5. 新时代的工具

论文还引入了几种衡量“稳定性”（即 AI 的一致性）的新方法：

“公平得分”（PASOR）： 想象一下，一个品牌想知道它在不同问题下是否受到了公平对待。这个工具可以衡量一个品牌是否获得了公平的关注度，无论问题的措辞如何变化。
“意义检查”（嵌入集成，Embedding Ensemble）： 论文建议，与其仅仅检查单词是否相同，不如使用三种不同的“翻译”工具（嵌入模型）来检查意义是否相同，以确保 AI 不仅仅是在用不同的词表达同样的意思。
“漂移检测器”（Drift Detector）： AI 模型即使在版本号保持不变的情况下，也会随时间发生轻微变化。论文建议将你的数据分为“前半部分”和“后半部分”，以确保 AI 在你测试期间没有改变其“个性”。

总结

这篇论文是一本测试 AI 公平性的规则手册。它告诉研究人员：“不要猜测要向 AI 询问多少次问题。使用我们更精确的数学工具，并瞄准至少 10 次掷骰，以获得可靠的答案。”

它用灵活、真实的工具取代了陈旧、僵化的数学，这些工具理解 AI 就像是一个滚动的骰子：虽然不可预测，但只要你掷的次数足够多，它就是可以预测的。

技术摘要：用于测量大语言模型（LLM）随机偏差的“掷骰子方法”（The Dice Roll Method）

问题陈述
研究人员越来越多地依赖重复相同的提示词来衡量大语言模型（LLM）输出中的随机偏差。然而，该领域目前缺乏确定充分迭代次数、选择合适稳定性指标或建立可靠性阈值的标准化协议。现有的研究通常依赖于经验性的迭代次数（范围从 5 到 40 不等），并且其统计假设违反了自回归文本生成的本质。具体而言，传统方法通常将重复查询视为独立同分布（i.i.d.）的高斯抽样，忽略了标记生成过程中的条件依赖性、计数数据（例如品牌提及次数）的过度离散（over-dispersed）和零膨胀（zero-inflated）特性，以及模型快照中潜在的时间漂移。本文通过将“掷骰子方法”形式化为一种基于温度缩放核采样（temperature-scaled nucleus sampling）生成机制的严谨、标准化的审计协议，解决了这些差距。

方法论
本文提出了一种修订后的分析栈，用条件、非参数混合模型框架取代了参数化、正态理论假设。关键方法组成部分包括：

生成模型与方差分解： 该协议锚定在温度缩放核采样的显式模型之上。总响应方差被分解为四个组成部分：标记级采样（ $\sigma^2_{tok}$ ）、提示词措辞（ $\sigma^2_P$ ）、模型差异（ $\sigma^2_M$ ）以及模型版本/时间漂移（ $\sigma^2_{V,T}$ ）。
推断框架：
- 建模： 使用 负二项广义线性混合模型（Negative-Binomial GLMM） 取代独立的样本 t 检验。这可以处理计数数据的过度离散问题，并将迭代视为嵌套在提示词和模型中的重复测量。
- 效应量： 使用 Cliff's $\delta$ （以及秩相关系数）取代 Cohen's $d$ ，作为主要的无分布效应量，以应对偏斜和重尾分布。
- 重采样： 使用 移动块自助法（moving-block bootstrap）（以保留条件依赖性）和 参数化自助法（parametric bootstrap）（用于 GLMM 的系数不确定性）取代普通的自助法。
- 功效分析： 使用基于模拟的功率分析（利用 simr 程序）取代传统的功效表，该程序能够拟合数据的特定 GLMM 结构。
可靠性与漂移：
- 概括理论（G-theory）： 使用 G-研究（G-studies）和 D-研究（D-studies）来分解提示词、迭代和模型层面的方差，从而推导不同迭代次数下的概括系数（ $G$ ）。
- 平稳性： 通过对不连续时间窗口内的连续指标进行 Kolmogorov–Smirnov (KS) 检验，以及对离散计数进行总体稳定性指数（PSI）分析，实现显式的漂移诊断。
指标矩阵： 将稳定性指标分为四个家族（容量、集合构成、分布形状、语义一致性），并引入了 PASOR（提示词调整后的推荐份额），用于公平性调整后的可见性衡量。语义一致性通过由三个嵌入模型组成的集成进行测量，以传播方差。

关键结果
作者使用这一修订后的分析栈，对来自五项实证研究（约 190,000 个观测值，涵盖三种至五种 LLM、270 多个品牌和 6 种语言）的原始数据进行了重新分析：

迭代指导： 基于概括理论 D-研究建立了三个层级的迭代次数：
- 探索型 ( $n=5$ )： $G \approx 0.58$ 。适用于极大型效应的描述性报告。
- 确认型 ( $n=10$ )： $G \approx 0.74$ 。大多数审计的推荐默认值；支持对大型效应的推断。
- 严谨型 ( $n=15$ )： $G \approx 0.81$ 。跨越了 0.80 的群体层面决策阈值；支持对中等效应的检测。
收敛性： 块自助法分析显示出收益递减模式。在大约 $n=7$ 时达到 77.5% 的渐近精度，在 $n=8-9$ 时达到 94.4%。其轨迹符合幂律（ $n^{-0.5}$ ）而非纯粹的对数衰减。
指标正交性： 在测试的“情人节”子集上，结构化计数指标（CV、Gini、Shannon）坍缩为一个主导维度（ $|r| > 0.97$ ）。然而，本文主张采用精简的三指标核心：一个结构化指标（Gini 或 CV）、语义一致性（通过嵌入集成计算余弦相似度）以及公平性调整后的可见性（PASOR-Gini）。
效应量验证： 对性别偏差效应的重新分析显示，虽然某些效应（如 Grok， $\delta \approx 0.26$ ）是可检测的，但其他效应（如 GPT， $\delta \approx 0.18$ ）需要更高的迭代次数才能获得确认性功效。使用带有 BCa 自助区间（BCa bootstrap intervals）的 Cliff's $\delta$ 比之前的 Cohen's $d$ 计算提供了更诚实的确定性估计。
漂移与成本： 漂移诊断表明，平稳性在短收集窗口（如 2 周）内保持稳定，但在较长研究中需要监测。成本效率分析表明，将迭代次数从 5 次增加到 10 次，可以在边际成本增加极小的情况下（例如，对于 250 次查询的研究，增加约 $18.75）获得显著的功效提升。

意义与主张
本文声称提供了第一个尊重自回归生成中固有的条件依赖性和非高斯分布的、具有统计原则的 LLM 随机行为审计协议。其主要贡献在于：

形式化： 将“掷骰子方法”锚定在核采样的显式生成模型之上。
统计严谨性： 用基于 GLMM 的分析栈取代了存在缺陷的正态理论假设，从而处理过度离散和依赖性问题。
实证指导： 提供与概括系数（而非仅仅是基于预算限制）挂钩的数据驱动迭代阈值（5, 10, 15）。
可复现性： 提供了一个完整的开源 Python 实现（包括 glmmTMB、simr 和漂移诊断），以标准化未来的 LLM 审计。

作者强调，该协议并非否定先前的发现，而是完善了它们的解释，特别是关于低迭代次数（ $n=5$ ）研究的统计功效，以及报告无分布效应量和漂移诊断的必要性。该协议被定位为研究人员、审计员和监管机构的工具，以确保 AI 偏差研究在证据上的可辩护性。