🤖 AI

Estimating Uncertainty in Classifier Performance with Applications to Large Language Models and Nested Data

本文评估了在社会科学文本分类典型条件下（如小样本量和嵌套数据）的分类器性能指标置信区间方法，证明了标准方法往往会产生不准确的覆盖率，并推荐了如 Agresti-Coull、Wilson 和层级自助法等更优的替代方案，以提高机器学习应用中的透明度和验证性。

原作者： Kylie Anglin

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kylie Anglin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位刚刚发明了一款“完美巧克力蛋糕”新食谱的大厨。你想向世界宣告它有多好。你不能只说：“它有90%的美味度。”你需要证明它。于是，你邀请了20个人来品尝。其中18个人说：“是的，这太棒了！”

在计算机科学和大型语言模型（LLM）的世界里，这正是研究人员所做的事情。他们训练计算机阅读文本并将其分类（例如“愤怒”、“快乐”或“垃圾邮件”）。为了证明他们的计算机很聪明，他们会展示一组已经被人类评分过的文本样本，并计算出一个分数，比如“召回率”（Recall，即计算机找到了多少个“愤怒”的文本？）。

问题：“置信度”的“猜谜游戏”
本文指出，研究人员目前正在玩一场危险的“猜谜游戏”。他们报告他们的得分（例如“90%的准确率！”），但很少报告他们对这个数字有多大的把握。

把它想象成天气预报。如果气象学家说：“有90%的降水概率，”那是很有用的。但如果他们只说“会下雨”，而没有告诉你是基于卫星图像还是一个猜测，你就无法信任他们。

在这篇论文中，作者 Kylie Anglin 指出，当研究人员使用小规模人群来测试他们的计算机，或者当“降雨”（即他们寻找的特定文本）非常稀有时，标准的计算“我们有多确定”的方法（称为置信区间）往往是失效的。它们就像一把会不可预测地缩短或拉长的尺子。

“坏掉的尺子”（旧方法）
论文测试了几种衡量这种确定性的方法。它发现目前最常用的两种方法就像是用橡胶做的尺子：

Wald 区间： 这是“教科书式”的方法。如果你有一个庞大的群体且结果平庸，它运行得很好。但如果你只有一小群人或者得分非常高（比如95%），这把尺子就会过度收缩。它会告诉你：“我们有95%的把握确定得分在94%到96%之间，”但实际上，真实的分数可能在80%到100%之间的任何地方。它提供了一种虚假的精确感。
基础自助法（Basic Bootstrap）： 这是一种通过在计算机上模拟实验数千次来观察结果的方法。论文发现，标准版本的自助法也是“摇摆不定”的，并且经常低估风险，尤其是在样本量较小时。

“更好的尺子”（新建议）
论文建议将那些橡胶尺子换成不容易拉伸的更坚固的尺子。

针对独立文本（“单人”测试）： 如果每段文本都来自不同的人且完全独特，作者建议使用 Agresti-Coull 方法。你可以把它想象成在你的计算中加入一点“安全垫”。它简单、易于计算，并且能防止你的尺子缩得太厉害。
针对复杂的指标（如 F1 分数）： 有些分数是不同指标的复杂组合（比如 F1 分数）。你不能使用简单的公式来处理这些。作者提出了一种被称为 伪计数正则化（Pseudo-Count Regularization） 的新技巧。想象你在烤蛋糕，但你担心食材不够。你在开始混合之前，加入了一些“幽灵食材”（一个虚拟的鸡蛋和一杯虚拟的面粉）。这稳定了配方，使得即使你只有少量真实的食材，最终结果也不会崩溃。这种方法让计算机模拟变得更加可靠。

“回声室”问题（嵌套数据）
这里是事情变得棘手的地方。在现实生活中，人们不仅仅写一句话；他们会写很多。一位治疗师可能会写30份笔记；一名学生可能会写20篇论文。这些文本是“嵌套”在人身上的。它们不是独立的；它们共享相同的声音、风格和怪癖。

论文解释说，如果你把一个人的30份笔记视为30个不同人的30份笔记，你就是在作弊。你在欺骗自己，让你以为拥有的数据比实际拥有的更多。这就像是请一位朋友品尝你的蛋糕30次，然后把这算作30个不同的意见。你并没有得到30个意见，你只是得到了一个意见被重复了30次。

当你忽略这种“回声室”效应时：

你的置信区间会变得过窄。你以为你有95%的把握，但实际上你可能只有65%的把握。
解决方法： 论文提出了两种主要的修复方法：
1. 调整数学公式： 使用一个公式来缩小你的“有效样本量”，以考虑到文本之间的相关性。这就像是说：“我们有30份笔记，但因为它们都来自同一个人，所以它们只算作10个独立的意见。”
2. 层次自助法（Hierarchical Bootstrap）： 与其在计算机模拟中仅仅随机打乱单个笔记，不如先打乱“人”，然后再打乱属于每个人的笔记。这尊重了笔记属于特定个人的事实。

核心结论
这篇论文的核心信息是对诚实报告的呼吁。

不要只报告分数。 如果你说你的计算机准确率是90%，你也必须同时说：“我们有95%的把握确定真实的数值在X和Y之间。”
使用正确的工具。 对于小规模或高性能的数据集，不要使用旧的橡胶尺子（Wald 或基础 Bootstrap）。请使用更坚固的尺子（Agresti-Coull 或新的伪计数方法）。
警惕集群现象。 如果你的数据来自同一群人在不同时间多次写作，你需要调整你的数学计算，以避免过度自信。

通过使用这些更好的方法，研究人员可以停止假装自己比实际知道得更多。这有助于他们意识到何时需要收集更多数据（更多的人、更多的文本），从而获得真正可靠的结果，而不是仅仅寄希望于他们的小样本量足以支撑结论。

技术摘要：评估分类器性能的不确定性及其在大型语言模型与嵌套数据中的应用

问题陈述
研究人员越来越多地利用文本分类（通过监督学习模型或大语言模型/LLMs）来从自然语言数据中提取构念。虽然召回率（recall）、精确率（precision）和 F1 值等性能指标常被用于验证这些模型的有效性，但它们通常仅以点估计值（point estimates）的形式呈现，缺乏统计不确定性的度量（如置信区间或标准误）。当报告不确定性时，所使用的方法往往不适用于社会科学文本分类的特定条件：样本量较小或中等、构念出现频率低（导致正例计数较低）、性能水平高（常见于 LLMs），以及嵌套的数据结构（文本嵌套在个体之中）。研究表明，默认方法（如 Wald 区间和基础百分位数自助法/percentile bootstrap）会产生不准确的覆盖率，尤其是在样本量较小或比例极端的情况下，其覆盖率往往显著低于名义上的 95% 水平。此外，标准的区间估计程序假设观测值是独立同分布（i.i.d.）的，这一假设在文本嵌套于个体之中的情况下被违反，从而导致对不确定性的低估以及置信区间过窄的问题。

方法论
本文采用一系列模拟研究，旨在评估在文本分类典型条件下各种置信区间方法的覆盖率（coverage）和区间宽度（width）。

独立数据模拟：作者模拟了二项比例（ $p$ ）范围在 0.5 到 0.95 之间、样本量（ $n$ ）在 10 到 500 之间的情形。他们对比了解析区间（Wald、Wilson、Agresti-Coull、Clopper-Pearson）与自助法区间（百分位数、BCa 以及一种新型的伪计数正则化自助法/pseudo-count regularized bootstrap）。
- 新方法：提出了一种“伪计数正则化自助法”。该方法通过在重采样前，用伪观测值增强原始样本（例如，对于比例，增加一个成功和一个失败；或者向混淆矩阵的每个象限添加伪观测值）来实现。这模拟了 Agresti-Coull 解析区间在自助法框架下的行为。
- F1 评估：通过改变不平衡群体（流行度/prevalence = 0.10）中的真实精确率和召回率，专门针对 F1 分数进行模拟评估。
嵌套数据模拟：为了解决非独立性问题，作者模拟了文本嵌套在个体中的层级数据。
- 设计：生成了一个包含 2000 个个体、每个个体产生 60 篇文本的群体。采样方案在“小语料库”（平均每人约 3 篇文本）和“中等语料库”（平均每人约 30 篇文本）之间变化。
- 测试方法：研究对比了未调整的解析区间、针对有效样本量（ $n_{eff}$ ）和设计自由度（ $df_{design}$ ）进行调整后的解析区间，以及自助法区间（集群自助法/cluster bootstrap 与层级自助法/hierarchical bootstrap）。
- 调整方式：研究测试了基于设计效应（DEFF）和内类相关系数（ICC）的调整方法，以及使用 $t$ 分位数而非 $z$ 分位数来应对自由度减少的情况。

核心贡献

系统性比较：本文提供了一项系统性评估，专门针对社会科学文本分类中普遍存在的高性能、小样本和嵌套数据条件。
识别默认方法的失效：研究证明了 Wald 区间和基础百分位数自助法是最不准确的方法，在样本量较小且性能较高（如 $p=0.95$ ）的情景下，其覆盖率往往低至 0.40–0.66。
新颖的正则化：作者引入并验证了一种伪计数正则化自助法。该方法提高了在小样本和高表现机制下比例及非比例指标（如 F1）的覆盖率，解决了标准自助法表现不稳定的问题。
嵌套数据指导：研究明确指出，对于嵌套数据，仅仅增加文本数量是不够的，必须针对有效样本量和设计自由度进行调整。研究对比了集群自助法与层级自助法，发现层级自助法通常更准确，但在个体产生的文本极少时可能过于保守。
样本量规划：论文通过表格和可视化展示了样本量、性能水平与置信区间宽度之间的关系，强调了在性能较高或样本量较小时，获得窄区间所付出的高昂代价。

结果

独立数据：即使在小样本下，Agresti-Coull、Wilson 和 Clopper-Pearson 解析区间也能稳定达到接近或高于名义水平（0.95）的覆盖率。伪计数正则化自助法在比例方面表现出相当的性能，并且是处理小样本下 F1 等非比例指标的唯一稳健选择。Wald 和基础百分位数自助法则持续出现覆盖不足的情况。
嵌套数据：当文本存在嵌套关系时，未调整的区间（将文本视为独立）会严重出现覆盖不足（例如，预期覆盖率为 95%，实际仅为 ~65%）。
- 调整方案：使用经过 $n_{eff}$ 和 $df_{design}$ 调整后的区间（具体使用调整后的 Agresti-Coull 或 Wilson 公式）可提供准确的覆盖率。
- 自助法表现：伪计数正则化层级自助法在各种条件下均能提供准确的覆盖率。集群自助法虽然更精确（区间更窄），但存在覆盖不足的风险，尤其是在个体产生的文本较多（~30 篇）且个体数量较少时。
样本量敏感性：在嵌套设计中，置信区间的宽度对“个体数量”而非仅仅是“总文本量”高度敏感。增加个体数量比增加每个个体的文本量能带来更大的统计精度。

意义与主张
论文认为，如果没有精度度量，单纯的性能指标数值是不够的。缺乏准确的置信区间会威胁机器学习在社会科学应用中的透明度，可能导致对基于模型的推断产生过度自信。

作者通过其研究成果提出了改进报告标准的循证建议：

对于独立数据，推荐将 Agresti-Coull 区间作为默认方法，因其简单且准确；而对于 F1 等非比例指标，则推荐使用伪计数正则化自助法。
对于嵌套数据，分析人员必须针对有效样本量和自由度进行调整。当解析调整不可行时，推荐使用伪计数正则化层级自助法。
论文强调研究人员需要在设计阶段考虑样本量需求，特别指出稀有构念和高水平性能要求进行仔细规划，以确保拥有足够的“解析样本量”（例如，是正例的数量，而非仅仅是总文本量）来支持可靠的推断。

作者也谦虚地指出了局限性，包括嵌套模拟假设了单一的 ICC 结构，以及本文侧重于不确定性估计而非指标本身的无偏估计。他们呼吁未来的研究建立心理学领域常见的 ICC 值和性能范围的基准，以进一步辅助研究设计。

类似论文