💬 NLP

ABCD: All Biases Come Disguised

该论文提出了一种通过统一无序标签并结合句子相似度模型来评估大语言模型的多项选择题评估协议，有效消除了位置、标签及提示分布等偏见，在显著降低答案排列方差的同时仅轻微牺牲了模型性能，从而更真实地反映了模型的推理能力。

原作者： Mateusz Nowak, Xavier Cadet, Peter Chin

发布于 2026-02-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Mateusz Nowak, Xavier Cadet, Peter Chin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM）做一场“体检”，目的是发现它们是不是在作弊，而不是真的在思考。

想象一下，你正在给一群学生（AI 模型）做一场多项选择题考试。传统的考试方式是这样的：

题目后面跟着 A、B、C、D 四个选项。
学生只需要在答题卡上涂黑一个字母（比如涂"C"）。
老师只看那个字母对不对，不管学生是怎么想的。

这篇论文发现了一个大问题：
很多聪明的 AI 学生并没有真正读懂题目，它们学会了“走捷径”：

位置依赖：它们发现正确答案经常藏在"C"的位置，所以不管题目问什么，它们都选 C。
标签依赖：它们发现"A"看起来像正确答案，或者"D"看起来像错误答案，于是它们根据字母本身的“气质”来猜。
小抄依赖（少样本偏见）：如果在考试前给了几个例题（Few-shot），例题里正确答案大多是"B"，那么 AI 就会觉得“哦，这次考试肯定也是选 B 多”，于是它就开始疯狂选 B，哪怕题目完全没看懂。

这就好比学生不是在做题，而是在猜出题人的心理，或者在数数（比如数一下前面几个题选了什么，就跟着选什么）。

论文做了什么？（核心方案）

作者们设计了一套新的“考试规则”，叫 M&D 协议（Matched-and-Dashed，匹配与虚线法），并造了一个叫 NonsenseQA 的“假考题”来测试 AI。

1. 造了一个“无意义”的考场 (NonsenseQA)

他们给 AI 出了一套由随机乱码组成的题目。

题目：“如果紫色的香蕉在星期二跳舞，那么答案是什么？”
选项：A. 苹果 B. 石头 C. 云朵 D. 桌子
真相：这道题毫无逻辑，正确答案是随机定的。
目的：如果 AI 在这种乱码题上还能考出 90 分，那它肯定不是靠逻辑，而是靠作弊（比如它发现所有题目的正确答案都在"D"的位置，或者它发现少样本例题里全是"D"）。

结果很惊人：在旧规则下，有些 AI 在这种乱码题上能考到 95% 以上！而在新规则下，它们的分数瞬间跌到了 25%（也就是纯瞎猜的水平）。这证明它们之前确实是在作弊。

2. 新的考试规则 (M&D 协议)

为了堵住这些作弊漏洞，作者们改了两条规则：

规则一：把选项标签换成“虚线”
- 旧规则：A. 苹果，B. 石头...（AI 会盯着 A、B、C、D 看）。
- 新规则：- 苹果，- 石头，- 云朵，- 桌子...（所有选项前面都是同样的短横线）。
- 比喻：就像把试卷上的"A、B、C、D"都擦掉了，换成了四个一模一样的空位。这样 AI 就没法通过“选 C"或者“选 A"来作弊了。
规则二：不许只填字母，要写整句话
- 旧规则：AI 只要输出"C"。
- 新规则：AI 必须输出“答案是：石头”。
- 比喻：以前学生只要涂个卡，现在必须写小作文解释为什么选这个。如果 AI 还是想靠“数数”或者“猜位置”，它就得把整句话写出来，这就很难再钻空子了。
规则三：用“语义相似度”来打分
- 因为 AI 写的是整句话，可能不会完全照抄选项。比如选项是“石头”，AI 写的是“一块大石头”。
- 以前老师（评分系统）会直接判错。
- 现在，老师用一种智能翻译器（语义相似度模型）来比对：虽然字不一样，但意思一样，所以算对！

实验结果怎么样？

作者用这套新规则测试了 13 种不同的 AI 模型（包括 Llama, Qwen, Gemma 等）和 5 个著名的考试榜单。

更诚实了：AI 在乱码题上的分数大幅下降，说明它们不再靠“猜位置”或“看少样本小抄”来蒙混过关了。
更稳定了：以前把正确答案的位置打乱（比如把 C 换成 A），AI 的分数就会剧烈波动。现在用新规则，不管怎么打乱，AI 的分数都很稳定。
分数没怎么掉：虽然 AI 不能作弊了，但在真正的难题（如科学推理、常识问答）上，它们的分数只下降了很少一点点。这说明它们真的会做题，只是以前被“作弊分”掩盖了。

总结与比喻

如果把 AI 比作一个学生：

以前：这个学生很聪明，但他是个“投机取巧”的学霸。考试时，他不看题，只看选项的排列顺序，或者看前面几道题的答案分布，然后就能蒙对 90% 的题。老师以为他全都会，其实他根本不懂。
现在：老师换了个考法。把选项的字母都涂黑，强迫学生写出完整的答案句子，并且用智能系统来理解句子的意思。
结果：那个“投机取巧”的学生瞬间原形毕露，乱码题直接不及格。而那些真正有实力的学生，虽然分数稍微降了一点（因为不能蒙了），但排名更真实了，大家能看出谁是真的懂，谁是在装懂。

这篇论文的意义在于：
它告诉我们，现在的 AI 评估标准（多选题）有很多漏洞，让 AI 看起来比实际更聪明。作者提出了一套简单、低成本的新标准，能帮我们要去伪存真，更准确地评估 AI 到底有没有真正的推理能力，而不是只会“猜题”。这对于未来让 AI 在医疗、法律等高风险领域做决策非常重要——我们不想让 AI 靠“猜”来救命。

1. 研究背景与问题 (Problem)

核心问题：
目前，多项选择题（MCQ）基准测试是评估 LLM 推理能力和知识掌握程度的标准方法。然而，现有的评估协议存在严重的评估伪影（Evaluation Artifacts），导致模型并非通过真正的推理，而是利用表面的捷径（Shortcuts）来获得高分。

具体偏见类型：
论文指出，除了已知的答案位置偏见（模型倾向于选择特定位置的选项）和标签偏见（模型倾向于选择特定字母如 A、B、C、D）外，还存在一个未被充分探索的关键维度：

少样本提示分布偏见 (Few-shot Prompt Distribution Bias)： 模型会利用少样本示例（Few-shot examples）中正确答案的分布模式（例如，如果示例中正确答案多为 C，模型会倾向于在测试题中也选 C）来猜测答案，即使面对毫无意义的输入也能达到极高的准确率。

现有方法的局限性：

传统方法通常要求模型直接输出选项标签（如"A"），这容易受到标签和位置的影响。
现有的去偏方法通常需要模型微调、访问内部 Logits 或进行多次推理，成本高昂且难以推广。
现有的鲁棒性指标（如 SCORE）可能因为模型利用偏见而表现出虚假的一致性。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了一套去偏评估协议（Bias-Reduced Evaluation Protocol），并设计了一个诊断工具。

A. 诊断工具：NonsenseQA

定义： 一个合成的基准数据集，包含随机生成的无意义单词组成的问题和选项，正确答案也是随机分配的。
目的： 由于问题本身没有逻辑意义，模型在 NonsenseQA 上的表现应接近随机猜测（25%）。如果模型表现远超此水平，则证明其正在利用评估中的偏见（如标签、位置、少样本分布）而非进行推理。
发现： 在标准评估下，部分模型在 NonsenseQA 上的准确率超过 95%，揭示了严重的偏见利用行为。

B. 去偏评估协议：Matched-and-Dashed (M&D)

作者提出了一种新的评估流程，包含三个核心组件：

统一无序标签 (Uniform, Unordered Labels)：
- 将选项标签从传统的"A, B, C, D"替换为统一的符号（如"-"、"-"、"-"、"-"）。
- 作用： 消除标签本身的语义暗示和顺序暗示，防止模型通过识别特定字母来作弊。
全文本答案生成 (Full-Text Answer Generation)：
- 强制模型生成完整的选项文本，而不是仅输出一个字母标签。
- 作用： 迫使模型进行实质性的推理和生成，而不是进行简单的符号匹配。
语义相似度匹配 (Semantic Similarity Matching)：
- 使用句子嵌入模型（如 Qwen3-Embedding）计算模型生成的答案与候选选项之间的语义相似度（余弦相似度）。
- 选择相似度最高的选项作为最终预测。
- 作用： 允许模型使用同义词或不同的表述方式，同时接受思维链（Chain-of-Thought）推理过程，解决了传统 Cloze 风格评估无法处理语义变体的问题。

3. 关键贡献 (Key Contributions)

提出 NonsenseQA 诊断基准：
- 首次系统性地量化了 LLM 在 MCQ 评估中对少样本分布、标签、位置和预测模式的依赖程度。
- 将模型分为三类：显式利用偏见、隐式利用偏见、无法利用偏见的模型。
提出 M&D 去偏评估标准：
- 一种简单、单遍推理（Single-pass）的评估方案，无需微调或访问模型内部状态。
- 仅需增加约 3% 的计算时间（主要用于相似度计算），即可显著降低捷径利用。
揭示了“分数悖论”：
- 指出传统的鲁棒性指标（SCORE）在存在偏见时可能会虚高，因为利用偏见的模型在不同排列下也能保持高度一致（虚假的鲁棒性）。
- 提出了**方差比率（Variance Ratio, $\sigma^2_R$ ）**作为更有效的指标，用于衡量模型在不同答案排列下的稳定性。

4. 实验结果 (Results)

作者在 13 个开源 LLM（8B-32B 参数）和 5 个主流基准（MMLU-Pro, GPQA, CommonsenseQA, ARC, INCLUDE）上进行了评估。

NonsenseQA 表现：
- 在标准协议（S&L）下，许多模型在 NonsenseQA 上的准确率高达 95% 以上。
- 在 M&D 协议下，中位准确率急剧下降至接近随机水平（25%），证明偏见被有效抑制。
真实基准表现：
- 鲁棒性提升： M&D 协议显著降低了模型在不同答案排列下的准确率方差。平均而言，方差减少了 3 倍（几何平均方差比 $\sigma^2_R \approx 0.33$ ）。
- 性能影响： 在消除偏见的同时，模型在真实基准上的平均性能仅出现极小幅度的下降，说明之前的“高分”很大程度上是偏见带来的。
跨基准一致性：
- 使用 M&D 协议后，不同基准之间的排名相关性（Spearman/Kendall Tau）发生了变化，特别是在高难度推理任务（如 GPQA）与简单任务之间，揭示了模型真实的推理能力差异，而不再被评估伪影掩盖。
消融实验：
- 证明了使用统一标签（如"-"）比异质标签（如 Emoji 或字母）更稳定。
- 证明了语义相似度模型的选择对最终结果影响不大，方法的鲁棒性主要源于协议本身。

5. 意义与影响 (Significance)

重新定义评估标准： 论文挑战了当前 LLM 评估中广泛使用的 MCQ 格式，指出如果不消除这些伪影，评估结果可能无法反映模型的真实能力。
低成本高收益： 提出的 M&D 协议无需昂贵的微调或复杂的架构修改，即可显著提升评估的可靠性和公平性。
识别模型弱点： 通过 NonsenseQA 和方差分析，研究人员可以更准确地识别哪些模型真正具备推理能力，哪些模型仅仅是“考试技巧”高超的捷径利用者。
多语言泛化： 实验表明，这些偏见不仅存在于英语环境中，在多语言设置（INCLUDE 基准）中同样存在且普遍，M&D 协议同样有效。

总结：
这篇论文通过揭示 LLM 在 MCQ 评估中利用“伪装”的偏见（位置、标签、少样本分布）来“作弊”的现象，提出了一套简单而有效的去偏评估协议。该协议通过强制全文本生成和语义匹配，剥离了评估中的非推理因素，为更真实、更稳健地评估大语言模型的推理能力提供了新的标准。