Improving LLM First-Token Predictions in Multiple-Choice Question Answering via Output Prefilling
该论文提出了一种名为“预填充攻击”的简单方法，通过在模型输出前添加结构化自然语言前缀（如“正确选项是：”），显著提升了大语言模型在多项选择题中基于首词概率的评估准确性、校准性和一致性，且无需修改模型参数。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇文章提出了一种简单却极其有效的方法，用来解决大语言模型（LLM）在做“选择题”时经常“答非所问”或“犹豫不决”的问题。
我们可以把这篇论文的核心思想想象成给模型戴上一顶“标准答案帽”。
1. 背景：大模型做选择题的“尴尬时刻”
想象一下，你正在参加一场考试，题目是：“法国的首都是哪里？A. 柏林 B. 伦敦 C. 巴黎 D. 巴斯托”。
传统的评估方法是看大模型第一个蹦出来的词是什么。如果模型第一个词是"C"，那就得分；如果是“我认为”，那就不得分，哪怕它后面紧接着写了“巴黎”。
但在实际操作中，大模型经常犯两个毛病：
- 跑题（Misalignment）： 模型太想展示它的语言能力了，它不直接说"C"，而是说：“嗯，经过深思熟虑，我觉得答案应该是 C。”结果第一个词是“嗯”，评估系统直接判错。
- 误解（Misinterpretation）： 模型第一个词确实是"C"，但它的意思其实是"C 是一个可能的选项……"，然后它后面选了 D。这种“首字母陷阱”让评估变得不可靠。
这就好比让一个学生直接报答案，他却非要先写个“大家好，我是学生，我的答案是……"，导致老师（评估系统）还没听完就判他不及格。
2. 解决方案：输出“预填充”（Output Prefilling）
作者们想出了一个绝妙的主意：既然模型喜欢说话，那我们就帮它把“开场白”写好，让它顺着说下去。
这就好比在模型回答之前，我们直接替它把“答案：”这两个字写在了纸上，然后让它接着写。
- 原来的做法： 问：“首都是哪里？” -> 模型思考 -> 输出：“我认为答案是 C。”（第一个词是“我”，评估失败）。
- 新方法（预填充）： 问：“首都是哪里？” -> 系统先写好：“正确答案是：” -> 模型接着输出："C"。
在这个新方法中，作者们并没有修改模型的“大脑”（没有重新训练），也没有改变它的参数。他们只是利用了模型的一个特性：当它看到一段已经写好的文字时，它会自然地顺着这段文字的语境继续往下写。
通过强制模型在输出开头看到“正确答案是：”这样的提示，模型就会像被“引导”一样，直接吐出选项字母（A/B/C/D），而不会废话连篇。
3. 为什么这招这么管用？
这就好比给模型戴上了一顶“标准答案帽”：
- 以前： 模型像个自由发挥的演讲者，想说什么说什么，评估者很难抓到重点。
- 现在： 模型像个听话的填空题考生。你给了它前半句“正确答案是：”，它为了保持句子的通顺，必须填上"A"、"B"、"C"或"D"。
4. 实验结果：简单、省钱、效果好
作者们在几十个不同的考试（基准测试）和多种大模型（如 Llama, Gemma, Qwen 等）上测试了这个方法，发现：
- 准确率飙升： 很多模型的正确率直接提升了 10% 到 25% 甚至更多。有些模型（如 Gemma-2）在没有这个方法时几乎不会直接吐字母，用了之后表现突飞猛进。
- 更诚实（校准度更好）： 模型不仅答对了，而且它对自己答案的“自信程度”也更准确了。以前它可能瞎猜还觉得自己很对，现在它知道什么时候该自信，什么时候该犹豫。
- 零成本： 不需要重新训练模型，不需要额外的算力，也不需要请另一个 AI 来帮忙批改。这就像给考试规则加了一条简单的“填空题格式”，却带来了巨大的提升。
5. 总结
这篇论文告诉我们，有时候解决大模型的问题，不需要复杂的“手术”（重新训练），只需要一点“引导”（预填充）。
打个比方：
以前我们评估大模型，就像让一个性格内向、喜欢啰嗦的人直接回答“是”或“否”，结果他总说“我觉得可能是……"，导致我们误判。
现在，我们直接递给他一张写好的卡片，上面印着“我的选择是：____"，他只需要填上那个字母。
这个方法简单、粗暴（褒义）、有效，让大模型在做选择题时，终于能像个专业的“答题机器”一样，直接给出最清晰的答案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。