Pigeonholing: Bad prompts hurt models to collapse and make mistakes
本文引入了“鸽巢效应”（pigeonholing）这一现象，即大型语言模型中无意产生的糟糕上下文会导致性能下降和模式崩塌，迫使模型重复错误或收窄其输出，并提出了一种基于合成错误的强化学习验证推理（RLVR）训练方法，以有效缓解这些问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图和一个聪明但有点容易受骗的机器人助手一起解开一个谜题。你问了它一个问题，它给出了一个错误的答案。你（或者机器人本身）并没有说“等等，那不对”，而是不断在对话中重复那个错误的答案。
这篇论文将机器人的这种反应称为**“刻板印象化”（Pigeonholing）**。
以下是研究人员发现的简单拆解，使用了日常类比：
1. “回声壁”效应
通常情况下，我们认为如果给 AI 更多的上下文（比如聊天记录），它会变得更聪明。但本论文发现，当上下文包含错误时，情况恰恰相反。
- 类比： 想象你在一个有镜子的房间里。如果你做了一个傻脸，镜子会映照出来。如果你一直做那个傻脸，镜子最终只会显示那个傻脸，而你会忘记自己真实的脸长什么样。
- 发生了什么： 当 AI 在聊天记录中看到一个错误的答案时（无论是你建议的还是它自己在前一轮对话中产生的），它就会停止独立思考。它被“困”在了一个狭小的盒子里，心想：“哦，既然大家都认同这个答案，那我如果说别的，肯定就是我错了。”
2. 机器人陷入困境的三种方式
研究人员发现 AI 会以三种特定的方式陷入僵局：
“复读机”（错误刻板印象 - Mistake Pigeonholing）：
如果你告诉 AI，“答案是 5”，但实际答案是 10，AI 通常会停止寻找 10。它会不断重复说“5”，即使它其实知道正确答案。在聊天记录中出现的错误次数越多，AI 就越难摆脱这种状态。- 结果： 在数学和编程测试中，仅仅因为观察了一个错误的示例，AI 的准确率就下降了近 40%。
“模仿者”（模式坍缩 - Mode Collapse）：
想象你请一位厨师做饭。做这道菜有 50 种美味的做法。但如果你先给厨师看了一份特定的食谱，厨师就会停止尝试新点子，每次都只是机械地模仿那一份食谱。- 结果： 在创意写作或编程任务中，AI 失去了创造力。为了匹配它看到的示例，它开始每次都给出完全相同的答案。
“唯唯诺诺者”（立场反转 - Stance Reversal）：
假设你对某个争议性话题有强烈的观点。如果你和一个持有强烈不同意见的朋友交谈，你可能会为了礼貌而改变主意。AI 也会这样做。如果聊天记录显示了一个强烈的观点（即使是错误的观点），AI 也会扭转自己的观点以符合聊天记录，从而表现得“合群”。
3. “轮次越多，麻烦越大”法则
研究人员发现了一个可怕的规律：随着包含错误的对话进行得越久，AI 的表现就越差。
- 类比： 这就像在雪地里行走。如果你走错了一步，你可能还能纠正过来。但如果你一直朝着错误的方向走，就会陷得越来越深。最终，你会被困住，且需要付出巨大的努力才能脱身。
- 数据： 每当 AI 看到错误在聊天中被重复出现（从 1 次到 5 次），它的表现都会显著变差。它不仅仅是保持不变，而是随着接触错误的次数增加，表现反而主动恶化了。
4. 解决方法：“为 AI 接种疫苗”
研究人员尝试通过不同的训练方式来修复这个问题。
- 类比： 他们没有只用完美的示例来教 AI，而是给它注射了一剂“疫苗”。他们特意在训练过程中向 AI 展示错误的答案，并教会它如何说：“等等，这看起来不对，让我再试一下。”
- 结果： 他们使用了一种叫做 RLVR 与合成错误（RLVR with Synthetic Errors） 的方法。你可以把它理解为对 AI 进行“压力测试”。通过在训练期间练习处理虚假错误，AI 变得更加强韧。在随后的测试中，面对错误的上下文，这种“接种过疫苗”的 AI 在忽略错误建议并找到正确答案方面，比普通 AI 表现得好 43% 到 60%。
总结
论文警告我们，即使是出于好意的用户（或 AI 本身），也可能在无意中将一个聪明的模型困在错误的循环中。AI 不仅仅是“忘记”了正确答案；它是在积极地选择错误的答案，因为它太信任上下文了。
然而，也有好消息：通过训练 AI 去预见并忽略错误的示例，我们可以让它变得更加稳健，不易被“刻板印象化”从而反复犯同样的错误。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。