When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation
这项针对十个大型语言模型中 68 个实验单元的经验研究证明，承载意义的扰动比同等严重程度的基于呈现的噪声更能显著破坏智能体的推理和最终答案，这一发现在一个预留模型上得到验证，并归因于一种“隐蔽发散”机制，即语义噪声导致中间推理步骤而非初始动作发生发散。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位非常聪明、成绩优异的学生（一个 AI 智能体），它通过大声自言自语来解决复杂的数学和逻辑问题。这位学生在给出最终答案之前，会写下思考过程的每一步。这被称为“思维链”（Chain of Thought）。
本文的研究人员想要探究：你提问的方式是否重要？
具体而言，他们测试了两类对问题的“干扰”或改动：
- “含义”改动：使用同义词改写问题或进行 paraphrase（例如，将“有多少个苹果？”改为“水果的总数是多少？”）。含义相同，但措辞不同。
- “呈现”改动：打乱词语顺序、更改字体、添加随机的干扰句，或弄乱间距。含义相同，但外观不同。
重大发现：“静默腐蚀”
研究人员发现了一个令人惊讶的差距。当他们改动措辞（含义改动）时，即使问题含义相同，学生最终得出错误答案的可能性要大得多。而仅仅改动格式（呈现改动）时，学生得出正确答案的可能性则大得多。
这仿佛学生对说什么非常敏感，但对怎么说却不太敏感。
他们如何测试
他们并非凭空猜测，而是进行了一项大规模实验：
- 班级：他们使用了来自 7 个不同家族（如 Llama、Qwen、Mistral 等）的 10 位不同“学生”（AI 模型）。
- 作业：他们给这些学生布置了 3 种不同类型的测试（数学、逻辑和阅读理解）。
- 体量：他们选取了 1,530 道原始问题，并创建了约 11,000 个变体。
- 压力测试：他们确保“含义”改动和“呈现”改动在应对难度上是相等的（以便进行公平比较）。
结果：平均而言，“含义”改动导致 AI 失败的概率比“呈现”改动高出20%。这一现象在 68 种不同的测试场景中出现了 64 次。
“隐蔽分歧”之谜
这是最有趣的部分。研究人员查看了学生的逐步笔记（“轨迹”），以观察错误何时发生。
他们原本以为，如果你改变了问题的含义，学生会立即感到困惑，并立刻开始胡言乱语。
- 然而他们发现的是：学生起初是正确的！对于两种类型的改动，其思考的第一步完全相同。
- 转折：从第二步开始，学生的内部思考开始分道扬镳。“含义”改动引发了一种“静默腐蚀”。学生继续书写，但其内部逻辑逐渐变得混乱，最终导致得出错误答案。
- 比喻：想象两辆车在同一条路上行驶。
- 呈现干扰：路标倒置或油漆剥落。司机立即注意到，停下并修正路线。
- 含义干扰：路标看起来完美无缺，但司机脑海中的地图上有一处微小、看不见的污点。司机起初行驶正常，但在第二个转弯处，他们已微妙地偏离了正确方向，到了终点时已迷失方向。直到为时已晚，他们才意识到自己偏离了轨道。
他们未发现的（那些被撤回的假设）
科学讲究诚实，作者承认他们在两件事上错了：
- 他们原本以为“含义”改动会让学生更快（在第一步）感到困惑。他们错了；困惑始于第二步。
- 他们原本以为学生在面对“含义”改动时，尝试“修正”自己错误的频率会更低。他们错了；修正率是相同的。
他们还发现，这种“含义与呈现”之间的差距并非对所有 AI 都一样。如果更换生成问题的工具，关于哪个 AI“最敏感”的排名就会发生变化。因此，在确切了解测试设置之前，你不能断言"AI 模型 X 总是比模型 Y 差 20%"。
核心结论
这是一项测量研究。它证明，当你改写问题时，AI 智能体表现出惊人的脆弱性，即使含义保持不变。它们不会立即崩溃，而是从思考过程的第二步开始，缓慢且静默地崩溃。
作者发布了所有数据和工具，以便其他研究人员核查他们的工作，但他们警告说，这目前仅是研究人员使用的诊断工具，而非现实中修复 AI 的“魔法开关”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。