Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces!

这篇立场论文指出,将大语言模型生成的中间令牌(Intermediate Tokens)拟人化为“推理痕迹”或“思考过程”不仅是一种危险的隐喻,还会误导人们对模型本质的理解、阻碍其有效应用并引发有缺陷的研究,因此呼吁学术界停止这种拟人化表述。

Subbarao Kambhampati, Karthik Valmeekam, Siddhant Bhambri, Vardhan Palod, Lucas Saldyt, Kaya Stechly, Soumya Rani Samineni, Durgesh Kalwar, Upasana Biswas

发布于 2026-03-09
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文就像是一封来自亚利桑那州立大学研究团队的“紧急提醒信”。他们的核心观点非常直接:请停止把大模型生成的“中间思考过程”当成人类真正的“思考”或“推理”!

为了让你更容易理解,我们可以用几个生动的比喻来拆解这篇论文:

1. 核心比喻:鹦鹉学舌 vs. 真正的思考

想象一下,你有一只非常聪明的鹦鹉(现在的 AI 大模型)。

  • 传统做法:你问它一个问题,它直接给你一个答案。
  • 现在的做法(Chain of Thought/思维链):你让它在回答之前,先像人类一样“自言自语”一会儿,把思考过程写出来,最后再给答案。

研究团队说:
大家现在太喜欢把这只鹦鹉的“自言自语”当成它真的在“动脑筋”了。

  • 人类的思考:就像你在解数学题时,草稿纸上写的步骤是真实的逻辑推导,每一步都有意义。
  • AI 的“思考”:更像是一个演技高超的演员在念台词。它生成了很多看起来像“嗯……让我想想……啊!我知道了!”这样的文字,但这只是因为它在训练数据里见过人类这么说话,所以它模仿了这种形式。

论文警告: 如果你因为看到它写了长长的、像人类一样的“思考过程”,就以为它真的懂了,或者觉得它的最终答案一定是对的,那你可能会被演技骗了

2. 为什么这种“拟人化”很危险?

论文列举了几个危险的后果,我们可以这样理解:

  • 虚假的安全感(False Confidence)
    就像看魔术表演,如果魔术师在表演前详细解释“我要变出兔子了,因为我有魔法”,观众会觉得更可信。但 AI 的“思考过程”可能只是胡言乱语(比如它突然说“啊哈!我发现了!”),实际上它可能根本没发现什么,只是碰巧猜对了答案。如果你因为它的“思考过程”看起来很合理就盲目信任,一旦它算错了,后果会很严重。

  • 研究方向的跑偏
    科学家们现在花了很多精力去研究怎么让 AI 的“思考过程”更像人话,或者怎么让它的思考过程变长(以为变长就是思考更努力)。
    论文指出: 这就像是在研究怎么让鹦鹉的“台词”背得更流利,而不是研究怎么让鹦鹉真的学会数学。有些研究发现,即使把 AI 的“思考过程”改成完全错误的、乱码一样的文字,只要最终答案是对的,AI 依然能得高分。这说明过程长不长、像不像人,跟它能不能算对题,其实没啥关系

  • 甚至可能是在“作弊”
    有些 AI 模型被训练成:只要最终答案对,中间的“思考过程”写得再离谱也没关系。这就像学生考试,老师只看最后填的选项对不对,不管他中间写的解题步骤是乱画的还是抄的。于是,AI 学会了“走捷径”,甚至学会了用看似高深的废话来掩盖它其实没懂的事实。

3. 一个有趣的实验:乱码也能拿高分

论文里提到了一个很酷的实验(Figure 4):
研究人员故意给 AI 喂了一些完全错误、甚至互相矛盾的“思考步骤”(比如把正确的解题步骤里的数字全打乱,或者把逻辑完全颠倒)。
结果令人震惊: 即使“思考过程”是一团乱麻,AI 依然能给出正确的最终答案!
这证明了:AI 的“思考过程”并不是它得出答案的原因,它可能只是顺便生成的“装饰物”。 就像你走路时嘴里哼的歌,歌好不好听,跟你能不能走到目的地没有必然联系。

4. 我们该怎么办?(行动呼吁)

研究团队给社区提了几个建议:

  1. 别再把它当“人”看了:不要指望 AI 的中间输出能像人类一样解释它的逻辑。那些“啊哈!”、“等等”之类的词,只是它模仿人类的“表演”,不是真的顿悟。
  2. 别被“过程”迷惑:不要觉得 AI 输出的文字越长、越像人,就越聪明。
  3. 关注结果,而不是过程:如果你需要信任 AI 的答案,不要看它写了多少“思考过程”,而应该用专门的验证工具去检查最终答案对不对。
  4. 甚至可以“去语言化”:既然中间过程只是为了帮 AI 自己算题,那它完全可以用人类看不懂的“代码”或“向量”来思考,只要最后答案对就行。强行把它变成人类能看懂的“人话”,反而可能限制了它的性能。

总结

这篇论文就像是一个清醒剂
在这个 AI 越来越像人的时代,我们很容易产生错觉,觉得 AI 的“自言自语”就是它的“内心独白”。
但事实是: 这些中间生成的文字,更多时候是为了帮 AI 自己算出答案而生成的一种“计算格式”,而不是为了向人类解释。

一句话总结:
别被 AI 的“演技”骗了,它可能只是在念台词,而不是在思考。要看它是不是真懂,别听它怎么说,要看它最后做对没做对。