← 最新论文
🤖 AI

Lost in Context: Addressing Context Anxiety in Large Language Models

本文识别并系统地研究了大语言模型中的“上下文焦虑”现象,揭示了推理失败往往源于过早的自我怀疑和不准确的 Token 估算,而非能力的缺乏,并证明了通过教导模型更好地评估自身局限性可以提升其性能。

原作者: Ifueko Igbinedion, Jillian Ross, Etienne Ricardez, Sertac Karaman, Eric So

发布于 2026-07-27
📖 1 分钟阅读☕ 轻松阅读

原作者: Ifueko Igbinedion, Jillian Ross, Etienne Ricardez, Sertac Karaman, Eric So

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

想象一下你是一位才华横溢的侦探,能够解决世界上最复杂的谜题。你拥有一本超级强大的笔记本,可以记录数百万页的线索。但这里有一个转折:有时,即使谜题是可以解决的,而且你的笔记本还有充足的空间,你也会突然停止书写。你放下笔,摇摇头说:“这太大了,我的笔记本装不下。我无法完成了。”你并不是真的没空间了,你只是以为自己没空间了。这有点像我们今天最先进的计算机大脑——即大型语言模型(LLM)——内部发生的情况。这些 AI 系统经过大量文本训练,可以进行数学推理、编写代码并规划复杂的策略。长期以来,科学家们一直认为 AI 失败仅仅是因为问题对它们来说太难理解了。但一项新的研究表明,有时 AI 失败并不是因为它们太笨,而是因为它们对自己能力的限制感到恐惧。

这篇名为《迷失在语境中》(Lost in Context)的论文深入探讨了一个奇怪的新问题——“语境焦虑”(context anxiety)。事实证明,这些 AI 模型经常在尝试解决难题之前,就开始担心自己的“笔记本”(技术上称为 Token 限制)会用尽。研究人员想要知道:这些模型是在任务确实无法完成时放弃的,还是仅仅因为对自己可能要做的多少工作感到恐慌?通过研究这些模型在面对长篇且棘手的任务时的表现,团队发现许多模型非常不擅长预估一个问题实际需要多少精力。它们高估了工作量,感到害怕,然后过早地放弃。好消息是,研究人员找到了一种“疏导”AI 的方法,教它信任自己的能力并停止恐慌,这使得它在不需要扩大规模或提高智能的情况下,能更好地解决问题。

机器中的惊恐发作

为了理解正在发生的事情,让我们把 AI 想象成一名马拉松选手。在过去,我们认为如果一名选手停止奔跑,是因为赛程太长或双腿太累。但这项研究发现,有时选手停止是因为他们看向终点线,心想:“噢不,那有 100 英里远!我永远也到不了!”尽管终点线实际上只有 5 英里远。选手有体力完成比赛,但他们的内心地图出错了,所以过早退出了。

研究人员使用一个经典的谜题——**汉诺塔(Tower of Hanoi)**来测试这个想法。想象有三个柱子和一叠大小不一的圆盘。目标是将整个堆叠从一个柱子移动到另一个柱子,并遵循严格的规则:一次只能移动一个圆盘,且永远不能把较大的圆盘放在较小的圆盘之上。棘手之处在于,随着圆盘数量的增加,所需的移动次数呈爆炸式增长。仅有 12 个圆盘时,你就需要超过 4,000 次移动。研究人员要求几款顶尖的 AI 模型解决这些谜题。

这是一个令人震惊的发现:许多最聪明的模型,如 Claude Sonnet 3.7 和 DeepSeek R1,拒绝解决更难的谜题。但当研究人员仔细观察它们为什么拒绝时,发现这些模型并不是在说“我不知道答案”,而是在说类似“这太长了,写不完”或“我会用完空间的”之类的话。它们之所以退出,是因为它们认为解决方案会超出它们的记忆限制,尽管这个谜题完全在它们的实际限制范围之内。研究人员将此称为语境焦虑。这是一种过早的自我怀疑,AI 认为自己无法完成工作,因此甚至根本不去尝试。

AI 的糟糕数学

为什么 AI 会如此害怕?论文指出,这是因为模型不擅长数学——具体来说,是不擅长预估一个解决方案会占用多少“空间”(或 Token)。研究人员要求模型猜测它们需要写多少个词来解决一个问题。结果非常离谱。

表现出焦虑的模型将所需空间高估了约 24%。它们认为一个 100 词的回答会占用 124 词的空间。因为它们认为任务过于庞大,所以产生了恐慌并选择了放弃。相反,那些没有焦虑感的模型实际上低估了空间,大约低估了 19%。它们更加乐观,心想:“嘿,这很简单!”并实际尝试去解决它。

这种失准造成了自我实现的预言。如果 AI 因为任务“太大”而认为任务是不可能的,它就会停止;如果它认为任务是可控的,它就会继续前进。研究发现,这种焦虑不仅仅是一个小故障,它会产生真实的后果。当模型感到焦虑时,其解决问题的准确率会降低 15%。更糟的是,当它们设法正确解决问题时,它们的回答会比平时长 54% 且效率较低。这就像一个紧张的学生,与其写一篇清晰简短的论文,不如喋喋不休,浪费时间和纸张,因为他们担心自己做得不够。

教会 AI 冷静下来

这篇论文最令人兴奋的部分是,研究人员不仅发现了问题,还找到了“解药”。他们问道:这种焦虑是 AI 大脑中永久的一部分吗?还是我们可以教会它不再那么紧张?

为了测试这一点,他们使用了一种名为**监督微调(SFT)**的技术。想象你有一个害怕数学的学生。与其给他们更难的数学题,不如向他们展示其他学生如何冷静且自信地解决类似问题的例子。你告诉他们:“看,你可以做到这一点,无需恐慌。”

研究人员提取了一个包含汉诺塔正确解法的数据库,但过滤掉了其中任何显示出焦虑迹象的解法。然后,他们仅用这些冷静、自信的例子训练了一个新的 AI 模型。他们没有教模型任何新知识,也没有让它变得更大;他们只是教了它一种新的思考方式。

结果如何?这个“治愈”后的模型表现惊人。它不再过早退出。它学会了相信自己可以完成工作。

  • 新模型的焦虑感降低了超过 50%
  • 它在解决谜题方面变得更出色,尤其是在中等难度的谜题上。
  • 它甚至将这种新的信心转移到了另一种完全不同类型的谜题(在网格上寻找最短路径)中,这表明它不仅仅是在死记硬背答案,而是在学习一种更好的策略。

这对未来意味着什么

这篇论文表明,我们看待 AI 性能的方式可能出了问题。我们通常认为,要让 AI 变得更好,我们只需要让它变得更大、给它更多数据或让它变得更聪明。但这项研究表明,有时 AI 已经足够聪明了,它只需要学会如何管理自己的信心。

研究人员发现,“语境焦虑”是一种行为习惯,而不是机器大脑的硬性限制。通过帮助模型准确评估自身能力,并防止它们过度估计任务的难度,我们可以在不需要构建庞大新超级计算机的情况下,让它们变得更可靠、更高效。这提醒我们,即使对于人工智能来说,有时最大的障碍不是问题本身,而是对问题的恐惧。

最后,这篇论文表明,通过一点点“心理治疗”(或者在这种情况下,通过针对冷静案例的仔细训练),AI 模型可以学会停止恐慌,信任自己的技能,并解决那些它们此前因恐惧而不敢触碰的问题。这是迈向构建不仅懂得如何思考,而且懂得在困难面前如何坚持下去的 AI 的一小步,也是有力的一步。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →