A Shared Geometry of Difficulty in Multilingual Language Models
本文揭示了大型语言模型通过一个两阶段的表示层级来处理问题难度，其中与语言无关的信号在浅层涌现以实现跨语言泛化，而与语言相关的信号在深层则用于优化特定语言内的准确性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个试图解决棘手数学谜题的巨型、多语言机器人大脑。你可能会认为，如果你用法语、日语或斯瓦希里语问它同一个问题，它每次都必须从头开始重新思考难度，就像一个在理解翻译后的应用题时挣扎的学生一样。但一项新的研究表明，机器人的脑海中正在发生一些更酷的事情。
研究人员 Stefano Civelli 及其团队决定窥探一些世界上最聪明的人工智能模型（具体为 LLaMA 和 Qwen 系列）的大脑，看看它们如何“感知”问题的难度。他们不仅观察了英语；他们从一个名为 AMC 的竞赛中提取了大约 4,000 道数学题，将其翻译成 21 种不同的语言，并要求人工智能解决这些问题。然后，他们构建了微小的“难度检测器”（称为线性探测器），来倾听机器人的内部信号。
这里有一个巨大的惊喜：机器人并不只有一种判断难度的方式。它实际上有两个不同的阶段，就像一场两步走的舞蹈。
第一步：普世的低语（浅层网络）
当机器人第一次看到一个问题时，无论它是用英语、印地语还是西班牙语，它都会立即形成一个快速且共享的概念，即这个问题有多难。你可以把它想象成一种通用的“难度氛围”，这种氛围发生在机器人大脑的非常早期的层级中（在 32 层模型中的第 14 层左右）。
研究发现，如果你训练一个检测器来捕捉英语中的这种“氛围”，那么当你用它在斯瓦希里语或中文上进行测试时，它几乎同样有效。这就像机器人拥有一个秘密的、与语言无关的“难度计，并在瞬间启动。研究人员认为，AI 在开始担心具体的词汇或语法之前，首先理解了“这很难”这个抽象概念。这种共同的理解力惊人地强大，即使对于那些模型了解较少的语言也是如此。
第二步：特定的润色（深层网络）
但故事并没有结束。随着信息向机器人大脑的更深处移动（到达 32 层模型中的第 30 层），事情变得具体化了。机器人将那种通用的“难度氛围”进行精炼，使其完美地契合它当前正在使用的语言。
这就是翻译变得棘手的地方。如果你用英语的深层、经过润色的层级训练你的难度检测器，它会成为一个极其精准的英语问题评判者。但如果你尝试用这个用英语训练的检测器去处理法语问题，它就会感到困惑并表现不佳。这就像一位掌握了完美调味法国菜的顶级厨师；如果要求他仅凭法国调味的规则来评判一道日本菜，他可能会失之毫厘。深层网络在单一语言内表现出色，但在跨语言方面则失去了那种通用的“跨语言”超能力。
机器人并没有在做的事
该研究明确排除了这样一种观点，即机器人只是在背诵英语，并将其他所有语言在脑海中翻译成英语来解决问题。如果真是那样，难度信号在每一层看起来应该都是一样的。相反，研究人员发现了一个清晰的分层：早期是一个共享的、与语言无关的信号，而后期则是语言特定的信号。他们还展示了这并非某个特定模型的偶然现象；他们在拥有 10 亿、30 亿和 80 亿参数的模型中都观察到了同样的模式。
他们有多确定？
团队对这些数字非常有信心。他们测量了“斯皮尔曼相关系数”（一种衡量“预测值与真实难度匹配程度”的高级方式），并发现对于 80 亿参数的模型，当在同一种语言中进行测试时，深层网络的得分约为 0.822，但当跨语言测试时，得分降至 0.783。更重要的是，当他们强迫跨语言检测器去观察深层网络时，其得分大幅下降了 0.177。这是一个巨大的跌幅，证明了深层网络确实失去了通用的连接性。
核心启示
所以，下次当你好奇 AI 如何处理一种你不会的语言中的难题时，请想象一下：AI 首先会有一个快速的、无声的、脱离语言的瞬间，它会对自己说：“哇，这题真难！”只有在那之后，它才会开始使用你所要求的特定语言，将最初的感觉进行润色以适应文字。事实证明，即使是判断难度这样复杂的事情，AI 也会在变得具体化之前，先从一个共享的、通用的理解开始。
研究人员指出，他们仅在数学问题上进行了测试，因此我们目前还不清楚这种“两步走舞蹈”是否也适用于判断一个笑话有多难或一个代码漏洞有多难。但对于数学而言，证据是明确的：AI 有一种共享的、与语言无关的方式来感知何时情况变得艰难，而且这种感知发生在它思考过程的最开始阶段。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。