💬 NLP

Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents

本文通过纠正五个关键混淆变量，引入了一个用于衡量工具使用型智能体跨语言策略保留能力的严谨框架，揭示了前沿模型通过将非英语任务路由至英语来结构化地保留了 71–73% 的动作策略，而较小的模型则表现出崩溃现象，且观察到的失败可能是由痕迹提取正则表达式而非模型本身的局限性所人为制造的。

原作者： Sourabrata Mukherjee, Kalika Bali, Sunayana Sitaram

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sourabrata Mukherjee, Kalika Bali, Sunayana Sitaram

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

数字助手的隐形旅程

想象你拥有一个超级聪明的数字助手，就像一个住在电脑里的个人机器人。它的工作是通过一系列步骤来解决问题：它可能会查找信息、进行数学计算，或者翻译一个句子，最后才给你一个最终答案。这就是现代“AI智能体”（AI agents）的工作方式；它们不仅仅是猜测答案，而是构建一条通往答案的路径。

长期以来，科学家们通过用不同的语言（比如英语和印地语）向这些助手提问来进行测试。如果助手在两种语言下都能给出正确答案，大家就会感到很满意。这就像是在评价一名学生时，只看他们数学考试是否得到了正确的数字，而不去看他们是如何解题的。但如果这个学生在做英语题时是用画图的方式，而在做印地语题时却是写一篇长文呢？他们得到了同样的成绩，但使用的解题方法却完全不同。

这篇论文提出了一个重大问题：当一个AI智能体切换语言时，它是否会改变其“路线”或完成任务所采取的步骤？事实证明，步骤非常重要。路线决定了计算机要花费多少钱、运行速度有多快，以及如果出错会发生什么。如果AI在印地语中的路径与英语不同，它可能会产生更高的成本，或者以一种安全规则未能捕捉到的方式导致失败。因此，研究人员决定不再仅仅观察最终答案，而是开始观察整个旅程。

伟大的语言绕道

研究人员着手调查这些AI智能体是真的精通双语，还是仅仅在装模作样。他们选取了八个不同的AI模型，并在41种不同的语言中给它们布置了相同的任务。他们并没有只检查最终结果，而是记录了AI采取的每一个步骤——即“轨迹”（trace）——就像GPS追踪汽车的行驶路径一样。他们想知道：如果我用英语要求AI“查找天气并计算费用”，然后再用印地语要求完全相同的事情，它会采取完全相同的步骤吗？

答案是一个坚定的“不”，但结果并非如你所预期的那样。AI不仅仅是走了一条稍微不同的路，它是在进行一次大规模的绕道。研究人员发现，当语言改变时，AI的行为也会发生显著变化。事实上，当观察最先进的模型时，它们在切换语言后仅保留了原始逐步计划中的约 71% 到 73%。这意味着，大约有 27% 到 29% 的时间里，AI仅仅因为语言的不同而做了完全不同的事情。

“英语枢纽”的秘密

为什么会发生这种情况？团队发现了AI智能体养成的一个隐藏习惯。事实证明，即使你用印地语、泰米尔语或任何其他语言向AI提问，它通常会在其“大脑”中先偷偷地将整个问题翻译成英语。然后，它用英语解决问题，最后再将答案翻译回来。

研究人员将此称为“英语枢纽”（English pivot）。为了证明这一点，他们尝试强制让AI停止这种行为。他们告诉AI：“请用你正在使用的语言思考，不要翻译成英语！”但AI并没有听从指令。在测试的两个模型中，AI遵循“用任务语言思考”这一指令的比例还不到 1%。由于AI几乎从未真正做到言行一致，研究人员无法测试用另一种语言思考是否会改变其步骤。然而，这一结果确立了一个更强大的事实：“英语枢纽”不仅仅是一个可以通过简单提示词就能关闭的偏好；它是一种根深蒂固的行为，模型在面对直接指令时实际上会忽略它。这就像一位旅行者，无论去到哪个国家，都坚持要在和任何人交谈前先找翻译，无论导游如何叮嘱。这种习惯如此强烈，以至于它成为了AI步骤随语言变化而改变的主要原因。

捷径陷阱

论文还揭示了一个差点误导所有人的有趣错误。在衡量这些AI智能体的表现时，一些研究人员使用了一个简单的计算机程序来读取AI的步骤。其中一个程序非常严苛，如果AI写的是像“我将使用计算器”这样的句子，而不是特定的代码格式，该程序就会认为AI失败了。

因此，一个能力非常出色的AI模型看起来失败了 76% 的时间。但当研究人员将计算机程序修改得更具灵活性后，该AI的“成功率”竟然跃升了 26倍！这教会了研究人员，有时看起来像是语言问题的问题，实际上只是我们读取AI“手写字迹”的方式出了问题。

大小决定规则

最后，团队研究了更大的AI模型是否在处理此类问题上表现更好。他们发现了一个奇怪的规则：最大、最强大的模型表现得非常相似，都保持着 71–73% 的一致性。但较小的模型则显得一团糟。有些小模型看起来表现很好，但事实证明它们只是因为采取了非常短且简单的路径，从而通过偶然性获得了高匹配度。一旦研究人员修正了这种运气成分，这些小模型的表现就不再那么令人印象深刻了。看来，只有那些非常庞大、强大的模型才建立了一套一致的行为模式，而较小的模型仍在摸索之中。

这为何重要

这项研究改变了我们测试AI的方式。它表明，得到正确答案是不够的。如果一个AI仅仅因为你使用了不同的语言，就采取了不同的、更昂贵或更具风险的路径，那这就是一个问题。研究人员表明，这些智能体并不是真正精通语言的操作，它们仍然依赖于一个隐藏的英语支柱。在我们解决这个问题之前，一个AI在英语中可能是可靠的，但在其他语言中却可能不可靠——这并不是因为它“笨”，而是因为它正沿着一条不同的、未被监测的道路前往同一个目的地。

技术摘要：行动胜于言辞

问题陈述

目前的跨语言工具使用智能体评估几乎完全集中在最终答案的正确性上，忽略了中间的行动轨迹（action traces）。这种方法假设如果一个智能体在多种语言下都能产生正确的答案，那么其行为就是一致的。然而，对于智能体而言，“路径”（工具调用的序列和中间步骤）才是真正的产物。不同的路径会导致不同的成本、延迟、失败模式以及可审计性问题。在一个英语轨迹上验证过的安全机制，如果底层的行动策略（action policy）不同，在非英语轨迹上可能并不成立，即便最终输出是相同的。

核心问题在于缺乏一种可靠的指标来衡量跨语言策略保留度（cross-lingual policy retention）：即智能体在执行语义相同的任务时，在不同语言下执行相同动作序列的程度。标准的相似度测量由于五个特定的混淆因素而变得不可靠：

缺乏基准： 模型并非完美的自我一致（self-consistent）；同一个模型被问及同一个问题两次时，在同一种语言下也会产生不同的轨迹。如果没有同语言基准，就无法隔离跨语言差异。
轨迹长度偏差： 较短的轨迹在相似度指标上得分人为偏高。
空轨迹偏差： 没有动作的轨迹在相似度上会获得完美得分（1.0），从而扭曲结果。
天花板效应： 模型可能达到的最大一致性受限于其自身的复现性（self-consistency）。
随机底线（Chance Floor）： 不相关的轨迹通过偶然性达成的一致性往往高于 50%，从而产生非零的相似度基准。

方法论

作者提出了一种通过显式修正上述五个混淆因素来测量**归一化策略保留度（Normalized Policy Retention, $\tilde{I}$ ）**的方案。

实验设置：
- 模型： 8 个指令微调模型（包括 Gemma-3, Sarvam-M, Qwen3, Llama-4 和 GPT-OSS），参数规模从 4B 到 235B 不等，涵盖了稠密模型和混合专家（MoE）架构。
- 任务： 6 个并行基准测试（FLORES-200, XQuAD, XNLI, Belebele, XCOPA 以及一个合成套件），涵盖 41 种语言。
- 规模： 跨越 505 个单元格的 238 万次智能体展开（rollouts）。
- 脚手架（Scaffold）： 一个固定的符号化工具使用脚手架（Thought/Action/Finish），共享一个包含 5 种工具的字母表。轨迹通过正则表达式提取；工具是符号化的（仅解析而不执行）。
测量协议：
- 重复实验： 每个“任务-语言”对都在相同条件下（相同种子、任务、预算）生成两次，以建立同语言基准（ $I_{within}$ ）。
- 跨语言比较： 对不同语言的轨迹进行比较（ $I_{cross}$ ）。
- 归一化： 指标定义为 $\tilde{I} = I_{cross} / I_{within}$ 。这通过将跨语言一致性相对于模型自身的自我一致性天花板进行归一化。
- 修正：
  - 双向长度匹配，以消除轨迹长度偏差。
  - 排除空轨迹。
  - 通过置换检验（permutation）而非假设来测量随机底线。
  - 针对天花板效应（自我一致性）进行修正。
干预措施：
- 温度阶梯（Temperature Ladder）： 在不同温度 $T \in \{0, 0.3, 0.5, 0.7, 1.0\}$ 下进行测试，以区分采样噪声与结构性差异。
- 英语枢轴消融（English Pivot Ablation）： 移除 Translate 工具或强制将其作为第一步，以测试对英语的因果依赖。
- 轨迹长度操纵： 人为改变轨迹长度，以隔离长度效应。

关键结果

1. 效应随修正而增强

与直觉相反——即认为修正混淆因素会降低观察到的效应——每项应用的修正（长度匹配、空轨迹移除、随机底线调整）都增加了测得的差异。原始的语言间差距只是一个下界；修正后的差距显著更大。

2. 前沿模型的收敛

在贪婪解码（ $T=0$ ）下，四种不同的前沿模型（涵盖不同的规模、架构和训练混合比例）在归一化策略保留率上趋于一致：71–73%。

模型身份对该归一化指标的方差解释仅为 5.7%。
相比之下，在 $T=0.5$ （包含采样）时，模型身份解释了 74.8% 的方差，且排名完全反转。
这表明，在贪婪解码下，跨语言策略保留是一个模型的结构性属性，而非采样噪声的产物。

3. 正则性的边界

这种 71–73% 的正则性在参数量低于约 10B 的模型中失效。

较小模型（4B, 8B）表现出高度的可变性。
小模型基于原始指标呈现出的表象排序，很大程度上是“随机底线”造成的伪影（较短的轨迹导致相似度得分人为偏高）。一旦经过修正，小模型的排名发生了反转。

4. 英语枢轴机制

研究确定了导致差异的一个因果机制：智能体通过英语枢轴（English pivot）来处理非英语任务。

对于合规的模型，Translate 是每个基准测试中最常用的工具。
即使是针对非拉丁脚本，推理文本也约 99% 是 ASCII 字符。
因果测试： 移除 Translate 工具后，跨语言一致性的下降程度与模型对其的依赖程度成正比。强制要求翻译则提高了具有“提升空间”（即基础翻译使用率较低）的模型的一致性。
鲁棒性： 即使指令要求模型使用任务语言进行推理，其遵循率也极低（<1%），这表明英语枢轴是一种结构性偏好，而非可以通过提示词（prompt）改变的风格化默认设置。

5. 测量病理学

论文强调了一个关键的测量失效案例：一个单一的轨迹提取正则表达式导致一个能力健全的模型（GPT-OSS-120B）看起来像是失效了。

该模型以散文形式回答（“我们将使用 Translate”）而非要求的语法，导致其 74.6% 的轨迹为空。
由于空轨迹在相似度计算中得分为 1.0，这使得该模型看起来具有极高的不变性，但准确率却接近于零。
加入两个 few-shot 示例恢复了可解析性，使测得的准确率提升了 26 倍，而这并未改变模型的实际能力，仅改变了其可读性（legibility）。

意义与主张

论文声称，答案层面的对等性可能与显著的行为差异并存，这对成本、延迟和安全性具有现实意义。

指标贡献： 作者提供了一个经过天花板修正的估计量（ $\tilde{I}$ ）以及一个考虑了五种特定混淆因素（其中两个已建立因果关系）的协议。
结构性洞察： 跨语言差异并非随机噪声，而是一种结构性属性：只要模型足够大且采用贪婪解码，它们在更换语言时会保留大约 71–73% 的行动策略。
机制： 对英语枢轴的依赖是一个承载性的因果因素，模型即便在被明确指示时也会抵抗放弃该机制。
有效性： 研究表明，标准的基于正则表达式的轨迹提取可能会制造出虚假的跨语言失败，因此有必要在报告准确率的同时，同时报告解析失败率（parse-failure rates）。

这项工作填补了智能体基准测试（关注结果）与跨语言评估（关注最终预测）之间的鸿沟，认为必须将行动策略本身作为测量对象，才能真正理解多语言智能体的行为。