💻 computer science

Are Multilingual Models Actually Improving? Isolating True Cross-Lingual Transfer

本文引入了难度调整迁移（Hardness Adjusted Transfer, HAT）评分，旨在将真正的跨语言迁移能力从通用的源语言能力提升中分离出来，从而揭示出虽然小模型迁移效果良好且随时间推移已取得进展，但扩大模型规模在提升迁移强度方面的收益却比预期要慢。

原作者： Prasoon Bajpai, Eleftheria Briakou, Colin Cherry, Preethi Jyothi, Vihari Piratla

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Prasoon Bajpai, Eleftheria Briakou, Colin Cherry, Preethi Jyothi, Vihari Piratla

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

核心问题：陷阱——“假装成功”

想象你是一位正在为来自两个不同国家的学生评分的老师：A国（老师能流利地使用该国语言）和B国（老师仍在学习该国语言）。

长期以来，研究人员通过简单观察模型在新语言中的测试得分，来衡量模型学习新语言的能力。他们认为：“如果得分上升了，就说明模型在知识迁移方面做得更好！”

这篇论文指出，这是一个陷阱。

作者认为，模型往往并不是真的在提高其“翻译”知识的能力，而仅仅是整体变得更聪明了。

类比： 想象一个数学很差的学生请了一位家教。家教帮助他更好地理解了概念。现在，当这个学生用母语参加考试时，他得了90分。当他用外语参加同样的考试时，他得了60分。
后来，这个学生换了一个更好的家教。他更深入地理解了概念。现在，他在母语考试中得了98分，而在外语考试中得了65分。
错误之处： 如果你只看外语得分（从60%变为65%），你可能会认为他的语言能力提高了。但实际上，他只是变得更擅长数学了。他母语与外语之间的“差距”实际上反而扩大了（从30分差距变成了33分差距）。

论文指出，目前的方法就像这种情况：它们混淆了“整体变聪明”与“跨语言迁移能力提升”这两个概念。

解决方案：HAT 分数（难度调整后的迁移分数）

为了解决这个问题，作者发明了一种衡量进步的新方法，称为 HAT 分数（Hardness Adjusted Transfer，难度调整后的迁移分数）。

类比： 想象一条“完美迁移”线。这是一条神奇的基准线：如果一个学生在母语中得了80分，且他真正掌握了迁移能力，那么他在外语中也应该得到80分。

旧方法： 只看最终的数字（例如“65%”）。
HAT 分数： 观察两者之间的关系。它会问：“鉴于模型在源语言中表现为 X%，它在目标语言中的表现相对于预期高出了多少（或低了多少）？”

如果模型的表现高于预期线，那就是真正的迁移胜利。如果它只是因为整体变聪明而顺着曲线移动，那么 HAT 分数将保持不变。它过滤掉了“整体进步”带来的噪音，从而寻找发现“语言学习”的真实信号。

研究发现（结果）

研究人员在三种不同类型的任务上测试了20种不同的 AI 模型（来自 Google、OpenAI 和 Anthropic 等公司）。以下是他们的“HAT 分数”揭示的内容：

1. 小模型并没有“坏掉”

误区： 人们曾认为小型 AI 模型在学习新语言方面表现得很糟糕。
现实： 当使用 HAT 分数进行衡量时，小模型实际上做得还不错！它们并非“坏掉了”，只是整体得分较低。旧的指标让它们看起来比实际情况要差。

2. 进步速度比我们想象的要慢

误区： 随着 AI 模型变得越来越大（参数更多），它们会自动变得完美掌握跨语言迁移。
现实： 使用 HAT 分数，作者发现虽然扩大模型规模确实有帮助，但这种进步比我们预期的要慢得多。我们并没有看到原始得分所暗示的那种跨语言迁移的巨大飞跃。

3. 时间正在发挥作用（但仅限于某些任务）

现实： 较新的模型（发布于2025/2026年）在推理任务（如数学和逻辑谜题）上确实比旧模型更强。在这些测试中，HAT 分数显示它们几乎已经“解决”了这个问题，即它们几乎可以完美地实现知识迁移。
症结： 这种进步在事实检索任务（如回答常识性问题）中并未发生。在这些任务上，进步已经停滞了。

4. “脚本/文字”障碍

现实： 语言使用不同的字母表（例如英语 vs 阿拉伯语）是否重要？
发现： 这取决于任务类型。
- 对于推理（数学/逻辑），字母表并不重要。模型能够理解。
- 对于事实（常识），切换字母表会产生巨大的障碍。当脚本改变时，模型的表现会大幅下降。

5. “思考”大有裨益

现实： 被允许进行“思考”（在回答前生成思维链）的模型在跨语言迁移方面表现更好。
观察： 这些模型似乎利用这段额外的思考时间来弥合语言间的差距，在解决问题之前，先在“脑海”中完成了问题的翻译。

结论

论文总结道，虽然 AI 正在变得更强大，但我们一直把“通用的聪明才智”误认为是“语言能力”。

好消息： 我们在推理任务上取得了真正的进展，而且小模型的能力也超出了预期。
坏消息： 我们在基于事实的任务上进展缓慢，且语言间的差距依然顽固，尤其是在涉及不同字母表的情况下。
行动呼吁： 现有的测试（基准测试）对于最新的模型来说太简单了。我们需要更难、更复杂的测试，迫使模型在需要多个步骤的任务中挣扎，从而让“翻译”这一环节成为真正的挑战。

简而言之：不要只看最终得分；要看模型是如何达到那个得分的。HAT 分数是衡量真正语言学习能力的全新标尺。

技术摘要：“多语言模型真的在进步吗？隔离真实的跨语言迁移”

问题陈述

跨语言迁移（XLT）被定义为模型将能力从代表性良好的源语言（通常是英语）泛化到代表性不足的目标语言的能力。虽然多语言基准测试常被用于追踪这一领域的进展，但作者认为，现有的指标将真正的迁移改进与源语言准确率的普遍提升混为一谈。

目前的标准度量包括：

绝对目标语言准确率： 仅测量目标语言上的性能。
XLT 差距（XLT Gap）： 源语言与目标语言准确率之间的绝对差值。
迁移得分（Transfer Score）： 在源语言预测正确的前提下，目标语言问题回答正确的比例。

论文指出这些指标存在一个关键缺陷：源语言和目标语言的准确率具有极强的线性耦合关系（ $R^2 > 0.94$ ）。随着通用模型能力（如推理、事实性或规模）的提升，源语言和目标语言的准确率都会同步上升。因此，目标语言准确率的提高可能仅仅反映了源语言性能的提升，而非迁移机制的改进。同样，XLT 差距可能会在模型规模扩大时，在底层迁移特性（transfer profile）实际改善的情况下，误导性地显示出迁移能力在退化。

方法论

硬度调整迁移（HAT）得分

为了解决源语言提升带来的干扰效应，作者提出了硬度调整迁移（Hardness Adjusted Transfer, HAT）得分。该指标基于第一性原理推导，旨在隔离出从源语言到目标语言的性能转化比例，而不受源语言绝对难度或模型通用能力的干扰。

理论定义：
令 $S$ 和 $T_\ell$ 分别表示源语言和目标语言 $\ell$ 的通过率。理想的迁移特性由条件期望 $E[T_\ell | S=s, M]$ 定义。如果模型具有完美的迁移能力，该特性将与直线 $y=x$ 对齐。

HAT 得分定义为在源语言准确率呈均匀分布下的归一化预期目标准确率，从而消除了由特定源语言准确率分布引入的偏差：
$\text{HAT Score} = 2 \int_{0}^{1} E[T_\ell | S=s, M] \, ds$
乘数 2 确保得分被限制在 $[0, 1]$ 区间内。

经验估计：
由于 $E[T_\ell | S, M]$ 无法直接观测，作者使用线性回归方法对其进行估计：

对于每个数据集实例，模型分别在源语言和目标语言中被提示 $N=10$ 次，以估计通过率（ $s^{(i)}$ 和 $t^{(i)}$ ）。
对配对数据 $(s^{(i)}, t^{(i)})$ 进行线性回归拟合，以近似条件期望，并约束当 $S=0$ 时 $T=0$ 。
该拟合直线的斜率 ( $\hat{m}$ ) 即作为 HAT 得分。

实验设置

本研究评估了 20 个多样化的大语言模型（LLMs），涵盖五个家族（Gemini, Gemma, Qwen, GPT-OSS, Claude），参数规模从 1B 到 120B 不等，并具有不同的“思考”预算（推理深度）。

评估在三个多语言基准测试上进行：

ECLeKTic： 跨语言事实性问答（Factoid QA）。
MGSMv2： 多语言数学推理（MGSM 的修正版本）。
MMLU-ProX-Lite： 多语言多项选择推理与概念知识。

对于 MGSMv2 和 MMLU-ProX-Lite，英语是源语言。对于 ECLeKTic，源语言根据原始维基百科文章随每个问题而变化。

关键结果

1. HAT 与传统指标的验证

作者证明了传统指标往往会误导进度判断：

目标语言准确率： 当迁移特性保持不变，仅仅因为源语言准确率分布向更高值移动（例如更大的模型）时，可能会虚假地显示出进步。
XLT 差距： 即使迁移特性（斜率）在改善，随着模型规模扩大，XLT 差距可能会误导性地显示出退化（性能变差）。
HAT 得分： 对源语言准确率分布的变化具有鲁棒性，能够提供可靠的真实迁移强度指标。

2. 模型规模与进展

小模型： 迁移在小模型（1B–4B）中并非“失效”。这些模型的 HAT 得分在 50% 到 80% 之间，表明目标语言准确率是源语言准确率的一个显著比例。然而，传统指标对小模型给出的估计过于悲观。
缩放趋势（Scaling Trends）： 虽然较大的模型表现出更好的迁移能力，但相对于模型规模的增加，其进步速度低于预期。HAT 得分揭示了 XLT 的增益比原始目标语言准确率所暗示的要缓慢得多。

3. 随时间变化的进展

推理基准测试： 对于 MGSMv2 和 MMLU-ProX-Lite，较新的模型（2025 年后）表现出向“完美迁移”线显著移动的趋势。中位数 HAT 得分从 0.75 提升至 0.93（MMLU-ProX-Lite），以及从 0.90 提升至 0.97（MGSMv2），这表明这些基准测试在 XLT 方面已接近解决。
事实性基准测试： 在 ECLeKTic 中未观察到此类趋势，其进展似乎停滞不前。

4. 影响迁移的因素

模型架构与预训练： 在规模相当的模型家族之间（例如 GPT-OSS vs. Gemma vs. Qwen），HAT 得分的差异表明，预训练方案对迁移的影响比单纯的模型规模更为重要。
思考/推理预算： 启用“思考”（推理深度）可以提升所有基准测试中的 XLT。作者观察到，模型会为非英语提示分配额外的 token（长 5–20%），这表明存在一种语言桥接机制。
脚本相似性： 仅在 ECLeKTic（事实性问答）上，不同脚本之间的迁移显著变弱。对于推理任务（MGSMv2, MMLU-ProX-Lite），脚本差异不会显著降低 HAT 得分。

意义与主张

本文声称，由于源语言与目标语言准确率的耦合，该领域一直在误读跨语言迁移的进展。通过引入 HAT 得分，作者提供了一种能够将通用能力提升与真正的迁移增益相分离的度量方法。

作者得出结论：

小模型的迁移功能完备，这与基于原始目标语言准确率得出的悲观观点相反。
XLT 的进展比预期更慢，这挑战了“只需增加参数即可自动解决多语言差距”的假设。
当前的基准测试在推理任务上已趋于饱和（MGSMv2, MMLU-ProX-Lite），有必要开发更具挑战性、更具实际驱动力的基准测试（例如多步任务），以持续衡量有意义的进展。

这项工作旨在呼吁社区采用像 HAT 这样更具原则性的指标，以准确评估并推动跨语言泛化的研究。