💬 NLP

CroCo: Cross-Lingual Contrastive Preference Tuning on Self-Generations

本文介绍了 CroCo，一种通过利用自生成响应和英语训练奖励模型进行跨语言对比偏好微调的方法，该方法证明在采用策略内数据的前提下，无需特定语言的偏好标注即可有效提升多语言大语言模型在多样化任务上的性能。

原作者： Mike Zhang, Ali Basirat, Desmond Elliott

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Mike Zhang, Ali Basirat, Desmond Elliott

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《CROCO：基于自生成的跨语言对比偏好微调》的通俗解释，辅以日常类比。

核心理念：无需多语种评委，训练多语种大厨

想象你有一位才华横溢的大厨（AI 模型），他会说多种语言，但需要学习如何烹饪出更符合人类口味的佳肴。通常，要教导这位大厨，你需要一位与他说同一种语言的食品评委，来品尝菜肴并评价：“这道很棒，那道很糟糕。”

问题所在：
在 AI 领域，我们拥有大量精通英语的“评委”（奖励模型），但精通丹麦语、荷兰语或意大利语的评委却寥寥无几。传统上，为了改进多语种大厨，研究人员试图将英语指令翻译成其他语言，或者为每种语言聘请专门的评委。这不仅昂贵、缓慢，还常常导致大厨忘记如何烹饪原本的菜肴（即所谓的“灾难性遗忘”问题）。

解决方案（CROCO）：
这篇论文的作者提出了一种巧妙的捷径，称为CROCO。他们不需要为每种语言配备评委，而是利用一位英语评委和一种名为对比偏好微调的技术。

具体步骤如下：

1. “自生成”自助餐

与其让大厨只烹饪一道菜，不如让 AI（大厨）针对特定语言（例如丹麦语故事）烹饪64 个不同版本的同一道食谱。

2. “单一评委”评分表

这位唯一的英语评委品尝所有 64 个版本。尽管评委讲英语，他们仍能分辨出连贯、有帮助的丹麦语故事与胡言乱语、令人困惑的故事之间的区别，并为每个版本打分。

关键洞察： 评委不需要确切知道丹麦语故事在绝对意义上有多好。他们只需要保持一致性。如果故事 A 得 90 分，故事 B 得 10 分，评委就知道 A 优于 B，即使这些分数并不完美。

3. “甜蜜点”配对

这是魔法所在。研究人员并不仅仅挑选“最佳”和“最差”的故事。

他们挑选最佳故事（获胜者）。
他们挑选一个平庸的故事，该故事明显不如获胜者，但也不是绝对最差的（具体来说，是得分低于平均分约 2 个标准差的故事）。

这就像一位体育教练。教练不会给球员看金牌得主的视频和有人被鞋带绊倒的视频，而是展示金牌得主和一位犯了些错误但仍在比赛中的球员。这种“对比”更易于球员从中学习。

4. 课程（DPO）

AI 通过比较这两个特定故事来学习：“我应该以获胜者为目标，并应避免平庸者的风格。”因为 AI 学习的是两者之间的差异（差距），所以即使评委针对该特定语言的评分系统略有“偏差”也无妨。只要排名一致，AI 就能学到正确的教训。

他们的发现

研究人员在两个不同的 AI 模型（一个小模型，一个中等规模模型）上，针对14 种不同语言（包括丹麦语、荷兰语、法语、德语、意大利语、西班牙语，甚至威尔士语和爱尔兰语等资源匮乏的语言）测试了该方法。

“翻译”陷阱： 当他们尝试简单地将英语训练数据翻译成其他语言并直接教导 AI（监督微调）时，AI 变得困惑，忘记了如何流利地说这些语言。这就像强迫一位法国大厨死记硬背一本翻译过的意大利食谱；他们不仅弄错了词汇，还忘记了自己原本的技能。
CROCO 的成功： 使用“自生成 + 单一评委”方法，AI 在几乎所有语言中都取得了进步。
- 它在结构化任务（如数学和编程）和开放式任务（如创意写作）方面都变得更好。
- 它对小型和大型模型都有效。
- 它甚至对 AI 在训练期间未曾见过的语言也有效，这表明它学习了一种通用的“更好烹饪”技能，并能跨语言迁移。

“秘密配方”的要求

论文发现，只有遵循两条严格规则，该方法才有效：

必须使用自己的烹饪（策略内数据）： AI 必须自己生成这 64 个故事。如果你使用另一个AI 生成的故事来教导它，该方法就会失败。这就像大厨从自己的错误中学习，而不是从别人的错误中学习。
“离线”方法更佳： 你必须在开始教导 AI 之前对所有故事进行评分。如果你尝试在 AI 实时生成故事的同时教导它（在线），AI 会被评委的即时反馈搞糊涂，学习效果不佳。

总结

这篇论文证明，你不需要一支多语种专家团队来教导 AI 在多种语言上表现得更好。你只需要一位一致的英语评委，以及一种聪明的方法，让 AI 在其自身语言中区分“好”答案和“坏”答案。

通过关注答案之间的相对差异而非绝对质量，AI 能够学会更好地讲丹麦语、意大利语或威尔士语，而无需为每种语言配备专门的老师，也不会忘记如何讲英语。

技术摘要：CROCO——基于自生成的跨语言对比偏好微调

问题陈述

将大型语言模型（LLM）与人类偏好对齐是后训练的关键最终阶段，通常通过直接偏好优化（DPO）实现。尽管近期进展表明，DPO 可应用于自生成样本（利用奖励模型对策略模型自身的输出进行评分），而非依赖人工标注，但这些方法目前仅在英语中得以确立。

将这一方法扩展至多语言环境面临重大挑战。先前的多语言偏好对齐工作依赖于基于翻译的信号，利用英语与其他语言之间的能力差距作为隐式奖励，或对噪声数据对重新加权损失。然而，基于自生成的对比偏好微调（即根据分布内的相对奖励分数构建偏好对）这一特定机制，是否能在无需特定语言偏好标注的情况下跨语言迁移，仍是一个未解之谜。此外，仅基于英语偏好训练的奖励模型（RM）能否有效对其他语言的响应进行排序以推动多语言对齐，尚不明确。

方法论：CROCO

作者提出了CROCO（基于自生成的跨语言对比偏好微调），这是一个将“甜蜜点”（sweet spot）偏好构建方法（Xiao 等人，2025）扩展至多种语言的框架。

核心机制

自生成：对于目标语言 $\ell$ 中的给定提示 $x$ ，策略模型 $\pi_\theta$ 生成 $K$ 个候选响应（ $Y_x$ ）。
奖励评分：外部现成的奖励模型（RM）对这些响应进行评分。关键在于，该 RM 基于英语偏好训练，但构建在多语言基础模型（例如 Qwen3-8B）之上。
对比对构建：该方法不将最高分响应与绝对最低分响应配对，而是选择一个“甜蜜点”以诱导受控的对比性：
- 优选（Chosen, $y_c$ ）：奖励最高的响应。
- 拒绝（Rejected, $y_r$ ）：奖励最接近 $\mu_x - 2\sigma_x$ 的响应（其中 $\mu$ 和 $\sigma$ 分别为该提示奖励分布的均值和标准差）。
训练：模型利用 DPO 在这些构建的配对上进行微调。作者评估了两种模式：
- 单语言：独立针对每种语言的数据进行微调。
- 多语言：联合针对所有语言数据的并集进行微调。

实验设置

模型：测试了两个不同规模的模型：EuroLLM-9B（90 亿参数）和aya-3B（30 亿参数）。
数据：来自 Dolci-Instruct-SFT 语料库的 20,000 个指令微调实例被 TranslateGemma-27B 翻译成六种欧洲语言（丹麦语、荷兰语、法语、德语、意大利语、西班牙语）。
奖励模型：Skywork-Reward-V2-Qwen3-8B，这是一个基于多语言基础模型、在英语偏好上训练的 RM。
基线：在翻译数据上的标准监督微调（SFT）、仅在最高奖励响应上的 SFT（Max-R），以及现有的多语言偏好微调方法（ICR, MAPO）。

主要贡献

对比微调的跨语言迁移：论文证明，基于自生成的对比偏好微调能有效跨语言迁移。在配对自生成数据上的 DPO 优于 SFT 基线和现有多语言方法，而在翻译数据上的标准 SFT 则导致灾难性遗忘。
消除特定语言标注：研究表明，多语言偏好微调不需要特定语言的偏好标注。仅基于英语的 RM（构建在多语言基础模型之上）能产生一致的语言内排序，从而推动大多数语言的性能提升。
跨规模和任务的鲁棒性：该方法在结构化任务（EuroEval）和开放式生成（m-ArenaHard 2.1）上均提升了性能。EuroLLM-9B 在 7 种语言中的 6 种结构化任务中达到或超过基础模型，aya-3B 在 4 种语言中达到此效果；在开放式生成任务中，该方法在所有 11 种评估语言中均战胜了基础模型。
消融实验洞察：
- 同策略（On-Policy）的必要性：性能提升需要同策略数据。异策略响应（由不同模型生成）会削弱收益，且在使用外部 RM 时，在线偏好优化无法超越离线变体。
- 提示语言：提示语言应与优选响应语言匹配以获得最佳性能。
- 翻译的效用：虽然 SFT 在翻译数据上表现下降，但 DPO 中的对比信号即使在翻译引入噪声时仍具有信息量，因为它依赖于相对奖励差距而非绝对目标。

结果

EuroEval（结构化任务）：
- SFT 失败：在翻译数据上进行单语言和多语言 SFT 均导致灾难性遗忘，性能下降幅度在 0.1 到 11.3 分之间。
- DPO 成功：对于 aya-3B，配对 DPO 在 14 种设置中有 12 种表现非负；对于 EuroLLM-9B，在 14 种设置中有 10 种优于基线。最大增益为 EuroLLM-9B 在意大利语（单语言）上提升了 3.6 分。
- 对比：配对 DPO 是唯一在所有语言上平均表现非负的方法，优于经常导致性能下降的 ICR 和 MAPO。
m-ArenaHard 2.1（开放式生成）：
- 配对 DPO 在所有 7 种语言中，针对 EuroLLM-9B 基础模型的长度控制（LC）胜率介于 54.5% 至 58.4% 之间。
- 对于 aya-3B，LC 胜率介于 55.5% 至 66.3% 之间，大多数语言实现了两位数的提升。
- 该方法成功缩小了基础模型与更大参考模型（Gemma3-12B 和 Gemma3-4B）在大多数语言中的性能差距。
泛化性：该方法在 EuroEval 的未参与语言（挪威语、葡萄牙语、瑞典语）上表现出积极的泛化能力，而多语言 SFT 在所有未参与数据集上均导致性能下降。

意义与主张

论文声称，CROCO为多语言偏好微调提供了一个有前景的方向，它证明了相对奖励差距是一种稳健的信号，即使奖励模型仅基于英语偏好训练，也能跨语言迁移。

作者认为，DPO 目标依赖于配对响应的相对排序（而非绝对校准），使其能够容忍翻译噪声和跨语言校准误差。这一发现表明，只要利用同策略自生成来构建对比对，即可在不付出每语言偏好标注的昂贵成本的情况下实现高质量的多语言对齐。

该工作强调，同策略数据是关键组成部分，因为对比信号仅在配对响应源自策略模型自身分布时才具有信息量。此外，它确立了在此设置下，使用固定奖励模型的离线 DPO优于在线 DPO，因为后者会形成反馈循环，放大奖励模型的偏差而非学习真实偏好。

最终，论文主张，单个基于英语训练的奖励模型，若通过对比对构建应用于自生成的多语言数据，足以推动跨多种语言和模型规模的一致改进，从而避免标准监督微调所伴随的灾难性遗忘。