💬 NLP

Rewrite to Translate, Translate to Reward: Reinforcement Learning for Source Rewriting in Machine Translation

本文介绍了 RLSR，这是一种强化学习框架，通过训练源端重写模型来直接优化下游机器翻译质量，而无需针对特定翻译模型进行人工提示词微调。

原作者： Boxuan Lyu, Haiyue Song, Zhi Qu, Hidetaka Kamigaito, Kotaro Funakoshi, Manabu Okumura

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Boxuan Lyu, Haiyue Song, Zhi Qu, Hidetaka Kamigaito, Kotaro Funakoshi, Manabu Okumura

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给一位说不同语言的朋友发送一条信息。你有一个翻译员（即机器翻译模型），他非常聪明，但有时会被你特定的说话方式、俚语或混乱的句子结构搞糊涂。

通常，如果翻译结果出错，你可能会尝试重新组织你的原始信息，使其更加清晰。在 AI 世界中，这被称为**“源句重写”（Source Rewriting）**。

旧方法：“试错法”提示词

以前，研究人员尝试通过给一个超智能 AI（大语言模型，简称 LLM）提供一套特定的指令，即**“提示词”（Prompt）**，来让它为翻译员重写你的信息。

这就像是通过不断变换不同的口令来教一只狗学新动作，直到它终于听话为止。

“坐下！”（不行。）
„趴下！”（不行。）
“坐下！”（也许可以！）

问题在于，这种“大喊大叫”（提示词工程）是碰运气，效果不稳定。一个对某个翻译员完美的指令，可能会让另一个翻译员感到困惑。研究人员必须为每一个使用的翻译员手动调整这些指令，这既缓慢、昂贵又令人沮丧。这就像是你每次换到一个不同的公园散步时，都不得不重新训练一遍你的狗。

新方法：RLSR（“计分板”法）

该论文的作者 Boxuan Lyu 及其团队提出了一种更聪明的方法，称为 RLSR（用于源句重写的强化学习）。

他们不再去猜测正确的指令，而是让 AI 通过玩一场带有计分板的游戏来学习。

游戏规则： AI 重写你的原始信息。
翻译： 一个固定的翻译员将这个新版本进行翻译。
评分： 一个裁判（度量指标）将新的翻译结果与完美的翻译进行对比。
- 如果新的翻译变得更好了，AI 会获得正分（奖励）。
- 如果翻译变差了，它会得到负分。
学习： AI 查看分数。如果得分高，它会记住：“嘿，那样重写的方法奏效了！”如果得分低，它会想：“好吧，下次我得尝试点不一样的。”

随着时间的推移，AI 不再靠猜，而是开始精准地学习什么样的改动能让翻译员“开心”，而无需任何人手动编写指令。

“复读机”问题

研究人员还将这种新的“计分板”方法与旧的“老师”方法（称为监督微调，简称 SFT）进行了对比。

在旧的“老师”方法中，AI 会看到一些“好的重写示例”并被要求模仿它们。问题在于，AI 变懒了。它意识到，获得高分的最稳妥方式就是完全照抄原始文本。它变成了一个“复读机”，实际上什么也没改，因为改变内容是有风险的。

新的“计分板”方法（RLSR）迫使 AI 保持创造力。由于照抄文本只会得到零分（因为它没有改进翻译），AI 被迫去寻找那些真正导致问题的特定词汇并进行修复。

结果：小脑容量，大成就

这是最令人惊讶的部分：

他们使用这种新方法训练了一个相对较小的 AI（40 亿参数）。
他们将其与使用旧有“试错法”提示词的庞大、超智能 AI（2350 亿参数）进行了对比。

这个通过自我学习的小型 AI 击败了那些经过人工调优的庞然大物。

事实证明，一个精准了解如何针对特定翻译员进行微调的小型 AI，比一个仅凭模糊指令进行猜测的巨型 AI 要有效得多。

为什么这很重要

不再需要手动调整： 你不需要花费数周时间去为每一个新的翻译员寻找完美的提示词。AI 会自行搞定。
一致性： 该方法在多种不同的翻译员和语言之间表现良好，而旧有的“提示词”方法则非常不稳定（对一个效果极佳，对另一个则很糟糕）。
智能编辑： AI 学会了进行细微且精准的修复（例如改变一个令人困惑的词或修正语法错误），而不是从头开始重写整个故事。

简而言之，论文表明，与其对着 AI 大喊指令，不如让它玩一场游戏，让它从自己的错误和成功中学习，从而在减少人工投入的同时，实现更好的翻译效果。

技术摘要：RLSR（强化学习用于源文本重写）

问题陈述
源文本重写（或预编辑）旨在通过在文本进入机器翻译（MT）模型之前对其进行修改，从而提高机器翻译的质量。虽然大语言模型（LLMs）可以通过提示词（prompting）来执行此任务，但现有方法存在两个关键局型限制：

启发式依赖性： 提示词设计具有高度经验主义且不一致的特点；一种对某个 MT 模型有效的策略，往往在另一个模型上会失效或导致性能下降。
资源密集性： 为了获得一致的结果，需要针对每个模型进行人工的提示词调优，这既耗时又耗费资源。
现有的使用迭代推理或反馈循环的方法在计算上非常昂贵。作者探讨了是否可以发现一种通用的重写方法，使其能够在无需人工提示词调优的情况下，在多种不同的 MT 模型上表现一致。

方法论：RLSR 框架
作者提出了 RLSR（强化学习用于源文本重写），这是一个将源文本重写视为强化学习问题的框架，其中奖励（reward）被定义为下游翻译质量的直接提升。

奖励定义： 奖励 $R$ 被定义为重写后的源文本 ( $\tilde{s}$ ) 的翻译与原始源文本 ( $s$ ) 的翻译之间自动评估指标得分的差值：
$R(s, \tilde{s}, r) = Q(s, M(\tilde{s}), r) - Q(s, M(s), r)$
其中 $M$ 是固定的下游 MT 模型， $r$ 是参考译文， $Q$ 是自动评估指标（实验中特指 xCOMET-XL）。
优化目标： 由于 MT 模型和评估指标是不可微的，标准的监督微调（SFT）无法直接优化该目标。因此，RLSR 采用了在线策略（on-policy）强化学习算法 DAPO（解耦剪切与动态采样策略优化）。
KL 正则化： 为了防止“奖励作弊”（例如生成利用指标漏洞的无意义文本），总奖励包含了针对参考策略（ $R_{ref}$ ，通常是一个带有标准提示词的指令遵循型 LLM）的 Kullback-Leibler (KL) 散度惩罚：
$R_{total} = R(s, \tilde{s}, r) - \beta \log \frac{R_\theta(\tilde{s}|s)}{R_{ref}(\tilde{s}|s)}$
训练过程： 重写模型采样一个重写文本 $\tilde{s}$ ，MT 模型分别翻译 $s$ 和 $\tilde{s}$ ，指标 $Q$ 对其进行评估，由此产生的奖励用于更新重写策略。

核心贡献

无需提示词的优化： RLSR 通过直接向下游翻译目标优化重写模型，消除了对手动提示词调优的需求。
高效性： 与迭代反馈方法不同，RLSR 在每个训练步中仅需进行一次重写模型和 MT 模型的正向传播，这使得其在推理时具有较高的计算效率。
优于 SFT： 论文表明，当应用于源文本重写时，SFT 往往会导致“退化”现象，即模型仅仅是复制源文本（以最小化未改变部分的损失），而不是学习进行有意义的编辑。强化学习（RL）则迫使模型探索多样化的策略以最大化奖励。
泛化能力： 为特定 MT 模型训练的 RLSR 模型能很好地泛化到其他未见的 MT 模型，这表明所学到的策略是鲁棒的，而非过度拟合于单个模型的特性。

实验结果
作者在 WMT2025 通用 MT 共享任务（16 个语言对）上评估了 RLSR，测试了六种不同的下游 MT 模型（参数量从 4B 到 31B 不等，包括 Gemma 和 Qwen 系列变体）。

性能对比基准：
- RL-trained 4B 模型在所有指标（xCOMET, MetricX, GEMBA）上均显著优于“无重写”基准线以及现有的同规模（4B）基于提示词的基准模型（如 Simplification, Paraphrase, Easy Translate）。
- 4B RLSR 模型达到了与使用大规模 235B LLM 的提示词基准模型相竞争的水平，展示了极高的参数效率。
鲁棒性： 虽然基于提示词的方法表现出高方差（例如，“Paraphrase” 经常导致性能下降），但 RLSR 在所有测试的 MT 模型上都提供了稳定的提升，且无需任何提示词调整。
缓解指标偏差： 尽管是使用 xCOMET 进行训练，但模型在 GEMBA（一种基于提示词、无参考的指标）上也取得了提升，这表明收益并非仅仅是对训练指标的过拟合。
定性分析： 个案研究显示，RLSR 学习进行局部、保持长度的编辑，针对特定的翻译障碍（如语病、歧义），而基于提示词的方法往往会对整个文本进行无差别重写或产生幻觉。

意义与主张
论文声称 RLSR 提供了一种精简、自动化的源文本重写方法，能够无缝适配多种不同的 MT 模型。通过从启发式提示词工程转向直接的奖励优化，该方法在不增加迭代推理计算开销或人工提示词调优工作量的情况下，显著提高了翻译质量。作者认为，对于重写任务，RLSR 是比 SFT 更有效的范式，因为 RL 成功避免了监督学习中常见的“复制”退化问题。

承认的局限性

训练成本： 由于需要反复运行下游 MT 模型和评估指标来计算奖励，RLSR 的训练成本高于 SFT。
对指标的依赖： 该方法假设自动指标（xCOMET）能够真实反映翻译质量。虽然 GEMBA 的结果缓解了对指标偏差的担忧，但作者指出，人工评估才是决定性的，但由于成本原因并未开展。
范围： 实验仅限于六个 MT 模型和 16 个语言对；未来的工作建议进行更广泛的验证。