🤖 AI

Improving Code Translation with Syntax-Guided and Semantic-aware Preference Optimization

本文介绍了 CTO，这是一个新颖的框架，它通过在直接偏好优化设置中利用对比学习，将语法引导的编译器反馈与源自源代码的鲁棒语义奖励相结合，以增强代码翻译能力，从而克服现有方法在确保语法正确性和语义一致性方面的局限性。

原作者： Yuhan Wu, Huan Zhang, Wei Cheng, Chen Shen, Jingyue Yang, Wei Hu

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuhan Wu, Huan Zhang, Wei Cheng, Chen Shen, Jingyue Yang, Wei Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位资深翻译，正试图将一份法语食谱转换为仅懂英语的厨师能使用的食谱。你希望新食谱完美实现两点：

遵循英语语法规则（语法）：句子结构必须正确，以免厨师因语言本身而产生困惑。
保持完全相同的含义（语义）：你最终烹饪出的菜肴必须尝起来与原版法式菜肴完全一致，而不仅仅是在纸面上看起来相似。

这篇题为《通过语法引导与语义感知偏好优化改进代码翻译》的论文，介绍了一种名为CTO的新方法，旨在帮助 AI 翻译器更好地完成此项工作。

以下是该论文如何用简单的类比解释问题及其解决方案：

问题：当前 AI 翻译器的“陷阱”

目前，试图翻译代码（例如将 Python 代码转换为 C++）的 AI 模型经常陷入陷阱。论文使用了一个巧妙的例子来说明原因：

“幸运猜测”陷阱（奖励黑客）：想象一位翻译写了一份语法完美但使用了错误食材的食谱。然而，由于纯粹的运气，他们被给予的特定测试用例（例如“用 1 个鸡蛋做蛋糕”）成功了，因为错误的食材碰巧适用于那一个特定的鸡蛋。AI 因此获得“通过”，并认为自己做得很好，尽管该食谱在任何其他情况下都是无效的。这被称为奖励黑客。
“含义完美但语法破碎”陷阱：想象另一位翻译写了一份描述完全正确菜肴的食谱（完美的语义），但书写方式违反了英语语法规则。厨师甚至无法阅读它，因此计算机判定“失败”，尽管其想法是绝妙的。

现有方法难以区分“幸运猜测”和“破碎的想法”。它们通常依赖：

稀疏测试用例：就像只给翻译员一个特定的测试来通过。如果他们为了通过那一个测试而作弊，他们就会获胜。
参考比较：将新代码与“黄金标准”示例进行比较。但如果黄金标准略有缺陷，或者新代码写法不同但含义相同，AI 就会感到困惑。

解决方案：CTO（“双重检查”系统）

作者提出了CTO，它充当一名严格的两步质量控制检查员。CTO 不再仅仅询问“它通过了测试吗？”，而是同时提出两个不同的问题：

1. 语法检查（Syntax）

这是较简单的部分。系统通过编译器（一种检查代码是否符合语言规则的工具）运行翻译后的代码。

类比：将其想象为拼写检查器。如果句子有拼写错误或缺少句号，则自动判定为“失败”。这部分是 100% 可靠的，因为计算机非常擅长检查规则。

2. 含义检查（Semantics）

这是较难的部分。如何在不依赖幸运测试用例的情况下检查含义是否正确？

创新点：作者使用一种称为对比学习的技术，训练了一个特殊的“含义检测器”（语义模型）。
类比：想象你有一位主厨（源代码）和一名新学徒（翻译后的代码）。含义检测器不仅仅品尝最终菜肴，而是观察食材的本质和烹饪逻辑。它学会说：“尽管这份食谱使用了不同的词汇，但它描述的味道特征与主厨的食谱完全相同。”
训练方式：他们选取了正确的食谱，并让 AI 制造微小的、隐蔽的错误，这些错误改变了含义但保持了语法完美。检测器通过比较原始版本和缺陷版本，学会了识别这些“隐蔽的错误”。

CTO 如何工作：“平衡计分卡”

一旦系统拥有这两项检查，它就使用一种称为偏好优化的方法。

旧方法：AI 会尝试最大化单一分数。如果语法错误，即使含义完美，整个分数也会归零。
CTO 方法：它将翻译视为一个多目标游戏。它创建一张“计分卡”，其中：
- 语法获得通过/失败分数。
- 含义根据与原始“风味”的接近程度获得分数。
- 随后，AI 被训练去寻找代码既语法正确又语义准确的“最佳平衡点”。

论文认为，通过结合这两个信号，AI 不再利用幸运测试用例“作弊”，也不再因想法完美但语法糟糕而被拒绝。

结果：它有效吗？

作者在三种流行语言（C++、Java 和 Python）之间的代码翻译上测试了 CTO。

竞争对手：他们将 CTO 与其他顶级方法进行了比较，包括使用强化学习（可能不稳定）的方法以及仅依赖标准文本相似性的方法。
结果：CTO consistently 获胜。
- 根据模型大小和数据集的不同，它将翻译准确率提高了3.66% 至 6.70%。
- 它特别擅长解决“幸运猜测”问题，确保翻译后的代码确实按预期工作，而不仅仅是在某一个特定测试中有效。

总结

将CTO想象为一位不仅关心拼写（语法）或不仅关心故事（语义）的翻译。它是一位拥有严格编辑检查语法、睿智评论家检查故事的翻译，两者协同工作，确保最终翻译既可读又忠实于原文。这使得 AI 能够更可靠地翻译代码，从而更安全地将软件从一种语言迁移到另一种语言。

技术摘要：CTO——面向代码翻译的语法引导与语义感知偏好优化

问题陈述

大语言模型（LLMs）在代码翻译方面已展现出巨大潜力，但它们往往难以同时确保语法正确性和语义一致性。现有方法在定义可靠的对齐奖励信号方面面临关键局限：

语法奖励：编译器反馈提供了确定性的二元语法信号，但无法揭示功能正确性。
语义奖励：当前策略依赖于有缺陷的代理指标。
- 基于测试用例的奖励往往稀疏且覆盖率低，导致“奖励黑客”现象，即模型过度拟合特定测试用例而未保留源代码的真实意图。此外，目标语言中的单个语法错误会导致执行完全失败，无论语义准确性如何，奖励均为零，从而将语法与语义纠缠在一起。
- 基于参考的奖励（例如 CodeBLEU 或与参考翻译进行比较的单语语义模型）流于表面，或假设参考翻译是完美的语义锚点。这限制了输出的多样性，并传播了参考翻译中存在的错误。

本文认为，鲁棒的语义奖励必须直接源自源代码本身，并与这些有缺陷的代理指标解耦。

方法论：CTO

作者提出了CTO（代码翻译优化），这是一个通过语法引导与语义感知偏好优化来改进代码翻译的框架。该方法在直接偏好优化（DPO）框架内将代码翻译重新表述为一个多目标优化问题。

1. 语义奖励模型训练
为了生成鲁棒的语义信号，作者利用对比学习训练了一个跨语言语义模型：

架构：一个共享参数的双编码器将源代码和目标代码映射到共享的潜在空间。
训练目标：利用 InfoNCE 损失，模型学习将参考翻译（ $y^+$ ）的嵌入拉近至源代码锚点（ $x$ ），同时排斥语义 divergent 的负样本（ $y^-$ ）。
负样本生成：不依赖随机噪声，而是利用大语言模型重写参考代码，引入细微的、语法有效但语义有缺陷的扰动。
奖励评分：候选翻译的语义奖励（ $r_s$ ）基于候选翻译与源代码在潜在空间中的余弦相似度计算，并通过 z-score 归一化以实现列表级评分。

2. 偏好优化公式
CTO 将代码翻译视为一个整合语法（ $g$ ）和语义（ $s$ ）的多目标问题：

Oracle 奖励：语法奖励和语义奖励的加权组合： $r^*(x, y) = w \cdot r^*_g(x, y) + (1-w) \cdot r^*_s(x, y)$ 。
偏好数据集构建：
- 语法：偏好对基于编译器反馈（通过 vs. 失败）确定性构建。
- 语义：语义奖励模型提供软性指导。选中样本（通过）与拒绝样本（失败）之间的语义得分差异被作为校正项注入。
优化目标：作者推导了一种修改后的 DPO 损失函数（公式 7），该函数利用来自一个目标（例如语法）的偏好数据，同时将来自互补目标（例如语义）的显式奖励差异作为偏差项进行整合。这使得能够在优化阶段无需单独的奖励模型即可同时对两个目标进行建模。

主要贡献

CTO 框架：一种新颖的方法，在单一的偏好优化过程中统一了语法和语义，在 DPO 中引入了奖励偏置机制。
跨语言语义模型：一个通过对比学习训练的鲁棒奖励源，直接评估源代码与目标代码之间的功能等价性，克服了测试用例稀疏性和对参考依赖的局限性。
实证验证：广泛的实验表明，CTO 在多个语言对和模型规模上显著优于现有基线（包括无监督方法、监督微调以及基于 PPO 的方法）。

实验结果

作者在涉及 C++、Java 和 Python 之间翻译的TransCoder-Test和HumanEval-X基准测试上评估了 CTO。

性能提升：
- 使用CodeT5模型，与监督微调（SFT）基线相比，CTO 在 TransCoder-Test 上将准确率提高了高达3.66%，在 HumanEval-X 上提高了4.27%。
- 使用更大的CodeLlama-7B模型，CTO 在相应数据集上分别带来了**5.60%和6.70%**的准确率提升。
- 使用Qwen2.5-Coder-7B，CTO 在所有任务中取得了最高分数，显著优于 SFT 和其他偏好优化策略（IPO, SimPO）。
消融研究：移除语义或语法组件中的任何一个都会导致性能下降，证实了多目标优化的重要性。
奖励模型比较：当在 CTO 中用作语义信号时，学习到的语义奖励模型始终优于 CodeBLEU 和 CodeBERTScore 等基于参考的指标。

意义与主张

本文主张，CTO 解决了代码翻译中将语法有效性与语义正确性解耦的根本挑战。通过直接从源代码推导语义奖励并将其整合到统一的偏好优化框架中，CTO 避免了稀疏测试用例和不完美参考翻译的陷阱。作者断言，这种方法为将大语言模型与源代码的预期功能对齐提供了一种更鲁棒、更具泛化能力的策略，从而在不同模型架构和编程语言中实现卓越的翻译准确性和稳定性。