🤖 AI

BatCoder: Self-Supervised Bidirectional Code-Documentation Learning via Back-Translation

BatCoder 是一个自监督强化学习框架，它利用回译策略，仅使用无标签代码来共同优化代码生成与文档生成，在标准基准测试上实现了最先进的性能，并随模型规模和语料库容量的增加而有效扩展。

原作者： Jingwen Xu, Yiyang Lu, Zisu Huang, Changze Lv, Xiaohua Wang, Shizheng Li, Zhibo Xu, Zhengkang Guo, Zhengyuan Wang, Muzhao Tian, Xuanjing Huang, Xiaoqing Zheng

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jingwen Xu, Yiyang Lu, Zisu Huang, Changze Lv, Xiaohua Wang, Shizheng Li, Zhibo Xu, Zhengkang Guo, Zhengyuan Wang, Muzhao Tian, Xuanjing Huang, Xiaoqing Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何编写计算机代码。通常情况下，要教会机器人这项技能，你需要一个庞大的完美配对库：一边是一段代码，另一边是人类编写的解释（文档）。问题在于，寻找这些完美的配对就像在大海捞针。它们的创建成本很高，而且对于许多编程语言来说，这类数据根本不存在。

BatCoder 是一种全新的方法，它解决了这个问题，通过仅靠代码本身来教机器人学习，而不需要那些预先写好的解释。它通过一个被称为“回译”（Back-Translation）的巧妙技巧来实现这一点，这就像是一个反向进行的“传声筒”游戏。

它是如何运作的，分步骤如下：

1. “翻译官”游戏

想象你有一个秘密食谱（代码）。

第 1 步（代码转文字）： 机器人尝试仅仅通过观察这个秘密食谱，就写出一张描述如何制作这道菜的食谱卡片（文档）。
第 2 步（文字转回代码）： 机器人随后拿着它刚刚写好的那张食谱卡片，并尝试仅根据卡片上的指令，从头开始重建原始的秘密食谱。

2. “真相测试”（奖励）

现在是神奇的部分来了。机器人会将原始秘密食谱与它刚刚重建的重建食谱进行对比。

如果重建的食谱看起来与原始食谱完全一致，这意味着机器人写食谱卡片做得非常出色。这张卡片包含了所有正确的细节。
如果重建的食谱一团糟，这意味着机器人的食谱卡片过于笼统或缺失了关键步骤。

这种对比充当了计分板（或“奖励”）。机器人不需要人类老师来告诉它对还是错；代码本身就在讲述故事。如果重建失败，机器人就会明白：“噢，下次我需要写出更好的描述。”

3. 为什么这意义重大

无需老师： 通常，AI 模型需要一个“老师”（人类或更聪明的 AI）来为它们的工作评分。BatCoder 是自监督的，这意味着它利用代码本身来为自己的作业评分。
填补空白： 对于像 Python 这样流行的语言，我们有大量的数据。但对于“小众”语言（如 Ruby 或 Go），数据非常稀缺。BatCoder 在这里表现出色，因为它能从任何代码片段中学习，即使从来没有人为这些代码写过说明书。
变得更聪明： 论文显示，随着机器人练习这种“写一段描述，然后重建代码”的循环，它在编写代码和解释代码两方面都变得越来越好。

结果

研究人员在标准的编程测试上测试了这个“机器人”（称为 BatCoder）。

得分： 一个 70 亿参数版本的 BatCoder 在一项困难的编程测试（HumanEval）中取得了 83.5% 的分数。这令人印象深刻，因为它击败了其他规模大得多的开源模型（有些拥有 330 亿参数）。
低资源领域的胜利： 当在数据非常稀缺的语言（如 Ruby）上进行测试时，机器人通过这种自学方法，从完全失败（0% 成功率）转变为成功解决问题（超过 10% 的成功率）。

简而言之下

BatCoder 就像一个通过阅读一本书、用自己的话总结书的内容、然后再尝试根据总结重写原书来学习写作的学生。如果重写的书与原书相符，学生就知道自己理解了材料。如果不符，他们就会更加努力地学习。通过利用数百万个代码片段反复进行这个过程，机器人学会了编写和解释代码，而从未需要人类递给它一本教科书。

技术摘要：BatCoder

问题陈述

针对代码相关任务（特别是自然语言文档与可执行代码之间的双向转换）训练大语言模型（LLMs）时，通常依赖高质量、经过人工整理的代码-文档对。此类配对数据成本高昂且往往稀缺，在利基或低资源编程语言中尤其如此。虽然公共仓库中存在大量的原始源代码，但由于缺乏显式的监督，限制了模型在这些任务上的可扩展性和泛化能力。现有的数据增强策略通常需要更强大的外部“教师”模型来合成文档或伪标签，这阻碍了目标模型利用相同机制进行自我改进。此外，标准的优化方法通常将生成的文档视为固定的监督信号，而非显式地针对训练目标对其进行优化。

方法论

作者提出了 BatCoder，这是一个自监督强化学习框架，通过仅使用无标签的代码片段，共同优化代码生成和文档生成。其核心创新在于一种回译策略（back-translation strategy），即模型学习从代码生成文档，随后再从该文档中重建原始代码。

框架概述

训练过程由两个连续阶段组成：

阶段 1（代码到文档）： 给定一个无标签的代码片段 $c$ ，模型生成一份自然语言文档 $d$ 。
阶段 2（文档到代码）： 生成的文档 $d$ 被用于重建代码片段 $c'$ 。

该框架将这两个阶段的组合（ $g_\theta \circ f_\theta$ ）视为一个重建目标。生成的代码 $c'$ 与原始代码 $c$ 之间的语义和结构相似性作为隐式奖励信号。这使得模型能够在没有外部配对数据的情况下，同时优化文档生成和代码重建。

关键技术组件

非对称采样策略： 在训练期间，模型针对单个代码片段采样 $K$ 个文档候选对象（阶段 1），但对于每个有效的文档仅生成一个重建的代码样本（阶段 2）。这平衡了轨迹多样性与计算效率。
奖励设计：
- 代码相似度奖励： 主要信号源自代码级相似度指标 $S(c, c')$ 。作者使用 CSSG（基于改进程序依赖图的代码相似度）来实现该指标，该指标在 [0, 1] 范围内对语义和结构相似度进行评分。
- 文档有效性奖励： 在阶段 1 应用辅助奖励（ $R_{doc}$ ），以确保生成的文档符合特定格式且不包含冗余内容。这稳定了训练过程。
- 组合奖励： 阶段 1 的奖励是重建相似度与有效性奖励的乘积。如果文档未通过有效性检查，则奖励设为零，并且不进行重建尝试。
优化算法： 该框架采用了 Reinforce++，一种策略梯度算法。它利用经验回放池（replay buffer）存储轨迹，并基于归一化奖励计算 token 级的优势估计。损失函数通过 KL 正则化项共同优化两个生成方向，以约束策略相对于参考模型的偏差。

核心贡献

自监督回译框架： BatCoder 实现了代码与文档之间的双向学习，无需依赖外部整理的配对数据，有效地缓解了监督数据稀缺的问题。
可扩展性： 作者通过实验证明，BatCoder 在模型容量（在 3B 和 7B 参数规模上进行测试）和训练数据规模方面均表现出良好的扩展行为，表明基于重建的自监督能够随着规模的扩大提供日益有效的信号。
低资源语言性能： 该框架持续提升了代码生成和文档任务的性能，在配对数据稀缺的低资源编程语言中观察到了尤为显著的增益。

实验结果

该框架使用 Qwen2.5-3B 和 Qwen2.5-7B 作为基座模型，并在来自 CodeXGLUE 基准测试的代码数据（Python, Ruby, Go）上进行训练。

Python 基准测试 (HumanEval/MBPP)：
- 7B BatCoder 模型在 HumanEval 上达到了 83.5% 的 pass@1，在 MBPP 上达到了 81.0%。
- 这超越了基础的 Qwen2.5-7B-Instruct 模型，并超过了包括 33B DeepSeek-Coder-Instruct 在内的更大规模开源基线模型。
- 在 3B 规模下也观察到了类似的提升。
低资源语言 (MultiPL-E)：
- Ruby： 基础 3B 模型达到了 0.0% pass@1。BatCoder 将其提升至 10.6%。7B 模型从 3.1% 提升至 13.0%。
- Go： 观察到了持续的改进，7B 模型的 pass@1 从 34.4% 增加到 39.0%。
消融实验：
- 移除阶段 1 优化（仅训练阶段 2）导致收益微乎其微，凸显了共同优化文档生成的必要性。
- 与在合成数据上进行有监督微调 (SFT) 的对比表明，BatCoder 的强化学习方法通过显式评估重建质量来评估文档质量，比标准的伪对 (pseudo-pairs) SFT 取得了更优的结果。

重要性与主张

论文指出，BatCoder 为代码相关 LLM 训练中的数据稀缺问题提供了稳健的解决方案。通过利用代码与其文档之间内在的一致性，该框架使模型能够有效地从原始、无标签的代码中学习。作者声称，这种方法不仅提高了标准基准测试的性能，而且对于低资源编程语言具有变革性意义，因为在这些语言中，由于缺乏高质量的配对数据，传统的监督方法难以奏效。这项工作证明了回译相似度可以作为一个可靠、自包含的学习信号，使模型能够在没有外部教师模型或人工整理数据集的情况下，提升其双向能力。