🤖 machine learning

DecompRL: Solving Harder Problems by Learning Modular Code Generation

该论文介绍了 DecompRL，这是一种强化学习算法，它使大语言模型能够通过学习将任务分解为模块化子函数，进而通过重新组合这些子函数来指数级扩大搜索空间并显著降低 GPU 推理成本，从而解决此前难以处理的编程问题。

原作者： Juliette Decugis, Fabian Gloeckle, Francis Bach, Taco Cohen, Gabriel Synnaeve

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Juliette Decugis, Fabian Gloeckle, Francis Bach, Taco Cohen, Gabriel Synnaeve

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“一次性”瓶颈

想象一下你正在尝试解决一个非常困难的谜题。你有一个超级聪明的机器人（大语言模型），它可以尝试为你解决它。

目前，让机器人解决难题的标准方法是让它一遍又一遍地尝试。

旧方法： 你要求机器人：“给我写出一个完整的解决方案。”如果失败了，你就再问一次。如果又失败了，你就再问一次。
问题所在： 每次你要求机器人从头开始编写一个完整的新方案时，都会消耗大量的金钱和时间（GPU 算力）。如果谜题真的很难，机器人可能需要尝试数百万次才能得到一个正确的答案。这就像是你每想看厨师能不能做一个像样的煎蛋饼时，都要雇佣一位顶级大厨从头开始做一顿包含 10 道菜的满汉全席。这太昂贵了。

新思路：“乐高”法 (DecompRL)

这篇论文的作者意识到，与其要求机器人一次性建造整座城堡，不如教它一步步地建造城堡。

把复杂的编程问题想象成建造一座巨大的乐高城堡。

标准方法： 机器人试图一次性建成整座城堡。如果屋顶错了，整个工程就失败了。
DecompRL 方法： 机器人被教导将城堡分解成小的、独立的部件：“这是一个墙壁”、“这是一个门”、“这是一个窗户”。

一旦机器人学会了制作这些小部件，神奇的事情发生了：重组 (Recombination)。

想象机器人制作了 5 个不同版本的“墙壁”、5 个不同版本的“门”和 5 个不同版本的“窗户”。
与其建造 5 座完整的城堡（这很昂贵），你可以将它们进行混搭。你可以取“墙壁 #1”、“门 #3”和“窗户 #5”来组成一座新城堡。然后又是“墙壁 #2”、“门 #1”、“窗户 #4”。
仅用 15 个小部件，你就可以创造出 125 座不同的城堡 (5 x 5 x 5)。

它是如何运作的：两步舞曲

论文介绍了一种名为 DecompRL 的新训练方法，旨在教机器人进行这种“乐高式”的操作。它使用了两个专门的角色（策略）：

建筑师 (分解策略/Decomposition Policy)： 这部分机器人观察难题并说：“好吧，要解决这个问题，我们需要一个排序函数、一个数学函数和一个打印函数。”它将大问题分解为小的、易于处理的任务。
建造者 (实现策略/Implementation Policy)： 这部分机器人负责为每一个小任务编写代码。

神奇的诀窍：
系统生成许多不同版本的“建筑师计划”和许多不同版本的“建造者代码”。然后，它使用一台廉价的计算机（CPU）将所有组合进行混搭。

成本转移： 编写代码很贵（就像雇佣高薪建筑师）。而检查代码是否有效则很便宜（就像进行简单的质量检查）。
结果： 通过生成较少的“完整”方案并混搭许多“部件”，系统可以测试成千上万种潜在的解决方案，而其成本仅相当于生成几个完整方案的代价。它将瓶颈从昂贵的“脑力”（GPU）转移到了廉价的“检查力”（CPU）上。

为什么这很重要

论文表明，对于机器人通常失败率高达 99.9% 的极难问题：

标准方法会撞墙。无论你要求机器人尝试完整方案多少次，它都只会不断失败。
DecompRL 则能持续进步。因为它可以通过混搭小部件来测试数千种组合，所以它能找到那些“完整方案”法永远无法找到的解法。

缺陷 (局限性)

论文也诚实地说明了缺点：

“格式税” (The "Format Tax")： 对于简单的题目，拆分步骤实际上更慢且效率更低。这就像是为了吃面包和肉而把三明治拆开来吃一样，明明可以直接吃掉整个三明治。机器人需要经过专门训练，才能知道何时该拆分。
训练难度： 机器人并不会天生就会这样做。它必须通过一种特殊的强化学习过程从头开始重新训练，以学习“建筑师”和“建造者”的角色。

总结

DecompRL 是一种教 AI 解决难题的新方法，它不再让 AI 尝试一次性写出完整答案，而是教 AI 建立一个可重复使用的工具箱。通过混搭这些部件，AI 可以在不支付生成数百万个完整答案的高昂成本下，测试数百万种可能性。它将一场昂贵的“猜测与检查”游戏变成了一场廉价的“混搭”游戏。

技术摘要：DecompRL

问题陈述

大型语言模型（LLM）目前在解决复杂问题时面临困难，尤其是当基础策略生成正确解的概率接近于零时。现有策略面临显著瓶颈：

重复采样 (pass@k)： 虽然通过扩展测试时计算量（test-time compute）可以提高性能，但 GPU 成本随尝试次数线性增长。性能增益往往相对于这些线性成本呈对数增长。
标准强化学习 (RL)： 诸如 PPO 或 GRPO 等方法虽然能提高单次尝试准确率 (pass@1)，但往往会降低样本多样性。这削弱了它们在处理高 $k$ 值（ $k \gg 100$ ）时的有效性。
核心局限性： 当搜索空间过大时，无论是增加采样还是梯度信号，都无法克服基础策略产生正确解的低概率问题。

方法论：DecompRL

作者提出了 DecompRL，这是一个强化学习框架，通过利用分层模块化生成，将扩展瓶颈从昂贵的 GPU 推理转向廉价的 CPU 评估。

1. 分层推理

DecompRL 不再生成单体式的代码解决方案，而是训练模型将问题分解为一系列可独立解决的子函数。

分解策略 ( $\pi(D)$ )： 将问题 $x$ 分解为一组由函数签名和自然语言文档字符串（docstrings）指定的 $n$ 个函数 ( $D$ )。
实现策略 ( $\pi(I|D)$ )： 为 $D$ 中的每个函数生成 $k$ 个独立的实现。
重组： 通过为每个 $n$ 个函数中的每个生成 $k$ 个实现，系统通过重组创造出 $k^n$ 个候选解决方案。这使得程序候选方案实现了组合爆炸 ( $k^n$ )，而推理成本仅为线性级 ( $k \times n$ 个 token)。

2. 强化学习目标

DecompRL 将分层推理视为涉及两个策略的协作式多智能体 RL 问题。为了处理重组过程中固有的稀疏奖励和高方差问题，作者引入了特定的算法改进：

LogMeanExp 目标： 为了平衡探索与利用，作者使用了一个软目标函数，定义为 $\text{logmeanexp}_\beta(r_1, \dots, r_n) = \beta \log(\frac{1}{n} \sum e^{r_i/\beta})$ 。该函数在平均值 ( $\beta \to \infty$ ) 和最大值 ( $\beta \to 0$ ) 之间进行插值，近似于 pass@k 目标的对数均匀混合。
留一法基准 (Leave-One-Out Baseline)： 为了计算策略梯度，作者使用了留一法基准。对于特定的动作（分解或实现），优势（advantage）是通过将全集奖励的多样本目标与排除该动作后的目标进行比较来计算的。这降低了梯度方差并防止了偏差。
顺序训练： 分解策略和实现策略采用顺序训练（交替步骤）而非联合训练。这解决了多智能体 RL 中的“移动目标”问题，防止实现策略过度拟合特定的分解，反之亦然。

3. 计算转移

该方法从根本上改变了计算瓶颈：

标准 RL： 由生成完整解决方案的 GPU 推理成本主导。
DecompRL： 由评估重组解决方案的 CPU 执行成本主导。在等效评估预算下（例如 512 次评估），GPU token 生成量减少了约 50 倍。

关键结果

实验在 LiveCodeBench 和 CodeContests 上使用 Qwen 2.5 7B、Llama 3.1 8B Instruct 和 Code World Model 32B 进行。

硬核问题表现： 当 token 预算超过 $10^5$ 时，DecompRL 的表现优于标准 RL 基准（GRPO、pass@k 训练、SPO）。它能够解决标准生成无法触及的问题，在 LiveCodeBench 的“困难”子集上达到了高达 35% 的解决率。
扩展行为： 虽然标准方法随着 token 预算的增加而趋于饱和，但 DecompRL 的成功率持续增长。在使用高达 300 万个 token 处理每个问题时，它显著优于现有方法。
多样性与重组： 该方法生成的解决方案具有多样性。分析表明，使用 DecompRL 训练的模型在训练过程中学会了创建更大的分解（更多的函数），这与在大规模推理预算下的更高成功率相关。
效率： 在每个问题 512 次评估的情况下，DecompRL 将 GPU token 生成量从约 198k（标准方法）降低到约 4k，将墙钟时间（wall-clock time）的主导权转移到了 CPU 执行（99.6% 的 CPU 时间 vs. 0.4% 的 GPU 时间）。

重要性与主张

论文声称 DecompRL 提供了一种解决“更难”问题的全新路径，即基础策略成功率接近于零的任务：

克服冷启动： 它作为一种探索工具，用于发现那些通过标准高 pass@k 采样无法触及的任务的正确解，使其成为策略蒸馏流水线的天然补充。
高效扩展： 通过将生成成本与评估成本解耦，它允许在廉价的 CPU 集群上扩展搜索，而无需按比例增加 GPU 足迹。
模块化作为控制轴： 生成的流水线提供了重复采样或扩展思维链（CoT）方法所不具备的可解释性和控制轴。
局限性： 作者指出存在“格式税”（format tax）问题，即在简单问题或低 token 预算下，分层推理的表现不如单体式生成。他们还观察到训练过程中存在“规模坍缩”（size collapse，即减少分解规模）的倾向，并通过 logmeanexp 目标和顺序训练缓解了这一问题。

作者将 DecompRL 定位为不是标准 RL 后训练（对于强起始策略而言，后者在采样效率上更高）的替代品，而是一种专门用于发现高质量数据和解决此前无法解决任务的探索策略。