💬 NLP

Teaching Language Models to Think in Code

本文介绍了 ThinC，这是一个将语言模型推理从自然语言与代码交织的模式转变为以代码为中心的范式的框架，在该范式中代码本身充当主要推理器，通过蒸馏代码轨迹并采用监督微调后接强化学习的方法，在竞赛级数学基准测试中实现了最先进的性能。

原作者： Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一个非常棘手的数学谜题。你有两种方法可以做到：

旧方法（交错推理）：你用英语自言自语，理清步骤。“好的，首先我需要将 500 乘以 0.12……"然后，你有点不确定，于是让计算器（代码工具）来检查你的工作。但这里有个陷阱：如果你在英语思考中犯了错（比如把 500 乘以 0.12 算成 50 而不是 60），你可能会不小心把这个错误的数字输入到计算器中。计算器只是按你说的去做；它并不知道你犯了错。它基于你错误的数字进行计算，最终得出错误的答案。
新方法（THINC）：你花极短的时间用英语规划策略（“我需要计算这个形状的面积”），然后立即将整个任务交给机器人程序员。机器人编写代码、运行它、查看结果，并根据该结果编写更多代码，如此循环，直到答案出现。你不在头脑中或用英语句子做任何数学运算；机器人承担了所有繁重的工作。

本文介绍了THINC（用代码思考），这是一种训练 AI 模型解决数学问题的新方法，其核心是让代码本身成为思考者，而不仅仅是 AI 用来检查工作成果的工具。

旧方法的问题

作者指出，当前将英语思考与代码混合的 AI 模型（称为工具集成推理）存在三个主要缺陷，他们称之为“结构性局限”：

“事后”验证器：AI 通常先用英语写出完整解决方案，然后运行代码仅仅为了说“没错，就是这样”。代码实际上并没有参与思考；它只是最终的一个批准印章。
“静默错误”：如果 AI 在英语思考中犯了数学错误（例如将 500 的 12% 算成 50 而不是 60），它可能会将这个错误数字复制到代码中。随后代码基于错误数字进行计算，而 AI 从未意识到这一点。这种错误是“静默”的，因为代码只是照章执行。
“双重劳动”：AI 通常会用英语写出一长段关于如何解决问题的解释，然后再编写一段完全相同的代码。这就像先用英语写一份食谱，再用法语写一份完全相同的食谱，仅仅为了证明你懂得烹饪。这既冗余又令人困惑。

THINC 的解决方案

THINC 改变了游戏规则。AI 不再谈论数学，而是通过数学（即代码）来思考。

规划：AI 首先用一句简短的英语设定策略（例如“我将循环遍历数字以找到答案”）。
执行：在这句话之后，所有工作都在代码块中完成。AI 编写一段代码，运行它，查看输出，然后根据该输出编写下一段代码。
结果：最终答案直接来自计算机的计算器（解释器），而非 AI 用英语猜测得出。

他们如何训练 AI

研究人员并非仅仅告诉 AI 这样做；他们通过三步流程进行了训练：

蒸馏（教师）：他们使用一个非常聪明的大型 AI 模型，要求其用这种新的“代码优先”风格解决数学问题。他们收集了 12,200 个此类完美“代码优先”解决方案的示例。
监督微调（学生）：他们训练两个较小的 AI 模型（一个拥有 17 亿“神经元”，另一个拥有 40 亿）去模仿这些示例。这教会了模型习惯用代码思考。
强化学习（教练）：他们让模型在数千道数学问题上进行练习。如果模型得出正确答案，它就获得“奖励”；如果失败，它就学习尝试不同的代码策略。这使得模型变得更加聪明和可靠。

结果：小模型，大胜利

该论文在极具挑战性的竞赛级数学测试（如 AIME 和 HMMT）中测试了这些新模型。

超越巨头：小型的 40 亿参数 THINC 模型平均得分达到78.1%。这一成绩优于 17 亿参数模型，优于其他“工具集成”模型，甚至优于一个仅用英语思考的庞大 2350 亿参数模型！
可靠性：在 99.2% 的案例中，最终答案直接来自计算机的代码输出。AI 没有猜测；它进行了计算。
自我修复：如果代码出错并崩溃（报错），THINC 模型在下一个代码块中修复它的表现令人惊讶地出色，无需通过“说话”来摆脱困境。其他混合英语与代码的模型在遇到代码错误时往往会崩溃。

结论

该论文声称，通过迫使 AI 停止“谈论”数学，转而用代码“执行”数学，模型变得更加准确，减少了愚蠢的算术错误，并更高效地解决难题。这就像从一个试图在头脑中进行长除法的人，转变为一个知道如何编程让计算器一步步代劳、且永远不会犯心算错误的人。

技术摘要：让语言模型以代码思维（THINC）

问题陈述

尽管工具集成推理（TIR）已成为大语言模型（LLMs）解决数学问题的主导范式，但当前主流的“交错式”设置——即自然语言（NL）推理与代码执行交替进行——存在三个结构性局限：

事后验证：模型通常先在自然语言中完成推导，仅使用代码来确认答案，导致解释器沦为被动的验证者，而非主动的推理者。
不可靠的自然语言计算：在自然语言中执行的中间算术或代数步骤容易出错。当这些错误值作为硬编码常量被复制到后续代码块中时，解释器无法检测错误，导致静默的错误传播。
角色分配不当：自然语言和代码经常执行重叠的任务。自然语言常逐步描述算法，随后代码又重新实现这些算法，未能充分利用每种模态的独特优势（自然语言用于高层规划，代码用于精确执行）。

方法论

作者提出了THINC（以代码思维），这是一个旨在将主要推理负担从自然语言转移到代码执行的训练框架。

1. THINC 轨迹格式

与标准的 TIR 轨迹（ $q, t_1, c_1, o_1, t_2, c_2, o_2, \dots$ ）不同，THINC 轨迹（ $q, t_1, c_1, o_1, c_2, o_2, \dots$ ）强制实施严格的结构性分离：

单一规划步骤（ $t_1$ ）：模型在开始时生成一个简短的自然语言块，用于定义问题的高层策略或代数重构。关键在于，该块不包含逐步推导或数值计算。
以代码为中心的推理：所有后续推理均通过代码块（ $c_i$ ）展开，这些代码块仅通过其执行输出（ $o_i$ ）连接。代码执行之间不存在中间自然语言思维块。
解释器即推理者：代码块执行推导、自我修正和验证。最终答案直接源自解释器的输出。

2. 训练流程

该框架通过三个阶段实现：

轨迹蒸馏：提示教师模型（Qwen3.5-27B）使用少样本示例生成 12,200 条以代码为中心的轨迹。这些轨迹经过筛选，确保正确性、执行成功、至少包含三个代码块，且规划思维部分占总 token 数的比例低于 50%。
监督微调（SFT）：学生模型（Qwen3-1.7B 和 Qwen3-4B-Thinking-2507）在蒸馏后的 THINC-SFT 数据集上进行微调。这建立了“以代码为中心的行为先验”，教导模型遵循特定的轨迹格式。
强化学习（RL）：使用带有可验证奖励（与真实标签完全匹配）的组相对策略优化（GRPO），在 DAPO-Math-17k 数据集上进一步微调模型。RL 过程采用三阶段课程，逐步增加上下文长度（从 16K 到 32K）和工具调用限制，以处理更复杂的问题。

主要贡献

THINC 框架：一种新颖的训练范式，将代码视为主要推理者，而非由自然语言调用的工具。该框架从设计上解决了交错式 TIR 的结构性局限。
THINC-SFT 数据集：一个精心策划的包含 1.22 万条以代码为中心轨迹的数据集，展示了所需的推理格式。
THINC 模型：两个训练好的模型，THINC-1.7B 和 THINC-4B，证明了小规模模型在采用此特定范式训练后，能够实现高水平的推理能力。

实验结果

模型在五个竞赛级别的数学基准测试上进行了评估：AIME 2024–2026、HMMT 2025 和 BeyondAIME。

性能：
- THINC-4B 取得了 78.1% 的平均准确率，优于所有 TIR 基线模型（包括 ASTER-4B、ReTool-32B 和 rStar2-Agent-14B），并在五个基准测试中的四个上超越了规模大得多的 Qwen3-235B-A22B-Thinking（75.2%）。
- THINC-1.7B 达到了 42.8% 的平均准确率，比其基座模型（Qwen3-1.7B）提高了 10.6 个百分点，并显著优于其他小规模 TIR 基线模型。
效率：THINC-4B 每条轨迹所需的工具调用次数更少（6.1 次，而 ASTER-4B 为 11.1 次），且生成的响应更短，表明效率更高。
鲁棒性：在衡量从初始代码执行失败中恢复能力的实验（Recovery@k）中，即使在连续三次代码执行失败后，THINC-4B 仍保持了 64–69% 的恢复率。相比之下，交错式 TIR 基线模型急剧下降，部分模型的恢复率降至接近 0%。
代码落地：分析显示，99.2% 的 THINC-4B 最终答案基于解释器输出，而基线模型的这一比例显著较低（例如 ReTool 为 88.4%，rStar2 为 74.3%）。

意义

该论文声称，THINC 证明了以代码为中心的推理是优于交错式 TIR 的数学问题解决范式。通过将自然语言限制在高层规划，并强制所有推导进入可执行代码，该框架消除了算术错误的传播，并确保最终答案经过解释器验证。结果表明，这种结构性变革使得小规模模型（40 亿参数）能够超越规模大得多的纯自然语言推理者（2350 亿参数）以及成熟的工具集成智能体，突显了“以代码思维”优于“借助代码思维”的有效性。