Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 CODA 的新方法，旨在解决大语言模型（LLM）在“思考”时经常犯的一个毛病：想太多（Overthinking）。

为了让你轻松理解，我们可以把大语言模型想象成一个超级勤奋但有点死脑筋的“解题小助手”。

1. 核心问题：小助手的“过度思考”症

想象一下，你让这个小助手做两道题：

题目 A（简单）： "1 + 1 等于几？”
题目 B（困难）： “如何设计一座跨海大桥？”

现状是： 无论题目多简单，这个小助手都习惯性地开启“长篇大论”模式。

对于题目 A，它可能会写几千字，从数学史讲到二进制，最后才给出答案"2"。这就像为了买一瓶水，你非要开车去超市，绕路十公里，既浪费时间又浪费油钱（计算资源）。
对于题目 B，它确实需要写很多字来深入思考，但如果它被强制要求“简短回答”，它可能还没想清楚就停笔了，导致答案错误。

痛点： 这种“一刀切”的思考方式，导致在简单问题上浪费算力，在困难问题上又可能思考不够深。

2. CODA 的解决方案：给小助手装上“难度雷达”

CODA（Compute Allocation by Difficulty Awareness）就像给这个小助手装了一个智能难度雷达和两扇自动门。

它的核心逻辑是：根据题目的难易程度，动态调整“思考时间”（Token 数量）。

它是怎么工作的？（两个神奇的“阀门”）

CODA 不需要你告诉它题目难不难，它自己通过“试错”来感知难度：

感知难度（雷达）：
小助手会先快速尝试生成几个答案。如果它发现这几个答案大多都对了（成功率很高），雷达就会报警：“嘿，这题很简单！”；如果几个答案都错了，雷达就会说：“这题有点棘手，得加把劲！”
左边的门（简单题阀门）：惩罚啰嗦
- 场景： 当雷达发现题目很简单时。
- 动作： 左边的门会关上，并给“长篇大论”贴上罚款单。
- 效果： 小助手会想：“既然这题这么简单，我再说废话就要被扣分了，不如早点把答案写出来。”于是，它迅速给出简洁的答案，节省了 60% 以上的计算成本。
右边的门（难题阀门）：奖励深思
- 场景： 当雷达发现题目很难时。
- 动作： 右边的门打开，给“深入思考”贴上奖金条。
- 效果： 小助手会想：“这题很难，多写点步骤、多反思一下，就能拿奖金（更高的准确率）。”于是，它愿意花更多时间去推导，在难题上表现更好。

关键点： 这个“奖励”是有条件的。只有答对了，多写的步骤才算数；如果答错了，写得再长也没用。这防止了小助手为了拿奖金而故意写一堆废话。

3. 生活中的类比

以前的模型（GRPO）： 就像一个不管路况如何，都坚持开 100 公里/小时的司机。在拥堵的市区（简单题）会浪费油，在需要慢行的山路（难题）可能因为太快而翻车。
CODA 模型： 就像一个老司机。
- 看到直路（简单题）：立刻加速，一脚油门直达终点，绝不拖泥带水。
- 看到弯道（难题）：立刻减速，仔细观察，反复确认路线，确保万无一失。
- 结果： 既省了油（省钱/省算力），又保证了安全（高准确率）。

4. 这项技术的厉害之处

不用人教： 不需要人类专家去标注哪道题难、哪道题简单。模型自己就能通过“尝试 - 反馈”学会判断难度。
两头讨好：
- 在简单任务上，它能把成本砍掉一大半（比如从 3000 字降到 1000 字），但准确率几乎不掉。
- 在困难任务上，它愿意花更多时间，甚至比以前更聪明，准确率更高。
适应性强： 即使训练时全是简单题，或者全是难题，它也能自动调整策略，不会“死脑筋”。

总结

CODA 就是给 AI 装上了一颗“聪明的大脑”，让它懂得“好钢用在刀刃上”。

它不再盲目地“想得多就是好”，而是学会了看菜吃饭：简单的问题快速解决，困难的问题深思熟虑。这不仅让 AI 跑得更快、更省钱，还让它在处理复杂任务时变得更可靠。对于未来大规模部署 AI 来说，这意味着我们可以用更少的钱，办更多、更好的事。

Each language version is independently generated for its own context, not a direct translation.

CODA: 基于难度感知的自适应推理计算分配技术总结

1. 研究背景与问题定义

背景：
大型推理模型（Large Reasoning Models, LRMs）的出现证明了在推理阶段扩展计算量（Test-time Scaling）能显著提升复杂任务的性能。然而，这种扩展往往导致模型在简单问题上“过度思考”（Overthinking），即生成冗长的推理链条，但准确率提升微乎其微，却造成了不成比例的计算成本浪费。

核心问题：
现有的自适应推理方法存在以下局限性：

统一惩罚长度： 简单的长度惩罚（Length Penalty）虽然能减少 Token 消耗，但往往会牺牲需要深度推理的困难任务的准确率。
依赖外部预算： 如 L1 等方法允许用户指定 Token 预算，但这需要人工干预，且对难度估计敏感（预算估计过低导致性能下降，过高则浪费资源）。
缺乏难度感知： 大多数方法未能根据具体实例的难度动态调整计算资源，导致在简单任务上浪费算力，在困难任务上算力不足。

目标：
实现自适应推理（Adaptive Reasoning）：根据实例难度动态调整推理深度，在简单任务上减少冗余，在困难任务上增加深度，从而在保持高准确率的同时最大化计算效率。

2. 方法论：CODA (Compute Allocation by Difficulty Awareness)

作者从**最优性视角（Optimality Perspective）**出发，将计算分配形式化为效用最大化问题。

2.1 理论框架

效用函数： 定义分配 $n$ 个 Token 的效用为 $U_q(n) = \text{Pr}(\text{correct} | q, n) - \lambda C(n)$ 。
边际最优条件： 当边际准确率增益 $g_q(n)$ 低于边际计算成本 $\lambda C'(n)$ 时，应停止生成。
难度与价格： 困难任务的边际增益衰减较慢，因此应分配更多 Token（相当于较低的“有效 Token 价格”）；简单任务边际增益迅速饱和，应较早停止（相当于较高的“有效 Token 价格”）。

2.2 核心算法设计

CODA 提出了一种无需外部难度标注或用户预算的基于策略内部信号的分配机制：

难度估计（Difficulty Proxy）：
- 利用 Group-based RL（如 GRPO）中的**组成功率（Group Success Rate, $s_q$ ）**作为难度的代理信号。
- $s_q = \frac{1}{G} \sum r_{base}^j$ 。 $s_q$ 越高表示该问题对当前策略越简单， $s_q$ 越低表示越难。
双门控机制（Dual-Gated Mechanism）：
将 $s_q$ 映射为两个非负门控权重，用于调节基于长度的奖励塑形项：
- 简单侧门控 ( $w_{easy}^q$ )： 当 $s_q$ 较高（简单任务）时激活。增加对长输出的惩罚，抑制冗余的 verbose 推理。
- 困难侧门控 ( $w_{hard}^q$ )： 当 $s_q$ 较低（困难任务）时激活。为深思熟虑的推理（Deliberative Rollouts）提供奖励，鼓励在需要时增加计算量。
奖励塑形（Reward Shaping）：
修改基础奖励 $r_{base}$ （通常为 0/1 的正确答案奖励）：
$r_i = r_{base}^i \cdot \left( 1 + (\beta w_{hard}^q - \alpha w_{easy}^q) \cdot \sigma(\tilde{|o_i|}) \right)$
- 关键点： 整个塑形项乘以 $r_{base}^i$ 。这意味着只有正确的推理路径才能获得长度奖励或避免惩罚。如果推理错误（ $r_{base}=0$ ），无论长度如何，奖励均为 0。这防止了模型为了追求长度而生成无意义的长文本。

3. 主要贡献

最优性公式化： 从效用最大化角度形式化了难度感知的计算分配问题，证明了根据难度动态调整 Token“价格”的必要性。
CODA 方法提出： 设计了基于组成功率信号的双门控奖励塑形机制。无需外部标注，即可自动实现“简单任务截断冗余，困难任务鼓励深思”的自适应行为。
鲁棒性与有效性验证： 证明了 CODA 在极端难度分布偏移（全易或全难训练集）下仍能保持自适应能力，且不仅控制了长度，还优化了推理模式（减少简单任务的过度思考，保留困难任务的反思性推理）。

4. 实验结果

实验基于 Qwen3 (4B/8B/14B) 基座模型，在 DeepScaleR 数据集上训练，并在 GSM8K, MATH, AIME24/25, CSQA 等多个基准测试。

4.1 性能与效率

准确率： CODA 在所有模型规模上均达到或超过了 GRPO 的平均准确率。例如，Qwen3-8B 在平均准确率上达到 65.6%，优于所有基线。
Token 成本：
- 整体降低： 相比 GRPO，CODA 平均减少了约 16% 的 Token 消耗（8B 模型）。
- 简单任务大幅削减： 在 GSM8K 等简单任务上，Token 消耗减少了 60% 以上（例如 SVAMP 上从 812 降至 203，减少 75%），且准确率未受影响。
- 困难任务保持投入： 在 AIME24/25 等困难任务上，CODA 维持了与 GRPO 相当甚至更高的 Token 预算，确保深度推理。

4.2 对比基线

vs. GRPO： CODA 消除了简单任务上的过度思考，同时保留了困难任务的推理深度。
vs. 长度惩罚 (VLP/ASRR)： 传统长度惩罚方法往往以牺牲困难任务准确率为代价来换取效率（例如 ASRR 在 AIME25 上准确率下降）。CODA 通过难度感知，实现了效率提升而不牺牲准确率。

4.3 消融与深入分析

难度门控动态： 在“全易”或“全难”的训练分布下，门控权重能自动调整（简单训练时 $w_{easy}$ 主导，困难训练时 $w_{hard}$ 主导），证明其具备分布鲁棒性。
惩罚强度 ( $\alpha$ )： 适度的惩罚能有效修剪冗余，但过强的惩罚会抑制探索并损害基础奖励。
正确性对齐： 实验证明，如果不对“长度奖励”进行正确性门控（即奖励错误的长文本），模型会学会“长度寻求”（Length-seeking）行为，导致长度增加但准确率不升。CODA 的正确性门控机制至关重要。
推理模式： 在 AIME 数据集上，CODA 保留了与 GRPO 相当的“反思性”（Reflective，如 re-evaluate, double-check）比例，说明其并未破坏深度推理能力，只是去除了无用的冗余。

5. 意义与总结

CODA 的核心价值在于：
它提供了一种无需人工干预、无需外部难度标签的自动化方案，解决了大模型推理中“过度思考”与“算力浪费”的矛盾。

经济高效： 在保持甚至提升复杂任务性能的同时，显著降低了简单任务的推理成本（Token 消耗）。
智能分配： 模型学会了“何时该停，何时该想”，将有限的计算资源精准分配给最需要它们的困难实例。
通用性强： 在不同模型规模（4B-14B）和不同领域（数学、常识推理）上均表现出一致的自适应能力。

这项工作为未来构建更高效、更智能的推理模型提供了重要的理论依据和工程实践路径，表明通过优化奖励机制，可以让模型自主学会在计算成本与推理质量之间寻找最佳平衡点。

CODA: Difficulty-Aware Compute Allocation for Adaptive Reasoning