💬 NLP

CoDiQ: Test-Time Scaling for Controllable Difficult Question Generation

本文介绍了 CoDiQ，这是一个利用测试时扩展（test-time scaling）来实现对生成的竞赛级问题之难度和可解性的细粒度控制的框架，由此产生的 CoDiQ-Corpus 显著增强了大语言推理模型在训练时的性能。

原作者： Zhongyuan Peng, Caijun Xu, Changyi Xiao, Shibo Hong, Eli Zhang, Stephen Huang, Yixin Cao

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhongyuan Peng, Caijun Xu, Changyi Xiao, Shibo Hong, Eli Zhang, Stephen Huang, Yixin Cao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 CoDiQ 论文的解释，已将其转化为简单易懂的日常语言，并使用了创意类比。

大局观： “难题”问题

想象一下，你正在训练一名学生（AI）成为解决复杂谜题（如高级数学或编程挑战）的大师。为了变得真正强大，这个学生需要练习市面上能找到的最难的问题。

但问题在于：真正的难题非常稀缺。 人类能编写的难题有限，而且验证这些题目是否真的有解需要耗费大量时间。

现有的 AI 方法试图发明自己的难题，但通常会失败在两个方面：

它们让问题看起来很难，但实际上是破碎的（就像一个缺少拼图块的拼图）。
它们会陷入停滞，因为负责出题的 AI 并不够聪明，无法发明比自己更难的东西。

CoDiQ 是一个旨在解决这一问题的全新框架。它就像一个超级智能的“出题工厂”，能够自动生成大规模的竞赛级数学和编程问题库，这些问题不仅难度极高，而且保证是有解的。

CoDiQ 如何运作： “难度调节旋钮”

CoDiQ 的核心思想是 测试时缩放（Test-Time Scaling）。你可以把它想象成电子游戏中的“难度调节旋钮”。

通常，如果你问 AI，“把这个变难一点”，它可能只是加入一些混乱的词汇。CoDiQ 的做法则完全不同。它使用了一个特定的过程，鼓励 AI 通过投入更多的“思考时间”（计算能力）来让问题变得更难。

类比：“思考预算”
想象你有一个由“思考代币”（就像硬币一样）组成的预算。

低预算： AI 快速写出一个简单的题目。
高预算： AI 被迫思考更久，增加更多的逻辑层级、约束条件和陷阱。

研究人员发现了一个迷人的规律：当你给 AI 投入更多的“思考硬币”时，题目就会变得更难。 然而，这其中存在一种权衡。如果你把预算推得太高，AI 可能会陷入混乱，从而创造出一个没人能解开的破碎题目。CoDiQ 的任务就是找到那个“甜点区（Sweet Spot）”——即题目既处于最高难度，又依然保持可解状态。

三大神奇要素

为了让这个工厂运转起来，作者构建了三个关键组件：

1. “难度增强器”（策略）

与其仅仅说“让它变难”，不如给 AI 六个具体的“食谱”供其遵循。把这些看作厨师厨房里的工具：

增加约束： “你必须仅用 3 个步骤来解决这个问题。”
抽象数学： 将一个简单的应用题转化为复杂的公式。
逆向工程： 要求 AI 创建一个已知答案、但通往答案的路径被隐藏起来的问题。
边缘情况： 迫使 AI 考虑那些最奇怪、最不可能发生的场景。

这些策略确保了问题的难度源于“逻辑”，而非仅仅是“冗长的文字”。

2. “质量控制团队”（验证流水线）

这是最关键的部分。当 AI 生成一个更难的问题时，第二个 AI（“验证器”）会立即检查两件事：

它变难了吗？（我们是否真的调高了旋钮？）
它有解吗？（它是否有正确的答案？）

如果 AI 试图制造一个难到变成废话的问题，质量控制团队会停止该过程并丢弃该题目。这防止了“伪难题”问题。

3. “奖励教练”（强化学习）

作者使用一个“教练”来训练特定的 AI 模型（CoDiQ-Generator）。

教练的规则： “如果你创造了一个既难又有解的问题，你会得到一颗金星。如果你创造了一个破碎的问题，你会得到一张红牌。”
随着时间的推移，AI 学会了如何在“极难”与“破碎”之间走好这条钢丝绳。

结果：CoDiQ-Corpus

利用这个系统，团队构建了名为 CoDiQ-Corpus 的数据集，其中包含 44,000 个高级数学和编程问题。

它们有多难？ 论文声称，这些题目明显比现有的著名基准测试（如 AIME 顶级数学竞赛或 LiveCodeBench 顶级编程竞赛）更难。
它们真实吗？ 人类专家对样本进行了检查，发现 82% 的题目实际上是可解且编写良好的。

为什么这很重要（根据论文所述）

论文证明了，如果用这个特定“完美难题”数据集来训练其他 AI 模型，这些模型的推理能力会得到显著提升。

最后的类比：
想象你正在训练一名马拉松选手。

旧方法： 让他们在平坦的跑道上跑步，或者把他们扔进一个深不可测的沼泽（破碎的问题）。
CoDiQ 方法： 你建造了一个定制的障碍跑道，每天都会变得稍微难一点，但同时有一个安全网，确保他们永远不会掉进无法爬出的深坑里。
结果： 跑者（AI）能更快地成为冠军，因为他们的训练是针对其不断增长的力量进行完美校准的。

提到的局限性

作者诚实地指出了局限性：

该系统目前仅适用于英文数学和编程。
存在一个“验证器悖论”：如果 AI 创造了一个极其困难以至于连检查用的 AI 也无法解决的问题，系统可能会误以为它是破碎的，从而将其丢弃。这为问题的难度设定了一个上限。

简而言之，CoDiQ 提供了一种自动生成 AI “完美练习题”的新方法，让 AI 能够在无需人类编写每一个问题的情况下，学得更快、更聪明。

技术摘要：CoDiQ —— 用于可控困难问题生成的测试时扩展（Test-Time Scaling）

1. 问题陈述

大型推理模型（LRMs）在复杂的推理任务（特别是数学和编程）中展现了显著的进步。然而，其进展受到高质量、高难度训练数据稀缺的瓶颈限制。现有的自动化合成困难问题的方法面临三个主要挑战：

生成器能力天花板（Generator Capacity Ceiling）： 模型难以生成显著难于其自身可靠解决的问题，导致进展停滞。
可解性与复杂度的权衡（Solvability–Complexity Trade-off）： 强行增加复杂度往往会导致产生“伪难”问题，即逻辑不一致、定义模糊或无法求解的问题。
不可控的难度（Uncontrollable Difficulty）： 难度并非直接可观测或标准化的，这使得在没有依赖脆弱的人机协同流水线的情况下，难以实现具有精确难度控制的问题生成规模化。

本文旨在规模化合成高难度问题，同时确保这些问题保持逻辑完备且可解，从而超越纯粹由人类驱动或粗粒度的自动化方法。

2. 方法论

作者提出了 CoDiQ (Controllable Difficult Question Generation)，这是一个利用测试时扩展来实现细粒度难度控制的框架。该方法由四个核心组件组成：

2.1 难度增强策略

为了引导大语言模型（LLMs）超越朴素提示（例如，“让它变得更难”），作者设计了六种系统性的策略作为认知支架：

维度与约束 (Dimensionality & Constraints)
数学抽象 (Mathematical Abstraction)
逆向与构造 (Inverse & Constructive)
状态爆炸 (State Explosion)
定理伪装 (Theorem Disguise)
边界情况与严谨性工程 (Edge Case & Rigor Engineering)

这些策略确保了难度的提升源于推理深度，而非表面的修改。

2.2 CoDiQ 流水线

该框架的核心是一个迭代进化流水线（算法 1），它将种子问题 $Q_0$ 转化为一系列日益困难的变体 $\{Q_1, \dots, Q_n\}$ ，最多进行 $T_{max}=8$ 轮迭代。

迭代优化： 模型在每一步都被提示“使其更难”。
混合验证： 两个模块负责监管过程：
- 难度估计： 使用结合了 LLM 排序（使用 Doubao-Seed-1.8）和 价值网络评分（使用 Qwen3-8B 隐藏状态）的相对难度范式来分配连续的难度分数。这避免了绝对评分中出现的饱和效应。
- 可解性验证： 使用 Qwen3-32B 验证逻辑一致性和可解性，确保仅保留有效的实例。
终止准则： 如果难度出现倒退（非单调）或问题被标记为不可解，则停止过程。

2.3 CoDiQ-Generator (强化学习训练)

为了克服生成器能力天花板，作者基于 Qwen3-8B 训练了一个专门的生成器 (CoDiQ-Generator)，并使用强化学习（RL）进行优化。

数据构建： RL 数据集 ( $D_{RL}$ ) 捕捉了“边界实例”，即模型在连续多轮成功生成有效问题后，在下一轮因不可解性或难度停滞而失败的情况。
奖励函数： 一个具备难度感知能力的奖励函数，在保证有效性保障与实现渐进式难度扩展之间取得平衡。它会惩罚无效输出，并奖励正向的难度增长 ( $\Delta(D) > 0$ )，且该奖励权重由置信度决定。
优化： 模型在 VeRL 框架内使用 GRPO 算法进行微调。

2.4 CoDiQ-Corpus

利用 CoDiQ-Generator，作者构建了 CoDiQ-Corpus，这是一个包含 44,000 个竞赛级数学和编程问题序列的数据集。该数据集根据难度进行分层，其难度由 Token 预算和验证分数推导得出。

3. 核心贡献

难度增强策略： 六种明确的策略引导 LLMs 系统地注入算法难度，从而实现合成超越零样本基准的问题。
测试时扩展趋势（Test-Time Scaling Tendency）： 识别出一种扩展趋势，即延长的推理 Token 预算会提升难度但降低可解性。论文刻画了模型生成有效高难度问题的能力上限。
CoDiQ-Corpus： 一个包含 4.4 万个竞赛级问题的数据集。实验表明，在 CoDiQ-Corpus 上训练 LRM 能显著提升其推理性能，优于现有基准。

4. 实验结果

4.1 生成性能

最大可解难度： 在 CoDiQ-Bench（200 个精选案例）上，CoDiQ-Gen-8B 模型在生成高复杂度实例方面显著优于规模更大的模型（如 Qwen3-32B）。它在更多的迭代轮次中保持了较高的有效率，在积累复杂度的同时避免了过早终止。
Token 相关性： 研究发现推理 Token 消耗量与难度排名之间存在强正相关性（Pearson $r \approx 0.83-0.85$ ），证实了 Token 量是可靠的难度代理指标。
扩展趋势： 虽然较大的模型（GLM-4.6）能保持较高的可解性，但较小的模型在 CoDiQ 提示下常会出现“有效性崩溃”。然而，经过 RL 对齐的 CoDiQ-Gen-8B 成功实现了难度扩展与有效性损失的解耦。

4.2 语料库质量与难度

难度比较： 人类评估和自动化排序表明，CoDiQ-Corpus 的问题比现有的基准（如 LiveCodeBench 和 AIME）更具挑战性（平均难度排名：CoDiQ 为 87.1%，而 AIME 约为 51.5%）。
可解性： 尽管难度极高，人类评估确认被接受的实例具有 82% 的可解率。
验证器悖论（Verifier Paradox）： 分析显示，一些有效的题目被验证器拒绝，是因为它们超出了验证器的推理水平，这凸显了一个局限性：流水线的上限受限于验证器的能力。

4.3 训练有效性

课程学习： 使用受预算控制的课程（渐进式难度）在 CoDiQ-Corpus 上训练模型（CoDiQ-Li-4B），相比于在原始数据集上进行标准 RL 训练，在 MATH-500 和 AIME 2024 上取得了更优的结果。
性能提升： CoDiQ-L3-4B 在 AIME 2024 上达到了 70.6% 的得分，超过了基线 Qwen3-RL-4B（64.3%）。

5. 意义与主张

本文声称 CoDiQ 提供了一个原则性的框架，用于在保持逻辑有效性的同时，实现合成推理数据难度的规模化扩展。其意义在于：

将复杂度与人工策展解耦： 它提供了一种无需依赖昂贵且纯人工驱动流水线即可生成前沿监督数据的方法。
可控扩展： 通过引入测试时扩展和混合验证，它解决了“伪难”问题，确保增加难度不会损害可解性。
实证验证： CoDiQ-Corpus 在增强下游推理能力方面的成功，验证了规模化受控难度训练问题是提升 LRM 性能的一种有效策略。

作者承认存在局限性，具体包括对英文数学/编程任务的限制、验证的计算成本，以及“验证器悖论”（即超出验证器能力的有效问题可能会被丢弃）。他们开源了语料库、生成器及实现代码，以支持未来关于扩展定律（scaling laws）和自动化课程学习的研究。