TTCS: Test-Time Curriculum Synthesis for Self-Evolving
本文提出了 TTCS，这是一个自我演进的测试时训练框架，通过迭代优化问题合成器和推理求解器，以生成由循序渐进的挑战性合成问题组成的定制化课程，从而稳定在线更新并显著增强大语言模型在困难基准测试上的推理能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一名才华横溢但缺乏经验的学生如何解决世界上最难的数学问题。你递给他们一道来自顶级竞赛（如 AIME）中极其困难的单选题。
旧方法的缺陷 (TTRL)
在过去，研究人员试图通过让学生对着那道难题反复盯着看来进行教学。他们会要求学生尝试解题 100 次。如果学生有 51 次得到了同一个错误答案，而另外 49 次得到了另一个不同的错误答案，旧方法就会说：“好吧，多数派认为这个错解是正确的！”并告诉学生去背诵这个错误。
这就像一个学生试图攀爬陡峭的悬崖，却没有任何抓手。他们不断滑落，因为他们总是向同一个方向跌落，所以他们无意中学会了如何“更好地摔倒”，而不是如何“向上攀爬”。论文称之为“不可靠的伪标签”和“噪声奖励”。学生会感到困惑，并且不仅没有进步，反而退步了。
新解决方案：TTCS（“课程化”方法）
本文的作者提出了 TTCS，他们意识到你不能直接把学生扔进深水区。你需要一个课程（Curriculum）——一个从易到难、循序渐进的学习计划。
他们构建了一个由两个“智能体”（AI 模型）组成的系统，这两个智能体分别扮演**教练（Coach）和学生（Student）**的角色，且两者都从相同的知识水平开始。
教练（合成器）：
教练不再只是把那道难题丢给学生，而是观察那道难题并为学生创建一个“训练营”。它通过对那道难题进行拆解，创造出一些难度稍低、相关的变体版本。- 类比： 如果难题是“我该如何跳过一个 10 英尺高的墙？”，那么教练会创造出这样的问题：“我该如何跳过一个 2 英尺高的墙？”、“然后是 4 英尺高的墙”，接着是“6 英尺高的墙”。
- 至关重要的一点是，教练会观察学生。如果学生变得太厉害了，教练就会让练习题变得更难；如果学生感到吃力，教练就会让题目变得更容易。教练只创造那些学生“刚刚好”能够解决的问题。这就是学习的“甜点区（Sweet Spot）”。
学生（求解器）：
学生不仅仅盯着原始的难题。他们在原始问题与教练定制的练习题混合进行的练习中进行训练。- 由于这些练习题的设计初衷就是为了可解性，因此学生能获得清晰、正确的反馈。他们学习的是问题的逻辑，而不仅仅是一个幸运的猜测。
- 随着学生变得越来越聪明，教练也会更新自己的策略，以创造出更好的练习题。他们“共同进化（Co-evolve）”（共同成长）。
为什么这种方法更好
- 不再有错误反馈： 在旧方法中，由于问题太难，学生是在从错误答案中学习。而在 TTCS 中，问题是根据学生的当前技能水平量身定制的，因此反馈几乎总是正确的。
- 稳定性： 因为学生始终在处理那些他们“几乎可以解决”的问题，所以他们不会陷入混乱的循环。他们会稳步攀登难度阶梯。
- 泛化能力： 论文表明，通过学习解决这些“阶梯式”的数学问题，学生实际上在其他类型的推理上也变得更强了，而不仅仅是在练习过的特定数学问题上。
结果
论文在非常难的数学基准测试（如 AIME 和 AMC）上测试了该方法。
- 旧方法（如 TTRL）表现挣扎，有时甚至会导致性能下降，因为它们试图从不可能解决的问题中学习。
- TTCS 方法一致地提高了模型的得分，提升幅度往往巨大。例如，在一项测试中，它将模型的得分提高了 24 分以上，而旧方法仅提升了几分。
总结
把旧方法想象成把一个游泳者扔进大海中心并告诉他们“游泳”。他们会被淹没。
TTCS 则像是建造一个带有梯子的泳池。你从浅水区开始，随着游泳者变得更强壮，教练会调整水位深度，直到你到达深水区时，你已经是一名冠军游泳者了。论文证明了这种“课程化”方法允许 AI 模型在不需要人类教师对每个答案进行评分的情况下，有效地进行自我教学。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。