🤖 machine learning

TEMPO: Scaling Test-time Training for Large Reasoning Models

本文提出了 TEMPO 框架，通过结合无标签测试数据的策略优化与基于有标签数据的周期性评估器重校准（形式化为 EM 算法），解决了现有大推理模型测试时训练方法因奖励信号漂移导致的性能停滞问题，显著提升了模型在数学推理任务上的表现与多样性。

原作者： Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 TEMPO 的新方法，旨在让大型人工智能模型（特别是擅长逻辑推理的模型）在“考试”过程中也能自我学习、自我进化。

为了让你轻松理解，我们可以把 AI 模型想象成一个正在参加数学奥林匹克竞赛的学生，而 TEMPO 就是这位学生的一套独特的“考前冲刺 + 考中复盘”策略。

1. 以前的困境：学生为什么会“卡壳”？

在 TEMPO 出现之前，现有的 AI 学习方法（比如 TTRL 或 EMPO）就像是一个**“闭门造车”的学生**：

场景：学生拿到一道从未见过的难题（测试题），没有标准答案。
做法：学生自己试着做，然后自己给自己打分。比如：“我觉得我做的步骤很流畅，逻辑很通顺，所以我给自己打 90 分。”
问题：
1. 自我欺骗（奖励漂移）：如果学生一开始就有点“固执”，觉得某种错误的解题思路很酷，他就会不断重复这种思路，并给自己打高分。久而久之，他越做越自信，但离正确答案越来越远。
2. 思维僵化（多样性崩塌）：为了追求高分，学生只敢用那一种“自认为正确”的套路，不再尝试其他解法。结果就是，虽然平均分可能暂时高了，但一旦遇到稍微变通的题目，他就彻底崩盘了。

这就好比一个学生只背了一种解题模板，遇到稍微变形的题就傻眼了，而且越背越偏。

2. TEMPO 的妙计：引入一位“严师”

TEMPO 的核心思想是：不要只靠自己猜，要有一位“严师”（Critic，评论家）定期来纠正你。

TEMPO 把训练过程分成了两个交替进行的步骤，就像**“做题”和“改卷”**循环进行：

第一步：M 步（做题/政策优化）—— 学生疯狂刷题

动作：学生在大量的没有答案的难题（ unlabeled test questions）上尝试解题。
打分：这时候，学生不是自己打分，而是交给“严师”（Critic 模型）来打分。严师会根据学生解题的过程，给出一个质量评分。
目的：学生根据严师的反馈，调整自己的解题思路，让自己下次做得更好。

第二步：E 步（改卷/评论家校准）—— 严师回炉重造

关键点：这是 TEMPO 最厉害的地方！
动作：每隔一段时间，严师会停下来，去做一套有标准答案的练习题（labeled dataset）。
目的：严师通过做这些有答案的题，检查自己：“我之前的打分标准是不是太偏了？是不是太纵容学生了？”然后修正自己的打分标准。
比喻：这就像严师每隔一段时间就要去“进修”一下，确保他的评分标准是客观、准确的，不会跟着学生的错误思路跑偏。

3. 为什么 TEMPO 这么强？（核心比喻）

我们可以用**“导航系统”**来打比方：

旧方法：就像一辆车在迷雾中行驶，司机（模型）自己判断方向，并自己给自己加油。如果司机一开始走错了，他会觉得“这条路真顺”，然后越开越偏，最后开进沟里（性能停滞、多样性崩塌）。
TEMPO：
1. 司机（Actor）：负责在迷雾中开车（解决新难题）。
2. 导航仪（Critic）：负责告诉司机“你开得好不好”。
3. 定期校准（E-step）：每隔一段路，导航仪会连接到一个有清晰地图的基站（有答案的数据集），重新校准自己的定位系统。
4. 结果：即使迷雾（难题）很大，导航仪因为定期校准，始终知道“北”在哪里。司机就能一直沿着正确的方向开下去，而且因为导航仪是客观的，司机不会只敢走一条死胡同，而是会探索更多正确的路线。

4. 实验结果：真的有用吗？

论文在数学竞赛（如 AIME）和其他逻辑推理任务上做了测试，结果非常惊人：

成绩飞跃：比如，一个原本只能做对 33% 题目的模型，用了 TEMPO 后，正确率提升到了 51% 甚至 65%。这相当于一个普通学生经过特训，直接变成了奥数金牌选手。
拒绝僵化：旧方法在提升成绩的同时，会让学生的解题思路变得单一（多样性崩塌）。但 TEMPO 在提升成绩的同时，保留了学生尝试多种解法的能力。这意味着它不仅能做对题，还能举一反三。
持续进步：旧方法练练就“卡”住了，怎么练都没用。TEMPO 则像是一个永动机，只要给它更多的题目和算力，它就能一直变强。

总结

TEMPO 就是给 AI 模型装了一个**“定期校准的良心”**。

它打破了“自己教自己”容易走火入魔的魔咒，通过**“做题（M 步）”和“校准打分标准（E 步）”**的交替循环，让 AI 在面对未知难题时，既能大胆尝试，又能保持方向正确，从而实现持续、稳定且多样化的自我进化。

简单来说：以前是“闭门造车，越造越偏”；现在是“边造边请专家校准，越造越精”。

论文标题: TEMPO: 扩展大推理模型的测试时训练 (Test-time Training)

日期: 2026 年 4 月 22 日
核心作者: Qingyang Zhang, Xinke Kong, Yun Luo, Ganqu Cui 等 (来自天津大学、阿里通义实验室、香港中文大学、上海人工智能实验室)

1. 研究背景与问题定义 (Problem)

背景:
大型推理模型 (LRMs) 通过在推理阶段分配大量计算资源（如长思维链）来展示强大的逻辑推理能力。然而，传统模型在训练完成后参数即固定，无法利用测试阶段遇到的新数据来持续自我提升。

测试时训练 (TTT) 旨在解决这一问题，允许模型在推理阶段利用无标签的测试数据更新参数。现有的 TTT 方法（如 TTRL, EMPO, Theta-Evolve）通常依赖模型自我生成的奖励信号（如熵、自一致性、多数投票）进行强化学习。

核心痛点:
尽管现有方法在初期能带来性能提升，但很快会遭遇性能瓶颈 (Plateau) 和 多样性崩溃 (Diversity Collapse)：

奖励信号漂移: 由于缺乏外部真实标签，模型依赖自身生成的信号作为奖励。随着策略模型进化，自我生成的奖励信号会系统性地高估其自身生成的窄化模式，导致奖励信号偏离真实正确性。
多样性丧失: 为了追求平均性能，模型倾向于收敛到少数几种推理模式，抑制了其他潜在的正确解法，导致 pass@K 指标下降。
理论缺陷: 现有方法本质上是不完整的优化过程，缺乏对“正确答案”分布的校准机制。

2. 方法论 (Methodology)

作者提出了 TEMPO (Test-time Expectation-Maximization Policy Optimization)，一种基于交替 Actor-Critic 架构的 TTT 框架。该方法将测试时训练形式化为 期望最大化 (EM) 算法 的变体。

核心思想：EM 算法视角

将推理过程中的“回答是否正确”视为未观测的潜在变量。

全局目标: 最大化生成正确答案的期望对数概率 $J(\theta) = E_x[\log P(\text{Correct}|x; \theta)]$ 。
变界下界 (ELBO): 由于正确性未知，通过引入辅助分布 $q(y|x)$ $q (y ∣ x)$ 推导 ELBO。优化过程分解为两个步骤：
1. E-Step (期望步): 估计潜在变量（回答正确性）的后验分布。
2. M-Step (最大化步): 基于估计的后验分布更新策略参数。

TEMPO 的具体流程

TEMPO 通过交替执行以下两个阶段来实现持续改进：

E-Step: Critic Recalibration (评论家重校准)
- 目的: 修正奖励信号，防止其随策略漂移。
- 操作: 使用有标签数据集 ( $D_L$ ) 定期更新一个 Critic 模型 (价值函数 $V_\phi$ )。
- 机制: Critic 学习预测生成回答的正确性（二分类指标 $I \in \{0, 1\}$ ）。它作为外部监督的代理，提供 grounded（基于事实）的奖励信号，近似真实后验分布 $P(y|x, \text{Correct})$ 。
- 公式: 最小化 Critic 预测值与真实标签的均方误差 (MSE)。
M-Step: Policy Refinement (策略优化)
- 目的: 利用校准后的 Critic 在无标签测试数据 ( $D_u$ ) 上优化策略。
- 操作: 策略模型 (Actor) 在无标签问题上生成推理轨迹。
- 奖励计算: 利用 Critic 对生成回答的最后一个 Token 的输出值 $V_\phi(x, y_T)$ 作为该回答的奖励 $R$ 。
- 优势估计: 使用 Critic 的中间状态预测值作为基线 (Baseline)，计算 Token 级的优势函数 $A_t = R - V_\phi(x, y_{1:t})$ 。
- 更新: 使用策略梯度 (Policy Gradient) 方法最大化加权对数似然，即优化 $\sum V_\phi(x, y_T) \log \pi_\theta(y|x)$ 。

关键创新点:

解耦: 将奖励生成 (Critic) 与策略优化 (Actor) 解耦。
周期性校准: 通过 E-Step 定期将 Critic 拉回有标签数据的监督信号，打破了自我强化的恶性循环。
理论完备性: 证明了现有方法（如 TTRL）仅执行了 M-Step 而忽略了 E-Step，导致 ELBO 松弛度过大，优化发散。

3. 主要贡献 (Key Contributions)

提出 TEMPO 框架: 一种通过交替 Actor-Critic 优化实现持续性能提升的测试时训练框架，有效解决了现有 LRM 自训练方法中的多样性崩溃和性能瓶颈问题。
统一的理论分析: 将现有的 TTT 方法统一解释为缺失 E-Step 的不完整 EM 过程。指出了“后验重校准”的缺失是标度扩展失败的根本原因，并提出了 principled 的补救方案（周期性在标签数据上校准 Critic）。
广泛的实验验证: 在多个模型家族 (OLMO3, Qwen3)、不同规模 (7B, 8B, 14B) 以及五个推理基准（数学、逻辑谜题、STEM）上进行了验证。结果表明 TEMPO 在提升准确率的同时，保持了高多样性。

4. 实验结果 (Results)

实验在数学推理 (AIME 2024/2025/2026, OlymMath) 和通用推理 (BigBenchHard, AGI Eval, ZebraLogic, GPQA-Diamond) 上进行。

4.1 可扩展性 (Scalability)

突破 RLVR 天花板: 在 AIME 2024 上，TEMPO 将 OLMO3-7B 的准确率从 33.0% 提升至 51.1%，将 Qwen3-14B 从 42.3% 提升至 65.8%。
持续上升: 与基线方法（如 TTRL, EMPO）在初期提升后迅速 plateau 不同，TEMPO 在 350+ 个训练步骤中保持了持续的性能增长曲线。
对比: 在 AIME 2024 上，TEMPO 相比 Zero-RL 基线带来了 +18.1% (OLMO3-7B) 和 +23.5% (Qwen3-14B) 的绝对提升。

4.2 多样性保持 (Diversity)

Pass@K 指标: 基线方法（如 TTRL）在提升平均准确率的同时，Pass@8 显著下降（多样性崩溃）。
TEMPO 表现: TEMPO 在提升 Acc 的同时，显著维持甚至提升了 Pass@K。例如在 Qwen3-14B 上，AIME 2024 的 Pass@8 从基线的 69.1 提升至 73.3，而 TTRL 仅为 56.7。
原因: Critic 提供的连续质量评分允许模型保留多种高质量解法，而非强制收敛到单一模式。

4.3 泛化能力 (Versatility)

非数学领域: 在逻辑谜题 (ZebraLogic) 和科学问答 (GPQA-Diamond) 上，TEMPO 同样表现出显著增益。
OLMO3-7B: 在 BBH 和 AGI Eval 上分别提升了 +21.4% 和 +24.5%，超越了专门的 Frontier 模型。
鲁棒性: 即使初始策略较弱，TEMPO 也能通过 grounded 的信号提供稳定的提升，避免了自训练中的性能停滞。

4.4 消融实验 (Ablation)

冻结 Critic (Frozen Critic): 如果移除 E-Step 的周期性重校准，仅训练一次 Critic，模型性能会在约 100 步后 plateau，证明周期性校准是持续改进的必要条件。
纯监督延续: 在有标签数据上继续训练 PPO 无法带来额外收益，证明测试时无标签数据的利用是突破性能边界的关键。

5. 意义与影响 (Significance)

理论突破: 首次从 EM 算法的角度统一解释了测试时训练，揭示了现有自奖励方法（Self-rewarding）的理论缺陷（缺失 E-Step），为设计更鲁棒的 TTT 算法提供了理论指导。
解决“多样性崩溃”: 证明了通过引入外部监督校准（E-Step），可以在不牺牲多样性的前提下实现推理能力的持续扩展，解决了 LRM 自训练中的核心痛点。
实际价值: 展示了在推理阶段利用额外计算资源（Test-time Compute）可以转化为实质性的能力增长，为未来构建能够“边用边学”的自适应 AI 系统提供了可行路径。
开源贡献: 提供了代码、模型和详细的训练配方，推动了社区在测试时训练领域的研究。

总结

TEMPO 通过引入周期性的 Critic 重校准机制，将测试时训练构建为一个完整的 EM 优化过程。它不仅显著提升了大型推理模型在数学和逻辑任务上的表现，更重要的是解决了现有方法中奖励信号漂移和多样性丧失的问题，实现了可扩展的、可持续的模型自我进化。