💬 NLP

Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3

该论文通过 AIMO 3 竞赛中的大量实验表明，在数学推理任务中，模型本身的性能优势对最终结果的影响远超推理时优化策略（如多样化提示或高温采样），后者在提升去相关性方面的收益无法弥补其带来的单轮准确率下降。

原作者： Natapong Nitarach

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Natapong Nitarach

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于人工智能（AI）如何解决高难度数学题的有趣故事。作者参加了一场名为"AIMO 3"的顶级数学竞赛，试图通过“让 AI 多试几次，然后投票选答案”的方法来提高得分。

但最后，他们发现了一个令人惊讶的结论：与其绞尽脑汁去设计各种“解题技巧”或“提示词”，不如直接让 AI 变得更聪明（模型能力更强）。

下面我用几个生活中的比喻来为你拆解这篇论文的核心内容：

1. 核心想法：让 AI 开“头脑风暴会”

想象一下，你有一道超级难的数学题，自己解不出来。

传统做法（论文中的“多数投票”）：你让同一个 AI 助手（比如叫“小智”）尝试解 8 次。每次它都稍微有点不同的随机性（就像你让同一个人闭着眼睛想 8 次）。最后，你统计一下，如果 8 次里有 5 次都选了同一个答案，你就信那个答案。
作者的新想法（“多样化提示混合器”）：作者想，如果让“小智”用不同的思维方式来解这 8 次题呢？
- 第 1-2 次：让他“先算小数字找规律”。
- 第 3-4 次：让他“从答案倒推回去”。
- 第 5-6 次：让他“先分类再解题”。
- 作者认为，这样能让 AI 的 8 次尝试走不同的路，如果它们都错了，错的地方也会不一样，这样“投票”选出正确答案的概率就更高了。

2. 实验结果：想法很美好，现实很骨感

作者在一个超级计算机（H100 显卡）上，用了一个非常强大的 AI 模型（gpt-oss-120b），做了 20 多次实验，测试了各种“多样化策略”。

结果令人失望：

策略没用：无论怎么改变 AI 的“解题思路”（提示词），得分反而下降了，或者根本没变。
原因一：随机性已经够多了
- 比喻：这就好比让一个人闭着眼睛扔飞镖。如果你让他扔的时候手稍微抖一下（提高“温度”参数），他扔出的 8 个飞镖本来就会落在不同的地方，甚至可能都脱靶，但脱靶的位置都不一样。
- 作者发现，只要让 AI 稍微“疯”一点（高温度采样），它自己产生的多样性就已经足够多了。再强行给它换不同的“解题套路”，反而打乱了它的节奏，让它连原本能解对的题也解不出来了。
原因二：能力不够，技巧救不了
- 比喻：想象你在让一个小学生和一位数学教授同时解奥数题。
- 如果你给小学生（弱模型）换各种“解题技巧”（比如让他先画图、先列方程），他可能还是解不出来，甚至因为步骤太复杂而算错。
- 如果你给教授（强模型）同样的技巧，他本来就能解出来，你非要让他换个姿势解，他可能反而解慢了或者解错了。
- 结论：在数学竞赛这种高难度领域，“智商”（模型能力）的差距是巨大的。论文发现，最强的模型（gpt-oss-120b）比次强的模型（Qwen 或 Nemotron）在得分上领先了 17 分（满分 50）。这个差距太大了，任何“提示词技巧”（比如换种问法）最多只能带来 1-2 分的波动，根本填不上这个巨大的鸿沟。

3. 核心发现：模型能力是王道

论文得出了一个非常直白的结论：

模型能力主导一切：如果你用的模型不够聪明，你就算把提示词玩出花来，也没用。
技巧的边际效应递减：当模型本身已经很强时，再搞什么“多样化策略”、“倒推法”、“分类法”，不仅没用，反而可能因为干扰了模型原本流畅的思路而起反作用。
最好的策略是“抽奖”：既然技巧没用，那怎么拿高分？作者建议，既然模型每次解题都有随机性（像抽奖），那就多提交几次（多买几张彩票）。只要模型本身够强，多试几次总有一次能蒙对高分。

4. 总结：给普通人的启示

这就好比你想考满分：

错误的做法：找一个普通学生，然后教他 10 种不同的“考试技巧”（比如先做选择题、先做填空题、先背公式），指望通过这些技巧让他考满分。
正确的做法：直接找一个天才学生（大模型），让他正常发挥。哪怕他只用一种方法，只要他够聪明，考高分的概率就比那个“技巧多但脑子不够用”的学生大得多。

一句话总结这篇论文：
在解决像国际数学奥林匹克（IMO）这样的高难度问题时，“脑子好使”（模型能力）远比“方法花哨”（提示词工程）重要得多。与其费尽心思设计各种复杂的解题套路，不如直接用一个更强大的 AI 模型，然后多让它试几次。

1. 研究背景与问题 (Problem)

在数学推理竞赛（如 AIMO）中，多数投票（Majority Voting） 是提升大语言模型（LLM）表现的标准方法。其理论基础是孔多塞陪审团定理（Condorcet Jury Theorem）：如果单次尝试的准确率 $p > 0.5$ 且错误是独立的，随着尝试次数 $N$ 的增加，多数投票的准确率将收敛至正确。

然而，在实际应用中，错误往往是高度相关的（Correlated Errors）。同一个模型使用相同的提示词（Prompt），即使随机种子不同，也倾向于犯同样的系统性错误。这导致有效样本量（Effective Sample Size, $N_{eff}$ ）远低于实际尝试次数 $N$ 。

核心问题：
为了打破这种相关性，研究者通常尝试**“多样化提示混合器”（Diverse Prompt Mixer）**，即为不同的投票尝试分配结构不同的推理策略（例如：“先列举小案例”、“逆向工作”、“分类后求解”等）。本文旨在探究：在受限于硬件（单张 H100）和时间的竞赛环境下，这种通过提示工程引入的多样性是否真的能提升数学推理的最终得分？

2. 方法论 (Methodology)

作者在 Kaggle AIMO 3 竞赛中，基于单张 NVIDIA H100 80GB GPU，在 5 小时的时间限制内，对 gpt-oss-120b 模型（1168 亿总参数，51 亿活跃参数，MoE 架构）进行了系统性实验。

2.1 系统架构

推理引擎：使用 vLLM 本地部署，采用 FP8 量化以节省显存。
推理管道：
1. 预算分配：将剩余时间平均分配给剩余问题，确保不超时。
2. 并行尝试：每个问题并行启动 $N=8$ 次推理。
3. 工具集成：允许模型生成 Python 代码（SymPy, NumPy, mpmath）进行符号和数值计算，结果反馈回对话。
4. 早期停止：若 8 次中有 4 次达成一致的非平凡答案，则提前终止。
5. 熵加权投票：根据生成答案的置信度（熵）进行加权多数投票。

2.2 实验设计

作者设计了 23+ 次实验，主要测试变量包括：

多样化提示混合（Diverse Prompt Mixer）：将 8 次尝试分配给 4 种不同的系统提示策略（原始策略、先小案例、逆向工作、分类求解）。
温度调整（Temperature Tuning）：测试 $T=0.5, 0.8, 1.0, 1.2$ 对多样性的影响。
跨模型验证：在 Qwen3.5-35B-A3B 和 Nemotron-Super-120B 上重复类似实验。
消融实验：逐一改变单一变量（如提示长度、N 值、投票机制等）。

3. 关键发现与结果 (Key Findings & Results)

3.1 核心结论：模型能力压倒一切

提示多样性无效：引入结构不同的提示策略（Diverse Prompt Mixer）不仅没有提升分数，反而单调地降低了性能。
- 基线（单一原始提示， $T=1.0$ ）：平均得分 39.7/50。
- 多样化混合（如 2+2+2+2 混合）：得分降至 38 或更低。
- 原因：不同的策略提示降低了单次尝试的准确率（ $p$ ），其负面影响超过了降低错误相关性（ $\rho$ ）带来的收益。
高温采样已足够：在 $T=1.0$ 时，模型即使使用相同的提示，其随机性（Stochastic Diversity）已经足以产生足够多样化的推理路径，使得错误相关性 $\rho$ 接近甚至低于零（实验测得 $\hat{\rho} \approx -0.11$ 至 $-0.26$）。额外的提示多样性是冗余的。
模型能力差距巨大：
- gpt-oss-120b (5.1B 活跃参数)：得分 39.7。
- Qwen3.5-35B (3B 活跃参数)：得分 23。
- Nemotron-Super-120B (12B 活跃参数，受限于 $N=3$ )：得分 23。
- 即使控制尝试次数（ $N=3$ ），gpt-oss-120b (36 分) 仍显著优于 Nemotron (23 分)。
- 结论：模型能力的差距（约 17 分）是推理时优化（Inference-Time Optimization）无法弥补的，后者带来的提升仅为 $\pm 2$ 分。

3.2 具体实验数据

多样化策略表现：
- "Code-first"（先写代码）策略在单次实验中曾达到 41 分，但在确认运行中跌至 38 和 34，平均 37.7，低于基线。
- "Small Cases First"（先小案例）和 "Classify"（分类）策略得分显著低于基线（37 和 36）。
相关性分析：实验测得的成对错误相关性 $\hat{\rho}$ 多为负值。这意味着当模型犯错时，错误答案往往是分散的，而不是集中在同一个错误上。因此，试图通过提示去“去相关”已经处于负相关状态的错误是徒劳的。
提交策略：由于优化手段无法提升期望得分，最佳策略是重复提交基线模型（将其视为彩票），利用方差来博取高分，而不是尝试复杂的提示工程。

4. 主要贡献 (Key Contributions)

证伪“提示多样性”假设：在 IMO 级别的数学难题上，证明了在 $T=1.0$ 的高温采样下，人为设计的结构化提示多样性不仅无效，反而因降低单次准确率而有害。
量化模型能力的主导地位：通过严格的控制变量实验（同一硬件、同一时间预算、不同模型），量化了模型能力（Capability）与推理时优化（Inference-Time Optimization）的权重比。结论是：模型能力占主导，优化手段的影响微乎其微（一个数量级的差距）。
揭示错误相关性机制：通过实证测量发现，在高质量模型和高温采样下，错误相关性 $\rho$ 实际上接近于零甚至为负，打破了“错误高度相关必须通过多样化提示解决”的直觉。
提供可复现的基准：公开了完整的系统架构、提示词、参数配置及 27 次提交记录，为后续研究提供了严格的基准（Baseline）。

5. 意义与启示 (Significance)

对竞赛策略的指导：对于受硬件和时间限制的数学竞赛，“使用最大的模型 + 高温采样 + 多次提交” 是最优解。试图通过复杂的提示工程（Prompt Engineering）来“欺骗”或“引导”模型进行多样化思考，在模型能力接近其上限时是徒劳的。
对训练数据的启示：提示多样性之所以失败，是因为模型是在特定格式（如 CoT, TIR）的数据上训练的，缺乏对多样化指令格式的鲁棒性（Prompt Robustness）。未来的改进方向应在于训练阶段引入多样化指令格式（Mixture of Formats, MOF），而非在推理阶段强行改变策略。
对 Scaling Law 的补充：虽然之前的研究（如 Snell et al., 2024）认为增加推理计算量（Scaling Test-Time Compute）可以替代模型参数扩展，但本文指出，当模型处于能力前沿（Capability Frontier）时，单纯的重复采样（Repetition）有效，但改变采样分布（如提示多样性）的边际收益递减甚至为负。

总结

这篇论文通过严谨的实证研究得出了一个反直觉但至关重要的结论：在解决高难度数学问题时，模型本身的“智力”（能力）远比推理时的“技巧”（提示工程）重要。 试图通过混合不同的提示策略来打破错误相关性，在当前的模型架构和训练数据分布下，不仅无法奏效，反而会因降低单次推理质量而适得其反。未来的突破点在于提升模型的基础能力和训练数据的多样性，而非依赖推理时的微调。