💬 NLP

Scaling Test-Time Compute to Achieve IOI Gold Medal with Open-Weight Models

该论文提出了名为 GenCluster 的可扩展测试时计算框架，通过结合大规模生成、行为聚类、排序及循环提交策略，首次利用 gpt-oss-120b 等开源模型在 2025 年国际信息学奥林匹克竞赛（IOI）中实现了金牌水平表现，显著缩小了开源与闭源系统之间的能力差距。

原作者： Mehrzad Samadi, Aleksander Ficek, Sean Narenthiran, Siddhartha Jain, Wasi Uddin Ahmad, Somshubra Majumdar, Vahid Noroozi, Boris Ginsburg

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mehrzad Samadi, Aleksander Ficek, Sean Narenthiran, Siddhartha Jain, Wasi Uddin Ahmad, Somshubra Majumdar, Vahid Noroozi, Boris Ginsburg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常酷的故事：研究人员如何让开源的 AI 模型（大家都能免费使用的模型）通过“疯狂刷题”和“精挑细选”，在世界上最难的编程比赛（IOI，国际信息学奥林匹克竞赛）中拿到了金牌。

以前，只有那些闭源的、像“黑箱”一样的超级 AI（比如 OpenAI 的某些模型）才能做到这一点，而且它们具体是怎么做的，大家都不知道。但这篇论文打破了这个局面，用一套公开、透明的方法，让开源模型也做到了。

我们可以把整个过程想象成举办一场超级宏大的“编程选秀大赛”。

1. 核心挑战：题目太难，时间太紧

想象一下，IOI 比赛就像是一场极限生存挑战。

题目：6 道超级难的数学/逻辑题，每道题又分成很多个小关卡（子任务）。
规则：你只有有限的机会（每道题最多提交 50 次）。如果你提交的代码错了，你就浪费了一次机会。
现状：普通的 AI 就像是一个聪明的学生，但面对这种高难度题目，它可能只能写出几个答案，而且容易犯错。

2. 解决方案：GENCLUSTER（基因聚类法）

研究团队发明了一套名为 GENCLUSTER 的“选秀策略”。这套策略不靠运气，而是靠人海战术 + 智慧筛选。我们可以把它分成四个步骤：

第一步：疯狂生成（人海战术）

比喻：想象你雇佣了5000 个不同的“实习生”（AI 生成的代码），让他们同时去解同一道题。
做法：不管对错，先让他们写出 5000 个不同的解决方案。这就好比在沙滩上撒下 5000 粒沙子，虽然大部分是沙子，但里面肯定藏着几颗珍珠。
结果：我们得到了一大堆候选代码，其中肯定有能解出难题的“天才代码”。

第二步：行为聚类（分组淘汰）

比喻：这 5000 个答案太乱了，我们需要把它们分类。
做法：研究人员让 AI 自己生成一些“测试题”（就像给实习生出小测验）。然后看这 5000 个答案在测试题上的表现。
- 如果两个答案在所有测试题上的表现一模一样（比如都算对了，或者都算错了），就把它们归为同一组。
- 这就像把 5000 个实习生按“解题风格”分成了几十个小组。如果一组里的人表现都很烂，那整个组就可以直接淘汰了。
目的：把 5000 个答案压缩成几十个“精英小组”，大大减少了工作量。

第三步：循环赛排名（擂台比武）

比喻：现在我们有几十个小组了，谁才是最强的？不能靠猜，要打擂台。
做法：
- 每个小组派出一位“代表”（通常是那个思考过程最长、最详细的代码）。
- 让这些代表进行循环赛（就像足球联赛，大家互相 PK）。
- 让另一个 AI 当“裁判”，看谁的答案更好，谁就赢。
- 最后，赢的次数最多的小组，排名就最高。
目的：通过比赛，把最有希望拿金牌的小组排在最前面。

第四步：轮流出战（提交策略）

比喻：比赛规则限制你只能提交 50 次。怎么提交最划算？
做法：
- 不要一次性把最好的 50 个都交上去（万一前 10 个都错了呢？）。
- 采用"轮盘赌"策略：从排名第一的小组拿一个，再从排名第二的小组拿一个，再拿第三名的……像发牌一样轮流提交。
- 一旦某个小关卡被解开了（拿到了满分），就立刻停止提交该关卡，转战下一个难题。
结果：这种策略确保了在有限的 50 次机会里，尽可能覆盖到所有可能正确的答案，最大化得分。

3. 实验结果：开源模型也能拿金牌

主角：他们选用了 gpt-oss-120b 这个开源模型作为“实习生”队长。
战绩：通过这套“疯狂生成 + 精挑细选”的方法，这个开源模型在 IOI 2025 的模拟测试中，成功拿到了金牌（Gold Medal）。
意义：
- 这是第一次有人用完全公开、透明的方法，让开源模型在顶级编程竞赛中拿到金牌。
- 证明了：只要给足算力（让 AI 多思考、多尝试），开源模型也能追上甚至超越那些昂贵的闭源模型。

4. 总结与启示

这就好比以前大家觉得，只有花大价钱请“特级厨师”（闭源模型）才能做出满汉全席。但这篇论文告诉我们：只要给“普通厨师”（开源模型）足够多的食材（算力），并给他们一套科学的“试菜、筛选、上菜”流程（GENCLUSTER），他们也能做出金牌大餐！

当然，也有代价：
这套方法非常“烧钱”（需要巨大的计算资源），就像为了做一道菜，你可能需要试做 5000 次。虽然结果很完美，但在普通人的电脑上可能跑不动。但这为未来的 AI 发展指明了一个方向：算力 + 聪明的策略 = 超级智能。

论文技术总结：利用扩展测试时计算实现 IOI 金牌（基于开源权重模型）

1. 研究背景与问题定义

背景：
大型语言模型（LLM）在解决编程问题方面取得了显著进展，但传统的基准测试（如 HumanEval、MBPP）已趋于饱和。国际信息学奥林匹克竞赛（IOI）因其极高的难度和复杂性，已成为评估 AI 推理能力和编程水平的关键基准。目前，OpenAI 等机构已宣称其专有模型（如 o1-ioi, o3）在 IOI 2024 和 2025 中获得了金牌，但这些方法的具体细节未公开，且依赖闭源模型。

核心问题：
如何在开源权重模型（Open-Weight Models）上，通过可扩展的测试时计算（Test-Time Compute, TTC）策略，在严格的提交限制下（IOI 每道题最多提交 50 次），达到金牌水平的性能？现有的开源模型在复杂竞赛问题上仍落后于闭源模型，且缺乏透明、可复现的解决方案。

2. 方法论：GENCLUSTER 框架

论文提出了 GENCLUSTER，一个可扩展的测试时计算框架，旨在通过大规模生成、行为聚类、锦标赛排序和轮询提交策略，在有限的验证预算下高效探索解空间。该框架包含四个核心阶段（如图 1 所示）：

2.1 并行候选方案生成 (Parallel Candidates Generation)

针对每个子任务（Subtask），并行生成 $K$ 个候选解决方案（代码）。
过滤掉无法解析或编译失败的代码。
生成过程独立，支持大规模并行扩展。

2.2 行为聚类 (Behavioral Clustering)

测试用例生成：利用 LLM 生成随机的测试输入生成器（Test Generators）和验证器（Validators）。通过多模型投票（75% 验证器通过）确保测试用例的有效性。
聚类逻辑：将所有候选解在生成的测试用例上执行。根据输出结果进行聚类：输出完全相同的解归为同一类。
优化：使用哈希值加速聚类过程；剔除在任何测试用例中产生空输出（如运行时错误）的簇。
目的：减少候选数量，将行为相似的解分组，便于后续排序。

2.3 锦标赛排序 (Ranking with Tournament)

代表选择：从每个簇中选择“思考长度”（Reasoning Length）最长的解作为该簇的代表。
** pairwise 比较**：设计了一个部分循环赛（Partial Round-Robin）机制。每个簇的代表与其他随机选定的簇代表进行 $G_n$ 次对决。
LLM 裁判：利用 LLM 进行两两比较，判断哪个解更优（基于代码和推理过程）。
排序：根据代表解在锦标赛中的获胜次数对簇进行排名。为减少位置偏差，随机化比较顺序。

2.4 轮询提交策略 (Round-Robin Submission Strategy)

约束：遵循 IOI 规则，每道题最多提交 50 次。
策略：
1. 从最难子任务开始处理。
2. 按簇的排名顺序，轮询地从每个簇中选取一个解进行提交。
3. 在每个簇内部，按推理长度排序选取解。
4. 一旦某个子任务达到最高分，跳过该子任务的剩余簇，转向下一个子任务。
优势：在有限的提交次数内，最大化覆盖不同行为模式的潜在正确解。

3. 关键贡献

提出 GENCLUSTER 框架：一种可扩展的测试时计算方法，通过并行生成、行为聚类、锦标赛排序和结构化提交策略，显著提升了 LLM 在 IOI 竞赛中的表现。
首次实现开源模型金牌：利用开源权重模型 gpt-oss-120b 结合透明、可复现的测试时计算策略，首次在 IOI 2025 基准上实现了金牌水平（得分 446.75，超过金牌线 438.3）。
验证了扩展性：证明了随着生成数量（ $K$ ）和计算资源的增加，GENCLUSTER 的性能呈现一致的上升趋势，为缩小开源与闭源系统在复杂推理任务上的差距提供了可行路径。
开源与复现：计划公开代码，为社区提供透明的评估基准。

4. 实验结果

模型对比：在 IOI 2025 基准上测试了 gpt-oss-120b, gpt-oss-20b, DeepSeek-R1-0528, Qwen3-235B-A22B。
- gpt-oss-120b 表现最佳，且随着生成数量增加，性能提升最显著（扩展性最强）。
- 其他模型在生成预算较小时表现尚可，但扩展性不如 gpt-oss 系列。
策略有效性：
- GENCLUSTER 得分 446.75（金牌）。
- 对比基线：随机选择（300.10）、最长推理路径选择（277.36）、基于簇大小的排序（299.87）等策略均远低于 GENCLUSTER。
- 证明了“锦标赛排序”和“基于获胜次数的簇排名”优于简单的多数投票或平均评分。
扩展性分析：
- 随着每子任务生成数 $K$ 从 50 增加到 5000，提交得分从 332.27 提升至 446.75。
- 测试集大小（Test Cases）增加提高了聚类纯度（F1-Score），但也增加了簇的数量，需要更高效的排序策略。
- 锦标赛轮次 $G_n$ 在 10 轮左右达到性能饱和。

5. 意义与局限性

意义：

里程碑：打破了只有闭源模型才能在国际顶级编程竞赛中夺金的局面，证明了开源模型通过强大的推理策略（Test-Time Compute）具备同等潜力。
方法论创新：将“行为聚类”与“锦标赛排序”结合，有效解决了在海量候选解中筛选最优解的难题，特别是在验证预算（提交次数）受限的场景下。
透明度：提供了完整的、可复现的评估流程，有助于社区进一步研究 LLM 的推理能力。

局限性：

计算资源需求巨大：生成 5000 个解并进行锦标赛排序需要约 146 亿 token 的计算量，对基础设施要求极高，难以实时应用。
合成测试的盲区：依赖 LLM 生成的测试用例可能无法覆盖所有边缘情况（Corner Cases），导致行为聚类不够精确。
LLM 裁判的噪声：基于 LLM 的排序可能受代码风格、长度等表面特征影响，而非完全基于正确性。
推理长度与正确性的相关性：虽然长推理通常更好，但有时也代表困惑或无效探索，并非绝对可靠的指标。

总结：
该论文展示了通过系统化的测试时计算策略，开源模型可以在极具挑战性的 IOI 竞赛中达到世界顶尖水平。这不仅是一个技术突破，也为未来 AI 在复杂推理任务上的发展指明了方向：即通过算法优化和计算资源的扩展，可以弥补模型参数量的差距。