💬 NLP

Scaling Test-Time Compute to Achieve IOI Gold Medal with Open-Weight Models

この論文は、大規模生成、行動クラスタリング、ランキング、ラウンドロビン提出戦略を組み合わせたスケーラブルなテスト時計算フレームワーク「GenCluster」を開発し、オープンウェイトモデル「gpt-oss-120b」を用いて国際情報オリンピック（IOI）2025 で金メダルレベルの成績を達成したことを報告しています。

原著者： Mehrzad Samadi, Aleksander Ficek, Sean Narenthiran, Siddhartha Jain, Wasi Uddin Ahmad, Somshubra Majumdar, Vahid Noroozi, Boris Ginsburg

公開日 2026-04-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mehrzad Samadi, Aleksander Ficek, Sean Narenthiran, Siddhartha Jain, Wasi Uddin Ahmad, Somshubra Majumdar, Vahid Noroozi, Boris Ginsburg

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI がプログラミングのオリンピックで金メダルを取るには、どうすればいいか？」**という問いに答えた研究です。

特に注目すべきは、**「秘密の技術を使わず、誰でも使えるオープンな AI（モデル）で、初めて金メダルを獲得した」**という点です。

以下に、専門用語を排して、わかりやすい比喩を使って説明します。

🏆 物語の舞台：プログラミングのオリンピック（IOI）

まず、**IOI（国際情報オリンピック）**とは、世界中の天才高校生たちが集まり、超難問のプログラミング問題を解く大会です。
これまでの AI は、簡単な問題なら解けても、このレベルの難問になると「正解」を見つけるのが非常に難しかったです。

以前、一部の巨大企業（OpenAI など）は「秘密の超高性能 AI」を使って金メダルを取りましたが、その中身は「ブラックボックス（箱の中身が見えない）」でした。

この論文のチームは、「誰でも中身が見えるオープンな AI」を使って、同じく金メダルを取る方法を開発しました。

🛠️ 解決策：「GENCLUSTER」という魔法の工場

彼らが開発した方法は、**「GENCLUSTER（ジェン・クラスター）」というシステムです。
これを「巨大な料理コンテストの審査システム」**に例えてみましょう。

1. 大量の料理を作る（並列生成）

まず、AI に「この問題の答え（料理）を 5,000 個も作って！」と頼みます。
AI は 5,000 種類の料理（コード）を同時に作り出します。

ポイント: 99% はまずい料理（バグだらけのコード）ですが、その中に「天才的な料理」が 1 つでも混じっている可能性があります。

2. 味見してグループ分けする（行動クラスタリング）

5,000 個の料理を一つ一つ食べるのは大変です。そこで、「同じ味付けの料理」をグループ分けします。

例: 「塩味が強いグループ」「甘辛いグループ」「全く味がしないグループ」など。
工夫: 料理が「正しいか」を判断するために、AI 自身に「テスト用の食材（テストケース）」と「味見係（バリデーター）」も作らせました。これで、まずい料理を素早く見分けます。

3. グループ対抗戦（トーナメント・ランキング）

グループ分けされた料理たちの中で、どのグループが最も「金メダル候補」かを決めるために、トーナメント戦を行います。

AI が「このグループの代表料理」と「あのグループの代表料理」を比べさせます。
「どっちがより正しそうか？」を AI 自身に判断させ、勝ったグループを上位にランク付けします。
工夫: 単に「一番長い説明を書いた料理」を選ぶのではなく、**「長い思考プロセス（レシピの工夫）」**を持っている料理を代表に選びます。

4. 限られた出場でベストを尽くす（ラウンドロビン提出）

大会のルールでは、**「1 問につき 50 回までしか提出できない」という厳しい制限があります。
ここで、「ラウンドロビン方式（順番に回す）」**を使います。

1 位グループから 1 個、2 位グループから 1 個、3 位グループから 1 個……と順番に提出します。
もし「正解」が見つかったら、そのグループの残りは提出せず、次のグループへ進みます。
これにより、**「50 回のチャンスの中で、最も正解に近い料理を最大限に活用」**します。

📈 なぜこれがすごいのか？（スケーラビリティ）

この研究の最大の特徴は、**「計算リソース（お金や時間）をかけるほど、成績が上がる」**ということです。

従来の AI: 計算を頑張っても、ある程度で頭打ちになる（飽和する）。
この方法（GENCLUSTER）: 5,000 個の料理を作るほど、正解を見つける確率が上がり、金メダル（438 点以上）のラインを越えることができました。

🎯 結果と意味

結果: オープンな AI（gpt-oss-120b）を使って、IOI 2025 で金メダルを獲得しました。
意味: 「金メダルは秘密の巨大企業だけのもの」ではなく、**「工夫と計算力で、誰でも追いつける」**ことを証明しました。

⚠️ 注意点（限界）

もちろん、完璧ではありません。

コスト: 5,000 個の料理を作るには、莫大な計算資源（電気代やサーバー代）が必要です。
テストの限界: AI が作ったテストケースでは、見落としがあるかもしれません。
審査のノイズ: AI が「どっちが正しいか」を判断する際、長文だからといって正しいとは限らないという誤解が起きることがあります。

📝 まとめ

この論文は、**「AI に正解をさせるには、賢く『考える』ことよりも、まず『たくさん試行錯誤』させて、その中から賢く『選び抜く』システムを作れば、オープンな AI でも世界最高峰の成績が出せる」**と教えてくれました。

まるで、**「1 人の天才シェフに頼むのではなく、5,000 人の見習いシェフに料理を作らせ、味見して一番美味しいものだけを選りすぐって大会に出す」**ような戦略です。これにより、AI の「推理力」を最大限に引き出す新しい道が開かれました。

論文要約：Scaling Test-Time Compute to Achieve IOI Gold Medal with Open-Weight Models

本論文は、NVIDIA の研究チームによって提出されたもので、オープンウェイトモデル（重みが公開されているモデル）を用いて、国際情報オリンピック（IOI）で金メダルレベルの成績を達成するための新しいテスト時計算（Test-Time Compute）フレームワーク**「GENCLUSTER」**を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

競争的プログラミングの重要性: 大規模言語モデル（LLM）の推論能力を評価するベンチマークとして、HumanEval や MBPP などの従来のタスクは飽和状態にあり、Codeforces や IOI（国際情報オリンピック）のような高度に複雑な競争的プログラミング問題が新たな基準となっています。
現状の課題: 近年、OpenAI の o1 や o3 などのプロプライエタリ（非公開）モデルが IOI で金メダルを獲得したと報告されていますが、その手法や計算リソースの詳細は非公開です。一方、DeepSeek-R1 や Qwen3 などのオープンウェイトモデルは性能向上を見せていますが、依然としてプロプライエタリモデルには劣っており、IOI での金メダル獲得は困難でした。
研究の目的: 非公開の手法に依存せず、オープンウェイトモデルと透明性のある反復可能なテスト時計算戦略を用いて、IOI での金メダル獲得を可能にするフレームワークの構築。

2. 提案手法：GENCLUSTER

GENCLUSTER は、限られた提出回数（1 問題あたり最大 50 回）の制約下で、多様な解空間を効率的に探索し、最良の候補を選別するためのスケーラブルなパイプラインです。主な 4 つの段階から構成されます（図 1 参照）。

並列候補生成 (Parallel Generation):
- 各サブタスクに対して、数千の候補プログラムを並列に生成します。
- 構文エラーやコンパイルエラーのあるコードはフィルタリングされます。
行動クラスタリング (Behavioral Clustering):
- 生成された候補を、特定のテスト入力に対する「出力の類似性」に基づいてクラスタリングします。
- テストケース生成: LLM にランダムなテスト入力生成器とバリデーター（入力妥当性チェック）を生成させ、相互検証を通じて高品質なテストケースセットを作成します。
- 各候補をこれらのテストケースで実行し、出力が完全に一致するものを同一クラスタにグループ化します。誤動作（ランタイムエラーなど）で空出力となったクラスタは除外されます。
トーナメントによるランキング (Ranking with Tournament):
- 多数のクラスタから提出用の候補を選別するため、部分ラウンドロビン形式のトーナメントを実施します。
- 代表者の選定: 各クラスタから「思考トレース（推論過程）が最も長い」解を代表者として選びます（思考の長さと正解率の相関を仮定）。
- ペアワイズ比較: 2 つのクラスタ代表者を LLM に提示し、どちらが優れているかを判断させます。各クラスタは $G_n$ 回ランダムに選ばれた他クラスタと対戦し、勝利数に基づいて順位付けされます。
提出戦略 (Submission Strategy):
- IOI のルール（1 問題あたり最大 50 回提出）に従い、ラウンドロビン方式で提出を行います。
- 最も難しいサブタスクから始め、ランク順に各クラスタから 1 つずつ解を選び、提出します。
- 特定のサブタスクが満点（最大スコア）に達したら、そのサブタスクの残りのクラスタをスキップし、次の難易度の高いタスクへ進みます。

3. 主要な貢献

GENCLUSTER の提案: 並列生成、行動クラスタリング、トーナメントランキング、構造化された提出戦略を組み合わせることで、LLM の競争的プログラミング性能を大幅に向上させるスケーラブルなテスト時計算アプローチを提案しました。
オープンウェイトモデルによる初の金メダル達成: 透明性があり反復可能な手法を用いて、オープンウェイトモデル（gpt-oss-120b）のみで IOI 2025 の金メダル基準を達成したことを初めて実証しました。コードは公開予定です。
スケーラビリティの証明: 計算リソース（生成数）を増やすことでスコアが一貫して向上することを示し、オープンモデルとクローズドモデルの性能差を縮小する道筋を示しました。

4. 実験結果

モデル比較: gpt-oss-120b、gpt-oss-20b、DeepSeek-R1-0528、Qwen3-235B-A22B を比較しました。その結果、gpt-oss-120bが最も高い性能を示し、生成数が増えるにつれて顕著なスケーリング効果（性能向上）が見られました。
IOI 2025 での成績:
- 1 サブタスクあたり 5,000 回の生成を行い、GENCLUSTER を適用した結果、446.75 点を記録しました。
- IOI 2025 の金メダル基準は 438.3 点であるため、これを上回り金メダル獲得を達成しました。
- これはオープンウェイトモデルによる初の IOI 金メダル獲得です（OpenAI の報告値 533.29 点には及ばないものの、透明性のある手法としては画期的です）。
制約下での有効性: 50 回という提出制限がある場合でも、生成数（K）を増やすことでスコアが 332.27 点（K=50）から 446.75 点（K=5000）へと向上し、GENCLUSTER のスケーラビリティが確認されました。
手法の比較: ランダム選択や単純なクラスタサイズによる選別と比較し、GENCLUSTER（トーナメント方式＋思考長の長い代表者選定）が最も優れていることを示しました。

5. 意義と限界

意義:
- 非公開の「ブラックボックス」手法に依存せず、オープンウェイトモデルでも最難関のプログラミングコンテストで最高レベルの成果を出せることを実証しました。
- 推論能力の評価において、透明性と再現性を重視した新しいベンチマーク手法を確立しました。
限界:
- 計算コスト: 5,000 回の生成とランキングには膨大なトークン数（合計約 146 億トークン）が必要であり、リアルタイム応用や低リソース環境では実用が難しい可能性があります。
- 合成テストの不完全性: モデルが生成するテストケースには盲点があり、稀なコーナーケースで異なる解を区別できない可能性があります。
- LLM による判断のノイズ: トーナメントでの勝敗判断は、コードのスタイルや長さなどの表面的な特徴に影響され、必ずしも正解率と一致しない場合があります。
- 思考長と正解率の相関: 「思考が長い＝正しい」というヒューリスティックは一般的ですが、無駄な記述や混乱を含む場合もあり、常に信頼できるとは限りません。

結論

本論文は、大規模なテスト時計算と GENCLUSTER という体系的なパイプラインを組み合わせることで、オープンウェイトモデルが IOI において金メダルレベルの性能を発揮できることを示しました。これは、LLM の推論能力評価における重要なマイルストーンであり、今後の研究においてオープンモデルとクローズドモデルの性能差をさらに縮めるための基盤となるでしょう。