💬 NLP

Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3

AIMO 3 競技における 23 回以上の実験から、多様な推論戦略による誤差の非相関化や高温サンプリングなどの推論時最適化は、モデルの能力差に比べれば効果が限定的であり、最終的な性能を支配する要因はモデルそのものの能力であることが示されました。

原著者： Natapong Nitarach

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Natapong Nitarach

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI が数学の難問を解くとき、どんな工夫をしても『その AI の頭脳（能力）そのもの』が最も重要だ」**という、少し意外な結論を伝えています。

まるで**「料理の味」**に例えると、とてもわかりやすくなります。

🍳 料理の味とシェフの腕

この研究は、**「AI 料理人」**が、世界最高峰の数学コンテスト（IMO）の問題を解こうとする様子を分析したものです。

1. 従来の考え方：「味見を繰り返せば正解にたどり着ける？」

以前は、「同じ料理人を何回も呼んで、何回も味見（答え）をして、一番多い意見（多数決）を採用すれば、正解に近づけるはずだ」と考えられていました。

例： 1 人のシェフに「このスープの塩分は？」と 8 回聞いて、答えが「塩 3g」なら 5 回、「塩 4g」なら 3 回出たら、「塩 3g」が正解だと信じる。
問題点： でも、もしそのシェフが「塩は 3g だ！」といつも同じ勘違いをしていたら、何回聞いても同じ間違った答えしか返ってきません。

2. 著者の試み：「違うアプローチを使えば？」

著者は、「じゃあ、同じシェフに**『違う考え方のレシピ』**を与えて、それぞれに解かせてみよう！」と考えました。

アイデア：
- A さんには「小さい数字から順に試してパターンを見つける」ように指示。
- B さんには「答えから逆算して考える」ように指示。
- C さんには「まずコードを書いて計算させる」ように指示。
狙い： 考え方がバラバラなら、それぞれの「勘違い」もバラバラになるはず。だから、多数決を取れば、より正解に近づけるだろう！
呼び名： この方法を「多様なプロンプト・ミキサー（Diverse Prompt Mixer）」と呼びました。

3. 結果：「失敗した。なぜなら…」

しかし、実験結果は**「全くダメだった」**というものでした。

結果： 違うレシピ（指示）を与えても、スコアは上がらず、むしろ下がってしまいました。
理由①：すでに「偶然」が十分だった
元々、AI に「適当に考えていいよ（温度を高くする）」という指示を出せば、同じレシピでも自然に違う考え方をします。わざわざ違うレシピを用意する必要はなかったのです。
理由②：「変なレシピ」は味を損なう
数学の天才シェフに、「小学生向けの簡単な話で説明して」とか「逆から考えて」といった不慣れな指示を出すと、シェフは混乱して、本来の力が出せなくなります。
- 例：一流のシェフに「まず野菜を 100 個切らせてから料理しなさい」と言ったら、その間に疲れてしまい、料理の味が落ちるようなものです。
理由③：「能力」が全て
最も重要な発見はこれです。**「どんな工夫（インference-time optimization）をしても、AI の『基礎能力（モデルの大きさや賢さ）』には敵わない」**ということです。
- 例：世界一有名な天才シェフ（高性能モデル）が、少しの工夫で味を落としたとしても、その味は、普通の料理人（低性能モデル）がどんなに頑張っても超えられません。
- 実験では、「高性能モデル」が「低性能モデル」より 17 点も上でした。これは、どんな工夫（±2 点程度）よりも遥かに大きな差です。

🎯 結論：何が一番大切？

この論文が言いたいことは、シンプルで力強いメッセージです。

「AI に数学を解かせるなら、工夫よりも『賢い AI』を選ぶこと。そして、その AI に『適当に考えていいよ（温度を高くする）』と伝えて、何度も試行錯誤させるのがベスト。」

悪い戦略： 複雑な指示を出して AI を混乱させる。
良い戦略： 一番頭の良い AI を選び、温度を高くして、何回も「ラッキーな答え」が出るまで試す（宝くじを買うようなもの）。

📝 まとめ

この研究は、「AI の能力（モデルそのもの）が全てを支配する」ことを証明しました。
どんなに素晴らしい「裏技」や「工夫」をしても、「その AI がどれだけ賢いか」という土台がなければ、結果は出ないのです。

まるで、**「どんなに素晴らしい調味料（工夫）を使っても、下取りの悪い食材（低性能モデル）からは、美味しい料理は作れない」**というのと同じ道理です。

論文「Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3」の技術的サマリー

この論文は、2026 年に開催された「AI Mathematical Olympiad (AIMO) 3」コンペティションにおける、大規模言語モデル（LLM）の推論時間最適化（Inference-Time Optimization）に関する実証研究です。著者 Natapong Nitarach は、多様な推論戦略を組み合わせて誤相関を低減させる試み（Diverse Prompt Mixer）が失敗し、モデルそのものの能力（Model Capability）が推論時の最適化手法を圧倒的に凌駕するという結論に至りました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題設定と背景

背景: 数学的推論タスクにおいて、単一のモデルで複数回推論を行い、多数決（Majority Voting）をとる「Self-Consistency」手法は標準的です。これは、各推論の誤りが独立であれば、試行回数 $N$ を増やすことで正解率が高まるという「コンドルセの陪審定理」に基づいています。
課題: 現実には、同じモデル・同じプロンプトではランダムシードが異なっても同じ体系的な誤り（Systematic Errors）を犯すため、誤りの相関（ $\rho$ ）が高く、実効サンプルサイズが低下します。
仮説: この相関を低減させるために、異なる推論戦略（例：「小ケースから始める」「逆算する」など）を異なる推論試行（Voters）に割り当て、誤りを非相関化（Decorrelate）させることで精度を向上させられるのではないか？
制約: 単一の H100 80GB GPU、5 時間の壁時計時間制限、外部 API 不使用、事前学習なしの推論のみ。

2. 手法とシステムアーキテクチャ

基盤モデル: gpt-oss-120b（全パラメータ 116.8B、MoE によりアクティブパラメータ 5.1B）。vLLM を用いて FP8 量子化でローカルにサービング。
推論パイプライン:
- 1 つの問題に対し $N=8$ の並列推論スレッドを実行。
- 各スレッドは Python コード（Jupyter Sandbox）を生成・実行し、結果をフィードバックして多ターン推論を行う。
- 早期停止（4/8 が一致）やエントロピー重み付き投票を採用。
提案手法（Diverse Prompt Mixer）:
- 4 つの異なるシステムプロンプト（戦略）を定義：
  1. Original: 標準的なステップバイステップ推論。
  2. Small Cases First: 小ケース列挙 $\to$ パターン発見 $\to$ 証明。
  3. Work Backwards: 制約条件から逆算して構築。
  4. Classify Then Solve: 問題分類 $\to$ 手法適用。
- これらを異なる比率で混合し、8 回の推論試行に割り当てる実験（例：5:1:1:1, 2:2:2:2 など）を実施。

3. 主要な結果と発見

すべての実験（3 モデル、23 回以上の試行、50 問の IMO レベル問題）において、Diverse Prompt Mixer は失敗し、モデルの能力が支配的であることが示されました。

多様性の逆効果:
- 多様なプロンプトを混合すると、パフォーマンスは単調に低下しました（例：Baseline 39.7 点 $\to$ 均等混合 38 点）。
- 個別の代替戦略（「小ケースから」など）は、元の戦略（Original）よりも単体での精度が低く、混合しても全体を押し下げました。
温度パラメータの十分性:
- 高温サンプリング（ $T=1.0$ ）を適用するだけで、同じプロンプトでも十分に多様な推論経路が生成され、誤りの相関は既にゼロに近い、あるいは負の値（ $\hat{\rho} \approx -0.11 \sim -0.26$ ）を示しました。
- 追加のプロンプト多様性は冗長であり、むしろ精度を損なう要因となりました。
モデル能力の支配:
- 17 ポイントのモデル能力格差（gpt-oss-120b の推論精度 0.69 vs 他のモデル 0.46 程度）は、あらゆる推論時間最適化（±2 ポイント程度）を圧倒的に上回りました。
- 計算リソースを同等（ $N=3$ ）に揃えても、高性能モデルは低性能モデルを 13 ポイント以上上回りました。
最善の戦略:
- 推論時間の最適化（プロンプトエンジニアリング）よりも、**「最大のモデルを選び、高温サンプリングを行い、多数決を繰り返す（宝くじ方式）」**ことが最善でした。

4. 考察：なぜ失敗したのか

論文は、プロンプト多様性が機能しなかった 3 つの理由を挙げています。

既存の多様性: 高温サンプリングですでに誤相関が解消されているため、追加の多様性には余地がない。
精度の低下: 多様なプロンプトは、モデルのトレーニング分布（主に CoT や TIR 形式）から外れており、モデルの推論精度そのものを低下させた。
モデルの頑健性不足: 現在の数学モデルは特定の指示形式でしか訓練されていないため、プロンプトの形式が変わると精度が不安定になる（Prompt Robustness の欠如）。

5. 意義と結論

推論時間スケーリングの限界: 近年の「推論計算のスケーリング（Repeated Sampling）」がモデルスケーリングに代わりうるという仮説に対し、IMO レベルの難問（モデルの能力限界付近）では、ベースラインが適切に設定されていれば、推論時間の最適化には限界（フラットな最適化ランドスケープ）があることを示しました。
今後の方向性: プロンプト多様性が有効になるのは、モデルが「多様な指示形式（Mixture of Formats）」で訓練され、プロンプトへの頑健性が高まった場合に限られる可能性があります。これは推論時の工夫ではなく、学習時の介入が必要です。
実用的な指針: 計算リソースが制約されるコンペティションや実環境では、プロンプトの微調整よりも、**「利用可能な最大のモデルを使用し、高温サンプリングで多数決を繰り返す」**ことが最も効果的です。

結論:
「モデルの能力が推論時間の最適化を支配する（Model Capability Dominates）」という事実が、数学的推論タスクにおいて明確に実証されました。推論時のトリックは、モデル自体の能力が一定の閾値を超えていない限り、あるいはモデルがプロンプト多様性に対して頑健でない限り、有効ではありません。