技術要約：数学的推論のための知識適応型コンテキスト・エンジニアリング（KACE）

問題定義

コンテキスト・エンジニアリングは、モデルの重みを更新することなく、凍結された大規模言語モデル（LLM）の性能を向上させるための有効な戦略として浮上しています。しかし、複雑な数学的推論において、既存のアプローチは決定的なボトルネックに直面しています。それは、**モノリシックなコンテキスト蓄積（単一構造による情報の集積）**です。フィードバックや学習された教訓が単一の増大し続けるプロンプトへと集約されると、以下の2つの問題が発生します。

1. コンテキストの肥大化（Context Bloat）： 無関係なガイダンスが最終的に有用な情報を押し出し、性能を低下させます。
2. 知識ストレージの天井（Knowledge-Store Ceiling）： 再利用可能な知識ベースは、アクティブなプロンプトのサイズによって厳格に制限されます。

現在の手法（ACE、GEPAなど）は、多くの場合、ストレージ（実行全体を通じて学習されたもの）と使用（特定の課題に対してプロンプトに含まれるもの）を混同しています。その結果、すべての問題に対して、その課題の難易度やドメインに関わらず、蓄積された全知識ストレージを読み込まなければなりません。また、適応的な計算量割り当て（難易度に応じて推論の努力量を変化させること）は効果的な戦略として知られていますが、構造化され、難易度を考慮した知識検索と組み合わされることは稀です。

手法：KACEフレームワーク

KACEは、学習された知識を「エピステミック・ツリー（認識論的木構造）」として構造化して整理することで、知識のストレージと使用を分離するフレームワークを導入します。そして、経験的な難易度シグナルに基づいて条件付きで知識を検索します。

1. エピステミック・ツリー（ストレージ）

KACEは、単一のプロンプトではなく、型付けされたカード（例：補題、不変量、分解パターン、検証規則）からなる永続的な知識ベース $K$ を構築します。このツリーは、以下の2つの軸に沿って層別化されています。

• 難易度ティア（$T$）： Easy (ES)、Medium (MS)、Hard (HS)。
• エピステミック・ドメイン（$D$）： 数学領域（例：幾何学、組合せ論）。

このツリーは、ブロック構造を持つオブジェクト $K = \{K_b\}_{b \in B}$ であり、各ブロック $b = (t, d)$ は、その特定の難易度ティアおよびドメインでのみ可視となるカードを含みます。ユニバーサル・カードは別途保存され、すべてのティアで可視となります。

2. ロックされたティア別自己整合性（分類器とソルバー）

KACEは、問題の解決と難易度の分類という二重の目的を果たす、ロックされたティア別自己整合性パイプラインを採用しています。パイプラインは、段階的にエスカレートするステージで進行します。

• Easy Solver (ES)： 2回の試行。2/2の一致（全会一致）で終了。学習されたカードは一切読み込まない。
• Medium Solver (MS)： 3回の試行。2/3の多数決で終了。$(MS, d)$ ノードからカードを読み込む。
• Hard Solver (HS)： 5回の試行。2/5の最多得票で終了。$(HS, d)$ ノードからカードを読み込む。
• フォールバック： いずれのティアでも終了条件を満たさない場合、10回の試行プールが使用される。

どのティアで終了したかが、経験的な難易度シグナルを提供します。このシグナルは、粗いドメイン分類器と組み合わされ、問題をエピステミック・ツリー内の特定のブロックへと投影します。極めて重要な点は、容易な問題はカードなしで終了し、エスカレーションされた問題はツリーの該当するブランチのみを検索するため、コンテキストの肥大化を防げることです。

3. オフライン構築（学習）

エピステミック・ツリーは、トレーニング・トレースから2段階のプロセスを経てオフラインで構築されます。

• フェーズ1 (ADD)： ブロック局所的な学習ループ。各ブロック $(t, d)$ について、システムは、そのティアでソルバーが終了した失敗トレースを分析します。ティーチャー・モデルが「残差（不足している知識）」を新しいカードへと蒸留し、それらは対応するブロックに追加されます。これは、グローバルな再最適化を行うことなく、ツリーの局所的なパーツを最適化するブロック座標降下法に従います。
• フェーズ2 (REFINE)： キュレーターが、更新されたポリシーの誘導分布の下で暫定的なツリーを評価します。キュレーターは、カードが実際に使用される際に有用かつ非冗長であることを保証するために、カードの編集、移動、または廃止を行います。これは、反復学習において一般的な分布シフトの問題に対処するものです。

主な貢献

1. 難易度およびドメインによって層別化されたエピステミック・ツリー： KACEは、型付けされたカードとして、難易度とドメインによって整理された、再利用可能な数学的推論知識をアクティブなプロンプトの外側に保存します。これにより、耐久性のある知識体と、ソルバーが読み取る小さなコンテキスト・スライスを分離します。
2. 難易度分類器としてのロックされたティア別自己整合性： このティア型パイプラインは、固定されたBest-of-N自己整合性に代わる計算量等価な選択肢として機能し（3つのベンチマークにおいてBest-of-5と同等またはそれを上回る性能を発揮）、同時に校正された経験的難易度シグナルを提供します。このシグナルは、外部の訓練済み難易度分類器を必要とせず、78%のAIME 2025ペアおよび80%のMATH-HARDペアにおいて、モデル自身の解法率の順序を保持しており、モデル由来の難易度シグナルとして機能します。
3. 困難な推論に関する実証的証拠： 条件付き検索を通じてストレージと使用を分離することが、モノリシックなコンテキスト蓄積よりも大幅に優れていることを示しています。

実験結果

実験は、AIME 2025、MATH-HARD（レベル4–5）、およびOlymMATH-EN（検証可能なサブセット）の3つの困難なベンチマークに対して行われました。

• 性能向上： AIME 2025において、KACEは62.2%の精度を達成しました。これは、固定されたBest-of-5自己整合性（51.8%）に対して10.4ポイントの絶対的な向上であり、最強の学習コンテキスト・ベースラインであるTiered + GEPA（56.6%）に対して5.6ポイントの向上です。
• 計算効率： KACEは、Best-of-5と同等のソルバー呼び出し予算でこれらの利得を実現しています。ティア型のアプローチは、容易な問題において早期終了するため、平均呼び出し回数を5回近くに保っています。
• アブレーション研究：
  • ドメイン軸を除去（難易度のみにフラット化）すると、精度は62.2%から54.4%に低下しました。
  • 難易度軸を除去（モノリシック・コンテキスト）すると、精度は51.6%に低下しました。
  • 蒸留されたカードを生のソルバーの振り返りに置き換えると、精度は59.3%に低下し、ティーチャー・モデルによって蒸留されたコンパクトな知識の価値が浮き彫りになりました。
  • 固定されたツリー投影を汎用的な検索（LLMルーターや埋め込み）に置き換えると、より低い性能（〜56%）となり、構造化された難易度・ドメイン投影が汎用的な検索よりも優れていることが示唆されました。

意義と主張

本論文は、困難な数学的推論におけるコンテキスト・エンジニアリングの主要なボトルネックは、保持される知識の量ではなく、その知識の正しい部分を適切なタイミングで露出させる能力にあると主張しています。

• 構造的分離： KACEは、学習されたコンテキストを、難易度とドメインに基づいて条件付きで読み込まれる構造化されたリソースとして扱うことが、モノリシックなプレイブックよりも効果的であることを示しています。
• 訓練なしの校正： ティア別の自己整合性の終了パスは、外部の訓練データや個別の分類器を必要としない、堅牢なモデル由来の難易度シグナルとして機能し、経験的な解法率と密接に一致します。
• 監査可能性： 学習された行動を、難易度とドメインごとに整理された自然言語のカードとして保存することで、システムが「学習」した挙動は検査可能かつ監査可能です。これは、重みが更新されるモデルにはない特性です。

著者らは、繰り返し発生するエラーパターンの学習への依存、自動的なクロスベンチマーク転移の欠如、および（「想像力」などを通じた）トレーニング・トレースの失敗を超えた知識ベースのスケーリングが、より強力な検証器がない限り過学習につながるという観察を含む、限界についても述べています。本研究は、コンテキストを静的な蓄積としてのテキストではなく、構造化され条件付きで読み込まれるリソースとして研究するためのテンプレートとして、KACEを位置づけています。