🤖 AI

HyPER: Bridging Exploration and Exploitation for Scalable LLM Reasoning with Hypothesis Path Expansion and Reduction

HyPER は、テスト時の推論中に仮説プールの拡張、トークンレベルの精緻化、および信頼度に基づく集約を通じて仮説プールを管理することで、探索と利用を動的にバランスさせる混合エキスパートモデル向けのトレーニング不要なオンライン制御ポリシーであり、これによりトークン使用量を削減しながら精度を大幅に向上させる。

原著者： Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に難しい数学の問題や複雑な論理パズルを解こうとしていると想像してください。あなたには、問題を段階的に考え抜くことができる、天才的だが少し神経質なアシスタント（AI）がいます。

もし、そのアシスタントに問題を1 回だけ解くように頼めば、間違った方向でつまずき、誤った答えを提示する可能性があります。これを修正するために、彼らに同時に複数の異なる方法で解こうとさせるかもしれません。これを「テスト時の計算リソースのスケールアップ（scaling test-time compute）」と呼びます。

しかし、ここには落とし穴があります。あなたには限られた時間とエネルギー（「計算予算」）しかありません。アシスタントに 100 の異なる経路を試すように頼めば、どれか 1 つでも完了する前にエネルギーが尽きてしまうかもしれません。逆に 2 つの経路だけを頼めば、正しい解法を見逃してしまう可能性があります。

このバランスを取るために、この論文はHyPER（Hypothesis Path Expansion and Reduction：仮説経路の拡張と削減）と呼ばれる新しいシステムを導入しています。HyPER を、アシスタントの思考を管理するスマートな交通管制官だと考えてください。

旧来の方法の問題点

これまでにこの課題に対処していた方法は、硬直的な交通規則のようでした：

「ツリー」法：これは、何があっても 5 ステップごとにアシスタントを停止させ、新しい経路に分岐させるようなものでした。時には分岐する必要がない場合もあり、時にはもっと早く分岐する必要がある場合もありました。これは硬直すぎて、エネルギーを無駄にしていました。
「並列」法：これは、アシスタントに 100 通りの物語を最初から最後まで書き上げさせ、その後で最も良いものを選ぶようなものでした。ほぼ同一か、明らかに誤っている 99 通りの物語を書くことに多くのエネルギーを浪費し、物語が書かれている最中の質を向上させる助けにはなりませんでした。

HyPER の仕組み：スマートな交通管制官

HyPER は、思考プロセスをリアルタイムで拡張または縮小できる動的なアイデアのプールとして扱うことで、ゲームのルールを変えます。これには 3 つの主要なトリックが使われています：

1. 「フェーズ依存型」スイッチ（いつ行動するかを知る）

HyPER は、コーチが試合を観戦するように、アシスタントの思考プロセスを監視します。

序盤（探索）：開始直後、アシスタントは刚刚开始しています。HyPER は、「いくつかの異なる出発点を試してみよう！」と言います。正しい方向を見逃さないよう、経路の数を拡張します。
終盤（活用）：アシスタントが答えに近づくと、HyPER は経路が似始めてきたり、ある経路が非常に自信に満ちていることに気づきます。「新しいことを試すのをやめろ！この強力な 1 つの経路を磨くことにすべてのエネルギーを集中させろ」と言います。
魔法：これは固定されたスケジュールを使用しません。現在の思考がどれほど自信があり、多様であるかに基づいて、その場その場で分岐（探索）するか集中（活用）するかを決定します。

2. 「専門家による洗練」のトリック（AI の内的多様性を利用する）

現代の AI モデルには、しばしば「Mixture of Experts（MoE：専門家の混合）」アーキテクチャが採用されています。AI は実際には 100 人の小さな専門家のチームですが、ある時点でアクティブなのは数人だけだと想像してください。

旧来の方法：より良い答えを得るためには、文全体を最初からやり直す必要がありました。
HyPER の方法：AI が次の単語を書こうとする際、HyPER は専門家チームに尋ねます。「ねえ、次の単語は何だと思う？」と。それはその 1 つの単語について異なる専門家からの意見を収集し、それらを平均化して、最も良いものを選びます。
メリット：これにより、物語全体を書き直す時間を無駄にすることなく、即座に答えの質を向上させることができます。まるで、次の手を打つ前にチームとすぐに会議をするようなもので、ゲームを最初からやり直す必要はありません。

3. 「長さと自信」の投票（勝者を選ぶ）

最終的に、いくつかの完成した解が手元にあります。どのようにして正しいものを選ぶのでしょうか？

罠：時には、誤った答えが非常に自信ありげで短く、正しい答えは長く慎重であることがあります。単純な「多数決」では、短くて誤った方を選んでしまう可能性があります。
HyPER の洞察：この論文は興味深いことに気づきました。低自信の経路を除外すると、正しい経路は誤った経路よりも長い傾向があるのです。誤った経路は、AI が自信を失う早期にクラッシュ（失敗）することが多いです。
解決策：HyPER は単に票数を数えるだけではありません。2 つの要素を見ます：経路はどれほど自信があったか、そして解くのにどれほど時間がかかったかです。それは、自信があり、かつ徹底的になるために時間をかけた答えにボーナスを与えます。これにより、最も一般的なものでなかったとしても、正しい答えを選ぶことができます。

結果

この論文は、このシステムを難しい数学および論理問題でテストしました。

精度：以前の手法よりもはるかに高い頻度で（約 8〜10% 向上）正解を導き出しました。
効率性：そこに到達するために、はるかに少ないエネルギー（生成された「トークン」または単語が約 25〜40% 少ない）で済みました。

要約の比喩

限られたバッテリーを持つ懐中電灯を持って、暗闇の迷路をナビゲートしていると想像してください。

旧来の方法は、バッテリーが切れるまで 100 のランダムな方向に光を当てたり、何が見えようと特定の場所で角を曲がるよう強制したりするものでした。
HyPERは、スマートなガイドです。迷っているときは広げて周りを見るよう指示し（探索）、有望な道が見えたら、そこに光を集中させて慎重に進むよう指示します（活用）。つまずけば、ゲームを最初からやり直すことなく、すぐに歩幅を調整するのを助けます。そして出口を見つけると、取った経路が長く安定していたか確認し、出口のように見えた行き止まりに転げ落ちたわけではないことを保証します。

結果はどうなるでしょうか？あなたはより早く、より明るい光で、より多くのバッテリーを残したまま出口を見つけることができます。

技術概要：HyPER – スケーラブルな LLM 推論のための探索と利用の架け橋

1. 問題定義

マルチパスの思考連鎖（CoT）推論によるテスト時計算の拡張は、複雑なタスクにおける精度向上が示されているが、その有効性は探索（多様な仮説パスの生成）と利用（有望なパスの精緻化）の間の効果的なトレードオフにかかっている。既存の手法はこのバランスを動的に維持することに苦慮している：

木構造探索（ToT、MCTS など）は、厳格で脆い拡張スケジュールを強制し、事後学習モデルのネイティブな連続的な推論フローを妨げ、不要な探索に計算リソースを浪費する傾向がある。
並列推論（Self-Consistency、Best-of-N など）はネイティブな生成を維持するが、冗長でほぼ重複するパスの過剰な探索に陥りつつ、有望な仮説の活用が不十分である。これは弱い回答選択戦略に依存し、効率的なテスト時精緻化のメカニズムを欠いている。
適応的バリエーションは、削減（減算）に焦点を当てることが多く、節約された計算リソースをより強力な利用へ明示的に再配分しないため、有望な仮説が十分に精緻化されないまま残る。

さらに、最近の観察では、正解と誤った推論パスはしばしば後期段階でのみ分岐し、単に正解パスを生成するだけでは「存在–選択ギャップ」により選択が保証されないことが示唆されている。このギャップとは、ノイズの多いパスが投票メカニズムを支配してしまう現象を指す。

2. 手法：HyPER フレームワーク

著者らは、仮説パスのプールにおける動的な拡張–削減制御問題としてテスト時スケーリングを再概念化する、トレーニング不要のオンライン制御ポリシーであるHyPER（Hypothesis Path Expansion and Reduction）を導入する。HyPER は Mixture-of-Experts（MoE）モデル向けに設計されているが、高密度アーキテクチャにも一般化可能である。これは固定された計算予算の下で動作し、3 つの中核コンポーネントから構成される：

2.1. オンライン拡張–削減コントローラ

静的なスケジュールの代わりに、HyPER は軽量なリアルタイムパス統計（信頼性、エントロピー、コンセンサス、多様性）を監視する閉ループコントローラを採用し、 $T$ 個のデコーディングステップごとに動的にアクションを選択する。コントローラは、生存パスプール $S_t$ に対して以下の 4 つのアクションから選択する：

NONE：プールが信頼性が高く、確信度があり、多様性がある場合、標準的なデコーディングを継続する。
BRANCH（探索）：多様性が低い場合やコンセンサスが弱い場合、生存パスを複数の子パスにフォークすることでプールを明示的に広げる。
SINGLETOKEN（利用）：パスの数を増やすことなく、次のトークンの決定を精緻化するためにトークンレベルの拡張–削減操作を適用する。これは局所的な不安定性（低い信頼性、高いエントロピー）を標的とする。
MULTITOKEN（ハイブリッド）：短いホライズンの拡張（ $m$ トークンのデコーディング）を実行し、その後集約して、最も信頼性の高い子パスを選択してマージする。これは多様性が低いが信頼性の分散が高い場合に使用される。

2.2. 単一トークン拡張と集約プリミティブ

完全なパスの再サンプリングなしに効率的な利用を可能にするため、HyPER は MoE アーキテクチャに内在するルーティング多様性を活用する。SINGLETOKEN アクションの場合：

Gumbel ノイズによるルートサンプリング：MoE ルーターのロジットに Gumbel ノイズを付加して、現在のトークンに対する $K$ 個の確率的な専門家ルーティング提案を生成する。
2 パス専門家サンプリング：ベクトル化された 2 パス方式により、 $K$ 個のルート全体で専門家の衝突をペナルティ化することでトークン内多様性を強制し、異なる専門家サブセットがサンプリングされるようにする。
信頼性重み付き集約： $K$ 個の候補ロジットベクトルを、その予測分布から導出された信頼性重みを用いて集約し、テール部分の信頼性を安定させ、トークン予測を精緻化する。
メモリ最適化：この手法は $K$ 個の提案間でプレフィックス KV 状態を共有し、メモリ使用量が拡張係数 $K$ ではなく生存パスの数に比例してスケーリングするようにしている。

2.3. 長さと信頼性を考慮した投票

存在–選択ギャップを埋めるため、HyPER は最終回答のための新しい集約ルールを導入する。経験的分析により、信頼性に基づく削減の下では、正解パスが誤ったパス（早期に終了するため）よりも体系的に長くなる傾向があることが明らかになった。この投票ルールは、頻度や単純な信頼性重み付けに依存するのではなく、支持パス全体における正規化されたパス長とグローバル平均信頼性を集約することで最終回答を選択する。

3. 主な貢献

動的制御ポリシー：フェーズ依存の有用性に基づいて探索から利用へ移行するトレーニング不要のオンラインコントローラ。信頼性や多様性といった軽量なシグナルを活用し、計算予算をその場で再配分する。
効率的なトークンレベル精緻化：生成時の利用のための MoE ベースのプリミティブ。完全なパスの再サンプリングのオーバーヘッドなしに、専門家ルーティングの多様性を通じてトークンの品質を精緻化する。
堅牢な回答選択：パス長（削減によって誘発される）の構造的シグナルを活用して正解を確実に選択する、長さと信頼性を考慮した投票ルール。単純な多数決の失敗モードに対処する。

4. 実験結果

著者らは、4 つの MoE モデル（Qwen3-30B、Qwen3-Next-80B、OLMoE、DeepSeek-V2-Lite）および多様なベンチマーク（AIME24/25、HMMT25、HLE、GSM8K、MATH500、ARC）において HyPER を評価した。

精度と計算のトレードオフ：HyPER は一貫して精度–計算のパレートフロンティアを達成する。ベンチマーク全体において、同様の計算予算下で先行手法（Self-Consistency、DeepConf、RoE）を8–10 パーセントポイント上回る精度を達成しつつ、トークン消費を**25–40%**削減している。
アブレーション研究：
- 動的コントローラを除去し（手動スケジュールを使用）、最適でないトレードオフをもたらすことは、適応的制御の必要性を裏付けている。
- SINGLETOKEN プリミティブは局所的なトークン品質を向上させるが、プールの早期崩壊を防ぐためにコントローラが必要である。
- 長さを考慮した投票ルールは、多数決や信頼性重み付き投票を一貫して上回り、削減下における正解シグナルとしてのパス長の有用性を検証している。
アーキテクチャの一般性：高密度モデル（MoE トークン精緻化なし）での実験により、コントローラと投票ロジックのみでもベースラインに対して性能が向上することが示され、このフレームワークが厳密に MoE 構造に依存していないことが示唆された。
木構造探索との比較：事後学習された「思考」モデルにステップレベルの木構造探索を課すと、パスベースの Self-Consistency と比較して性能が低下した。これが HyPER のパスベースの拡張–削減アプローチを動機づけた。

5. 意義と主張

本論文は、HyPER が、厳格な探索スケジュールから閉ループリソース制御への移行を通じて、スケーラブルな LLM 推論において重要な進展をもたらすと主張している。その主な意義は以下の点にある：

トレーニング不要の効率性：ファインチューニング、専門的な報酬モデル、追加のトレーニングデータを必要とせずに最先端の結果を達成する。
動的適応：パスの分岐に関する経験的観察に基づき、推論のフェーズ依存性を効果的に処理し、初期段階では探索に、後期段階では利用に計算リソースを配分する。
ギャップの埋め合わせ：存在–選択ギャップに対する原理的な解決策を提供し、正解パスの存在が選択された正解へと確実に変換されるようにする。

著者らは HyPER を学習型検証器と直交するものとして位置づけ、その動的ポリシーをプロセス報酬モデル（PRM）と組み合わせることが将来の研究における有望な道筋であると示唆している。コードは公開されており、テスト時スケーリングに関するさらなる研究を促進する。