技術的サマリー：HEAVYSKILL – エージェントハネスにおける内面的スキルとしての重思考

問題定義

近年のエージェントハネスの進展は、メモリ、スキル、ツール使用を備えた複数のエージェントを編成することで、複雑な推論タスクにおいて成功を収めています。しかし、このパフォーマンスを駆動する基盤メカニズムは、複雑なシステム設計によって覆い隠されたままです。現在の手法は、並列にサブエージェントを活性化し結果を要約する外部編成ループに依存するか、並列推論を引き出すための専用アーキテクチャ変更やポストトレーニングレシピを採用する傾向があります。本論文は、推論能力の追求が計算リソースを増幅するテスト時スケーリング（TTS）戦略に大きく焦点を当ててきた一方で、モデルのパラメータ内で内部化可能なスキルとしての「重思考」の具体的な貢献は未だ十分に探求されていないと主張します。さらに、既存の手法は、特定のインフラから切り離して大規模言語モデル（LLM）のネイティブ機能として機能する、統一されたポータブルなフレームワークを欠いていることが多いです。

手法

著者は、HEAVYSKILLを提案します。これは、単なる編成ハネス内の実行単位としてではなく、モデル内部に内在化された内面的スキルとして「重思考」を扱う視点およびフレームワークです。このスキルは、並列推論に続く逐次審議という2段階のパイプラインとして定義されます。

1. 重思考フレームワーク

推論パイプラインは2つの明確なフェーズに分解されます：

• 並列推論: 問題 $q$ が与えられたとき、モデルは $K$ 個の独立した推論経路（$T_{\pi_\theta}(q, K) = \{y_1, \dots, y_K\}$）を生成します。これらの経路は、多様性を確保するために互いの出力へのアクセスなしに生成されます。
• 逐次審議: 2番目のモデル（または同一モデル）が生成された経路を集約します。この段階には、モデルが推論経路を批判的に評価し、誤りを特定し、最終的な答えを合成する「要約」プロセスが含まれます。
• シリアライズされたメモリキャッシュ: これらのフェーズを橋渡しするために、フレームワークはメモリキャッシュ機構を導入します。完全な経路はしばしばコンテキスト制限を超えるため、それらは剪定され、位置バイアスを防ぐためにシャッフルされ、審議段階用のコンテキスト（$C(x_c)$）としてシリアライズされます。
• 反復審議（オプション）: フレームワークは反復的改善をサポートし、審議段階の出力を新しい入力としてメモリキャッシュにフィードバックし、後続の分析ラウンドに供します。

2. 読み可能なスキルとしての HEAVYSKILL

重要な革新は、このワークフローを読み可能なスキルファイル（例：HeavySkill.md）に蒸留することです。API 呼び出しや状態を管理する外部 Python パイプラインに依存する従来のワークフローとは異なり、HEAVYSKILL は人間が読み取り、モデルが解釈可能なドキュメントです。

• 構造: スキルファイルは4つのコンポーネントを含みます：
  1. 活性化条件: 重思考をいつトリガーするか（例：複雑な推論対単純なクエリ）を宣言するルール。
  2. 並列推論プロトコル: 多様な戦略を持つ $K$ 個の独立したエージェントを生成するための指示。
  3. 審議プロンプト: 単なる投票ではなく、経路を批判的に評価するようモデルに指示する中核テンプレート。これは表面的な連結を明示的に禁止し、真の合成を要求します。
  4. 出力制約: 最終答えのフォーマットに関するルール（例：数学では \boxed{}）。
• ポータビリティ: プレーンテキストドキュメントであるため、スキル読み込みをサポートする任意のエージェントハネス（例：Claude Code、CodeX、Hermes）に注入でき、オーケストレーターがコード変更なしにプロトコルを自律的に実行することを可能にします。

3. RLVR による最適化

本論文は、検証可能な報酬からの強化学習（RLVR）を適応させ、重思考を最適化する可能性を探ります。仮説としては、RLVR は並列生成を通じて推論の幅（breadth）を、審議を通じて深さ（depth）を同時に改善し、モデルをその内在的な経路ごとの制約を超えて押し進める可能性があるというものです。

主要な貢献

1. フレームワークの提案: 並列推論と逐次審議を通じて重思考を再現するための、トレーニング不要の単純なフレームワークの導入。
2. 包括的な実証研究: 7B から最先端モデルまでの多様なモデルスケールと、STEM、コーディング、一般推論などのタスクドメイン全体における重思考の最初の体系的評価。
3. スキルの蒸留: 推論能力を特定の編成インフラから切り離す、ポータブルで読み可能な「内面的スキル」としての重思考の概念化。
4. 体系的分析: 経路の多様性の役割、審議のためのモデル選択、反復改善の効果など、フレームワークコンポーネント間の相互作用に関する詳細な洞察。

実験結果

STEM タスクにおけるパフォーマンス

AIME25、BeyondAIME、HMMT25-Feb、GPQA-Diamond を含むベンチマークで評価：

• 一貫した優位性: 重思考（Heavy-Mean@4 または HM@4 で測定）は、単一経路の試行（Mean@K）や多数決（Vote@K）などの従来の Best-of-N 戦略を一貫して上回ります。
• スケーリング則: 並列経路の数（$K$）を増やし、逐次審議を採用することで、パフォーマンスが継続的に向上し、重思考がテスト時スケーリングの実用的な実現であることを検証します。
• 理論的限界への接近: 強力なモデル（例：DeepSeek V3.2、GPT-5 Thinking）は重思考下で理論的な Pass@K 上限に近づきます。場合によっては、審議プロセス（Heavy-Pass@K）が生の Pass@K を超え、モデルが単一の生経路には存在しない正しい解を合成できることを示唆しています。
• 階層性: 一貫したパフォーマンスの階層が観察されました：Heavy-Pass@k ≥ Heavy-Mean@K ≥ Vote@K ≥ Mean@K。

一般推論タスクにおけるパフォーマンス

• 客観的対主観的: このフレームワークは、客観的で検証可能なタスク（例：LiveCodeBench、IFEval）で大幅な gains を示します。しかし、主観的で好みに基づくタスク（例：Arena-Hard）では gains が僅かか、場合によっては負になることがあり、逐次審議が「正解志向」のタスクでは優れているが、「好み志向」のニュアンスでは苦労する可能性があることを示しています。
• モデル選択: 審議段階は、本質的に優れた推論力を持つモデルを厳密に必要としません。問題を独立して解く能力が劣っていたとしても、審議者として使用される大規模な指示追従モデル（例：Qwen2.5-32B）はパフォーマンスを大幅に向上させることができ、第2段階では生粋の推論力よりも合成能力の重要性を浮き彫りにします。

反復審議とツール使用

• 反復: 反復回数を増やすことは一般的に精度を向上させますが、初期段階からの累積ノイズやバイアスにより Heavy-Pass@K が低下するというトレードオフをもたらします。
• ツール統合: このフレームワークは外部ツール（例：Python インタプリタ）と正常に統合されます。重思考は、ツールが交差するシナリオにおいて投票ベースラインを上回り、実行フィードバックを効果的に活用して経路を改善します。

RLVR 適応

予備的な RLVR 実験は、重思考経路に強化学習を適用することで Heavy-Mean@4 を約 10% 向上させる可能性を示しています。ただし、シーケンス長さの制限により、より大きな経路数（$K=16$）では安定性の問題が観察され、慎重な設定が必要であることを示唆しています。

意義と主張

本論文は、HEAVYSKILL が脆い編成レイヤーに依存することなく複雑な推論を内部化する、自己進化型 LLM への有望な道を提供すると主張します。エージェントハネスを本質的な「重思考」機能として抽象化することで、著者らは以下を実証しています：

1. 推論は内面的スキルである: 複雑な推論は、あらゆるエージェントハネスの下で動作する転送可能なスキルとして蒸留可能です。
2. 審議が鍵である: 複数の推論経路から正しい答えを合成するには、単純な統計的コンセンサス（投票）よりも逐次審議の方が効果的です。
3. スケーラビリティ: 重思考の深さと幅は強化学習を通じて学習可能でスケーラブルであり、LLM を現在の推論の境界を超えて押し進めるメカニズムを提供します。

著者は、重思考が従来の戦略を大幅に上回る一方で、すべてのタスクタイプ（特に主観的な好み）に対する万能薬ではなく、この文脈における RLVR のダイナミクスにはさらなる探求が必要であるという、控えめな立場を維持しています。この研究は、次世代のエージェントシステムのための基盤コンポーネントとしての重思考の有効性と限界を主に確立するものです。