技術要約：適応型潜在的エージェント推論 (Adaptive Latent Agentic Reasoning: ALAR)

1. 問題提起

大規模推論モデル（LRM）は、拡張されたChain-of-Thought（CoT）推論が複雑なタスクの性能を大幅に向上させることを示してきました。しかし、これをマルチターン対話環境（検索、ツール使用など）で動作するLLMエージェントに適用すると、この挙動は相当な非効率性を引き起こします。現在のエージェントは、多くのターンにおいて、外部の観察に基づいて次のアクションを選択するための軽量な内部計算のみが必要であるにもかかわらず、冗長なテキストによる推論を生成し、すべての決定ステップで一様に推論リソースを割り当ててしまいます。

この「考えすぎ（overthinking）」は、以下の問題をもたらします：

• トークンの非効率性： 推論トークンがターンを跨いでコンテキストウィンドウ内に蓄積され、レイテンシとコストを増大させます。
• 構造的なミスマッチ： 多くのエージェントのターンは、次のアクションを選択するための軽量な内部計算のみを必要としますが、それでもなお完全で明示的なCoTの痕跡を生成してしまいます。
• 既存手法の限界： 現在のトークン圧縮手法（例：プルーニング、長さの制限）は、明示的なCoTインターフェース内で動作しています。これらはテキストを短縮しますが、テキストによる推論そのものを排除することはできず、日常的な決定のためにテキストを生成する必要性を解決できていません。

2. 手法：適応型潜在的エージェント推論 (ALAR)

著者らは、日常的なターンではコンパクトな潜在的推論（compact latent reasoning）を使用し、より深い熟考が必要な場合にのみ選択的に明示的CoT（explicit CoT）へとエスカレーションさせるデュアルモード・フレームワークであるALARを提案しています。

2.1 コアアーキテクチャ

• デュアルモード・ポリシー： 各ターン $t$ において、エージェントは自身のポリシーから直接モード $m_t \in \{<LAT>, <THINK>\}$ をサンプリングします。
  • **潜在モード ($$)：** エージェントは、離散的なトークンの代わりに、隠れ状態空間における固定長$K$の連続的な思考シーケンス ($z_t$) を生成します。これらの思考は、エージェントがアクションを選択する前に、投影層$f_\phi$ を介して自己回帰的に処理されます。
  • 明示モード ($$)： エージェントは、標準的な可変長テキストCoT ($c_t$) を生成します。
• アクション指向の推論： 単発の推論（潜在的な思考が最終回答へと導くもの）とは異なり、ALARの潜在的推論は、環境と結合された軌跡における中間的なアクション選択をサポートするように設計されています。

2.2 トレーニング・パイプライン

本フレームワークは、2段階の最適化手順を採用しています。

ステージ1：アクション定着型自己蒸留 (Action-Anchored Self-Distillation: AASD)

連続的な隠れ状態は可変長のテキストCoTによって直接監督することが困難であるため、潜在的推論の学習は困難を伴います。AASDは、以下の方法でこれに対処します。

• 教師・生徒構成： ベースとなるLRMが、明示モードでは教師として、潜在モードでは生徒として機能します。
• アクションの定着（Action Anchoring）： 潜在的な思考をテキストCoTに整合させるのではなく、生徒は教師の次なるアクションを再現するように訓練されます。生徒の軌跡内では、教師のCoTスパンが潜在ブロックに置き換えられます。
• 目的関数： 損失関数は、状態 ($s_t$) と潜在ブロック ($z_t$) が与えられたときの、教師のアクション ($a_t$) の対数尤度を最大化します。これにより、投影層 $f_\phi$ は、教師のテキスト構造に制約されることなく、正しいアクションを生成するための最適な軌跡を隠れ状態空間内で発見することができます。

ステージ2：適応型推論GRPO (Adaptive Reasoning GRPO: AR-GRPO)

いつ潜在的推論を使用し、いつ明示的推論を使用するかを学習するために、著者らは強化学習手法を導入しています。

• モード・ウォームアップ： 短い教師あり微調整（SFT）により、AASDが当初潜在的推論へとバイアスをかける傾向があることを考慮しつつ、両方のモードを探索するようにポリシーを初期化します。
• 非対称報酬： 軌跡の報酬 $R(\tau)$ は、タスクの成功が維持されている場合にのみ潜在的推論を推奨します。
  • 軌跡が正しい場合（$EM=1$）、報酬は潜在的ターンの割合 ($f(\tau)$) に応じて増加します。
  • 軌跡が誤っている場合、報酬は潜在的推論の過剰な使用に対してペナルティを課します。
• 多様性と長さの制御： 多様性ボーナスは、トレーニング初期に異なるモードの混合を探索することを促し、長さのスケーリング係数は、過度に長い明示的推論セグメントに対してペナルティを課します。

3. 主な貢献

1. ALARフレームワーク： 潜在的推論と適応型モード選択を組み合わせたデュアルモード推論アーキテクチャであり、複雑なステップのための明示的な熟考を保持しつつ、不要なテキストによる推論を回避することを可能にします。
2. アクション定着型自己蒸留 (AASD)： 環境に直面するアクションを監督アンカーとして使用することで、直接的な潜在状態の監督なしに潜在的エージェント推論を訓練する、新しい自己蒸留技術です。
3. AR-GRPO： タスクの成功を損なわない場合に、潜在的推論の効率性を報酬として与えることで、ターンごとのモード選択を最適化する強化学習手法です。

4. 実験結果

著者らは、エージェントによる検索（6つのオープンドメインQAベンチマーク）およびツール使用（BFCLベンチマーク）のドメインにおいて、O1-Pruner、ThinkPrune、ShorterBetterなどのベースラインと比較してALARを評価しました。

• 検索ドメイン (Search-R1 3B/7B):
  • ALARは、生成トークンを**22.1%から43.6%**削減（ステージ2）しながら、同等またはわずかに優れたExact Match (EM) 精度を達成しました。
  • ステージ1（純粋な潜在モード）では、競争力のある精度を維持しつつ、最大**52.5%**のトークン削減を実現しました。
  • テキストベースの圧縮ベースラインは、ベースモデルがすでに比較的コンパクトなCoTを生成していたため、限定的な改善（4〜10%の削減）にとどまりました。
• ツール使用ドメイン (Qwen3-4K-Thinking):
  • ALARは、平均精度を86.1%から**89.2%に向上させつつ、トークンを84.6%**削減するという優れたパフォーマンスを示しました。
  • これは、ベースモデルが過度に冗長であったことを示しており、ALARが不要なテキストを潜在的計算に置き換えることに成功したことを強調しています。
• 適応的挙動の分析:
  • タスクの難易度： モデルは、難しいベンチマーク（例：Bamboogle, 2Wiki）では明示的な推論をより頻繁に使用し、容易なデータセット（例：NQ, TriviaQA）では潜在的推論に大きく依存しました。
  • ターンの位置： 明示的推論は最初のターン（初期計画）に集中しており、その後のターンは主に潜在的でした。

5. 意義と主張

本論文は、ALARAが単にテキストを圧縮するのではなく、推論の基盤自体を根本的に変えることで、LLMエージェントの精度と効率性のトレードオフを改善すると主張しています。

• 推論の不均一性： 結果は、エージェントの推論要求は不均一であるという仮説を支持しています。日常的なターンは、アクションを選択するための十分な内部計算（潜在的）のみを必要とする一方で、特定のステップ（例：初期計画や複雑な分解）は明示的なCoTを必要とします。
• 圧縮を超えて： 推論インターフェース自体を置き換えることで、ALARAは、単にテキストの痕跡を短縮する手法では到達できないトークン削減（ツール使用において最大84.6%）を達成しています。
• 実用性： このアプローチは、潜在的モードと明示的モードの間で推論リソースを動的に割り当てることができれば、性能を犠牲にすることなくLLMエージェントを大幅に効率化できることを示しています。

6. 限界

著者らはいくつかの限界を認めています。

• 範囲： 本研究は、外部環境（検索、ツール）を伴うエージェントタスクに焦点を当てており、追加の推論トークンが最終的な回答の正確性に直接相関する可能性がある数学やコーディングのような単発のドメインについては評価していません。
• 教師バイアス： 潜在的ポリシーは、AASDで使用される成功した教師の軌跡のカバー範囲とバイアスを継承します。
• 解釈可能性： 潜在的推論は中間ステップの透明性を低下させるため、アクションの正当化が求められるようなハイステークスな設定では望ましくない可能性があります。
• 固定された粒度： 現在の実装は、固定長の潜在ブロック（$K=4$）と離散的なモード選択を使用しており、将来の研究のためのより細かい制御の余地を残しています。