技術的サマリー：構造化メタ認知を介した汎用エージェントにおける深層推論

問題定義

現在の大規模言語モデル（LLM）エージェントは、ReAct、CodeAct、または Deep Research などの固定的な推論パターン（スケフォールド）に依存しています。タスクの構造がスケフォールドの事前定義された分解と一致する場合には効果的ですが、これらのシステムは柔軟性に欠けます。推論の決定を事前に「ハードコード」しているため、タスクを解決する際に推論構造そのものを適応させる必要がある場合には脆弱になります。さらに、LLM はしばしば「浅い推論」を示し、思考プロセスの基盤を信頼性高く追跡できず、認知負荷が単一のコンテキストスレッドの容量を超えると、早期終了や幻覚（ハルシネーション）を引き起こします。これに対し、人間は複雑な問題をメタ推論を通じて解決します。これは、タスクをモデル化し、戦略を選択し、問題を管理可能なステップに分解し、連想的（直感的）推論モードと形式的（ルールベース）推論モードを交互に実行する柔軟なプロセスです。

手法：深層推論と DOLORES

本論文は、構造化メタ推論を通じてタスク固有のスケフォールドを構築するために設計された形式言語および推論時アプローチである深層推論（Deep Reasoning）を導入します。このアプローチは、DOLORES（Deep Layered Reasoning Scaffold）という汎用エージェントに具体化されています。

1. 深層推論の言語

著者らは、人間のメタ推論の痕跡を、3 つの直交次元にわたって機能する言語として形式化しました。

• D1: 連想的 vs 形式的: 直感/連想に基づく推論（LLM が処理）と、明示的なルール/論理に基づく推論（Python などの形式インタープリターが処理）を区別します。
• D2: オブジェクト vs メタ: 問題の内容に関する推論（オブジェクトレベル）と、問題解決戦略に関する推論（メタレベル）を分離します。
• D3: 原子 vs モノリシック: 認知負荷の高いメタ推論を、異なるコンテキストスレッドに分散可能な構成可能な原子単位に分解します。

この言語は、特定のインタープリターを定義します。

• $A$（連想インタープリター）: 曖昧または直感的なタスクを処理する LLM（例：「The City by the Bay」$\to$「San Francisco」）。
• $E$（形式インタープリター）: ルールベースのタスクを処理する決定論的実行エンジン（例：Python）（例：数え上げ、ソート、正規表現マッチング）。
• $m$（モデル化関数）: タスク文を形式モデル（$A$、$E$、および再帰的な $ID$ 呼び出しのシーケンス）に分解する LLM。
• $ID$（深層推論エージェント）: 分解されたモデルを実行する再帰的エージェント。

2. DOLORES エージェントアーキテクチャ

DOLORES は、タスクを再帰的に分解することで深層推論言語を実行します。

1. 入力: 自然言語タスク $x$。
2. 分解: モデル化関数 $m$（LLM）が、人間のメタ推論の痕跡から導出されたコンテキスト内例を用いて、$x$ を原子形式モデルに変換します。
3. 実行: 形式インタープリター $E$（Python）がモデルを実行します。連想的ステップには $A$（LLM 呼び出し）を、サブ問題には再帰的に $ID$（DOLORES 自身）を呼び出すことができます。
4. 制御フロー: エージェントは、ステップ間で変数を保存、検査、再利用することを可能にする Read-Eval-Print Loop（REPL）環境で実行されます。重要なのは、$ID$ への再帰的呼び出しが個別の REPL 環境で実行され、認知負荷が単一のコンテキストに集中するのではなく、複数のスレッドに分散される点です。

3. コンテキスト内学習

モデルに分解戦略を学習させるのではなく、DOLORES はコンテキスト内例を使用します。これらの例は、人間のメタ推論の痕跡（言語化された思考プロセス）を深層推論言語として形式化することで生成されます。エージェントは、テスト時に新しいタスクの分解を導くために、これらの数ショット例を使用します。

主な貢献

1. 深層推論の言語: 人間のメタ推論の痕跡を捉える形式言語。直感的な人間の分解戦略を実行可能なエージェントスケフォールドへ変換することを可能にします。
2. DOLORES エージェント: この言語を利用して「ジャストインタイム」のスケフォールドを動的に構築する汎用エージェントです。依存関係を維持しつつ、複雑なタスクを小さく制御された推論スレッドに分散します。
3. 実証的検証: メタ認知を介して推論を構造化することが、固定的なスケフォールドを上回ることを示す包括的な評価。

実験結果

著者らは、DOLORES を、4 つの困難なベンチマーク（SynthWorlds、PhantomWiki、DeepSearchQA、Oolong-(real)）において、最先端のベースライン（ReAct、CodeAct、Deep Research、RLM）と比較評価しました。

1. SynthWorlds: 合成知識グラフに基づくグラウンデッドなマルチホップ推論。
2. PhantomWiki: 合成の長鎖質問応答。
3. DeepSearchQA: 深層リサーチスタイルの情報探索。
4. Oolong-(real): 実世界のドキュメント（例：D&D のトランスクリプト）にわたる長コンテキスト集約。

性能:

• DOLORES は、4 つのベンチマーク、3 つのモデルサイズ（8B、32B、70B）、および2 つのモデルファミリー（Qwen3、Llama-3.3）において、評価されたすべてのスケフォールドを上回りました。
• 平均して、DOLORES は最強のベースラインに対して**24.8%**の改善を示しました。
• スケーリングギャップの解消: DOLORES の 8B バージョンは、設定の半数以上において、同じファミリーからの評価されたすべての 32B ベースラインを上回りました。
• 失敗分析: ベースライン手法は、単一の LLM コンテキストスレッドの過負荷により引き起こされる早期終了（78%）と幻覚（45%）のために頻繁に失敗しました。DOLORES は、スレッドあたりの認知負荷を軽減し（スレッドあたりの推論トークン数が 71% 減少）、認知を構造化されたスレッドに分散させることで、これらを緩和しました。

アブレーション研究:

• コンテキスト内分解例を除去すると、性能が約 70% 低下しました。
• 例を自然言語の原則（例なし）に置き換えると、さらに悪い結果となりました。これは、現在の LLM が構造化メタ推論を実行するために抽象的なルールではなく、具体的な例に依存していることを示唆しています。

意義と主張

本論文は、現在の LLM スケフォールドが、タスクを見る前に推論の構造を固定しているため脆弱であると主張しています。スケフォールディングを適応的推論として扱うことで、DOLORES は必要な構造をジャストインタイムに構築します。著者らは以下を主張します。

• LLM は、単に接着コードによって管理される浅い専門家としてではなく、堅牢なメタ推論システムを作成するために形式的プロセスと柔軟に相互作用できる連想的推論プロセスとして捉えるべきです。
• このアプローチは、推論の構造を最適化することで、パラメータのスケーリングにのみ依存するのではなく、より小さなモデル（8B）がより大きなモデル（32B）を上回ることを可能にします。
• この手法は、専門知識を少量のコンテキスト内分解として符号化することで、広範なトレーニングデータや複雑なエンジニアリングを必要とせず、ドメイン専門家が信頼性の高いエージェントを構築する際の障壁を下げます。

この研究は、分散推論により現在トークンコストが高くなっているものの、構造化メタ認知によるスケーリングギャップの解消と幻覚の低減が可能であることは、各タスクの特定の要求に応じて推論アーキテクチャを適応させるエージェントシステムの未来へと向かっていることを示唆しています。