🤖 AI

Training the Orchestrator: A Supervised Approach to End-to-End PDDL Planning with LLM Agents

本論文は、検証器によって証明された洗練の軌跡を活用して、エンドツーエンドのPDDLプランニングのための小型でコスト効率の高いポリシーを訓練する、ハイブリッドなエージェント学習型オーケストレーターであるHALOを紹介し、最先端のLLMに匹敵する成功率を達成しながら、オーケストレーションコストを1桁以上削減するものである。

原著者： Rajesh Mangannavar, Zachary Coalson, Pranay Dugar, Prasad Tadepalli

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rajesh Mangannavar, Zachary Coalson, Pranay Dugar, Prasad Tadepalli

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「翻訳者」のボトルネック

家具を組み立てる複雑な作業を想像してみてください。手元には、普通の英語（自然言語）で書かれた大まかなスケッチとアイデアのリストがあります。しかし、実際に家具を作る機械（古典的プランナー）は、PDDLと呼ばれる非常に厳格でロボット的なコードしか理解できません。

もし、普通のAI（大規模言語モデルやLLM）にそのコードを書かせようとすると、しばれて間違いが起こります。存在しない部品を勝手に作ったり、ネジのリストを忘れたり、あるいは機械が読み取れない指示を書いてしまったりすることがあります。

これを解決するために、研究者たちは「修理チーム」を作りました。彼らは、壊れたコードを確認し、特定のミスを修正するために専門家（エージェント）を雇うマネージャー（オーケストレーター）を配置しました。ある専門家は文法を直し、別の専門家は論理をチェックし、また別の専門家はパーツが正しく組み合わさっているかを確認します。

落とし穴： 旧システムでは、マネージャーは非常に高価で高性能なAI（GPT-5やGeminiなど）でした。チームがミスを修正する必要があるたびに、問題を考え、次にどの専門家を選ぶかを決定するために、高い手数料をマネージャーに支払わなければなりませんでした。プロジェクトの修正に10ステップかかれば、マネージャーに対して10回分の料金を支払うことになります。これにより、プロセス全体が非常に高価になり、小さな研究所やローカルコンピュータでは利用できないものになっていました。

解決策： HALO（インターン・マネージャー）

この論文の著者であるRajesh Mangannavar氏とそのチームは、こう問いかけました。「すべてのステップで、本当に超高価なマネージャーが必要なのだろうか？安価でローカルに動く『インターン』にその仕事をさせることはできないだろうか？」

彼らはHALO（Hybrid Agent-Learned Orchestrator）を作り上げました。これは、以下の3つの重要なテクニックによって機能します。

1. 「勝利のプレイブック」からの学習

通常、AIのトレーニングは、あらゆるステップにおける「正解」が分からないため困難です。しかし、このシステムには、最終的な家具をチェックするレフェリー（検証器）が存在します。

もし最終的なプランが成功すれば、レフェリーは「よくやった！」と言います。
チームは気づきました。レフェリーが「よくやった！」と言ったとき、その時使われたマネージャーと専門家のシーケンスこそが、「勝利の戦略」であったのだ、と。

彼らは、これら数千もの「勝利のプレイブック」を取り出し、高価なマネージャーの声を削ぎ落とし、「コードがXであったとき、勝利したチームは専門家Yを選んだ」という記録だけを残しました。そして、このデータを使用して、これらの勝利した決定を模倣するように、小型で安価なAI（HALO）を訓練しました。

2. 「ルールブック」によるショートカット

HALOは単なる脳ではありません。チートシート（早見表）を持った脳なのです。著者たちは、一部の決定はあまりにも明白であり、人間であっても考える必要がないことに気づきました。

例：コードが空の場合、ルールは「緊急エージェントを呼ぶ」です。
例：コードにスペルミスがある場合、ルールは「構文エージェントを呼ぶ」です。
例：プランが完璧である場合、ルールは「停止する」です。

HALOは、まずこれらの単純なルールをチェックします。ルールが適用される場合は、AIの「脳」を使わずに即座に行動します。これにより、時間とコストを節約できます。問題が本当に複雑で混乱している場合にのみ、HALOは訓練されたAIを使用して意思決定を行います。

3. より大きなツールボックス

チームは専門家のチームも拡張しました。元の13人に8人の新しい専門家を加え、合計21人にしました。これらの新しい専門家の中には、「決定的（デターミニスティック）」なもの、つまり高価なAIモデルではなく、瞬時に実行できコストもかからない単純なコンピュータスクリプトであるものが含まれています。これにより、HALOは問題を素早く解決するためのより多くのツールを手に入れました。

結果：より速く、より安く、そして同等の品質で

チームは、11種類の異なるプランニング問題（物流、ロボットの動き、スケジューリングなど）を用いて、HALOを高級なAIマネージャーと比較テストしました。

成功率： HALOは、高価なAIと同等、あるいは時にはそれ以上の性能を示しました。問題を同等の割合で解決できました。
スピード： 簡単な問題には単純なルールを使い、難しい問題には小型のローカルモデルを使うことで、HALOはより速く意思決定を行います。
コスト： これが最大の勝利です。
- 旧方式（GPT-5を使用）では、タスクあたり約0.18ドルかかりました。
- HALOはタスクあたり約0.004ドルです。
- これは、およそ45倍安価です。 すべての食事にセレブリティ・シェフを雇うことから、簡単な料理にはレシピ本を使う訓練された地元の料理人を雇うことへと変わったようなものです。

まとめ

この論文は、チームの修理エージェントを管理するために「超知能」なAIは必要ないということを証明しています。プランが成功したかどうかを教えてくれる厳格なレフェリー（検証器）があれば、小さな安価なAIを訓練して、それらの成功から学ぶことができるのです。

これにより、複雑なプランニングシステムを、高価なクラウドAPIに毎回支払うことなく、研究室の単一のコンピュータ（あるいはノートパソコン）上で実行できるようになります。これは、贅沢なサービスを、誰もがローカルで実行できるものへと変えるのです。

テクニカル・サマリー：HALO – LLMエージェントを用いたエンドツーエンドPDDLプランニングへの教師ありアプローチ

1. 問題提起

自動プランニングには、自然言語の目標を、古典的なソルバーが処理可能な形式である計画ドメイン定義言語（PDDL）仕様へと翻訳する必要があります。大規模言語モデル（LLM）は、自然言語と形式表現の架け橋として機能しますが、単独で使用する場合、述語のハルシネーション（幻覚）、制約の誤エンコード、あるいは無効なプランの生成といった信頼性の低さが課題となります。

近年のエージェント・フレームワーク（例：La Malfa et al. [2026]）は、検証器によってチェックされた洗練ループ内で、専門化されたリペア・エージェントのプールをオーケストレーションすることで、この問題に対処しています。これらのシステムでは、「フロンティア」LLM（例：GPT-5、Gemini-3）がオーケストレーターとして機能し、現在の状態（PDDL、ソルバーのログ、バリデータのエラー）を検査し、毎ステップで適切なリペア・エージェントを選択します。この手法は効果的ですが、重大なボトルネックを生じさせます。すなわち、オーケストレーター自体が、洗練の各ステップにおいて高価なフロンティアLLMへのAPIコールを必要とする点です。この依存関係により、フレームワークの展開は継続的なAPIアクセスが可能なシナリオに限定され、ラボ規模、エッジ、またはエアギャップ環境での利用を極めて困難にしています。

本論文が取り組む核心的な課題は、**「フロンティアLLMによるオーケストレーターを、プランニングの成功率を犠牲にすることなく、ローカルでサーブされる小型モデルに置き換えることは可能か？」**という問いです。

2. 手法：HALO

著者らは、プロンプトによるフロンティア・オーケストレーターを、ハードコードされたルール層と組み合わせた、QLoRAチューニング済みのポリシーに置き換えるシステムであるHALO (Hybrid Agent-Learned Orchestrator) を提案しています。

2.1 学習シグナル：検証器に導かれた軌跡

本論文の重要な洞察は、外部の検証器（コンパイラおよびバリデータ）がすでに強力な教師信号を提供しているという点です。エージェント・フレームワークにおいて、洗練の軌跡（refinement trajectory）とは、（状態, エージェント）の決定のシーケンスです。もしその軌跡が有効なプラン（検証器によって証明されたもの）で終了した場合、その軌跡内のすべての決定は、成功した結果に寄与したという意味で、暗黙的に「正しい」と言えます。

データ収集: 著者らは、11のPDDLドメインにおける学習問題に対して、強力なプロンプトを用いたティーチャー（GPT-5-mini）を実行しました。
フィルタリング: 軌跡は外部検証器によって厳格にフィルタリングされます。有効なプランで終了したもののみが保持されます。
教師あり学習: 学習セットは、これらの検証済み軌跡から抽出された（状態, エージェント）のペアで構成されます。ポリシーは、状態を条件として、ティーチャーが選択したエージェントIDを予測するように、教師あり微調整（SFT）を通じて学習されます。

2.2 拡張されたアクション空間

本フレームワークは、元の13個のエージェントから、以下のカテゴリに分類される21個のエージェントへと拡張されています。

ベースライン・エージェント (13): 以前の研究に基づく、LLMプロンプトによるリペア・ルーチン（例：構文修正、ハルシネーション除去）。
決定論的プラン・リペア・エージェント (5): 非LLMルーチン（例：変数入れ替え、アクションの並べ替え、冗長性除去）。これらはLLMコストをゼロとしてミリ秒単位で実行されます。
PDDL認識型LLMエージェント (3): モデリングエラー（例：型階層の修正、述語の一般化）に特化したエージェント。

2.3 ハイブリッド推論ポリシー

推論時、HALOは2層のポリシー（ $\pi_{hybrid}$ ）として動作します。

第1層 (ハードコードされたルール): 3つの自明に決定可能なケースは、モデルを呼び出すことなくルールによって解決されます。
- コールドスタート（空のPDDL） $\rightarrow$ AgentEmergency を選択。
- 構文エラーの検出 $\rightarrow$ AgentSyntaxPDDL を選択。
- 有効なプランに到達 $\rightarrow$ NoOpAgent を選択（終了）。
第2層 (学習済みポリシー): ルールが適用されない場合、QLoRAチューニングされた小型LLM（例：Llama-3-8B）が次のエージェントIDを予測します。モデルは、エージェントID（0–20）に対応する単一のトークンを出力するように微調整されています。

2.4 学習の詳細

アーキテクチャ: ベースモデル（Llama-3-8B、Qwen-2.5-7B、Gemma-2-9Bなど）に対するQLoRA微調整（4ビット量子化、LoRAランク16）。
損失関数: エージェントIDに対するシングル・トークン・クロスエントロピー（プロンプト・トークンはマスクされる）。
データ量: 約2,000件の高品質な検証済み軌跡から派生した、約12,000〜15,000件の（状態, エージェント）ペア。

3. 主な貢献

HALO (Hybrid Agent-Learned Orchestrator): フロンティアLLMのAPIコールを、学習されたローカルの小型モデルによる推論に置き換えるオーケストレーター。これは、GPT-5-miniやGemini-3-Flashのベースラインと同等以上の性能を実現しつつ、オーケストレーション・コストを1桁以上削減します。
検証器に導かれた軌跡による教師あり学習: 外部のコンパイラ/バリデータによって証明された軌跡を用いた模倣学習として、オーケストレーターの学習を定式化しました。検証器は、損失関数としてではなく、データの受け入れフィルターとして機能し、ドメインを横断して汎用化可能な、ノイズのない強力な教師信号を提供します。
ハイブリッド・ポリシーを備えた拡張アクション空間: 21個のエージェント（決定論的なリペア・ルーチンを含む）の導入と、些細な決定をハードコードされたルールにオフロードするハイブリッド・ポリシー。これにより、学習済みポリシーは真に曖昧な決定に容量を集中させることができ、効率性と汎用性を向上させています。

4. 実験結果

システムは、PlanBench、Google Natural Plan、および Classical Planning のベンチマークにわたる11のPDDLドメインで評価されました。

成功率:
- HALOは、すべてのファミリーにおいて GPT-5-mini プロンプト・ベースラインと同等、あるいはそれを上回る性能を示しました（例：PlanBenchで+3.3%、Natural Planで+37.3%）。
- HALOは、PlanBenchおよびNatural Planにおいて、より強力な Gemini-3-Flash ベースラインの3パーセントポイント以内に位置しており、Classical planningにおいてはそれを上回りました（95.8% 対 93.0%）。
効率性とコスト:
- LLMコール数: ハイブリッド・ルール層がモデル呼び出しなしで決定の約35%を解決するため、HALOはベースラインと比較して総LLMコール数を 40–50% 削減しました。
- コスト: オーケストレーション・コストは、タスクあたり ~ $0.18–$ 0.22 (GPT-5-mini) および ~ $0.06–$ 0.08 (Gemini-3-Flash) から、HALOの $0.004 へと低下しました。これは、GPT-5-miniに対して 45倍、Gemini-3-Flashに対して 15倍の削減を意味します。
汎用性: モデルは、ホールドアウト・ドメインに対してもわずか5〜8パーセントポイントの性能低下で汎用されており、学習されたシグナルが特定のショートカットを記憶しているのではなく、ドメイン全般にわたるオーケストレーション・パターンを捉えていることを示唆しています。

5. 意義と主張

本論文は、**「検証器を中心としたエージェント・フレームワークは、構造的な簡略化が可能である」**と主張しています。すなわち、検証器が軌跡ごとの受け入れシグナルを提供している限り、オーケストレーターは汎用的なフロンティアLLMである必要はありません。代わりに、ローカルで提供可能な、学習可能な小型モデルを用いることができます。

この発見は、展開において重要な意味を持ちます：

APIからのデカップリング: 継続的な高価なフロンティアLLM APIへの依存を排除します。
アクセシビリティ: 高品質なプランニングを、APIアクセスが困難または禁止されているラボ規模、エッジ、またはエアギャップ環境においても実現可能にします。
コスト効率: 「無料」の監視ループに含まれる教師あり学習を活用することで、非常に高い品質のプランニングを、極めて低いコスト（約45倍安価）で達成できることを実証しています。

著者らは、限界についても言及しています。これには、ティーチャーの挙動への依存（検証器でフィルタリングされた軌跡によって制限されること）や、21のエージェントの範囲外のPDDL拡張（例：数値流体/numeric fluents）への対応不能が含まれます。しかし、この教師ありアプローチは強力なベースラインであり、今後の研究では、「ティーチャーの天井」を打破するための「検証可能な報酬からの強化学習（RLVR）」を探索する可能性があるとしています。

大きな問題： 「翻訳者」のボトルネック