🤖 AI

Grounded Iterative Language Planning: How Parameterized World Models Reduce Hallucination Propagation in LLM Agents

本論文は、小規模なパラメータ化された世界モデルとLLMエージェントを組み合わせることで、幻覚（ハルシネーション）による状態変化を検知・修正し、グラフ構造のベンチマークにおける幻覚率を大幅に減少させ、計画の成功率を向上させるハイブリッドフレームワークであるGrounded Iterative Language Planning (GILP) を提案する。

原著者： Xinyuan Song, Zekun Cai

公開日 2026-06-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xinyuan Song, Zekun Cai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、複雑なパズルを解こうとしているところだと想像してください。例えば、大規模な引っ越しの準備や、多段階の料理レシピの計画などです。あなたには、非常に賢く、創造的なアシスタント（LLMエージェント）がいます。このアシスタントは、あなたの目標を理解し、次に何が起こるべきかという「ストーリー」を導き出すのが得意です。しかし、このアシスタントには悪い癖があります。時々、自分の想像力の中に迷い込んでしまうのです。実際にはコンロが冷たいのに、「コンロはすでに点火されている」と自信満々に言ったり、箱がまだ開いているのに「箱は梱包済みである」と言ったりすることがあります。

AIの世界では、これを**ハルシネーション（幻覚）**と呼びます。問題は、アシスタントがそのストーリーの中で一度小さな間違いを犯すと、その嘘の上に残りの計画を築き続けてしまうことです。ステップ10に達する頃には、計画全体が誤った基礎の上に建てられた「砂上の楼閣」になってしまいます。

この論文は、この問題を解決するための新しい手法であるGILP（Grounded Iterative Language Planning：接地型反復言語計画）を紹介しています。GILPを、あなたの創造的なアシスタントと、非常に集中力の高い小さな「ファクトチェッカー（事実確認係）」をペアにする「現実チェック」システムだと考えてください。

仕組みは以下の通りです。

1. 二人の登場人物

この論文では、二種類の「ワールドモデル（世界モデル）」（次に何が起こるかを予測するシステム）を比較しています。

クリエイティブな語り手（エージェントベースモデル）： これは大規模なAI（GPT-4など）です。推論や複雑な指示の理解には長けていますが、事実を捏造しやすい傾向があります。そのエラーは「間違ったストーリー」であるため、測定が困難です。
ファクトチェッカー（パラメータ化モデル）： これは訓練された小さなコンピュータプログラムです。創造性は乏しく、自ら映画のような計画を立てることはできませんが、数学や特定の詳細をチェックすることには非常に優れています。「もしアクションAを行えば、コンロは間違いなくオフのままである」といった判断ができます。そのエラーは、数値に基づいているため測定が容易です。

2. 問題点：「ドミノ効果」

論文では、クリエイティブな語り手が間違い（例：「タスク3は完了した」と言ったが、実際には完了していない）を犯すと、そこで止まらないことを示しています。それは、その嘘を利用して次のステップを計画してしまうのです。

比喩： 「伝言ゲーム」を想像してみてください。最初の人が間違ったメッセージを囁くと、他の全員がその間違ったメッセージを繰り返し、事態はどんどん悪化していきます。AIにおいても、一つのハルシネーションが連鎖反応を引き起こし、無効なアクションの連鎖へとつながり、完全な失敗を招きます。

3. 解決策：GILP（「現実チェック」のループ）

GILPは、両者の良いところを組み合わせたものです。重労働にはクリエイティブな語り手を使いつつ、誠実さを保つためにファクトチェッカーを追加します。手順は以下の通りです。

ステップ1：スケルトン（ファクトチェッカーによる予測）： 語り手が計画を書く前に、小さなファクトチェッカーが状況を素早く確認し、何が起こるべきかを予測します。これにより、有効な動きと予想される変化の「スケルトン（骨組み）」が作成されます。
ステップ2：ドラフト（語り手の計画）： 大規模なAIが、次に何が起こると「考えているか」を含めた計画を記述します。
ステップ3：一貫性のゲート（比較）： これが魔法の部分です。システムは、語り手のドラフトとファクトチェッカーのスケルトンを比較します。
- 両者が一致していれば、問題ありません。計画を進めます。
- もし意見が食い違った場合（例：語り手は「タスク3は完了した」と言っているが、ファクトチェッカーは「タスク3はまだ保留中である」と言っている場合）、システムは**レッドライト（停止信号）**を点灯させます。
ステップ4：修正： システムは語り手に短いメモを送ります。「おい、君はタスク3が完了したと言ったが、事実はそうではない。計画を修正してくれ」。その後、語り手は現実に合わせて計画を書き直します。

4. 結果：なぜ重要なのか

この論文では、4種類の異なる複雑なプランニング・パズルを用いてテストを行いました。結果は以下の通りです。

嘘の減少： 「ハルシネーション状態率（AIが世界の状況について嘘をつく頻度）」が劇的に低下しました。実際のテストでは、17.6%から3.5%へと減少しました。これは、嘘が80%削減されたことを意味します。
成功率の向上： AIが嘘の上に計画を築かなくなったため、実際にタスクを完了できる頻度が高まりました。成功率は66.8%から83.8%へと上昇しました。
長期的な安定性： 最大の成果は、長く困難なタスクにおいて見られました。GILPがない場合、タスクが長くなるにつれてAIの成功率は急落（47%まで低下）しましたが、GILPを用いることで、長いタスクでも**75.8%**という高い成功率を維持しました。
安価で効率的： ファクトチェッカーを追加すると、速度が遅くなったりコストがかかったりするのではないかと懸念されるかもしれません。しかし、ファクトチェッカーは非常に小さく高速であり、修正が必要な場合にのみ作動するため、追加コストはわずか22%程度（数回のAPIコール分）であることが論文で示されています。

まとめ

この論文は、超スマートなファクトチェッカーを用意する必要はないと主張しています。必要なのは、語り手が創造的になりすぎたときに「いや、それは正しくない」と言える、小さくて信頼できるチェッカーです。

強力で柔軟なAIと、測定可能な小さな「真実検出器」を組み合わせることで、GILPはAIが自身の想像力の中に迷い込むのを防ぎ、その計画がハルシネーションではなく、現実に即したものであることを保証します。

技術要約：Grounded Iterative Language Planning (GILP)

1. 問題提起

本論文は、大規模言語モデル（LLM）エージェントが長期間のプランニング（long-horizon planning）を実行する際に直面する、**ハルシネーションの伝播（hallucination propagation）**という課題に取り組んでいる。標準的なエージェントベースのプランニング（例：ReAct、Chain-of-Thought）では、LLMがプランナーであると同時に、**エージェントベースの世界モデル（agent-based world model）**としても機能する。LLMはアクションを生成すると同時に、自然言語または構造化されたJSON形式で次の状態（「デルタ」）を予測する。

核心となる問題は、これらの状態予測におけるエラーが意味的ハルシネーション（semantic hallucinations）（例：タスクが完了していないのに完了したと主張したり、依存関係を無視したりすること）である点である。パラメータ化されたモデルとは異なり、これらのエラーは標準的な回帰損失（MSEなど）によって容易に定量化できるものではない。一度ハルシネーションを起こした状態のアトム（atom）がコンテキストウィンドウに入り込むと、それが後続のステップへと伝播し、一連の無効なアクションとタスクの失敗を引き起こす。論文によれば、エージェントベースのモデルは意味的な推論には優れているものの、そのエラー率は長期的なホライゾンにおいて著しく累積する（実験では、ステップ10までにステップあたりのエラー確率が0.393に達する）。

対照的に、パラメータ化された世界モデル（parameterized world models）（学習済みの遷移予測器）は、測定可能な教師ありエラー指標（NodeMSE、デルタ精度）を提供するが、複雑で新規性の高い目標に対して意味的な柔軟性に欠けることが多く、単体での成功率は低くなる。

2. 手法：Grounded Iterative Language Planning (GILP)

GILPは、APIベースのLLMエージェントの持つ意味的推論能力と、小規模で学習済みのパラメータ化されたバックボーンが持つ測定可能な遷移信号を組み合わせるために設計された、ハイブリッド・アーキテクチャである。システムは、以下の4つの明確なフェーズからなる反復ループで動作する。

フェーズ1：パラメータ化されたスケルトンのスコアリング（Parameterized Skeleton Scoring）

学習済みの小さなニューラルネットワーク（「バックボーン」、通常はグラフニューラルネットワークまたはMLP）が、現在の状態 $G_t$ と候補アクション $A_t$ を受け取る。これは以下を予測する：

アクションの妥当性 ( $p_{valid}$ )
状態のデルタ ( $\hat{\Delta}G$ )
リスク ( $\hat{\rho}$ )
値 ( $\hat{U}$ )
完了確率 ( $\hat{p}_{done}$ )

バックボックは、コンテキストウィンドウのオーバーヘッドを削減するために、候補アクション集合を「スケルトン」（値とリスクによる上位 $k$ 個のアクション）へと圧縮する。

フェーズ2：LLMドラフト（LLM Draft）

LLMエージェントは、シリアライズされた状態、目標、およびフェーズ1のスケルトンを受け取る。LLMはアクションと、想像上の次状態のデルタ ( $\tilde{\Delta}_t$ ) を構造化されたJSON形式でドラフトする。このフェーズでは、LLMの推論能力を活用する。

フェーズ3：整合性ゲートと修正再プロンプト（Consistency Gate and Corrective Re-prompting）

これがハルシネーション削減のための核となるメカニctionである。システムは、変更されたノードの集合に対する**ジャカード類似度（Jaccard similarity）**を用いて、LLMが想像したデルタ ( $\tilde{\Delta}_t$ ) とバックボーンが予測したデルタ ( $\hat{\Delta}G$ ) を比較する。

高整合性 ( $\ge 0.70$ ): アクションは承認される。
中程度の整合性 ( $0.30 \le cons < 0.70$ ): アクションは承認されるが、ランキングにおいてペナルティを受ける。
低整合性 ( $< 0.30$ ): **修正再プロンプト（corrective re-prompt）**がトリガーされる。システムは、バックボーンとLLMが不一致となっているノードを明示的にリストアップしたターゲットメッセージをLLMに送信する（例：「ノードX：バックボーンは保留中と予測していますが、あなたは完了と想像しています」）。LLMは、アクションまたは状態のデルタを修正するよう求められる。この修正は、コストを制限するために、ステップあたり最大1回に制限される。

フェーズ4：リスクゲート（Risk Gate）

選択されたアクションに対するバックボーンの予測リスクが閾値 ( $\rho_{th} = 0.65$ ) を超える場合、エージェントに警告を発し、アクション空間を低リスクな選択肢に制限するための3回目のLLMコールがトリガーされる。これにより、致命的な失敗（例：未解決の根本原因がある状態でタスクをリトライすること）を防ぐ。

3. 主な貢献

比較フレームワーク: 本論文は、長期的なプランニングを、柔軟だがハルシネーションを起こしやすいエージェントベースのモデルと、測定可能だが意味的に弱いパラメータ化されたモデルという、2つの世界モデルファミリー間のトレードオフとして定義している。
運用可能なハルシネーション指標: 標準的な損失関数を超えた、エージェントベースのエラーに関する特定の指標を定義している：
- ハルシネーション状態率 (HSR): 想像された状態のアトムが真値と一致しない割合。
- 伝播深度 (PD): ハルシネーションを起こしたアトムに依存する、その後のステップの平均数。
- エラー爆発勾配 (EES): エラーが時間の経過とともに累積していく速度。
GILPアーキテクチャ: 小規模で学習済みのバックボーンを、単にタスクを解くためではなく、整合性ゲートを通じてLLMの状態予測を修正するための「グラウンディング信号（妥当性、デルタ、リスク）」を提供するために使用する、ハイブリッドシステムの導入。
実証的検証: 4つのグラフ構造ベンチマーク（TaskGraph, ToolChain, ResourceAlloc, RepairFlow）および実際のAPIコール（GPT-4o-mini）にわたる広範な評価。

4. 実験結果

結果は、較正された行動シミュレータ（GPT-4o-miniの実行結果に対して検証済み）および直接的なAPIテストから導出されている。

成功率 (SR): GILPは、統合されたベンチマークにおいて0.838の成功率を達成し、最良のエージェントのみのベースライン（Agent-Replanの0.668）およびパラメータ化のみのプランナー（0.565–0.625）を大幅に上回った。
ハルシネーションの削減:
- シミュレータ: HSRは、Agent-Replanの0.205からGILPの0.079へと低下した。
- 実際のAPI (GPT-4o-mini): HSRは0.176から0.035へと低下した（80%の相対的減少）。
長期ホライゾン性能: ホライゾン $H > 10$ のタスクにおいて、エージェントのみの成功率は0.471に崩壊するが、GILPは0.758を維持する。
コスト効率: GILPは、（修正やリスクゲートにより）ステップあたり約22%の追加LLMコールを要するが、修正なしのエージェントと比較して、解決されたタスクあたりの総トークン数は削減される（より多くのエピソードを解決するため）。
バックボーンの強度: パラメータ化されたバックボーンは、強力なプランナーである必要はない。たとえ弱いMLP（単体SR 0.509）であっても、グラウンディング信号として使用することで、ハイブリッドシステム（SR 0.768）を大幅に改善する。
マルチAPIへの堅牢性: GILPは、異なるLLM API（GPT-4o-mini, Claude-3-Haiku, Gemini-1.5-Flash, Llama-3-8B）間でパフォーマンスを均一化し、グラウンディングを行うことでオープンソースモデルをプロプライエタリなモデルと同等のレベルまで引き上げる。

5. 意義と主張

本論文の主な貢献は、パラメータ化されたモデルの優位性ではなく、それが可能にする**役割分担（division of labor）**にあると主張している。エージェントは意味的な推論と柔軟性を保持し、一方でパラメータ化されたバックボーンは、状態のハルシネーションを検出し修正するための「安価で、測定可能で、監査可能な」信号を提供する。

著者らは以下を強調している：

ハルシネーションは伝播の問題である: たった一つの誤ったトークンが、全軌道を無効にする可能性がある。GILPはこの連鎖を遮断する。
小規模な学習で十分である: 小規模で学習済みのバックボーンは、APIベースのエージェントをグラウンディングするのに十分であり、エージェントの推論能力を置き換える必要はない。
ターゲットを絞った修正は効率的である: 整合性ゲートは、必要な場合（約22%のステップ）にのみ再プロンプトをトリガーするため、すべてのステップを大規模なモデルで検証するという高いコストを回避できる。

結論として、GILPは、大規模言語モデルの推論能力を犠牲にすることなく、自律型エージェントにおけるハルシネーションを削減するための実用的な道筋を提供し、わずかな計算コストの増加で高い成功率を達成する。