論文「Exploring Plan Space through Conversation: An Agentic Framework for LLM-Mediated Explanations in Planning」の技術的サマリー

この論文は、現実世界の逐次意思決定問題における計画生成（プランニング）において、人間の計画者を代替するのではなく、その意思決定を支援するための対話型説明フレームワークを提案しています。特に、大規模言語モデル（LLM）をマルチエージェントとして活用し、ユーザーの自然言語による質問とシステムの形式的な計画論理との間を仲介するアーキテクチャを構築しました。

以下に、問題定義、手法、主要な貢献、評価結果、および意義について詳細にまとめます。

1. 問題定義と背景

• 計画の文脈: 現実世界の計画タスクでは、ゴールや制約が最初から完全に定義されているとは限りません。人間と AI が対話を重ねながら、人間の好みや専門知識に基づいてゴールを洗練させていく「反復的な推論・要求引出プロセス」が重要です。
• 既存の課題:
  • LLM 単体では複雑な計画タスクを信頼性高く実行できないことが実証されています。
  • 従来の説明システムは静的（テンプレートベース）であり、ユーザーの質問に対する柔軟な対話や、文脈に応じた追跡質問（Follow-up）への対応が不十分でした。
  • ユーザーは、どのような質問をすればよいかわからず、説明インターフェースを十分に活用できていない傾向があります。
• 目的: ユーザーの理解を深め、システムへの信頼を高めるために、自然言語による対話を通じて計画空間（Plan Space）を探索し、特に「ゴール間の競合（Goal Conflicts）」に関する対話型説明を実現すること。

2. 提案手法：マルチエージェント LLM フレームワーク

著者らは、LLM を単一のモデルとしてではなく、特定の役割を持つ複数のエージェントとして機能させるアーキテクチャを提案しています（図 1 参照）。

2.1 システムアーキテクチャ

システムは以下の主要なコンポーネントで構成されます：

1. 計算エージェント (Planner & EFCC): 計画の生成と、競合（MUS: Minimal Unsolvable Subset）および修正（MCS: Minimal Correction Set）の形式的な計算を行う専門アルゴリズム（Fast Downward など）。
2. LLM ベースのトランスレーターエージェント: 自然言語と形式言語（LTLf など）の間を翻訳し、対話を管理します。
   • Question Suggester (SQ): 現在の計画ステップに基づき、ユーザーが次に何を質問すべきか（例：競合の特定、代替案の提示）を提案する。
   • Question Translator (TQ): ユーザーの自然言語の質問を分類し、形式化された質問タイプ（例：「なぜ実行不可能か」「どうすれば実行可能か」）と引数（どのゴールか）に変換する。また、追跡質問（Follow-up）の検出も行う。
   • Goal Translator (TG): 自然言語で記述された新しいゴールや制約を、計画システムが理解できる形式（LTLf 式）に変換する。
   • Explanation Translator (TE): 計算エージェントから得られた形式的な説明（競合セットや修正セット）を、ユーザーのレベルや文脈に合わせた自然言語の回答に変換し、要約や選択を行う。

2.2 対話プロトコル

ユーザーの質問は、以下のルートで処理されます（図 2 参照）：

• DIRECT: システムが直接回答できる質問（例：「どんな質問ができる？」）。
• FOLLOW-UP: 前の説明に対する追跡質問。
• EFQUERY-noGT: 既知のゴールに関する質問。
• EFQUERY-GT: 新規のゴールを定義する質問（TG を経由）。
  形式的な質問が EFCC（Explanation Framework with Conflicts and Corrections）に送られ、計算された結果が TE によって自然言語化されて返されます。

2.3 説明フレームワーク (EFCC)

計画タスクが「過剰要求（Oversubscription）」である場合（全ゴールを満たせない場合）、以下の質問タイプをサポートします：

• Unsolvable 状態: 「なぜ実行不可能か (US-why)」「どうすれば実行可能か (US-how)」
• Solvable 状態: 「なぜこのゴールが満たされないか (S-why-not)」「もしこのゴールを強制したらどうなるか (S-what-if)」「このゴールは強制可能か (S-can)」「どうすればこのゴールを達成できるか (S-how)」
  これらの回答は、MUS（最小実行不可能部分集合）と MCS（最小修正集合）に基づいて生成されます。

3. 主要な貢献

1. 対話型計画のための抽象フレームワークの形式化: 自然言語の質問と説明を用いた反復的な計画プロセスを定義し、ゴール翻訳、質問翻訳、説明翻訳の役割を明確化しました。
2. LLM ベースの実装と多様な質問対応: 従来の「なぜ実行不可能か」だけでなく、競合の解消方法や代替案を問う多様な質問タイプを、LLM エージェントによって処理可能にしました。
3. ユーザー研究による検証: 一般ユーザー（ラヤーマン）を対象とした大規模なユーザー研究を実施し、テンプレートベースのインターフェースと比較して、LLM ベースのインターフェースの有効性を検証しました。

4. 評価結果 (ユーザー研究)

実験設定:

• タスク: 「親の午後（Parents' Afternoon）」シナリオ（買い物、夕食の準備、子供をスポーツ試合に送るなど、時間制約下での活動計画）。
• 参加者: 131 名（2 グループ：テンプレートベース 65 名 vs LLM ベース 66 名）。
• 指標: 達成した最大効用（Utility）、所要時間、質問数、主観的評価（アンケート）。

結果:

• 主観的評価: LLM グループは、タスクの難易度低減、計画の改善、質問の有用性において、テンプレートグループよりも統計的に有意に高い評価を得ました（特に「質問が難易度を下げたか」「計画を改善するのに役立ったか」で p < 0.05）。
• 客観的指標:
  • 最終的な最大効用には統計的な有意差はありませんでしたが、LLM グループはより少ない反復ステップ数で高い効用に到達する傾向が見られました（初期段階で特に顕著）。
  • LLM グループはテンプレートグループに比べて質問数が大幅に少なかった（平均 11.4 対 22.8）ものの、LLM 翻訳器が 1 回の質問で複数の内部クエリを処理するため、実際には同等以上の情報取得を行っていました。
  • 対話の深さ: 会話の平均ターン数は 4.3 回でしたが、半分は 1 回の質問と回答で終了しました。これは、静的な説明では不十分だと判断し、対話を必要としたケースが半数あったことを示唆しています。
• エージェント性能: 質問分類と引数マッピングの精度は 91% でした。主な失敗は、ルートの誤判定（本来 EFCC に送るべき質問を直接回答しようとするなど）でした。

5. 意義と結論

• LLM の役割の再定義: LLM は計画そのものを行うのではなく、人間の計画者と専門的な計画アルゴリズムの間の「通訳」として機能することで、信頼性と柔軟性を両立できることを示しました。
• 対話の価値: 静的な説明ではなく、ユーザーの文脈に応じた対話型説明が、計画タスクの理解を深め、意思決定を支援する上で有効であることが実証されました。
• 将来展望: 将来的には、より複雑なドメインでの評価、ドメイン専門家（エキスパート）を対象とした研究、および要約能力のさらなる改善が期待されます。また、制約プログラミング（CP）など他の説明フレームワークへの拡張も検討されています。

この研究は、AI 計画システムを「ブラックボックス」から「対話可能なパートナー」へと進化させるための重要なステップであり、人間中心の AI 開発（Human-Centered AI）における XAI（説明可能な AI）の新たな方向性を示しています。