ProbGuard: LLM エージェントの安全性のための確率的ランタイムモニタリング

技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）を基盤とした自律エージェントの安全性を確保するための新しいランタイムモニタリングフレームワーク「ProbGuard」を提案するものです。従来の反応的な監視手法の限界を克服し、確率的なリスク予測に基づいて能動的（プロアクティブ）に安全違反を未然に防ぐことを目指しています。

以下に、問題定義、手法、主要な貢献、評価結果、および意義について詳細をまとめます。

1. 背景と問題定義

LLM エージェントは、ロボット工学、バーチャルアシスタント、Web 自動化など多様な分野で活用されていますが、その意思決定は確率的（stochastic）であり、実行中に予期せぬ安全リスクを引き起こす可能性があります。

• 既存手法の限界: AgentSpec や GuardAgent などの既存のランタイムモニタリングフレームワークは、主に**反応的（リアクティブ）**なアプローチに依存しています。これらは、安全ルール違反が発生した直後、あるいは違反が避けられなくなった時点で検出するのみであり、長期的な依存関係や、違反に至るまでの「リスクの蓄積」を事前に予測・介入する能力が不足しています。
• 課題: 自律運転や物理的作業など、高リスクなドメインでは、衝突や事故が発生してから介入するのでは手遅れになることがあります。システムが「安全でない軌道」をたどっている段階で早期に検知し、介入する能動的な監視が求められています。

2. 提案手法：ProbGuard

ProbGuard は、エージェントの行動を確率的モデルとして学習し、将来の安全違反の確率を推定することで、閾値を超えた場合に介入を行うフレームワークです。

2.1 主要な構成要素

1. ドメイン固有の述語抽象化 (Predicate Abstraction):
   • エージェントの複雑な実行軌跡を、安全性に関連する重要な特性のみを抽出した「記号的状態（Symbolic States）」に変換します。
   • 専門家の知識に基づき、安全状態と危険状態を定義する述語（例：microwave.is_on と fork.is_inside）を用います。
2. 離散時間マルコフ連鎖（DTMC）の学習:
   • 収集された実行軌跡から、記号的状態間の遷移確率を学習し、DTMC モデルを構築します。
   • PAC（Probably Approximately Correct）保証: 学習されたモデルが真のシステムダイナミクスをどの程度正確に近似しているかについて、統計的な誤差 bound を提供します。これにより、学習モデルに基づくリスク推定に信頼性を持たせています。
   • ラプラス平滑化: 希少な遷移に対しても、意味的に有効な遷移のみに対して平滑化を適用し、モデルの一般化能力を向上させます。
3. ランタイムのリスク予測と介入:
   • 実行中、現在の記号的状態と学習済み DTMC を用いて、将来「安全でない状態」に到達する確率を計算します。
   • 計算されたリスク確率がユーザー定義の閾値を超えた場合、エージェントに警告を発するか、実行を停止・誘導するなどの介入を行います。
   • 介入方法は、実行停止（Stop）や、リスク情報をプロンプトに追加してエージェントに自己修正を促す（Reflect）など、柔軟に設定可能です。

2.2 仕様言語

• 安全性の性質は CTL（計算木論理） で記述されます。これにより、分岐時間における複数の将来の可能性に対して確率的な推論を行うことが可能になります。
• 自律運転などの分野では、信号時間論理（STL）の制約を CTL に変換する機構も備えています。

3. 主要な貢献

1. LLM エージェント向けの能動的確率的ランタイムモニタリング:
   • 違反発生後の検出ではなく、DTMC に基づく確率推定により、安全違反に至る前の段階でリスクを予測し、介入する新しいパラダイムを提案しました。
2. 安全クリティカルなドメインでの実証評価:
   • 自律運転と物理的（Embodied）家事エージェントの 2 つの分野で評価を行い、早期警告の精度とタスク完了率のバランスを実証しました。
3. 実用的な実装とオープンソース化:
   • LangChain フレームワーク上に実装され、拡張可能なオープンソースとして公開されています。また、Apollo 自律運転プラットフォームなどへの統合も示されています。

4. 評価結果

評価は、自律運転（Apollo シミュレータ）と家事エージェント（SafeAgentBench）の 2 つのドメインで行われました。

4.1 自律運転ドメイン

• 早期警告: 交通違反や衝突のリスクを、実際の発生よりも最大 38.66 秒前に予測しました。
• 比較: 既存の手法（REDriver）と比較し、より早期かつ解釈可能な確率的リスクスコアを提供しました。
• オーバーヘッド: 監視による遅延は約 100ms 程度であり、制御ループの実時間要件を満たす範囲内です。

4.2 物理的（Embodied）エージェントドメイン

• 安全性の向上: 安全違反を最大 65.37% 削減しました。
• タスク完了率: 安全性を確保しつつ、タスク完了率は最大 80.4% を維持しました（「Stop」モードでは安全性優先で完了率が低下しますが、「Reflect」モードでは自己修正により高い完了率を維持できます）。
• 効率性: 不要な LLM クエリを削減し、トークン使用量を平均 12.05% 削減しました。
• オーバーヘッド: 推論のキャッシュ機構により、決定ごとのオーバーヘッドは 5〜30ms 程度に抑えられています。

5. 意義と結論

ProbGuard は、LLM エージェントの「ブラックボックス」化された意思決定プロセスに対して、統計的根拠に基づいた透明性のある安全性保証を提供します。

• 反応的から能動的へ: 単なるルール違反の検出から、将来のリスク確率に基づく予防的介入へと監視の概念をシフトさせました。
• 汎用性と信頼性: 確率的モデル学習と PAC 保証を組み合わせることで、ドメインに依存しない汎用的なアプローチでありながら、数学的な信頼性を担保しています。
• 実用性: 最小限のオーバーヘッドで実装可能であり、LangChain や自律運転システムなど、実際のアプリケーションに統合しやすい設計となっています。

本論文は、LLM エージェントが安全かつ信頼性高く社会に導入されるための重要な基盤技術として、ランタイムモニタリングの新たな方向性を示唆しています。