技術的概要：拒絶から回復へ：生成 AI ガードレールへの制御理論的アプローチ

問題定義

生成モデル、特に大規模言語モデル（LLM）エージェントに対する現在の AI ガードレールは、主にラベル付きデータセットと人間が指定した基準に基づく出力分類に依存している。これらの「フラグ付け・ブロック」メカニズムは、新たな危険な状況に対して脆弱であり、回復の道筋を欠いている。安全でない状態が検出された場合、標準的な対応は拒絶（出力のブロック）である。しかし、自動運転や電子商取引など、AI が物理世界や複雑なデジタル環境と相互作用するエージェント環境では、拒絶自体が危険となり得る。例えば、高速で障害物に接近している自動運転車を操縦する AI エージェントが、操縦を拒絶した場合、不作為によって事故を引き起こす可能性がある。

著者らは、生成 AI の安全性は本質的に逐次決定問題であると主張する。有害な結果は、孤立したテキスト出力から生じるのではなく、AI エージェントと環境との進化する相互作用、およびそれらの下流の結果（例えば、金銭的損失、物理的衝突）から生じる。既存のガードレールは、これらの長期的で多段階の結果を考慮しておらず、世界の真の状態を捉えていないテキストの代理指標や、単一ステップのシミュレーションラベルに依存することが多い。

手法

本論文は、AI 安全性に対する制御理論的アプローチを提案し、ガードレールを AI エージェントの潜在（テキストベース）表現内で動作する予測的セーフティフィルターとして形式化する。

1. 逐次決定問題としての形式化

著者らは、LLM エージェントと環境間の相互作用を**部分観測マルコフ決定過程（POMDP）**としてモデル化する：

• 状態（$s$）： 真の世界的状態（例：物理的幾何学、銀行残高）。
• 行動（$a_{AI}$）： エージェントの出力。トークンの列として表現される。
• 観測（$o_{AI}$）： エージェントのテキストベースの世界観（例：HTML、シーン記述）。
• 失敗マージン（$\ell_F$）： トークン空間ではなく、結果空間における失敗集合 $\mathcal{F}$（例：衝突、破産）までの距離を符号化する関数。

目標は、失敗を無限に回避する方策が存在する潜在状態の集合である**最大潜在安全集合（$\Omega^*$）を定義することである。これは、与えられた状態からエージェントが達成可能な最良の安全マージンを表すセーフティ価値関数（$V^\star$）**によって特徴付けられる。

2. 予測的ガードレールとしてのセーフティフィルター

提案されたガードレール「ReGuard」は、セーフティフィルター組 $(\pi_{\text{rec}}, \Delta, \phi)$ として機能する：

• セーフティモニター（$\Delta$）： 候補となる行動が将来の安全性違反につながるかどうかを評価する予測メカニズム。これはセーフティ価値関数 $Q^\star$ から導出される。
• フォールバック方策（$\pi_{\text{rec}}$）： モニターが安全でない候補を検出した際に、安全な代替行動を指示する修正方策。
• 介入スキーム（$\phi$）： ベースエージェントの方策とフォールバック方策の間を切り替えるメカニズム。

重要なのは、このフレームワークが LLM の潜在空間で動作し、モデル非依存である点である。ベースモデルの重みや訓練データへのアクセスを必要としないため、同じガードレールを異なる LLM に対してラップして適用できる。

3. セーフティ中心の強化学習による訓練

これらのガードレールをスケールして計算するために、著者らは**Double Deep Q-Networks (DDQN)を用いたセーフティ中心の強化学習（RL）**フレームワークを提案する：

• 目的： モデルは、最適なセーフティ価値関数を近似する時間割引付きセーフティベルマン方程式を最小化するように訓練される。
• 訓練と推論：
  • 訓練： モデルは、セーフティ目標を最大化するために、セーフティ中心の Q 関数から直接トークンを生成する。
  • 推論： システムは、一貫性のためにベースモデルのロジットと、安全性のために学習されたセーフティ Q 値をブレンドする。これにより、エージェントは安全性制約を遵守しつつ、多様で一貫性のあるテキストを生成できる。
• 結果への意識： 報酬信号は、即時のテキスト分類ではなく、下流の結果（実際の衝突や予算超過など）から導出される。これにより、ガードレールは長期的な安全性戦略を学習できる。

主要な貢献

1. 形式化： 本論文は、生成 AI の安全性を逐次決定問題として形式化し、LLM ベースの表現に対する制御理論的セーフティフィルターの一般化として予測的ガードレールを導入する。
2. スケーラブルな訓練レシピ： セーフティ中心の RL を通じた LLM ガードレールの訓練に対する実用的な方法を提案し、ベース LLM エージェントを再訓練することなく、複数のエージェントに展開可能な単一のセーフティメカニズムを実現する。
3. 実証的検証： 模擬自動運転、エージェント型電子商取引、AI ドライバー支援における実験を通じて、結果を考慮したガードレールが、安全性の執行とタスクパフォーマンスの両面で、既存の「フラグ付け・ブロック」ベースラインを上回ることを実証する。

実験結果

著者らは ReGuard を 3 つのドメインで評価した：

1. エージェント型運転

• 設定： LLM エージェントが平面車両を制御して障害物を回避する。
• 結果： ReGuard は77.3% の成功率と18.8% の失敗率を達成し、ゼロショットベースライン（例：GPT-4o：成功率 31.7%、失敗率 68.2%）や近視眼的ベースラインを大幅に上回った。
• 主要な発見： ReGuard のモニターは、ベースラインよりも正確（値 F1: 0.99）であり、過度に保守的ではなかった。他のモデルが見落としていた回復可能な安全でない状態を正しく識別した。

2. エージェント型コマース

• 設定： LLM エージェントがショッピングカートを管理し、50 ドル以下の予算内に収める。
• 結果： ReGuard は87.5% の成功率を達成し、GPT-4o と同等のパフォーマンスを示し、より小さな Llama モデル（62.5%）を大幅に上回った。
• 主要な発見： ReGuard は予算内に収めるために特定の高額アイテムを削除することを学習したが、ベースモデルは最終合計を考慮せずにアイテムを削除することが多く、予算違反を招いた。

3. バックシート AI ドライバー

• 設定： LLM エージェントが、車を制御する人間（別の LLM によってシミュレートされる）のアドバイザーとして機能する。エージェントは安全性を確保するためのテキストアドバイスを提供しなければならない。
• 結果： シールドとして機能する場合、ReGuard は「none」ペルソナにおいて成功率を 44.9% から**64.2%へ、また「urgent」ペルソナにおいて 26.4% から41.6%**へ向上させた。
• 主要な発見： ReGuard は単に行動を拒絶するのではなく、文脈を考慮した回復アドバイス（例えば、懐疑的な人間に対して緊急性を強調するなど）を生成することを学習した。

意義と主張

本論文は、制御理論的ガードレールが、現在 AI 安全性を支配している静的な「フラグ付け・ブロック」パラダイムに対する、原理的かつ動的な代替手段であると主張する。安全でないテキストをブロックすることに焦点を当てるのではなく、安全でない軌道の予測と修正に焦点を移すことで、提案されたアプローチは以下の点を実現する：

• 回復の可能化： エージェントがすでに危険な状態に入っている場合でも、拒絶を強制するのではなく（その拒絶が実行不可能または危険である可能性がある）、安全性への道筋を提供する。
• パフォーマンスの維持： タスクパフォーマンスを低下させることが多い拒絶ベースのシステムとは異なり、ReGuard は安全性を確保しつつ高いタスク成功率を維持する。
• 汎用性： ガードレールのモデル非依存性により、ベースモデルを再訓練することなく、さまざまな LLM 構造やタスクに適用できる。

著者らは、現在の制限として訓練にシミュレーターへのアクセスを必要とするものの、このアプローチは、安全性を出力の二値分類ではなく、逐次決定の連続的かつ回復可能な性質として扱う、AI 安全性の新たな枠組みを確立すると結論付けている。