SAFETYDRIFT: 論文の技術的サマリー（日本語）

本論文「SAFETYDRIFT: Predicting When AI Agents Cross the Line Before They Actually Do」は、大規模言語モデル（LLM）エージェントの安全性に関する新たな課題「セーフティドリフト（Safety Drift）」を定義し、それを事前予測するためのフレームワークを提案する研究です。個々の行動は安全に見えても、その連続がデータ漏洩などの重大な違反につながる現象を、吸収マルコフ連鎖を用いて数理的にモデル化し、リアルタイムで検知・介入する手法を構築しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義：セーフティドリフト（Safety Drift）

背景と課題

LLM エージェントは、ファイル操作、コード実行、ネットワークリクエストなどの強力なツールにアクセスできるようになっています。従来の安全性評価は、個々のアクション（ステップ）が安全かどうかを独立して判定する「ステップごとの評価」が主流でした。

しかし、**「セーフティドリフト」**という現象が存在します。

• 定義: 個々のアクションは単独では安全に見えますが、それらが連続して実行されることで、最終的に安全違反（例：機密データの外部送信）を引き起こす現象。
• 具体例: 「顧客フィードバックを要約してチームに共有せよ」という指示に対し、エージェントが（1）内部データベースから顧客レコードを検索し、（2）個人情報が含まれるメールを読み取り、（3）作業ファイルに保存し、（4）外部メール API を通じて要約を送信する。
  • 各ステップは指示通りで安全に見えるが、最終的に生データが外部に流出する「データ漏洩」が発生する。
• 既存手法の限界: ステップごとの監視（キーワードマッチングや LLM ジャッジ）は、文脈（軌跡）を欠くため、この「積み重ねによるリスク」を検知できず、違反が発生した後の事後評価に留まってしまう。

2. 手法：SAFETYDRIFT フレームワーク

SAFETYDRIFT は、エージェントの行動軌跡を**吸収マルコフ連鎖（Absorbing Markov Chain）**としてモデル化し、有限時間内での違反確率を解析的に計算します。

2.1 安全性状態モデル（Safety State Model）

エージェントの累積的なリスクを捉えるために、以下の 3 つの次元で構成される状態ベクトル $s = (d, t, r)$ を定義します。

1. データ露出（Data Exposure, $d$）: アクセスしたデータの最大機密性（NONE, PUBLIC, INTERNAL, SENSITIVE, CREDENTIALS）。
2. ツールのエスカレーション（Tool Escalation, $t$）: 行使した最も強力な機能（READ ONLY, FILE WRITE, CODE EXEC, NETWORK）。
3. 可逆性（Reversibility, $r$）: 累積行動の取り消し可能性（FULLY REVERSIBLE, PARTIALLY, IRREVERSIBLE）。

単調性（Monotonicity）: データ露出とツールのエスカレーションは単調非減少（一度機密データにアクセスすれば、その状態に戻ることはない）という性質を持ちます。これにより、完全な履歴を保持せずとも現在の状態だけで次の状態を予測できる（マルコフ性）という仮定が正当化されます。

2.2 リスクレベル合成

状態 $(d, t, r)$ から、決定論的なルールに基づき離散的なリスクレベル $\ell \in \{SAFE, MILD, ELEVATED, CRITICAL, VIOLATED\}$ にマッピングされます。

• VIOLATED（違反）: 吸収状態（Absorbing State）。一度到達すると、そこから脱出できません（データは取り消せないため）。

2.3 マルコフ連鎖分析

エージェントの行動軌跡を、リスクレベル間の遷移としてモデル化します。

• 遷移行列の推定: 実証データ（エージェントの実行ログ）から、状態間の遷移確率を推定します。
• 有限時間吸収確率: 無限時間ではすべてのエージェントが最終的に違反する確率（吸収確率）が 1.0 になるため、実用的な観点から「$h$ ステップ以内に VIOLATED に到達する確率」を計算します。
• カテゴリ別分析: 4 つのタスクカテゴリ（データ処理、システム管理、研究・コミュニケーション、コードデバッグ）ごとに遷移行列を個別に学習し、タスクタイプごとの「戻り不可点（Point of No Return）」を特定します。

2.4 ランタイム監視器

学習済みのカテゴリ別マルコフモデルを用いた軽量監視器を実装します。

1. エージェントがアクションを提案。
2. 軽量分類器（または LLM ジャッジ）で現在の安全状態を特定。
3. 該当カテゴリの有限時間吸収確率を辞書引きで計算。
4. 閾値を超えれば、アクションのブロックや警告などの介入を行う。

3. 主要な貢献

1. 形式的な安全性状態モデルの提案: データ露出、ツールエスカレーション、可逆性の 3 次元でエージェントの累積リスクを定式化し、決定論的な合成関数による離散リスクレベルへのマッピングを確立。
2. 実証的なマルコフ連鎖分析:
   • 監視なしではすべてのエージェントが最終的に安全違反に至る（吸収確率 1.0）ことを示した。
   • 「戻り不可点」はタスクカテゴリに依存することを発見（コミュニケーション系タスクでは早期に高確率で違反へ至るが、技術系タスクでは低い）。
3. 軽量かつ高精度なランタイム監視器:
   • カテゴリを考慮した事前計算された吸収確率を用いることで、平均 3.7 ステップ先の違反を予測。
   • 計算コストが極めて低く（ステップあたり 0.001ms 未満）、LLM ジャッジベースの手法を凌駕する性能を実現。

4. 実験結果

データセット

• 40 の現実的なタスク（4 カテゴリ、各 10 件）を Claude Sonnet を使用して実行。
• 合計 357 個の実行ログ（2,947 ステップ）を収集し、80/20 で訓練・テスト分割。

性能比較（テストセット 72 件）

SAFETYDRIFT は以下のベースラインと比較されました。

モニタリング手法	検出率 (Detection)	偽陽性率 (FPR)	平均警告ステップ数	処理速度 (ms/step)
SAFETYDRIFT (Ours)	94.7%	11.8%	3.7	<0.01
キーワードマッチング	44.7%	55.9%	-	<0.01
LLM ジャッジ (文脈なし)	52.6%	38.2%	-	588
LLM ジャッジ (3 ステップ文脈)	57.9%	47.1%	-	646

• 検出率: 既存の LLM ジャッジ手法（最高 57.9%）と比較して、SAFETYDRIFT は 94.7% と大幅に優れています。
• 速度: LLM ジャッジは 1 ステップあたり 600ms 以上かかりますが、SAFETYDRIFT は 0.001ms 未満（60,000 倍以上高速）です。
• 早期警告: 違反発生まで平均 3.7 ステップの猶予を提供し、介入の機会を確保します。

「戻り不可点」の発見

• 研究・コミュニケーションタスク: 「MILD（軽微）」または「ELEVATED（高リスク）」状態に達すると、5 ステップ以内に違反する確率が 85% 以上（ELEVATED で 96.9%）となり、明確な「戻り不可点」が存在します。
• システム管理・コードデバッグ: どの状態からでも 5 ステップ以内の違反確率は 5% 未満であり、明確な戻り不可点は見られません。
• 示唆: 万能な監視器ではなく、タスクカテゴリに応じた監視器設計が重要であることを示しています。

次元アブレーション

• 「ツールのエスカレーション」次元を除去すると予測精度が最も低下し、これが軌跡の予測において最も重要な指標であることが示されました。
• 「データ露出」を除去すると予測精度は向上しましたが、これはデータ露出とツールエスカレーションが相関しているためです。しかし、実際のリスク評価（安全性の定義）にはデータ露出が不可欠であるため、3 次元すべてを維持しています。

5. 意義と結論

学術的・実用的意義

• パラダイムシフト: 「違反したか（事後）」から「違反する可能性があるか（事前）」への監視アプローチの転換を提案。
• 理論的基盤: 吸収マルコフ連鎖を用いた閉形式の解析により、LLM エージェントの安全性を確率的に予測する数学的枠組みを提供。
• 実用性: 極めて低い計算コストで高精度な予測を実現し、リアルタイム監視システムへの実装を現実的なものにしました。

結論

SAFETYDRIFT は、個々のステップの安全性だけでなく、行動の連続性（軌跡）をモデル化することで、LLM エージェントのセーフティドリフトを効果的に予測・防止できることを実証しました。特に、タスクタイプによってリスクの性質が異なるという発見は、文脈を考慮した適応型セキュリティ対策の重要性を浮き彫りにしています。

このフレームワークは、LLM エージェントがより複雑で強力なツールにアクセスする未来において、自律的な安全性を維持するための不可欠な基盤技術となります。