技術概要：LiSA（保守的ポリシー誘導による生涯安全適応）

1. 問題定義

大規模言語モデル（LLM）がチャットインターフェースから、プライベートデータへのアクセス、特権ツールの呼び出し、多段階ワークフローの実行を可能にする自律エージェントへと移行するにつれ、安全上の失敗のコストは、些細な生成エラーから、データ漏洩や不正な実行といった具体的な危害へとエスカレートしています。既存の安全ガードレール（分類器、ルールベースのバリデーター、プロンプト戦略など）は、危害の静的なデプロイ前定義に依存しています。しかし、安全とプライバシーの境界は文脈に依存し、地域の組織規範、変化するユーザーの期待、事前に列挙が困難なタスク固有のリスク許容度によって形成されることが多いためです。

これにより、実用的なギャップが生じます。ガードレールは特定の運用環境に適応する必要がありますが、デプロイ後のフィードバックは通常、スパースでノイズの多いユーザー報告された失敗に限定されます。この regime において、ベースモデルの繰り返し微調整はしばしば非現実的です。本論文は、デプロイ時のガードレール適応の問題を定式化します。つまり、モデルの再トレーニングを繰り返すことなく、スパースで潜在的にノイズの多いユーザー修正のみを使用して、固定されたベースガードレールを時間とともに改善することです。

2. 手法：LiSA フレームワーク

著者は、オンライン・オフラインループとして構成される保守的ポリシー誘導フレームワークである**LiSA（Lifelong Safety Adaptation）**を提案します。ベースモデルの微調整を行う代わりに、LiSA は構造化されたポリシーメモリと証拠意識型の再利用を通じて、固定されたガードレールを改善します。このフレームワークは、3 つの中核メカニズムで構成されます。

A. 構造化されたポリシーメモリ（広範な抽象化）

LiSA は、孤立した事例を保存するのではなく、スパースな失敗報告を再利用可能なポリシー抽象化に変換します。

• 広範なポリシー項目: 失敗報告から誘導され、これらはメタデータ（サポート数と矛盾数を含む）を伴う自然言語のポリシー記述（例：「一般的な公開情報の共有は適切である」）です。
• 目的: スパースなフィードバックを一般化し、単一の修正が関連する文脈における将来の意思決定を導くようにすることです。

B. 矛盾を考慮したローカルポリシー

広範な抽象化は過剰一般化を引き起こし、異なるラベルを持つ近接する文脈を単一のルールに縮約する可能性があります。

• メカニズム: LiSA は、意味的に類似した事例が矛盾するユーザー報告を持つ「混合ラベル領域」を特定します（例：ある文脈では情報の共有が適切だが、別の文脈では不適切である場合）。
• ローカルルール: これらの領域において、LiSA はより狭く、ラベル固有のポリシー項目（ローカルルール）を誘導し、精緻化の手がかりとして機能させます。広範なポリシーとは異なり、これらは信頼性ゲートイングの対象外であり、推論モデルに対する微細な境界解決を提供するために即座に表面化されます。

C. 信頼性ゲート付きオンラインガードレリング

ノイズの多いフィードバック下で、支持の弱い抽象化が早期に推論に影響を与えるのを防ぐため、LiSA は保守的な再利用戦略を採用します。

• 事後分布の下限: 各広範なポリシー項目について、LiSA は観測されたサポート数（$s_m$）と矛盾数（$c_m$）に基づき、転送信頼性（$\theta_m$）をベータ事後分布を持つ潜在精度変数としてモデル化します：$\theta_m | \text{data} \sim \text{Beta}(1 + s_m, 1 + c_m)$。
• ゲートングルール: 広範な項目が表面化されるのは、その信頼性（事後分布の下限$\delta$分位点として定義）がラベル固有の閾値（$\tau_{refuse}$または$\tau_{allow}$）を超えた場合に限られます。
• 根拠: これにより、広範なポリシーが意思決定に影響を与える前に十分な証拠を蓄積することが保証され、単一の報告から導かれた脆いルールによる過剰一般化が防止されます。

D. オンライン・オフラインループ

• オンラインフェーズ: システムは関連する広範およびローカルポリシーを検索し、信頼性ゲートングを介して広範な項目をフィルタリングし、生存したコンテキストでベースガードレールをプロンプトします。適用されるポリシーがない場合は、ベースガードレールにフォールバックします。
• オフラインフェーズ: 定期的に、蓄積されたユーザー報告がメモリの再構築に使用されます。これには、新しい広範なポリシーの誘導、意味的に重複する項目のマージ、混合ラベル領域に対するローカルルールの再生成、および信頼性統計の更新が含まれます。

3. 主要な貢献

1. 問題定式化: 本論文は、スパースでノイズの多い監督下における生涯ガードレール適応の設定を定義し、標準的な教師あり更新や高密度な微調整と区別します。
2. LiSA フレームワーク: 構造化されたポリシーメモリシステムで、以下の特徴を備えています：
   • スパースな再利用のための広範なポリシー抽象化。
   • 混合ラベル領域を処理するための矛盾を考慮したローカル精緻化。
   • 広範なポリシーの表面化を制御するためのベータ事後分布下限に基づく保守的な信頼性ゲート付き再利用。
3. 実証的検証: PrivacyLens+、ConFaide+、AgentHarm の 3 つのベンチマークにわたる実証により、LiSA が以下の点で優れていることが示されました：
   • スパースなフィードバック下で、強力なメモリベースのベースライン（ReasoningBank、Synapse、AGrail など）を上回る性能。
   • 信頼性ゲートングが主要な安定化因子として特定され、ノイズの多いユーザー報告（最大 20% のラベル反転率）に対して堅牢であること。
   • ローカル精緻化を通じて、境界に敏感な意思決定を改善すること。
   • ベースモデルサイズの単純なスケーリングでは達成できないレイテンシと性能のフロンティアを押し広げること。

4. 実験結果

• 性能: PrivacyLens+、ConFaide+、AgentHarm にわたって、LiSA は固定されたベースガードレールおよび事例検索（Synapse）または広範なポリシー抽象化のみ（ReasoningBank）を使用するベースラインよりも一貫して高いマクロ F1 スコアを達成しました。
• アブレーション研究:
  • ローカルルールを除去すると、性能が最も大きく低下し、境界の曖昧さを解決するためのそれらの必要性が確認されました。
  • 信頼性ゲートングを除去すると、平均性能への影響は较小でしたが、分散が大幅に増加し、ノイズ下での堅牢性が低下しました。
• ノイズ耐性: 20% のラベルノイズ下でも、LiSA は高い性能（F1 0.917）を維持しましたが、ReasoningBank などのベースラインは大幅に低下しました（F1 0.857）。ベータ事後分布ゲートングは、支持の弱いポリシーが推論を支配するのを効果的に防ぎました。
• レイテンシ対性能: LiSA を軽量モデル（Gemini-3.1-flash-lite）に接続したものは、F1 とレイテンシのトレードオフの点で、より大きく適応されていないバックボーン（Flash、Pro など）を上回りました。メモリの更新に伴うオフラインコストは多くの意思決定にわたって償却されるため、構造化されたメモリは、スパースなフィードバック適応においてモデルのスケーリングよりも効率的です。

5. 意義と主張

本論文は、AI エージェントの効果的な適応には微調整や大規模モデルは必要ではなく、むしろデプロイ経験の較正された再利用が必要であると主張します。LiSA は、以下の方法により、AI エージェントを現実世界の予測不可能な「ロングテール」のエッジリスクから保護する実践的な道を提供します：

• 繰り返し再トレーニングなしに、運用環境からガードレールが学習することを可能にする。
• 保守的で証拠に基づく慎重さを通じて安定性を維持する。
• バックボーンモデル容量の単純なスケーリングよりも効率的な安全性向上の経路を提供する。

著者は、LiSA を「実践的な中間道」として位置づけています。これは、静的なガードレールの脆さと、無制限な適応のリスクの両方を回避し、証拠較正メカニズムを通じて安全性を維持しながら、ガードレールが地域の規範に応じて進化することを保証します。