SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

技術要約：SAGE – 高インパクトな生成AIの検証済みライフサイクル制御のための、安全性第一のディフェンス・イン・デプス（多層防御）ガードレール

問題提起
本論文は、高インパクトな生成AI（例：テロリズム、サイバー攻撃、生物学的脅威）による壊滅的な悪用の防止という極めて重要な課題に取り組んでいる。著者らは、安全性を単なるプロンプト・フィルタリングの問題ではなく、ライフサイクル制御の問題であると主張している。現在のアプローチは、安全性をユーティリティ（有用性）やレイテンシ（遅延）とのトレードオフとして扱うことが多い。著者らは、ハイステークスなアプリケーションにおいては、「壊滅的な助長（catastrophic enablement）」の防止は、他のすべての目的事項に先行するハード制約であるべきだと断じている。さらに、安全メカニズムは、コンテンツのリスクとユーザーの意図を混同することを避け、保守的なレスポンス制御が、独立した人間による承認なしに自動的に監視や外部報告を誘発しないようにしなければならない。

手法：SAGE アーキテクチャ
本論文は、信頼に足る壊滅的助長リスクに基づいて許容性を制約するように設計された、安全性第一かつ権限分離型のアーキテクチャである SAGE を提案している。このフレームワークは、形式検証、ランタイム・モニタリング、および署名付きリリース・マニフェストを統合するものである。

1. 形式的フレームワークとリスクモデリング:

   • アクション空間: システムは、通常の回答から内部レビュー、および承認されたインシデント・プロセスに至るまでの、辞書式アクション集合 $A = \{G_0, G_1, G_2, G_3, G_4\}$ を定義する。
   • 堅牢なリスク ($K$): システムは、曖昧性集合 $\Pi(e)$ の事後分布を用いて、堅牢な一次リスク $K(g|e)$ を算出する。これは、較正されたエビデンスと宣言された分布シフト許容度 ($\epsilon_e$) を考慮したものである。ポリシーは、 $K(g|e)$ が安全性の天井 $\kappa(e)$ を下回るアクションの集合内においてのみ、二次的な損失（ユーティリティ、プライバシー、遅延）を最小化するアクションを選択する。
   • ディフェンス・イン・デプス（多層防御）の境界: 本論文は、検出器のミス率に関する形式的な境界を導出している。独立した検出器の下では、失敗確率は個々のミス率の積になることを確立している。決定的なのは、共通原因依存性境界（命題4）の導入であり、共通モードの劣化事象が確率 $\gamma$ で存在する場合、結合ミス確率は、層の数に関わらず $\gamma$ を下回るようには証明できないことを示している。これにより、検出器、訓練データ、およびポリシーの依存関係における多様性が不可欠となる。
   • 認可カットオフ（Authorization Cut）: 形式的定理（定理4）は、状態遷移グラフが構造的に制約されている場合、権限のないコンポーネント（例：分類器）は、承認された状態（例：外部開示）に到達できないことを証明している。これにより、分類器が例外的な権限を「鋳造」することを防ぐ。

2. ライフサイクル制御とリリース・マニフェスト:

   • 署名付きマニフェスト: すべてのリリース候補品は、モデルのハッシュ、リスク閾値、レディネス・ビット、および有効期限を含む署名付きマニフェストに紐付けられる。
   • 単調なゲーティング: リリース述語は単調である。リスクの天井を厳格化したり、阻止すべき所見を追加したりすることは、リリースを「適格」にすることは決してなく、常に「不適格」にする方向にのみ作用する。
   • ランタイム強制: ランタイムでは、認証されたイングレイス（流入）、多様な検出器、および出力チェックを使用する。リスク閾値が突破された場合、システムはサービスの制限、ツールの無効化、安全なフォールバックの呼び出し、または承認済みの以前のアーティファクトへのロールバックを行うことができる。
   • 三値モニタリング: ランタイム・モニターは、時間的特性を True、False、または Unknown (?) として評価し、トレースの無限の継続が決定的に安全または不安全である場合にのみ、意思決定が行われることを保証する。

3. 経験的評価プロトコル:

   • フローズン・プロトコル: 本研究では、ベンダー対称のフローズン・プロトコルを用い、10個のモデル・スナップショット（OpenAI GPT-5 シリーズ、Anthropic Claude 4.5/4.6/4.7 シリーズ、Google Gemini 3/3.1 シリーズ）をテストした。
   • データセット: プロバイダーのエラーおよび不完全な判断をフィルタリングした後、375件のユニークなレスポンスを含む計840回のコール（各スナップショットにつき84回）が行われた。データセットには、直接的な不適切な要求、良性だが敏感に見えるプロンプト、および堅牢性を試すラッパーが含まれる。
   • メトリクス: 研究では、有害遵守スコア（HCS）、良性ユーティリティ（BU）、リダイレクション送達率（RD）、および過剰拒絶率（ORR）を測定した。これらはバランス・ガードレール・スコア（BGS）へと統合される。
   • 判定: レスポンスは、プロトコルの一貫性を維持するために、ターゲット・ファミリーではないブラインド化されたモデルによって、厳格なルーブリックに従って判定された。研究では、人間による裁定を明示的に回避しており、これを限界事項として認めている。

主な結果

• 有害遵守: 観察された有害遵守の推定値は、すべてのモデルにおいて低く、0.0000 から 0.0333 の範囲であった。
• 差別化の要因: モデル間の主な差異は、有害遵守（一様に低かった）ではなく、良性ユーティリティと安全なリダイレクションにあった。
  • 上位のパフォーマンスを示すモデル（例：Claude Haiku 4.5、Claude Sonnet 4.6、Gemini 3 Flash）は、ほぼ完璧なリダイレクションと高いユーティリティを達成した。
  • スコアの低いモデル（例：GPT-5 mini、GPT-5 nano）は、有害遵守を低く維持しているにもかかわらず、リダイレクションの質と良性ユーティリティが著しく低下していた。
• 統計的有意性: 多重性調整（Holm補正）の後、特定のペア間（例：Claude Haiku 4.5 と GPT-5 nano）で有意な差が見られたが、Claude/GeminiのスナップショットとGPT-5またはGPT-5.5との間のテストされた対照は、補正を生き残らなかった。
• カバレッジの問題: 2つのスナップショット（Claude Opus 4.6 および 4.7）は、判定層において完全なドメイン・カバレッジを欠いており、その結果、BGSの推定が不可能となった。これはターゲットモデルの挙動ではなく、判定層の失敗に起因するとされている。
• 形式検証: 2つのPRISM抽象化により、認可の分離とライフサイクル不変性が検証され、指定された構造的仮定の下では、権限のないコンポーネントが承認された開示状態に到達できないことが確認された。

意義と主張
本論文は、その主要な貢献は、決定的なリーダーボードや普遍的なランキングではなく、予防的制御アーキテクチャであると明言している。

• 安全性第一のアーキテクチャ: SAGEは、壊滅的リスクの制限が辞書式ポリシーを通じて主要な制約となり得ること、つまり、ユーティリティは安全性が確保されたアクションの中でのみ最適化されることを示している。
• ディフェンス・イン・デプスの限界: 形式的な結果は、測定された多様性がなければ、防御層を追加しても不十分であることを強調している。共通原因の失敗により、複数の層が無効化される可能性がある。
• 認可の分離: フレームワークは、保守的なレスポンス制御と例外的な組織的アクションを正常に分離しており、安全フィルターが自動的に悪意のある意図を推論したり、外部報告を誘発したりしないことを保証している。
• 控えめな経験的主張: 著者らは、観察された低い有害遵守範囲（0.0000–0.0333）は、ツール、履歴、または適応型ジェイルブレイクを伴わない、単一世代のプロンプトに基づくプロトコルに拘束された保守的な見解であることを強調している。これは、運用の支援能力の上限を示すものではないと明示している。
• デプロイメントの認証なし: 本論文は、いかなるベンチマークもデプロイメントを認証するものではないと結論づけている。観察された結果は、エンドポイント固有かつスナップショット固有のものである。あるモデルがこれらの閾値を満たしたとしても、デプロイ前に、より広範な敵対的テスト、マルチターン監査、およびヒューマン・アップリフト研究を受ける必要がある。

本論文は、安全性が単なる検出器の精度に依存するのではなく、署名付きマニフェスト、形式的不変量、および厳格な認可カットを通じて強制される、「ディフェンス・イン・デプス」のライフサイクルのブループリントとして機能する。