GAVEL: Towards Rule-Based Safety Through Activation Monitoring

論文「GAVEL: TOWARDS RULE-BASED SAFETY THROUGH ACTIVATION MONITORING（活性化モニタリングによるルールベースの安全性に向けた取り組み）」の詳細な技術的サマリーを以下に示す。

1. 問題定義

大規模言語モデル（LLM）は、有害な意図が表面テキストで隠蔽または言い換えられ、従来の入力/出力フィルタを回避する「表現攻撃（representation attacks）」に対して、ますます脆弱になっている。活性化ベースのモニタリング（モデルの内部隠れ状態における有害な概念を検出する手法）は解決策を提供するが、既存のアプローチには 3 つの決定的な限界がある。

1. 精度の低さ: 広範な誤用データセット（例：一般的な「ヘイトスピーチ」）で訓練された検出器は、偽陽性率が高く（例： benign な文化的議論をフラグ立てる）、問題となる。
2. 柔軟性の欠如: 微妙なニュアンスを持つドメイン固有のポリシー（例：特定の知的財産権侵害や企業規則）を施行するには、ポリシー変更のたびに検出器を再訓練するか、高価な新しいデータセットを収集する必要がある。
3. 解釈性の欠如: 検出器がトリガーされた際、なぜ、あるいはどの特定の概念が警報を引き起こしたのかについての説明が欠如しており、監査や説明責任を妨げている。

2. 手法：GAVEL フレームワーク

著者らは、粗粒度の分類からルールベースの活性化安全性へのパラダイムシフトを提案するGAVEL（Governance via Activation-based Verification and Extensible Logic）を提唱する。このフレームワークは、モデルの振る舞いを解釈可能なプリミティブに分解し、論理ルールを通じて安全性を強制する。

A. 認知要素（CEs）

広範なカテゴリを検出する代わりに、GAVEL は**認知要素（Cognitive Elements: CEs）**を定義する。これは、特定のモデルの振る舞い、タスク、またはトピックを表す、微細で解釈可能な活性化レベルのプリミティブである。

• 例: 「脅迫を行う」、「決済処理」、「人間になりすます」、「SQL クエリ作成」、または「信頼を築く」。
• 興奮データセット: 特定の CE を捉えるために、著者らはその行動の例を含むテキストのみのデータセット（$D_c$）を構築する。彼らは、強く整合性の取れた内部活性化を引き出すために、特定のプロンプト戦略（「[CE] について考えながら修正する...」）を使用する。
• 特徴抽出: 活性化は、MLP 隠れ状態よりも高い検出精度と低い偽陽性率をもたらすことが判明した、ミドルから後半のトランスフォーマー層（Mistral-7B では具体的には層 13–26）のアテンション出力から抽出される。

B. マルチラベル検出

収集された活性化ベクトル上で、軽量なマルチラベル分類器（$g$）が訓練される。シングルラベル分類器とは異なり、このモデルは単一のトークン内で複数の CE を同時に検出できる（例：あるトークンが「脅迫」と「決済ツール」の両方をトリガーする可能性がある）。これにより、複雑で重なり合う認知状態の処理が可能になる。

C. ルールベースの強制

安全性の制約は、CE の存在に対するブーリアン論理ルールとして定義される。

• 構文: ルールは、サイバーセキュリティツール（例：Snort、YARA）に似た人間が読みやすい構文に従う：stop if <condition>。
• 論理: 条件は、CE の確率に対する AND（$\land$）、OR（$\lor$）、NOT（$\neg$）を用いたブーリアン式である。
  • 例: stop if Threaten AND Payment AND Roleplay（非金融コンテキストでの「脅迫」は許可しつつ、特定の詐欺パターンを検出する）。
• 時間的モニタリング: ルールは、文脈依存の振る舞いを捉えるためにトークンのスライディングウィンドウ上で評価される（例：金銭を要求する前に数ターンかけて信頼を築く詐欺など）。

D. ワークフロー

1. コミュニティ貢献: コミュニティがテキストのみの CE データセットとルールセット（モデル非依存）を貢献する。
2. 設定: モデル所有者が関連する CE を選択し、特定のポリシーに基づいてルールを構成する。
3. 訓練: 所有者は、提供された CE データセットを使用して、特定のモデル上でマルチラベル分類器を訓練する。
4. 展開: システムはリアルタイムで実行され、トークンの活性化を分類し、ルールがトリガーされた際にアクション（停止、上書き、誘導）をトリガーする。

3. 主要な貢献

1. 認知要素（CEs）: モデルの訓練から安全性の定義を分離する、モジュール化され合成可能な解釈可能な活性化プリミティブの語彙の導入。
2. GAVEL フレームワーク: CE 上の論理ルールを通じて安全性ポリシーを定義、共有、強制するための実用的なシステム。ベースモデルの再訓練なしに迅速な設定を可能にする。
3. オープンリソース: GAVEL コードベース、GAVEL Studio（インタラクティブなルール作成ツール）、初期の CE 語彙、および LLM エージェントを使用したルール/CE 生成を自動化するパイプラインの公開。
4. パラダイムシフト: 静的で不透明なブラックボックス検出器から、サイバーセキュリティの実践に触発された透明性があり、監査可能で協力的なルールベースのシステムへと、AI 安全性を移行させること。

4. 実験結果

著者らは、Mistral-7B上で 9 つの誤用カテゴリ（サイバー犯罪、心理的害、詐欺自動化）において GAVEL を評価し、Llama Guard、Perspective API、RepBending、標準的な活性化分類器などのベースラインと比較した。

• 精度と再現率: GAVEL は、ほとんどのカテゴリでAUC スコア > 0.98を達成し、偽陽性率（FPR）がほぼゼロであった。特に「税務当局詐欺」や「恋愛詐欺」などの複雑なシナリオにおいて、精度の面でベースラインを大幅に上回った。
• 敵対的攻撃に対する頑健性:
  • 誤誘導: 有害なコンテンツが benign なテキストで希釈された場合、テキストベースの判定者（GPT-4）は失敗し（検出率が約 12% に低下）、内部状態を監視する GAVEL は 85% 以上の再現率を維持した。
  • 回避: GAVEL は、言い換えを通じて意図を隠そうとする試みに対しても頑健であった。
• 汎化性:
  • モデル間: 1 つのモデルで訓練された CE は、パフォーマンスの低下が最小限で、他のモデル（Llama3、Qwen、Gemma）へも効果的に転移した。
  • 言語間: 英語で定義された CE は、スペイン語や中国語（マンダリン）へもわずかなパフォーマンス劣化で汎化し、表面のトークンではなく抽象的な概念を捉えていることを証明した。
• 効率性: GAVEL のオーバーヘッドは無視できるレベル（レイテンシ増加 <1%、トークンあたり約 0.21ms）であり、リアルタイム展開に実用的である。

5. 意義

• 解釈性と監査可能性: ブラックボックス検出器とは異なり、GAVEL は安全性違反の明確な理由（例：「'Threat'と'Payment'が検出されたためルールがトリガーされた」）を提供し、人間によるループ監査を可能にする。
• スケーラビリティと協働: 「何（CEs）」と「どのように（ルール）」を分離することで、フレームワークはコミュニティが安全性コンポーネントを共有することを可能にする。組織は事前訓練された CE を採用し、特定のニーズに合わせてルールを設定するだけでよく、再訓練のコストを回避できる。
• ポリシーの柔軟性: 一般的な誤用データセットでは定義不可能な、微妙なニュアンスを持つドメイン固有のポリシー（例：「学術的コンテキストでのヘイトスピーチ議論は許可するが、カスタマーサポートではブロックする」）の施行を可能にする。
• AI ガバナンスの未来: GAVEL は、サイバーセキュリティにおけるルール共有の成功を模倣した、協力的で透明性があり、プログラム可能な AI 安全性エコシステムの基盤を確立する。