技術的概要：GLiGuard - LLM 保護のためのスキーマ条件付き分類

問題定義

大規模言語モデル（LLM）の広範な展開は、有害、違法、または誤ったコンテンツの生成を防ぐための堅牢でリアルタイムなコンテンツモデレーションシステムを必要としています。現在の最先端のガードレールモデル（例：LlamaGuard、ShieldGemma、WildGuard）は、主に自己回帰的デコーダアーキテクチャ（7B〜27B パラメータ）に依存しています。これらのモデルは、安全性分類を逐次的なテキスト生成タスクとして再定義します。この設計選択は、以下の根本的な非効率性を導入します：

1. 高い遅延: トークンごとの分類出力の生成は、出力長に比例してスケーリングします。
2. 低い並列性: 複数の安全性次元を同時に評価することに困難を伴います。
3. リソース集約性: 本質的に生成ではなく分類であるタスクに対して、数十億のパラメータを採用しています。

本論文は、コンパクトな双方向エンコーダを用いて安全性モデレーションをスキーマ条件付き分類問題として再定義することで、大幅に削減された推論コストで競争力のある精度を達成できると主張しています。

手法

GLiGuard は、GLiNER2 アーキテクチャ（Zaratiana ら、2025 年）を適応させた0.3B パラメータのスキーマ条件付き双方向エンコーダです。安全性を指示追従生成として扱う自己回帰的ガードとは異なり、GLiGuard は、タスク定義とラベルのセマンティクスが入力シーケンスに直接エンコードされる多面的分類タスクとして安全性を扱います。

1. スキーマ条件付きアーキテクチャ

中核的な革新はスキーマ条件付き入力表現です。出力ヘッドをハードコーディングする代わりに、モデルは推論時に以下の構成要素からなる線形化されたトークンシーケンスを受け取ります：

• スキーマ接頭辞: タスク定義（$\tau_k$）とその候補ラベル（$Y_k$）の構造化されたシーケンス。
• 入力テキスト: モデレーション対象のユーザープロンプトまたはモデル応答。
• 特殊トークン: [P]（タスク区切り）、[L]（ラベル接頭辞）、[SEP]（スキーマ/テキスト区切り）。

入力シーケンスは以下のように構築されます：
$$z = T(\tau_1, Y_1) \dots T(\tau_K, Y_K) \text{ [SEP] } w_1 \dots w_N$$
ここで、各タスクブロック $T(\tau_k, Y_k)$ は [P] $\phi(\tau_k)$ [L] $l_1$ [L] $l_2$ ... として直列化されます。

2. 双方向エンコーディングとラベル抽出

トークンシーケンスは、事前学習済みの双方向トランスフォーマーエンコーダ（例：DeBERTa、ModernBERT）によって処理されます。主な特徴は以下の通りです：

• 完全自己注意: エンコーダは、スキーマトークンと入力テキストの両方に双方向的に注意を払います。これにより、モデルは「ラベルを認識したテキスト表現」と「テキストを認識したラベル表現」を同時に構築できます。
• 文脈化されたラベル埋め込み: [L] トークンの位置における隠れ状態が抽出されます。これらの埋め込みは、入力テキスト全体およびスキーマ内のすべての他のラベルから情報を得ており、分類のための豊かな文脈を提供します。
• 共有分類ヘッド: 軽量な共有 2 層 MLP 分類器が、各ラベル埋め込みに対して独立して適用され、対数オッズ（logits）を生成します。
  • 単一ラベルタスク（例：安全性、拒否）は Softmax を使用します。
  • マルチラベルタスク（例：危害カテゴリ、ジャイルブレイク戦略）は Sigmoid を使用します。

3. 統合マルチタスクモデレーション

GLiGuard は 4 つの異なるモデレーションタスクをサポートしており、これらは単一の非自己回帰順方向パスのために単一のスキーマに構成できます：

1. 安全性分類: プロンプトと応答に対するバイナリ分類（安全/不安全）。
2. 拒否検出: 応答に対するバイナリ分類（コンプライアンス/拒否）。
3. 危害カテゴリ分類: 14 の微細な危害カテゴリ（例：暴力、PII、ヘイト）へのマルチラベル分類。
4. ジャイルブレイク戦略検出: 11 の敵対的攻撃戦略（例：プロンプトインジェクション、ロールプレイ回避）へのマルチラベル分類。

4. 推論パイプラインと決定ルール

推論パイプラインには、スキーマの直列化、単一のエンコーダパス、並列デコーディングが含まれます。最終的な安全性の判断は、補助タスクからの予測を構成するハード決定ルールによって決定されます：

• プロンプト安全性: 安全性分類器が「不安全」と予測するか、または「 benign（良性）」以外の危害カテゴリまたはジャイルブレイク戦略のいずれかが検出された場合、判断は**UNSAFE（不安全）**となります。
• 応答安全性: 安全性分類器が「不安全」と予測する場合、判断は**UNSAFE（不安全）となります。ただし、拒否が検出された場合、判断はSAFE（安全）**に上書きされます（過剰な拒否ペナルティを防ぐため）。

主要な貢献

1. スキーマ条件付きアーキテクチャ: GLiNER2 をモデレーションに適応させ、再学習やプロンプトの再設計なしに推論時にタスクとラベルのブロックを動的に構成できるようにしました。
2. 統合マルチタスクフレームワーク: プロンプト/応答の安全性、14 の危害カテゴリ、11 のジャイルブレイク戦略を同時に評価する単一の順方向パス。
3. 小規模での競争力のある精度: 0.3B エンコーダが 7B〜27B のデコーダベースのガードと競争力のある性能を維持できることを実証しました。
4. 推論効率: モデルの非自己回帰的な性質により、大幅に低い遅延と高いスループットを達成しました。

実験結果

著者は、GLiGuard を 6 つの最先端自己回帰ガードモデル（7B から 27B パラメータの範囲）と比較し、9 つの確立された安全性ベンチマーク（例：OpenAI Moderation、Aegis 2.0、HarmBench、WildGuardTest）で評価しました。

• 精度:
  • プロンプトの有害性: GLiGuard は平均 F1 スコア87.7を達成し、最良のベースライン（89.4 の PolyGuard-Qwen-7B）から 1.7 ポイント以内であり、LlamaGuard4-12B（82.5）や ShieldGemma-27B（69.6）など、より大規模なモデルを凌駕しました。
  • 応答の有害性: GLiGuard は平均 F1 スコア82.7を達成し、比較対象モデルの中で 2 番目に高く、Qwen3Guard-8B-Gen（84.1）に次ぎ、WildGuard-7B（82.4）を上回りました。
• 効率性:
  • スループット: GLiGuard は最大16.2 倍のスループット向上を実現しました（バッチサイズ 4 の 8B モデルの 8.2 サンプル/秒に対し、133 サンプル/秒）。
  • 遅延: GLiGuard は最大17 倍の遅延削減を達成しました（シーケンス長 64 の 8B モデルの 426 ms に対し、26 ms）。
• パレート効率: このモデルは、23〜90 倍少ないパラメータでより大規模なモデルと同等の F1 スコアを提供する、パレート競争的な領域を占めています。

意義と主張

本論文は、コンパクトな双方向エンコーダが、推論コストを劇的に削減しながら、はるかに大規模なガードモデルの精度に近づき得ると主張しています。著者らは、コンテンツモデレーションにおいて、データの質、学習戦略、モデルの専門化は、規模そのものよりも重要であると論じています。これは、より大規模なモデル（例：ShieldGemma-27B）が、より小規模で専門的な代替案よりも低い性能を示していることからも裏付けられます。

GLiGuard は、遅延とメモリが制約された環境向けのソリューションとして提示されており、自己回帰生成に伴うボトルネックなしにリアルタイムのゲートキーピングを可能にします。この研究は、安全性をスキーマ条件付き分類問題として再定義することが、ガードレールに大規模生成モデルを使用する現在のパラダイムに対する、実行可能かつ効率的な代替手段であることを示唆しています。

注記：本論文は、良性の文脈における表面的なトリガー単語に対する感度（偽陽性）や、精巧なフィクション的物語に埋め込まれた敵対的ジャイルブレイクに対する課題（偽陰性）を含む限界を認識しています。今後の研究として、これらの特定の堅牢性の問題に対処することが提案されています。