技術要約: SingGuard

問題提起

ビジョン・ランゲージ・モデル（VLM）は、消費者、医療、金融、およびエンタープライズ・アプリケーションへの導入が進んでおり、安全性への影響範囲が大幅に拡大しています。リスクは、単一のモダリティ入力だけでなく、マルチモーダルな質問応答、アシスタントの応答、およびクロスモーダルな構成（個別の入力は無害であっても、組み合わせることで不安全になるケース）からも発生します。さらに、モデレーション・ポリシーは静的なものではありません。製品、地域、およびデプロイメントの段階に応じて変化します。

既存のガードレールには、主に3つの限界があります：

1. 静的なタクソノミー（分類体系）: ほとんどのシステムは固定されたラベルセット（例：Llama Guard, WildGuard）や狭いインタラクション設定に依存しており、実行時に安全規則が変更された場合に対応できません。
2. 限定的なポリシー適応性: 一部のマルチモーダル・ガードレール（例：LlavaGuard, GuardReasoner-VL）は、視覚的入力へとモデレーションを拡張していますが、通常は静的なポリシー境界を想定しており、コンテンツをアクティブなルールセットと照合するのではなく、リスクを直接分類します。
3. 非効率な推論: 推論ベースのガードレールは解釈性を向上させますが、多くの場合、単一の「常時オン」の推論モードを採用しています。これは、高スループットで曖昧さのないケースでは非効率であり（直接的な判断で十分であるため）、一方で、複雑、直感に反する、あるいはポリシーが変更されたケース（熟考が必要なケース）には不十分です。

メソドロジー

SingGuardは、アクティブなポリシーを実行時の入力として扱うことで、マルチモーダルな会話における安全性を評価するために設計された、ポリシー適応型のマルチモーダル・ガードレール・モデルファミリーです。

1. タスク定式化とポリシー・インターフェース

SingGuardは、安全性の分類を指示追従タスクとして定式化します。ターゲットとなるコンテンツ $x$（クエリ、画像、および/または応答）と、アクティブなポリシー $P$（自然言語によるルールの集合）が与えられたとき、モデルは以下を予測します：

• 二値の安全性ラベル ($y \in \{safe, unsafe\}$)。
• オプションのポリシーに基づいた推論トレース ($z$)。
• トリガーされたルールまたはカテゴリ ($c$)。

ポリシー $P$ は、組み込みの階層的タクソノミー（8つの主要次元、27の二次カテゴリ、80以上の詳細なリスク）の全容、または推論時に提供される動的なサブセットや書き換えられた内容であることができます。これにより、モデルは記憶された事前知識ではなく、現在アクティブなルールに基づいて意思決定を行うことが可能になります。

2. データ構築 (SingGuard-Bench)

モデルの訓練と評価のために、著者らは35のデータセットにわたる56,340の例を含む包括的なベンチマーク、SingGuard-Benchを構築しました。主な特徴は以下の通りです：

• 動的なルール条件付け: サンプルを一致する実行時ポリシーおよび一致しない実行時ポリシーとペアリングすることで、モデルが静的なラベルではなく、新しいルールに従っているかどうかをテストします。
• クロスモーダルな結合リスク: 画像とテキストがそれぞれ単独では無害であるが、その組み合わせによって不適切な意図が示唆されるケース。
• ポリシー変更による監督: ルールを編集（例：範囲の拡大、除外事項の追加）することで、モデルに新しいポリシーのテキストに基づいてコンテンツを再評価させるための、反事実的なラベル生成。
• 思考の連鎖 (Chain-of-Thought: CoT): モデルがルールを一つずつ検証し、明示的な証拠に基づいて最終的な決定を下す、100万件以上の推論例。

3. 訓練パイプライン

訓練プロセスは3つのステージで構成されます：

• ステージ 1: ポリシー条件付きコールドスタートSFT: 3つのモードをサポートする統一された出力文法を用いてモデルをファインチューニングします：
  • Fast (高速): 直接的な safe/unsafe ラベルとカテゴリを出力。
  • Slow (低速): 最終的な回答の前に、明示的なルールごとの検討を行う。
  • Hybrid (ハイブリッド): 初期の二値判定を行い、確信度が低い場合にのみ推論を行う。
    この目的関数は、初期トークン、推論スパン、および最終カテゴリに対する損失を組み合わせたものです。
• ステージ 2: Fast–Slow 分離型DAPO: 初期の高速な判定がその後の推論を「アンカリング（固定）」してしまうこと（すなわち、誤った初期推測を正当化するように推論を強制してしまうこと）を防ぐため、著者らは分離型直接選好最適化 (Decoupled Direct Preference Optimization: DAPO) を適用しています。強化学習の更新中に最初の生成トークンをマスクすることで、推論パスが独立してポリシーを検証し、必要に応じて最終的な回答を修正できるようにします。
• ステージ 3: オンポリシー知識蒸留 (On-Policy Knowledge Distillation: OPD): 8Bの教師モデルから2Bの生徒モデルを蒸留します。標準的な蒸留とは異なり、生徒モデルは自身のプレフィックスを生成し、教師モデルはその特定のプレフィックスに対してトークンレベルの分布を提供します。これにより、小さなモデルが動的なルールやエッジケースにおいて、自身の弱い推論パスを修復する方法を学習できます。

4. 推論レジーム

SingGuardは、レイテンシと精度のバランスをとるために3つの推論モードをサポートしています：

• Fast Mode (高速モード): 低レイテンシのモデレーションのために、直接的なラベルを出力します。
• Slow Mode (低速モード): 監査が重要なケースや曖昧なケースのために、明示的なルールごとの検討を実行します。
• Hybrid Mode (ハイブリッドモード): 初期の二値決定をデコードします。もし確信度 $s(y_0) \geq \tau$ であれば、早期終了します。そうでなければ、完全な推論トレースとレビューされた回答の生成を続けます。

主な貢献

1. SingGuard モデルファミリー: オープンな実行時ポリシーを受け入れる、ポリシー適応型のVLMガードレール。これにより、デプロイメントチームは、再学習することなく、特定のドメイン（ヘルスケア、金融、法務など）に合わせてルールを追加または改訂できます。
2. Fast–Slow 分離型RL: 低レイテンシの高速な判定を維持しながら、それらを推論パスの最適化から分離し、ポリシーに基づいた証拠に基づいて初期の誤りを修正することを可能にする、新しい訓練目的関数。
3. SingGuard-Bench: 80以上のリスクタイプをカバーするマルチモーダル・ベンチマーク。これには、クロスモーダルな隠れた意図への攻撃、動的なルール評価、および無害なセンシティブ情報の精度テストが含まれます。
4. 最先端のパフォーマンス: 単一のポリシー適応型モデルが、マルチモーダルQAおよびレスポンス・モデレーションにおいて幅広い性能を発揮し、特化したベースラインを上回ることを実証しました。

結果

6つのベンチマークファミリー（35のデータセット）にわたる評価において、SingGuardはすべてのカテゴリで最高水準の平均F1スコアを達成しました：

• マルチモーダル安全性: SingGuard-8Bは平均F1 0.9092 を達成し、最高のオープンソース・ベースラインである LLaVAShield (0.8842) や、クローズドソースの最先端モデルである GPT-5.1 (0.8349) を上回りました。
• 画像安全性: SingGuard-4Bは平均F1 0.9141 を記録し、GuardReasoner-VL (0.8570) などのベースラインを大幅に上回り、テキスト学習型のガードレールが失敗しやすい視覚的危害（武器の検出など）の検出において堅牢性を示しました。
• テキストクエリおよび応答の安全性: SingGuard-8Bは、テキストクエリにおいて最高のマクロ平均F1 (0.8740) を、応答において競争力のある結果 (0.8770) を達成し、意図検出からアシスタンス検出への強力な転移を実証しました。
• 多言語安全性: SingGuard-8Bは、多言語クエリ安全性 (0.8872) および応答安全性 (0.8988) でリードしており、言語を越えた効果的なポリシー条件付き転移を示しています。
• 動的ポリシー適応: 動的ルール評価において、SingGuard-slow は Qwen3-VL-8B の 0.6465 から 0.7415 へと平均精度を向上させ、学習時の事前知識ではなく、変化するアクティブなルールに従う能力を証明しました。
• アブレーション研究: Fast–Slow 分離型RLステージは、動的ポリシーの精度を大幅に改善しました。オンポリシー蒸留は、2Bモデルの平均スコアを 0.8631 から 0.8840 に引き上げ、8Bの教師モデルとの差を縮めました。

重要性

本論文は、リスクを特定することを学ぶことは必要であるが、プロダクション環境のガードレールとしては不十分であると主張しています。デプロイされたシステムは、正当なコンテンツを過剰にブロックすることを避けるために、リスクがアクティブなポリシーの範囲外であるかどうかを判断する方法も学ばなければなりません。SingGuardは、安全性の知覚を記憶されたカテゴリの事前知識から切り離すことで、この問題に対処し、実行時に進化するルールに適応することを可能にします。

マルチモーダル入力、オープンなアクティブ・ポリシー、および適応的な推論パス（Fast, Hybrid, Slow）を単一のモデル内で統合することにより、SingGuardは柔軟な安全性評価のフレームワークを提供します。結果は、ポリシーに基づいた推論が、分離型強化学習と組み合わさることで、静的なタクソノミーベースのアプローチよりも、複雑で動的なクロスモーダルな安全性シナリオをより効果的に処理できることを示しています。著者らは、SingGuardの適応性は向上しているものの、その性能は提供されるアクティブ・ポリシーの明快さに依存するため、高リスクのデプロイメントにおいては継続的なベンチマークの更新と人間によるレビューが必要であることを強調しています。