🤖 machine learning

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

本論文は、入力側フィルタリングにおいて一般的な過剰拒否の問題を軽減するために、モデルの隠れ状態空間内における潜在的な不安全な生成を予測する出力認識型のセーフティガードレールを提案し、それによってマルチモーダル大規模言語モデルにおける安全性と有用性の両立を実現するものである。

原著者： Jiayi Li, Kun Zhan

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiayi Li, Kun Zhan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、写真を見ることができ、それについて話すことができる、とても賢いロボットの友達がいるとします。このロボットは質問に答えるのが得意なのですが、時々、人々が意地悪なことを言わせたり、危険な指示を与えたり、嘘を広めたりするようにロボットを騙そうとすることがあります。これを防ぐために、通常、ロボットの前に「セキュリティガード（警備員）」を配置します。

問題点：過保護な門番
現在、ほとんどのセキュリティガードは、クラブの厳しい門番のように、あなたのIDカード（あなたがした質問）だけを見て、中に入れるかどうかを判断しています。もしIDに怖い言葉が書いてあれば、門番はすぐにドアを閉ざしてしまいます。たとえ、あなたがただ無害な質問をしようとしていただけだとしてもです。

例えば、「Pythonプロセスをキル（kill）する方法は？」と聞いたとします（これは単なるコンピュータ・コードに関する質問です）。門番は「kill」という言葉を見て、ブロックしてしまいます。また、「良い写真を撃つ（shoot）場所は？」と聞いた場合（これは写真に関する質問です）、門番は「shoot」という言葉を見て「ダメだ！」と言います。これでは、ロボットがあなたの質問がいかに安全で有益なものであるかを説明するチャンスすら与えられません。この論文では、これを**過剰拒絶（over-refusal）**と呼んでいます。それは、まるでガードマンがトラブルを恐れるあまり、善良な客まで誤って追い出してしまうようなものです。

古い方法 vs 新しい方法
研究者たちは、これらの古いガードマンが、あなたの質問（入力）のみに基づいて判断を下していることを見出しました。彼らは、ロボットが実際に何を出力するかを見るまで待ちません。

この論文は、この「入力のみ」のアプローチに反対しています。ロボット自身も、実はかなり安全に振る舞うことができるのです。もしトリッキーな質問をされたとしても、ロボットは自ら警告を出したり、「それはできません」と言ったりすることを知っています。しかし、古いガードマンは、ロボットがその良さを見せる前に、それを止めてしまうのです！

解決策：OutGuard（「水晶玉」のガードマン）
著者たちは、OutGuardと呼ばれる新しいシステムを提案しています。OutGuardは、単にあなたのIDを見るのではなく、ロボットが考えている最中に、言葉を発する直前で、ロボットの脳内を覗き見る「水晶玉」のように機能します。

仕組みは以下の通りです：

覗き見（The Peek）： ロボットが答えを形成し始めると同時に、OutGuardはロボットの脳の層の中で渦巻いている「隠れた思考（hidden states）」を観察します。
予測（The Prediction）： OutGuardはこう推測します。「ロボットは本当に危険なことを言おうとしているのか、それとも危険なトピックについて考えてはいるが、安全なことを言おうとしているのか？」
決定（The Decision）：
- もしロボットが本当に有害なこと（爆弾の作り方など）を言おうとしているなら、OutGuardが介入して阻止します。
- もしロボットが安全なこと（「プロセスをキルする」ことが単なるコーディングであることを説明するなど）を言おうとしているなら、OutGuardは通してくれます！

魔法の手品：「思考の袋」からの学習
OutGuardにこれを教えるために、研究者たちは**マルチインスタンス対照学習（MICL）**という巧妙な学習手法を用いました。

ロボットの答えを「ビー玉の袋」だと考えてみてください。中には危険なビー玉（悪い言葉）もあり、ほとんどは安全なビー玉です。古いガードマンは、その袋を見て、「危険なビー玉が入っているから、捨てろ！」と言います。
OutGuardは、その袋の中を覗き込みます。特殊なアテンション・メカニメントを使用して、特定の危険なビー玉を見つけ出します。OutGuardは、安全なビー玉を無視し、回答全体を有害にする「真の原因となるビー玉」だけに集中することを学びます。それは、一つの腐ったリンゴを見つけたからといって、バスケット全体が腐っているとは限らないと知っている探偵のようなものです。つまり、その悪いリンゴがジュースを台無しにする原因である場合に限られます。

数字が示すこと
研究者たちは、このテストをLLaVA 1.6とQwen 3.5という2つの人気のあるロボットモデルで実施しました。彼らはOutGuardを、HiddenDetector、QGuard、LoDといった他のトップクラスのセキュリティガードと比較しました。

安全性（Safety）： OutGuardは、本当に悪いリクエストのほとんどを捉えました。標準的なテストセットにおいて、LLaVAでは0.9725、Qwenでは0.9937のAUPRCを記録しました（1.0が完璧です）。これは、OutGuardが悪党を捕まえる能力において、他の手法と同等であることを意味します。
「過剰拒絶」の修正： こここそがOutGuardが輝く場面です。古いガードマンは、安全な質問をブロックしすぎていました。
- QGuardは、安全な質問の**100%**をブロックしました（ARSP = 1.0000）。あまりにも臆病すぎて、誰も中に入れられませんでした。
- OutGuardは、LLaVAに対してはわずか5.5%、Qwenに対しては**1.15%**の安全な質問しかブロックしませんでした。
- 危険に見えるけれど実際には安全なトリッキーな質問（例：「空港で時間を潰す（kill time）方法」）において、OutGuardは次点のメソッドよりも**41.6%**多く、安全な質問を通すことができました。

速度とコスト
ロボットの脳を覗き見ることが、処理を遅らせるのではないかと心配されるかもしれません。論文によれば、OutGuardは非常に高速です。平均して質問あたり約0.208秒かかり、これは3秒以上かかる他のいくつかの手法よりもはるかに速いです。また、メモリもそれほど必要とせず、システムに加えるのはわずか約1.37 GBです。

結論
この論文は、「入力認識型（質問をチェックする）」から「出力認識型（答えが終わる前にチェックする）」へと移行することで、ロボットを不快にさせることなく、安全に保つことができると示唆しています。OutGuardはロボットの助けになることを妨げるのではなく、ただ危険なことをするのを防ぐのです。これは、インターネットを安全に保ちつつ、私たちの質問に答えられるようにするための、よりスマートで精密な方法なのです。

技術要約：OutGuard – MLLMのための出力認識型セーフティ・ガードレール

1. 問題提起：過剰拒絶（Over-Refusal）のトレードオフ

既存のマルチモーダル大規模言語モデル（MLLM）向け安全メカニズムは、安全性と有用性の間の決定的なトレードオフに直面している。モデルのファインチューニングは堅牢な安全性を提供する一方で、一般的な有用性を損なうことが多い。対照的に、入力側のセーフティ・ガードレールは軽量で非侵入的な代替手段であるが、深刻な**過剰拒絶（over-refusal）**という問題を抱えている。

現在のガードレールは、入力された画像とテキストのペアのみに基づいて安全性の判断を下す入力認識型（input-aware）パラダイムの下で動作している。このアプローチは、モデルが本来備えている安全性メカニズムを考慮できていない。論文で示されているように、MLLMは有害な入力を安全な出力（例：拒絶スタイルの応答、訓戒、または警告）へと変換できる内部的なアライメント能力を持っていることが多い。しかし、入力認識型のガードレールは、モデルがたとえ無害な応答を生成するとしても、入力がリスクありと判定された時点で、これらの相互作用を無差別にブロックしてしまう。これにより、「Pythonプロセスを終了する方法は？（How to kill a Python process?）」や「良い写真を撮るにはどこで撃てばいい？（Where can I shoot a good photo? ※shootは撮影するという意味）」といった、一見リスクに見えるだけの良質なクエリまでもが拒絶され、ユーザー体験を著しく低下させ、実用性を制限している。

2. 手法：OutGuardフレームワーク

これを解決するために、著者らは入力認識型から**出力認識型（output-aware）**セーフティ・ガードレールへのパラダイムシフトを提案する、OutGuardを提唱している。OutGuardは、入力のリスクのみを判断するのではなく、生成される直前の次に来る生成内容の安全性を予測するために、モデルの隠れ状態空間内で動作する。

コアコンポーネント:

隠れ状態の活用: OutGuardは、推論段階（データフローのステージS4）において、バックボーンとなるLLMから隠れ状態表現（ $H_l$ ）を抽出する。これらの状態は、内部のモデルダイナミクスと最終的な出力とを結びつけている。
マルチインスタンス対照学習（MICL）分類器:
- 問題定式化: 検出タスクを複数インスタンス学習（Multiple Instance Learning: MIL）問題として定式化する。生成された出力の隠れ状態のシーケンスを一つの「バッグ（bag）」として扱い、個々のトークン表現を「インスタンス（instance）」として扱う。バッグレベルのラベル（Safe/Unsafe）は既知であるが、特定のトークンレベルの有害性は潜在的である。
- アーキテクチャ: MICL分類器は、**ゲート付きアテンション機構（gated attention mechanism）**を採用し、トークンレベルの表現をバッグレベルの表現（ $z_l$ ）へと集約する。このメカニズムは、高アテンションを持つインスタンス（有害である可能性が高いトークン）に焦点を当て、ノイズを抑制するように学習する。
- 学習目的関数: 分類器は以下の複合損失関数を用いて訓練される：
  1. バイナリクロスエントロピー損失 ( $L_{cls}$ ): バッグレベルの分類用。
  2. エントロピー正則化 ( $L_{ent}$ ): アテンション重みのスパース性を促進し、モデルを特定の顕著なトークンに集中させるため。
  3. バッグ内対照損失 ( $L_{con}$ ): 同一バッグ内の高アテンション（ポジティブ）なインスタンス間の類似性を最大化し、低アテンション（ネガティブ）なインスタンスとの類似性を最小化するInfoNCEスタイルの損失。
レイヤー選択と投票:
- 異なるレイヤーで訓練されたMICL分類器の性能を評価するために、Safety-Score指標が使用される。
- Safety-Scoreが0.9を超えるレイヤーの分類器のみが選択される。
- 推論時には、選択された分類器が隠れ状態の安全性について投票を行う。多数決によって最終的な決定（Safe vs. Unsafe）が下される。

運用ワークフロー:
OutGuardは、MLLMと並行して独立したモジュールとして動作する。推論中に隠れ状態を分析しながら、単一パスで安全性検出を実行する。システムが不安全な出力を予測した場合にのみ介入し、そうでなければ生成を継続する。これにより、追加のクエリや大幅なレイテンシのオーバーヘッドを回避できる。

3. 主な貢献

パラダイムシフト: 本論文は、過剰拒絶の根本原因を入力認識型パラダイムへの依存にあると特定し、出力認識型の安全性評価への転換を提案している。
OutGuardフレームワーク: 隠れ状態表現と**マルチインスタンス対照学習（MICL）**分類器を利用して、出力の安全性を直接評価する新しいフレームワークであり、「有害な出力を導く入力」と「モデルが内部的に中和する入力」を区別する。
実証的検証: 広範な実験により、OutGuardが有害なコンテンツやジェイルブレイク攻撃に対する強力な検出性能を維持しつつ、過剰拒絶率を大幅に削減することを実証した。

4. 実験結果

著者らは、GQA、AdvBench、SafeBench、MM-Vet、MM-SafetyBenchを含むデータセットを用い、LLaVA 1.6およびQwen 3.5上でOutGuardを評価した。ベースラインには、HiddenDetector、QGuard、LoD、ProGuardが含まれる。

安全性と有用性のバランス: OutGuardはすべての指標において優れた性能を示した。テストセットにおいて、不安全なプロンプトに対する不安全な応答率（URUP < 0.1）を低く抑えつつ、安全なプロンプトに対する棄却応答率（ARSP < 0.1）を劇的に減少させた。例えば、LLaVAにおいて、OutGuardはF1スコア0.9335、ARSP0.0749を達成し、次に優れた手法であるLoD-PP（ARSP 0.1124）を上回った。
過剰拒絶の緩和: XSTestデータセット（有害に見える良質なクエリ）において、OutGuardはベースラインと比較して過剰拒絶率を大幅に減少させた（例：LLaVAにおいて0.5840に対し0.7400）。
堅牢性: OutGuardは、ジェイルブレイク攻撃（Visual-Adversarial-Examples、HADES、JOOD）に対して強い堅牢性を示し、過剰拒絶を低く抑えたまま、ほぼ完璧な分類指標（AUPRC/AUROC > 0.97）を達成した。
効率性: この手法は最小限のレイテンシしか導入しない。サンプルあたりの平均決定時間は0.208秒であり、多くのベースライン（例：QGuardの3.154秒）と同等かそれ以上に高速であり、出力後処理手法よりも大幅に速い。
アブレーション研究: 主要コンポーネント（ゲーティングモジュール、対照学習、またはスパース正則化）を取り除くと、検出能力が著しく低下し、MICLアーキテクチャの必要性が確認された。

5. 意義と主張

本論文は、OutGuardがMLLMにおける安全性と有用性のトレードオフに対する実用的な解決策を提供すると主張している。焦点を入力のリスクから実際の出力の有害性へと移すことで、モデルの組み込まれた安全性機能と一般的な有用性を維持する。著者らは、このアプローチにより、モデルの実際の応答が有害である場合にのみ精密な介入が可能となり、不必要な良質な相互作用のブロックを回避できることを強調している。

本研究は、出力認識型の安全性メカニズムの重要性を浮き彫りにしており、隠れ状態で訓練された軽量な分類器が、真の脅威の検出を損なったりモデルの再学習を必要としたりすることなく、過剰拒絶を効果的に軽減できることを示している。さらなる研究を促進するため、コードは公開されている。