🤖 machine learning

VLMGuard: Bootstrapping Malicious Prompt Detectors from Unlabeled Vision-Language Prompts in the Wild

VLMGuardは、ラベルのない野生のプロンプトと自動化された悪意推定スコアを活用することで、人間によるアノテーションを不要にしつつ、最先端の手法を上回る検出性能を実現し、視覚言語モデルのための悪意のあるプロンプト検出器をブートストラップする新しいフレームワークである。

原著者： Junlin Fang, Wenyu Chen, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor R. Carvalho, Emily Lawton, Sharon Li, Jack W. Stokes, Sean Du

公開日 2026-07-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Junlin Fang, Wenyu Chen, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor R. Carvalho, Emily Lawton, Sharon Li, Jack W. Stokes, Sean Du

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、画像を見たりテキストを読んだりして質問に答えることができる、非常に賢く、役に立つロボット助手（視覚言語モデル：VLM）を想像してみてください。あなたは、このロボットを実社会に送り出し、人々の役に立ちたいと考えています。しかし、問題があります。一部の人々が、ロボットを騙して悪いことをさせようとする（例えば、武器の作り方を教えさせたり、安全規則を回避させたりする）可能性があります。これらのような「騙しの試み」は、「悪意のあるプロンプト（malicious prompts）」と呼ばれます。

この論文では、ロボットが回答する前にこれらを見つけ出すための、VLMGuardと呼ばれる新しいシステムを紹介しています。その仕組みを簡単に説明します。

大きな問題：「干し草の中の針」

通常、コンピュータに「悪者」を見分ける方法を教えるには、「何が『悪い』か」と「何が『良い』か」を示す膨大な例のリストが必要です。人間が何千もの例に対して、「これは安全です」「これは危険です」とラベルを貼る必要があります。

しかし、現実の世界では、このようなラベル付きのリストを入手することは困難で、コストがかかり、時間がかかります。攻撃者は常に新しい手口を編み出しているため、古い手口にラベルを貼り終える頃には、新しい手口がすでに世に出てしまっています。さらに、ほとんどのロボット利用者は善良な人々であり、悪党はごくわずかです。これは、どのプロンプトが「針」であるかを知らないまま、巨大な干し草の中から特定の針を探し出すようなものです。

解決策：VLMGuard（「直感」の検出器）

VLMGuardは、ラベル付けされていないデータ（一般の人々からロボットに送られる毎日数百万件もの質問や画像）を利用することで、この問題を解決します。このシステムは、人間が「これは悪いものだ」と言う必要はありません。代わりに、2つのステップを用いて自律的に学習します。

ステップ1：「異質なものを見つける」フェーズ（部分空間抽出）

ロボットの脳を、数百万個のビー玉で満たされた巨大な部屋だと想像してください。各ビー玉は、ユーザーの質問を表しています。ほとんどのビー玉は「善良（良性）」ですが、ごくわずかなビー玉は「悪意がある（有害）」ものです。

VLMGuardは、その部屋の「形」を見つめます。そして、「善良な」ビー玉は主に中心付近に集まっている一方で、「悪意のある」ビーブルは、異質でトリッキーであるため、中心から離れた特定の珍しい方向へと広がっていることに気づきます。

システムは、数学的なトリック（特異値分解：SVD）を使用して、その特定の「珍しい方向」を見つけ出します。そして、各ビーブルがその方向にどれだけ伸びているかに基づいて、スコアを割り当てます。

例え話： 空港の金属探知機のようなものです。ほとんどの人（善良なプロンプト）は、何も検知されることなく通り過ぎます。しかし、誰かが重い金属を持ち込んでいる場合（悪意のあるプロンプト）、探知機は鳴ります。VLMGuardは、その質問が実際に悪いものかどうかをまだ判断することなく、ロボットが受け取るあらゆる質問に対して、この「検知スコア（beep score）」を算出します。

ステップ2：「スマートフィルター」フェーズ（分類器の訓練）

これで、VLMGuardにはスコアのリストが手に入りました。システムは、スコアが高い質問はおそらく「悪いもの」であり、低いスコアのものは「善良なもの」であると想定します。そして、このリストを使用して、2つ目の、より小さくスマートな「警備員」（分類器）を訓練します。

この警備員は、質問を見て、「これは以前見た高スコアのものに似ている」あるいは「これは低スコアのものに似ている」と判断することを学びます。

なぜこの第2ステップが重要なのでしょうか？
論文によると、第1ステップ（「検知スコア」）は完璧ではありません。単に言い回しが独特であったり（難しい言葉を使ったり、変わった文章構造であったりする場合）、普通の質問であっても「奇妙」に見えてしまうことがあります。これにより、誤検知が発生します。第2ステップ（警備員）は、そのような無害な癖を無視し、質問の「意図」に集中することを学びます。これは、大きな音にパニックになる警備員と、子供の笑い声と爆弾の作動音の違いを見分ける警備員の違いのようなものです。

なぜこれが画期的なのか

追加の作業が不要： このシステムは、人間が何千もの例にラベルを貼る必要はありません。存在する現実世界の、ラベル付けされていないデータから学習します。
適応力がある： 現実の世界から学ぶため、人間がまだ考えてもいないような新しいタイプのトリックをも見つけ出すことができます。
効果がある： 著者らは、いくつかの異なるロボットモデルでこのテストを行い、既存の他の手法よりも悪意のあるプロンプトの検出において非常に優れていることを証明しました。検出精度を大幅に向上させました（既存の最高の手法よりも約5%向上）。

まとめ

VLMGuardは、群衆を観察することで学ぶセキュリティシステムのようなものです。「悪党」の取扱説明書を比較対象として持つ代わりに、「正常」とは何かを学び、トリックを示唆する統計的な異常を特定し、そして、無害なノイズを無視しながら真の脅威を捕らえるためのスマートなフィルターを訓練します。これにより、現実世界でAIアシスタントをより安全に、かつ迅速に運用することが可能になります。

技術要約: VLMGuard

問題提起

Vision-Language Models (VLMs) は、良性および敵対的に操作された入力が混在するオープンワールド環境において、ますます広く展開されています。テキストのみのモデルとは異なり、VLMsは、有害なコンテンツの生成や意図しないツールの実行などの安全でない挙動を誘発するために、視覚的、テキスト的、あるいはその両方のチャネルを操作する攻撃者による拡張された攻撃対象領域（アタックサーフェス）に直面しています。

VLMのガードレールを開発する上での主な課題は、良性と悪性のプロンプトの両方を含む高品質でラベル付けされたデータセットが不足していることです。このようなデータのキュレーションには、多大な人的努力と、攻撃戦略の進化に伴う継続的な更新が必要となります。その結果、大規模な手動アノテーションに依存することなく、現実世界のデプロイメントで自然に利用可能な大量のラベルなしユーザープロンプトを使用して、悪意のあるプロンプトを効果的に検出できる手法への切実なニーズが生じています。

手法: VLMGuard

著者らは、ラベルなしデータから悪意のあるプロンプト検出器をブートストラップするための2段階学習フレームワークであるVLMGuardを提案しています。このフレームワークは、ラベルなしのプロンプトがハブ・コンタミネーション・モデル（Huber contamination model）に従うという仮定の下で動作します。ここで、データ分布 $P_{unlabeled}$ は、良性の分布 ( $P_{benign}$ ) と悪性の分布 ( $P_{malicious}$ ) が小さな混合比 $\pi$ で混合したものです。

ステージ1: 潜在部分空間による自動的な悪意推定

第1段階では、事前学習済みVLMの内部表現を利用して、ラベルなしの混合物の中から良性と悪性のサンプルを区別します。

表現の抽出: 各プロンプト $(x_v, x_t)$ に対して、VLMの特定のレイヤー $\ell$ から $d$ 次元の表現 $f$ を抽出します。
部分空間の特定: 著者らは、中心化された埋め込み行列に対して特異値分解（SVD）を実行します。理論的分析によれば、ハブ・コンタミネーション・モデルの下では、表現のクラウドにおける主要な特異方向は、稀な悪性サンプルによって引き起こされる偏差に偏る傾向があります。
スコアリング: 各プロンプトに対し、特異値によって重み付けされた、上位 $k$ 個の支配的な特異方向への投影エネルギーに基づいて、悪意推定スコア $\kappa_i$ を計算します：
$\kappa_i = \frac{1}{k} \sum_{j=1}^{k} \lambda_j \cdot \langle f_i - \mu, v_j \rangle^2$
ここで、 $\mu$ は経験的平均、 $v_j$ は右特異ベクトル、 $\lambda_j$ は特異値です。
疑似パーティショニング: プロンプトは、閾値 $T$ を用いて、候補となる悪性セット $\mathcal{M}$ （高スコア）と候補となる良性セット $\mathcal{B}$ （低スコア）に分割されます。これにより、ラベルなしデータのノイズを含む疑似ラベル付けが作成されます。

ステージ2: セーフガード用プロンプト分類器の訓練

第2段階では、直接的な投影スコアの脆弱性（例：悪意のある意図を反映していない、言い換えなどの表面的な変化に敏感であること）に対処します。

分類器の訓練: 疑似ラベル付けされたセット $\mathcal{M}$ （ラベル1）および $\mathcal{B}$ （ラベル0）に対し、ロジスティック損失を用いて軽量なバイナリ分類器（3層MLP）を訓練します。
堅牢性: 著者らは、この分類器が、支配的な部分空間エネルギーと偽の相関を持つ「摂動（nuisance variations）」（例：良性プロンプトの語彙的または構文的な変化）を無視することを学習し、それによってテスト時の検出に対してより堅牢な決定境界を提供すると主張しています。

主な貢献

フレームワークの定式化: ラベルなしのユーザープロンプトを活用することで、悪意のあるプロンプト検出を定式化したVLMGuardという2段階フレームワークを導入し、データ不足の問題に対する実用的な解決策を提示しました。
原理に基づいたスコアリング関数: VLMの表現（SVD経由）から派生した、プロンプトが悪意を持っている可能性を推定するスコアリング関数を開発しました。論文では、主要な共分散方向への投影エネルギーが、良性と悪性の平均間の分離に比例するクラス条件付きギャップを生み出すことを示す理論的根拠を提示しています。
実証的検証: フレームワークの有効性、スケーラビリティ（例：72Bパラメータのモデルへの対応）、および現実的なプロンプトの変化や異常な良性データに対する堅牢性を、広範な実験を通じて実証しました。

実験結果

著者らは、3つの実世界のシナリオにおいて、5つのデータセット（JailBreakV, GPT4V, VLGuard, MLLMGuard, MSSBench）と2つのバックボーンVLM（LLaVA-1.6-7BおよびQwen2.5-VL-7B/72B）を用いてVLMGuardを評価しました。

パフォーマンス: VLMGuardはすべてのシナリオにおいて最先端（SOTA）の性能を達成しました。平均して、AUROC（受信者動作特性曲線の下方の面積）を既存の最良の手法（GPT-5.4）よりも**5.39%**向上させ、不確実性ベースおよび活性化ベースのベースラインを大幅に上回りました。
低出現率に対する堅牢性: ラベルなし訓練セットにおける悪性の割合 $\pi$ が極めて低い場合（例： $\pi=0.001$ ）でも、88.16%のAUROCを達成するなど、効果を維持しました。
汎化性能: 本フレームワークは強力な転移性を実証しており、あるデータセットで訓練された後、異なる悪性ベンチマークでテストした場合でも高い検出精度を維持しました。
アブレーション研究:
- 分類器の必要性: 直接SVD投影スコアを使用すると、2段階のアプローチよりも低い性能となったため、ノイズ除去およびプロンプトの変化を扱うための分類器の役割が確認されました。
- レイヤー選択: VLMの中間層が検出に最適な表現を提供し、初期層および最終層よりも優れた性能を示しました。
- スケーラビリティ: 7Bから72Bパラメータのモデルへとスケールアップすることで、性能が向上しました。

重要性と主張

本論文は、VLMGuardが、現実世界のVLMデプロイメントにおいて実用的かつ柔軟なアプローチを提供すると主張しています。追加の人間のアノテーションや、外部モデル（デノイジングのための別の判定モデルや拡散モデルなど）を必要としないことで、本フレームワークは、VLMを保護するための自己完結型のソリューションを提供します。

著者らは、提案手法が現実的なプロンプトの変化（語彙的および構文的な変化）に対して堅牢であり、異常ではあるが良性であるデータが存在する場合でも、悪意のある意図を区別できることを強調しています。本研究は、敵対的機械学習におけるラベル付きデータの不足という根本的なボトルネックに対処し、ラベルなしのプロンプトデータセットを安全性が重要なアプリケーションに活用するための将来の研究を刺激することを目的としています。