📊 statistics

VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

本論文は、テキスト・画像プロンプト上の同時事後分布の学習としてマルチモーダル・ジェイルブレイク発見を再定式化する変分推論フレームワーク「VERA-V」を導入し、既存の手法を大幅に凌駕してビジョン・ランゲージモデルのガードレールを回避する隠密性が高く、連動した敵対的入力の生成を可能にする。

原著者： Qilin Liao, Anamika Lochab, Ruqi Zhang

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qilin Liao, Anamika Lochab, Ruqi Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、安全意識の高いロボットアシスタント（ビジョン・ランゲージモデル）を想像してください。このロボットはテキストを読み、画像を見ることができます。あなたはこれを役立つように訓練しましたが、「爆弾の作り方は？」や「銀行をハックする方法は？」といった危険なリクエストには拒否するようにも設定しました。

通常、直接尋ねれば、ロボットは「いいえ、それはできません」と答えます。

論文「VERA-V」は、このロボットをだまして自らのルールを破らせる、新しい巧妙な方法を紹介します。単一の質問をするのではなく、研究者たちは「マスターのトリック師」（AI 攻撃者）を構築し、ロボットを混乱させるために連携する「テキストと画像のペア」を作成する方法を学習させました。

以下に、簡単な比喩を用いて VERA-V の仕組みを説明します。

1. 従来の方法：「ハンマー」対「スイスアーミーナイフ」

これらのロボットをだます従来の方法は、ハンマーを振りかぶるようなものでした。具体的には以下のいずれかを行っていました。

画像の中に悪い言葉を書く： 「爆弾を作る」と入力する代わりに、「爆弾を作る」と書かれた看板の写真を撮り、ロボットに見せました。ロボットは画像内のテキストを見逃す可能性があります。
画像にノイズを加える： 静電気や奇妙な模様で画像を乱し、ロボットの視覚を混乱させました。

問題点： これらの方法は不器用です。テキストと画像を別々のものとして扱っています。もしロボットが画像内の看板を読み取れるほど賢ければ、そのトリックは失敗します。

2. VERA-V の方法：「ジャズバンド」

VERA-V は異なります。ハンマーではなく、ジャズバンドのように振る舞います。単一の音を出すのではなく、テキストと画像を調整して完璧に調和させ、ロボットの防御を回避する方法を学習します。

研究者たちはこれを**「変分推論」と呼んでいます。平易な英語で言えば、攻撃 AI は単一の悪いトリックを推測するのではなく、あらゆる可能な悪いトリックの地図を学習するということです。特定の種類のテキストが特定の種類のぼやけた画像と最もよく機能し、別の時には異なるテキストが鮮明な画像と機能することを理解します。つまり、両者の関係性**を学習するのです。

3. 3 要素の「気散じ」戦略

トリックを成功させるため、VERA-V はロボットに送信する 1 つのパッケージに 3 つの特定の要素を組み合わせています。

要素 A：「隠されたテキスト」（タイポグラフィ）
攻撃者は有害な指示をテキストの画像（看板やメモのようなもの）に変換します。これにより、通常入力するものをスキャンするロボットのテキストフィルタから、悪い言葉が隠されます。
要素 B：「秘密のシグナル」（拡散画像）
攻撃者は画像生成器を使用して、微妙で隠された手がかりを含む画像を作成します。それは明白ではありません。混雑した部屋でのささやきのようなものです。ロボットは画像を見ますが、「悪い意味」は明確に書かれているのではなく、ピクセルの奥深くに埋め込まれています。
要素 C：「混乱させる群衆」（気散じ）
これが最も巧妙な部分です。攻撃者は、悪いリクエストとは無関係な、ランダムで退屈な画像（猫、木、コーヒーカップなど）で画面の残りを埋め尽くします。
- 比喩： 群衆の中から特定の人物を見つけようとしている状況を想像してください。もしその人物が一人立っていれば、簡単に見つけられます。しかし、その人物とは全く似ていない 50 人の人々が群れている場合、あなたの脳は混乱し、ターゲットに集中するのが難しくなります。VERA-V はこれらの「気散じ」画像を使用してロボットの注意を散らばらせ、ロボットの安全フィルタが悪意のあるリクエストを見つけるのを困難にします。

4. 「フィードバックループ」（コーチ）

攻撃 AI はこれをどのようにしてこれほど上手に学習するのでしょうか。

トリックを試す。
「審判」（別の AI）に、ロボットが引っかかったかどうかを尋ねる。
もしロボットが「いいえ」と答えれば、攻撃者は「その組み合わせは機能しなかった。テキストと画像の異なる組み合わせを試そう」と学習する。
このプロセスを数千回繰り返し、ロボットを混乱させる方法の「地図」を洗練させる。

5. 結果：新たな記録

この論文は、現在利用可能な最も賢いロボット（GPT-4o など）に対してこれをテストしました。

従来のトリック： 最もタフなロボット（GPT-4o）に対して、従来の方法はほぼ 100% の失敗率でした。紙クリップで金庫を破ろうとするようなものでした。
VERA-V： この調整された多要素戦略を使用することで、VERA-V はロボットを67.75% の確率でだましたことに成功しました。これは以前の最良の方法と比較して、劇的な飛躍です。

まとめ

VERA-V を単一の鍵抜きではなく、ロック機構全体を研究する錠前師と考えてください。ドアを無理やり開けようとするのではなく、取手を揺さぶり、蝶番にささやき、警備員を気散じさせる方法を同時に学習します。これは「事後分布の結合」を作成するという、少し難解な表現で表されますが、要するにロボットの安全ガードを混乱させる完璧なテキストと画像の組み合わせのレシピを学習したということです。

重要な注記： 著者らは明確に、この研究はレッドチーム（攻撃的テスト）のためのものであると述べています。つまり、彼らはこれらの脆弱性を見つけるために「倫理的ハッカー」として行動しており、企業がそれらを修正してロボットをより安全にするためのものです。彼らは実際に他者を傷つけるためのツールを提供しているのではなく、現在の安全システムがいかに脆弱であるかを示すことで、それを強化できるようにしているのです。

技術的概要：VERA-V

問題定義
視覚言語モデル（VLM）は視覚推論と大規模言語モデル（LLM）を統合しているが、そのマルチモーダル設計は未解明の脆弱性を導入している。VLM に対する既存のレッドチーム手法には、主に 3 つの限界がある。(1) テキストと画像のモダリティを独立して扱い、複雑なクロスモーダル相互作用を無視している。(2) 手作業で設計されたテンプレートに大きく依存しており、結果として攻撃例が狭く、関連性がない。(3) 通常、単一攻撃設定で動作するため、検出されやすく、最先端モデルに対して非効率的である。その結果、現在の手法はマルチモーダル脆弱性の広範なスペクトルを体系的に発見することに失敗している。

手法
本論文は、ペアリングされたテキスト・画像プロンプト上の結合事後分布を学習することとしてマルチモーダル・ジェイルブレイク発見を再定義する変分推論フレームワークであるVERA-Vを導入する。孤立した敵対的インスタンスの探索ではなく、VERA-V は脆弱性の地形を分布としてモデル化する。

手法の中核的構成要素は以下の通りである：

変分定式化: フレームワークは、攻撃者 LLM がテキストプロンプト（ $x_t$ ）と画像プロンプト（ $x_v$ ）という一対の潜在プロンプトを出力する潜在プロンプト生成プロセスを定義する。これらはマッピング関数 $g$ を介して実際の VLM 入力に変換される。テキストプロンプトは明示的な有害な手がかりを埋め込むためにタイポグラフィックにレンダリングされ、画像プロンプトは暗黙的な敵対的シグナルを符号化するために拡散モデルを用いて合成される。
複合入力構築: 対象 VLM への最終入力は、固定された良性テキストラッパー（ $x_f$ $x_{f}$ ）と複合画像（ $v_{comp}$ $v_{co m p}$ ）から構成される。複合画像は 3 つの要素を統合する：
- タイポグラフィックレンダリング: テキストフィルタを回避するために画像に変換されたテキスト。
- 拡散合成: 暗黙的な敵対的手がかりを導入するために $x_v$ から生成された画像。
- 構造化された妨害画像: VLM の視覚的注意を断片化し、有害な内容を曖昧にするために取得された無関係な画像のセット。
変分推論による最適化: 攻撃者は有害な行動（ $y^*$ ）を誘発する敵対的プロンプトの事後分布を近似するように訓練される。これは、有害な応答を生成する尤度とプロンプトの妥当性及び多様性のバランスを取るエビデンス・ローア・バウンド（ELBO）を最大化することで達成される。対象 VLM はブラックボックスであるため、尤度は VLM の応答の有害性をスコアリングするジャッジ関数を用いて近似される。最適化は、モンテカルロサンプリングに基づいて攻撃者のパラメータ（LoRA アダプタを介して実装）を更新するために、REINFORCE 勾配推定器を利用する。

主要な貢献

確率的フレームワーク: VERA-V は、ペアリングされたテキスト・画像入力に対する変分推論としてマルチモーダル・ジェイルブレイク生成を定式化する最初のフレームワークであり、クロスモーダル相関を捉える結合事後分布の学習を可能にする。
構成的敵対戦略: 本論文は、タイポグラフィックレンダリング、拡散ガイド付き画像合成、構造化された妨害画像を組み合わせる新たな攻撃設計を提案する。このアプローチは、明示的および暗黙的な手がかりを調整して強力な攻撃を生み出す一方で、毒性検出率を低下させる。
スケーラブルかつ多様なサンプリング: 単一点ではなく分布を学習することにより、VERA-V は多様なジェイルブレイクの効率的なサンプリングを可能にし、脆弱性に関する分布論的洞察を提供することで、スケーラブルなレッドチームングを支援する。

実験結果
著者らは、オープンソースモデル（Qwen2.5-VL-7B、InternVL3-8B）および商用最先端モデル（GPT-4o-mini、GPT-4o）の両方において、HarmBenchおよびHADESベンチマーク上で VERA-V を評価した。

性能: VERA-V は、最先端のベースライン（FigStep、HADES、CS-DJ）を一貫して上回った。GPT-4o モデルにおいて、VERA-V は HarmBench で67.75%、HADES で**73.5%の攻撃成功率（ASR）を達成し、最良のベースラインに対して最大53.75%**の改善を示した。
転移性: 1 つのモデルで最適化された攻撃は他のモデルへ効果的に転移し、GPT-4o で生成されたプロンプトは他の対象モデルにおいて 50% 以上の ASR を達成し、汎用可能な脆弱性の発見を示した。
頑健性: さまざまな防御メカニズム（OCR ベースの検出、BlueSuffix、ETA）の下でも、ベースラインが急激に劣化するのに対し、VERA-V は有意に高い成功率を維持した。
アブレーション研究: 実験により、ハイブリッド構成（タイポグラフィ + 拡散 + 妨害画像）が ASR とステルス性の間の最適なトレードオフをもたらすことが確認された。さらに、変分微調整プロセスが決定的に重要であり、「Best-of-N」サンプリング戦略を大幅に上回ることが証明された（ASR 66% 対 8%）。

意義と主張
本論文は、VERA-V が、孤立した単一モダリティの悪用から分布論的レッドチームングアプローチへの移行の必要性を浮き彫りにしていると主張している。堅牢で安全性が整合された VLM でさえ、転移可能で流暢な敵対的プロンプトに対して脆弱であることを実証することで、この研究は現在の防御戦略における重要なギャップを明らかにしている。著者らは、確率的フレームワークを通じてこれらの弱点を露呈させることが、VLM 安全性システムの強化、より強力なフィルタの開発、より効果的なアライメント技術の構築に向けた不可欠な一歩であると主張している。この手法は、安全性フィルタのストレステストとモデルの頑健性の向上を目的とした研究目的のみに厳格に提示されている。

1. 従来の方法：「ハンマー」対「スイスアーミーナイフ」

2. VERA-V の方法：「ジャズバンド」

3. 3 要素の「気散じ」戦略

4. 「フィードバックループ」（コーチ）

5. 結果：新たな記録

まとめ

関連論文