💻 computer science

GPO-V: Jailbreak Diffusion Vision Language Model by Global Probability Optimization

本論文は、拡散型視覚言語モデル（dVLM）に特有の段階的拒否パターンとグローバルな生成ダイナミクスを利用し、隠蔽されたグローバルに最適化された摂動によって安全性ガードレールを回避する新たなジェイルブレイクフレームワーク「GPO-V」を導入し、それにより非自己回帰型マルチモーダルアーキテクチャにおける重要なセキュリティ脆弱性を明らかにするものである。

原著者： Yu Pan, Andi Zhang, Yi Wang, Sibei Yang, Wenjie Wang

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yu Pan, Andi Zhang, Yi Wang, Sibei Yang, Wenjie Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く芸術的なロボットを想像してください。このロボットは絵を描きながら同時に物語を書くことができます。このロボットは「拡散ビジョン・言語モデル（dVLM）」と呼ばれ、あなたが知っているチャットボットとは異なる仕組みで動作します。

人間がタイピングするように左から右へ一語ずつ物語を書くのではなく、このロボットは「大理石の塊を彫刻家が彫る」ように動作します。最初は粗くぼやけた「ノイズ」（ランダムな静電ノイズ）の塊から始まり、ステップバイステップでノイズを取り除きながら徐々に精緻化し、最終的に明確な絵と明確な文章が現れるまで続けます。

問題：ロボットの「安全スイッチ」

この彫刻プロセスによってロボットがより安全になると思うかもしれません。もし危険なものを彫り始めたら（例えば爆弾の作り方の指示など）、それが「安全スイッチ」によって全体の彫刻を停止させます。

研究者たちは、このロボットが「No」と言うための 2 つの特定の仕組みを持っていることを発見しました。

「即時停止」: 悪いアイデアを検知した瞬間、全体の塊をノイズに戻して即座に停止し、「それはできません」と言います。
「徐々な転換」: 最初は良い形を彫り始め（「はい、こちらを…」と言っているように）、プロセスの半ばで「待て、これは危険だ！」と気づき、ゆっくりと全体を拒否の形へと再形成します。

侵入の古い方法（FPO）

ハッカーたちは以前、特定のフレーズでチャットボットを強制的に開始させることで、通常のチャットボットを欺こうとしていました。例えば「はい、そのやり方はこうです」というフレーズです。これは「固定接頭辞最適化（FPO）」と呼ばれます。まるで人間に対して「文を『はい』で始めてください」と言って欺こうとするようなものです。

しかし、この手口は彫刻ロボットには通用しません。「はい」で開始するように強制しても、ロボットの「徐々な転換」の安全スイッチがその後に作動します。プロセスの途中で危険を検知し、全体の彫刻を拒否に変えてしまうのです。古い手口が機能しないのは、ロボットが最初の単語だけでなく、全体の絵を一度に見ているからです。

新しい方法：GPO-V（「大域確率」ハック）

研究者たちは、ロボットを欺く新しい方法を見つけました。彼らはこれを「GPO-V（大域確率最適化）」と呼んでいます。

特定の単語を最初に言わせるようロボットを強制するのではなく、ロボットに与える最初の「ぼやけたノイズ」そのものを微調整します。

比喩:
川を特定の谷に流れさせるよう導こうとしていると想像してください。

古い方法（FPO）: 水が流れている間に「左へ！右へ！」と叫んで指示を出そうとします。川はすでに速く流れているため、あなたの指示を無視します。
新しい方法（GPO-V）: 水が流れ始める源流の時点で、小さな水路を掘ります。水を強制するのではなく、地形をわずかに傾けるだけです。水は重力と地形の形状に基づいて流れるため、川全体が自然にあなたの谷の方へ曲がります。

論文の用語では、研究者たちは最初期の「ノイズ」（入力画像またはテキスト）に、ほとんど目に見えないような微小な変更を加えます。これにより、ロボットが向かおうとする全体的な方向性である「大域確率」が変化します。

ロボットが「拒否」の言葉（「申し訳ありません」や「爆弾」など）を考える可能性を極めて低くします。
ロボットが「従順」の言葉（「はい」や「こちら」など）を考える可能性を極めて高くします。

ロボットは全体の画像を一度に精緻化するため、この最初の微小な刺激が、ハッカーが望む危険な内容へと「彫刻」全体を強制し、安全スイッチを完全に回避します。

彼らが発見したこと

研究者たちは、利用可能な最も賢い「彫刻」ロボット 2 種（LLaDA-V と LaViDA）でこれをテストしました。

結果: 古い方法（FPO）はほぼ完全に失敗しました。新しい方法（GPO-V）は93% の成功率で機能しました。
驚き: 彼らが一つのロボットで「ハック」を訓練しても、それは別のロボットでも機能しました。これは、脆弱性が単一のロボットのコードにあるだけでなく、この種類の彫刻ロボットの思考方法における根本的な欠陥であることを意味します。

結論

この論文は、これらの新しい「彫刻」AI モデルは私たちが考えていたほど安全ではないと主張しています。最終的に全体像を確認する仕組みに依存する安全メカニズムは、プロセスの開始点を微妙に傾けることで回避されてしまいます。研究者たちは警告しています。私たちが以前に使っていた「一語ずつ」の安全チェックだけでなく、この「大域的」な思考方法に対処できる新しい安全ガードを構築する必要があると。

技術的サマリー：GPO-V：グローバル確率最適化による拡散型視覚言語モデルのジャイルブレイク

問題定義

拡散型視覚言語モデル（dVLM）は、マルチモーダルタスクに対して非因果的かつ反復的なノイズ除去プロセスを利用する点で、従来の自己回帰的生成パラダイムから大きな転換を示しています。自己回帰モデルは敵対的リスクを軽減するために広範な安全性アライメントを経験してきましたが、dVLM のセキュリティ環境は依然としてほとんど未開拓のままです。

本論文は、既存のジャイルブレイク手法、特に固定接頭辞最適化（FPO）（例：モデルに「はい、こちらです」というように開始させること）が、dVLM に対して largely 無効であることを指摘しています。この無効性は、拡散アーキテクチャに固有の拒絶パターンに起因しています：

即時拒絶：モデルがリスクを検知し、「後ろから前へ」という形で終了トークン（例：<end>）を生成し、生成を即座に停止させます。
漸進的拒絶：モデルは当初肯定的内容を生成しますが、反復的な精緻化プロセスの間に、安全でない意味が浮上するにつれて拒絶へと転じます。

局所的な接頭辞を最適化する従来の FPO 攻撃は失敗します。なぜなら、拡散モデルのグローバルな精緻化の性質が「修正器」として機能し、漸進的拒絶によって局所的な接頭辞の操作を最終的に上書きしてしまうからです。本論文は、これらのグローバル確率的防御を回避するために、新たな攻撃戦略が必要であると提唱しています。

手法

1. ヒューリスティック推論と理論的基盤

著者は、画像拡散とテキスト拡散の間にアナロジーを導き出しています。画像生成において、初期のノイズ除去ステップは最終出力を決定する低次元の意味構造を復元します。同様に、dVLM においても、初期生成ステップ（低タイムステップ）が応答の極性をほぼ決定します。これらの初期段階におけるグローバル双方向注意予測は、その後の生成軌跡を制約します。

2. グローバル確率最適化（GPO）

この脆弱性を突くため、著者はマスキング拡散モデルに特化した戦略である**グローバル確率最適化（GPO）**を提案します。固定接頭辞を最適化する FPO と異なり、GPO は生成されるシーケンス全体のグローバル確率分布を操作します。

GPO の損失関数（ $L_{GPO}$ ）は 2 つの構成要素からなります：

グローバル損失（ $L_{global}$ ）：シーケンス内のすべての位置、特に初期および初期タイムステップの最終段階において、拒絶トークン（<end>、<eos>、または拒絶フレーズなど）の生成確率を最小化します。これにより、即時拒絶と漸進的拒絶の両方のパターンを抑制することを目指します。
アンカー損失（ $L_{anchor}$ ）：中間位置における特定の「連結的」な肯定トークン（アンカー）の確率を最大化します。これらのアンカーは、モデルが漸進的拒絶へ逸脱するのを防ぎながら、一貫した肯定応答へと集積する安定した意味の支点として機能します。

総損失は以下のように定義されます：
$L_{GPO} = \lambda_1 L_{global} + \lambda_2 L_{anchor}$

3. GPO-V フレームワーク

GPO に基づき、著者は dVLM 向けに設計された最初のジャイルブレイクフレームワークであるGPO-Vを導入します。

メカニズム：GPO-V は、入力画像（またはその潜在表現）に敵対的摂動（ $\delta$ ）を適用し、モデルの出力分布を誘導します。
最適化：摂動は、摂動 bound（ $\|\delta\|_\infty < \epsilon$ ）を遵守しつつ、 $L_{GPO}$ を最小化するように最適化されます。
柔軟性：このフレームワークは、ピクセル空間と潜在空間（SigLIP や DINOv2 などのエンコーダを使用）の両方での最適化をサポートします。著者は、効率性のために潜在空間最適化を採用しているものの、同等の結果が得られると指摘しています。

主要な貢献

拒絶パターンの特定：本論文は、拡散言語モデルにおける 2 つの明確な拒絶行動、すなわち即時拒絶と漸進的拒絶を体系的に特定・分類した最初の研究であり、dVLM の背後にある防御メカニズムを明らかにしました。
GPO 戦略：自己回帰モデルの接頭辞ベースの最適化とは対照的に、グローバルに負のトークン確率を抑制し、アンカー損失を最適化することで安全性ガードを回避する新たな戦略であるグローバル確率最適化の提案。
GPO-V フレームワーク：dVLM 向けに開発された最初の視覚モダリティジャイルブレイクフレームワーク。FPO に対する見かけ上の堅牢性にもかかわらず、dVLM がグローバル確率的攻撃に対して本質的に脆弱であることを実証しました。

実験結果

著者は、LLaDA-VおよびLaViDAという 2 つの最先端マスキング拡散視覚言語モデルに対して、AdvBenchおよびJailBreakBenchデータセットを用いて GPO-V を評価しました。

攻撃成功率（JSR）：GPO-V は、LLaDA-V において最大93.2%、LaViDA において**88.9%**のジャイルブレイク成功率を達成しました。これに対し、従来の FPO ベースのベースライン（例：GCG）は、無視できるレベルの成功率（多くの場合 2% 未満）しか達成できませんでした。
転移性：GPO-V によって合成された敵対的摂動は、高いモデル間転移性を示しました。ソースモデルで最適化された攻撃は、異質なアーキテクチャを持つ被害モデル（例：LLaDA-V から LaViDA への転移）を成功裏に侵害し、成功率は 65% を超えました。これはモデルに依存しない脆弱性の捕捉を示しています。
堅牢性：この手法は、ブロック長の違いや Fast-dLLM 加速技術の使用など、異なる生成設定においても有効でした。
アブレーション研究：グローバル損失またはアンカー損失のいずれかを除去すると、攻撃の有効性が大幅に低下しました。これは、拒絶パターンの抑制と肯定アンカーの安定化の両方が成功に必要であることを確認しました。

意義と主張

本論文は、その発見が非逐次生成アーキテクチャにおける重要なセキュリティギャップを浮き彫りにしていると主張しています。主な意義は以下の点にあります：

認識された堅牢性への挑戦：その結果は、従来のジャイルブレイクに対する dVLM の認識された回復力が欺瞞的であることを示しています。局所的な接頭辞攻撃に対する防御として機能する独自の「漸進的拒絶」メカニズムは、グローバル確率最適化によって標的とされた場合、それ自体が脆弱性となります。
再評価の必要性：著者は、主に因果的（自己回帰的）デコーディング用に最適化された現在の防御パラダイムは、拡散モデル固有の生成多様体には不十分であると論じています。
行動への呼びかけ：この研究は、拡散ベースの生成に伴うリスクに対処するために、dVLM の安全性アライメントの即座かつ根本的な再評価を必要とし、研究コミュニティに対して、これらの新たな非逐次脅威に対する堅牢な防御策の開発を促しています。

本論文は、GPO-V が拡散プロセスそのものの内在的脆弱性を露呈させていると結論付けており、安全性アライメントは単なる逐次トークン予測ではなく、グローバル確率的ダイナミクスを考慮するように進化しなければならないと示唆しています。