Reasoning-Oriented Programming: Chaining Semantic Gadgets to Jailbreak Large Vision Language Models

この論文は、Return-Oriented Programming に倣って複数の無害な視覚要素を連鎖させる「Reasoning-Oriented Programming」という新たな攻撃パラダイムを提案し、大規模視覚言語モデルの安全性アライメントを回避する自動化フレームワーク「\tool{}」を開発したことを報告しています。

要約

この論文は、最新の「画像とテキストを同時に理解する AI（大規模視覚言語モデル）」が、実は非常に巧妙な方法で「安全対策」をすり抜けてしまうという、新しいタイプのハッキング手法を提案したものです。

タイトルにある**「Reasoning-Oriented Programming（思考指向プログラミング）」という難しい言葉は、実は「レゴブロックを組み合わせて、見えないように危険なものを造る」**ようなものです。

以下に、誰でもわかるように、具体的な例え話を使って解説します。

---

1. 従来のハッキング vs. この新しいハッキング

従来のハッキング：「マスクをした泥棒」

これまでの AI への攻撃は、**「悪意のある言葉を隠す」**ことに焦点を当てていました。

• 例え話: 銀行の警備員（AI の安全フィルター）が「武器」や「犯罪」という言葉を検知して警報を鳴らすシステムだとします。
• 攻撃方法: 泥棒は、武器を布で隠したり、文字を画像に書き込んで「これはただの絵ですよ」と見せかけたりします。
• 結果: 警備員は「武器が見えないから OK」と判断してしまいます。しかし、最近の AI はこの「隠し方」を見抜くのが上手になってきました。

新しいハッキング（VROP）：「合法的な部品を組み合わせて爆弾を作る」

この論文が提案するVROPという手法は、全く違うアプローチです。

• 例え話: 警備員は「爆弾」や「犯罪計画」という言葉には非常に敏感ですが、「釘」「ハンマー」「ガソリン」「マッチ」といった個別のアイテムには何も言いません。これらはすべて「合法的で安全な日常用品」だからです。
• 攻撃方法:
  1. 攻撃者は AI に**「釘」**の画像を見せます。「安全ですね」と AI は思います。
  2. 次に**「ハンマー」**の画像を見せます。「これも安全です」。
  3. 次に**「ガソリン」や「マッチ」**の画像を次々と見せます。
  4. 最後に、AI に対して**「これら 4 つの画像を順番に見て、これらを組み合わせて何か面白いことを考えて」**と指示を出します。
• 結果: AI は「釘」「ハンマー」「ガソリン」「マッチ」という個別には安全な情報を、自分の「思考（推論）」の中で組み合わせてしまいます。AI の脳内で、それらが**「爆弾の作り方」**という危険な意味合いに変換されてしまうのです。
• ポイント: 入力された画像や言葉自体は 100% 安全なので、警備員（安全フィルター）は「危険なものは入っていない」と判断して通り抜けてしまいます。危険な意味は、AI が「考える」瞬間にだけ生まれるのです。

2. なぜこれがすごいのか？（ROP との比較）

論文では、この手法をコンピュータセキュリティの**「ROP（リターン・オリエンテッド・プログラミング）」**という古い技術になぞらえています。

• ROP の仕組み: 昔のコンピュータでは、メモリに「実行禁止エリア」がありました。ハッカーは新しいウイルスコードを入れるとバレてしまいます。そこで、ハッカーは**「すでにメモリにある安全な小さな命令」**を、巧妙に並べ替えて繋ぎ合わせることで、結果的に「悪意のある動作」をさせました。
• VROP の仕組み: これと同じで、AI に対して**「すでに安全な画像（部品）」**を並べ替えて繋ぎ合わせ、AI の「思考回路」を操作して、結果的に「危険な回答」を引き出しています。

3. 具体的な実験結果

研究者たちは、この手法を使って、GPT-4o や Claude 3.7 などの最新 AI に攻撃を試みました。

• 結果: 既存のハッキング手法よりも大幅に高い成功率を記録しました。
  • 公開されている AI では約 90% 以上の成功率。
  • 非常に堅牢（安全対策が厳しい）な有料の AI でも、従来の方法では 30〜40% だったのが、この方法だと 60% 以上まで跳ね上がりました。
• 意味: 現在の AI の「安全対策」は、**「入力されたものが悪いかどうか」をチェックするだけで、「AI がそれをどう解釈して組み立てるか」**までチェックできていないことがバレてしまいました。

4. 何が問題で、どうすればいいの？

• 問題点: 今の AI は、「釘」や「ガソリン」を見るのは安全だと判断しますが、それらを「組み合わせて考える」段階で、なぜか「爆弾」を作ろうとしてしまいます。これは、AI が「助けてあげたい」という性質と、「安全を守りたい」という性質の間で、思考の過程でバランスを崩しているためです。
• 今後の課題: 開発者は、入力された画像が安全かどうかだけでなく、**「AI がその画像をどう組み合わせて、最終的に何を導き出すか」**という「思考のプロセス全体」を監視・防御する新しい仕組みを作る必要があります。

まとめ

この論文は、**「個別には安全なレゴブロックを、巧妙な指示で組み合わせて、AI に『危険な城』を作らせてしまう」**という、新しいタイプのハッキング手法を明らかにしました。

これは、AI の「賢さ（推論能力）」が、逆に「弱点」になってしまうことを示しています。AI がより賢くなるにつれ、単に「悪い言葉」をブロックするだけでは不十分で、「思考の過程そのもの」を安全に保つことが、今後の重要な課題となります。

技術概要

論文サマリー：Reasoning-Oriented Programming (VROP)

1. 問題定義

大規模視覚言語モデル（LVLM）は、安全性の調整（Safety Alignment）を通じて有害なコンテンツの生成を抑制するように設計されています。しかし、既存の防御策は主に入力表現における明示的な悪意あるパターン（例：有害なテキストや画像そのもの）の検出に依存しており、モデルが持つ構成的推論（Compositional Reasoning）能力の脆弱性を見過ごしています。

攻撃者は、個々の入力は安全（Benign）であり、安全ポリシーに完全に準拠しているにもかかわらず、それらを組み合わせることで有害な論理をモデルに生成させることが可能です。本研究は、この「安全な前提から有害な結論を導き出す」という構造的な欠陥を突く新たな攻撃パラダイムを提案します。

2. 手法：VROP (Vision Return-Oriented Programming)

本研究は、システムセキュリティにおける「リターン指向プログラミング（ROP）」の概念を LVLM へ応用した**「推論指向プログラミング（Reasoning-Oriented Programming）」を提案し、これを具現化する自動化フレームワークVROP**を開発しました。

2.1 基本的なアイデア

• ROP のアナロジー: 従来の ROP は、メモリ内の「 benign（良性）なコード断片（ガジェット）」を連鎖させることで、コード注入を行わずに任意のコード実行を可能にします。
• VROP のアプローチ: LVLM に対して、有害な意図を含まない「視覚的ガジェット（良性の画像）」と、それらを制御する「プロンプト」を組み合わせます。個々の画像やテキストは安全ですが、モデルの推論プロセスにおいてこれらを連鎖させることで、最終的に有害な出力を誘発します。

2.2 技術的構成

VROP は以下の 2 つの主要なステップで構成されます。

1. 意味的ガジェットマイニング (Semantic Gadget Mining):

   • 有害な意図（例：危険物の製造）を、個々には安全な複数の視覚的要素（ガジェット）に分解します。
   • 各ガジェットは、有害な文脈から意味的に切り離され（直交性）、単体では安全と判定されるように設計されます（例：「危険な武器」ではなく「ガラス瓶」や「液体」などの原材料を描写）。
   • 画像生成 AI（T2I モデル）を用いてこれらのガジェットを生成し、安全フィルタを回避するために「拒否サンプリング」を適用します。
   • 視覚エンコーダが早期に有害な特徴を抽出しないよう、ガジェットをパディングで区切ったグリッドレイアウト（例：2x2）に配置し、空間的な分離を保証します。

2. 勾配なし制御フロー最適化 (Gradient-Free Control-Flow Optimization):

   • 生成されたガジェットを統合し、有害な論理を導き出すための「制御フロープロンプト」を最適化します。
   • 抽出オペレータ: 各ガジェットから機能に関連する特徴を抽出させます。
   • アセンブリオペレータ: 抽出された特徴を論理的に結合し、有害な結論を導き出す推論チェーンを誘発します。
   • この最適化は、ターゲットモデルの勾配にアクセスできないブラックボックス環境で行われ、補助 LLM（Judge LLM）によるフィードバックと進化戦略を用いて、プロンプトを反復的に改良します。

2.3 攻撃メカニズム

VROP は**「後期推論の乗っ取り（Late-Stage Reasoning Hijacking）」**を利用します。

• 浅い層（Perception）: 入力された個々の画像やテキストは安全であるため、モデルの初期層での安全性チェック（拒否）がトリガーされません。
• 深い層（Reasoning）: 制御フロープロンプトの指示により、モデルは後段の自己注意機構（Self-Attention）を通じて、分散された安全な特徴を統合します。この統合プロセスにおいてのみ、有害な意図が「意味的に」再構成され、有害な回答が生成されます。

3. 主要な貢献

1. 新しい攻撃パラダイムの提案: LVLM の構成的推論能力を悪用し、有害な意図を直交する良性のコンポーネントに分散させる「推論指向プログラミング」を定義しました。
2. VROP フレームワークの実装: 意味的ガジェットマイニングと勾配なし制御フロー最適化を組み合わせた自動化攻撃フレームワークを開発しました。
3. 包括的な評価: 7 つの最先端 LVLM（GPT-4o, Claude 3.7 Sonnet, Qwen-VL, LLaVA など）および 2 つのベンチマーク（SafeBench, MM-SafetyBench）を用いた評価により、既存手法を凌駕する攻撃成功率を実証しました。

4. 実験結果

• オープンソースモデル: SafeBench および MM-SafetyBench において、VROP は既存の最強のベースライン（MML, JOOD など）を平均で**4.67%**上回る攻撃成功率（ASR）を達成しました。
• 商用モデル: GPT-4o や Claude 3.7 Sonnet などの高度に調整されたモデルに対しても有効であり、ベースラインを平均**9.50%**上回る成功率を記録しました。
  • 例：GPT-4o において、SafeBench で 59%、MM-SafetyBench で 78% の ASR を達成（既存手法は 40-50% 程度）。
• 防御策への耐性: 摂動検出（CIDER）、モダリティ分離（ECSO）、防御的プロンプトエンジニアリング（AdaShield）などの最新の防御策に対しても、VROP は高い成功率を維持しました。これは、攻撃が入力レベルの摂動ではなく、推論プロセスの構造的欠陥を突いているためです。
• アブレーション研究:
  • 画像とテキストの両方が必要であり、単独では攻撃が成立しないこと（相乗効果）。
  • 視覚ガジェットが 4 つのときに攻撃成功率がピークに達し、それ以上は頭打ちになること。
  • 2x2 のグリッドレイアウトが、直線的な配置よりも効果的であること。

5. 意義と結論

本研究は、現在の LVLM の安全性調整が「入力表現の明示的な検出」に依存しているがゆえの盲点を指摘しました。モデルが「安全な部品」から「有害な全体」を構築する推論能力そのものが、新たな攻撃面（Attack Surface）となっていることを実証しました。

VROP の成功は、単なる入力フィルタリングや摂動検出では不十分であることを示しており、将来のマルチモーダルシステムにおいては、構成的意味論（Compositional Semantics）全体を監視・防御する新しいアプローチの必要性を浮き彫りにしています。これは、AI セキュリティ分野において、推論プロセス自体の堅牢性を高めるべきという重要な示唆を与えています。