💻 computer science

DarkLLM: Learning Language-Driven Adversarial Attacks with Large Language Models

本論文は、10 億パラメータの大規模言語モデルを活用して自然言語の指示を多用途かつ高効率な敵対的摂動に変換し、多様な視覚およびマルチモーダル基盤モデルに対する攻撃を統合・拡張する新たなフレームワーク「DarkLLM」を提案する。

原著者： Ye Sun, Xin Wang, Jiaming Zhang, Yifeng Gao, Yixu Wang, Yifan Ding, Qixian Zhang, Henghui Ding, Xingjun Ma, Yu-Gang Jiang

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ye Sun, Xin Wang, Jiaming Zhang, Yifeng Gao, Yixu Wang, Yifan Ding, Qixian Zhang, Henghui Ding, Xingjun Ma, Yu-Gang Jiang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

超賢いロボットが世界を「見る」ことができると想像してください。それは物体を識別し、場面を記述し、写真内の物に輪郭を描くことさえできます。これが現代の AI モデル（CLIP、SAM、ChatGPT など）が行うことです。

長年にわたり、セキュリティ研究者たちは、画像に人間の目には見えないほど小さな「ノイズ」の微粒子（カメラレンズのほこりのようなもの）を追加することで、これらのロボットを欺こうとしてきました。これらは人間には見えないほど小さいですが、ロボットを完全に混乱させるものです。

古い手口の課題
以前、これらの「ほこりの微粒子」を作成することは、すべての鍵に対して異なるマスターキーを持つようなものでした。車を識別するロボットを欺きたければ、特定の鍵が必要でした。輪郭を描くロボットを欺きたければ、全く異なる鍵が必要でした。英語を話すロボットを欺きたければ、また別の鍵が必要でした。それは遅く、硬直的であり、新しい種類のロボットには容易に適応できませんでした。

新しい解決策：DarkLLM
この論文は、これらの AI モデルを攻撃する新しい方法であるDarkLLMを紹介しています。複雑な数学的式を用いて「ほこりの微粒子」を計算する代わりに、研究者たちは大規模言語モデル（人間の言語を理解する AI）を「マスターキー製造者」として訓練しました。

これがどのように機能するか、簡単な比喩を用いて説明します。

1. 「魔法の翻訳者」（LLM コントローラー）

「人間」と「ロボット破壊」の両方を話す、非常に熟練した翻訳者を想像してください。

従来の方法: 欺こうとする特定のロボットごとに、複雑な数学的方程式を書く必要がありました。
DarkLLM の方法: 単に翻訳者に平易な英語で話しかけるだけです。
- あなたは言います：「この猫の写真を犬だと誤認させるようにロボットを作れ」
- または：「この写真でロボットが何も見えないように失敗させるように作れ」
- または：「猫の輪郭を描くのを失敗させ、同時に猫を犬だと誤認させるようにロボットを作れ」

翻訳者（LLM）はあなたの意図を理解し、即座にあなたの言葉を攻撃の秘密の「設計図」に変換します。

2. 「見えない画家」（摂動生成器）

翻訳者が設計図を作成すると、システムの第二の部分が「見えない画家」として機能します。それはその設計図を受け取り、画像に小さな見えない「ほこりの微粒子」を描き込みます。

翻訳者があなたの特定の指示（例：「セグメンテーションを失敗させる」）を理解していたため、画家は、その特定の結果を達成するためにどのような種類のほこりを適用すべきかを正確に知っています。

3. 「万能リモコン」

DarkLLM の最も強力な部分は、それが万能リモコンのように機能することです。

一つの指示、多数のターゲット: 同じ指示を与えて、画像を識別するロボット、輪郭を描くロボット、あるいはあなたと会話するロボットを欺くことができます。
クロスモデルの魔法: この論文は、DarkLLM によって作成された単一の「ほこりの微粒子」が、車を認識するように訓練されたロボット、輪郭を描くように訓練されたロボット、そしてチャットするように訓練されたロボットを、すべて同時に欺くことができることを示しています。それはそれらすべてに存在する「弱点」を見つけ出しました。

彼らが証明したことは何か
研究者たちは、このシステムを 13 の異なるデータセットと 15 の異なる AI モデル（CLIP、SAM などの有名なモデルや、GPT-4o や Gemini などの商用チャットボットを含む）でテストしました。

機能する: 「ロボットがこの画像を認識できないように失敗させる」という文を単にタイプするだけで、システムがロボットを混乱させる画像を正常に作成したことを示しました。
柔軟性: 「これを犬だと偽装せよ」といった特定のトリックや、「ロボットを破壊せよ」といった一般的なトリックの両方を要求でき、システムは両方に対応しました。
**恐ろしい（セキュリティにとっては良い意味で）: 一つの単純な言語指示で、これほど多くの異なる種類の高度な AI を破壊できるという事実は、これらの強力なモデルが共通の脆弱性を共有していることを示唆しています。

結論
DarkLLMは、自然言語を AI 視覚に対する武器に変えるツールです。AI をハッキングするために数学の博士号が必要なのではなく、質問の仕方が分かればよいだけです。この論文は、AI に何が起こってほしいかを英語で説明できれば、おそらくそれを強制的に実行させることができ、それはあなたがツールを訓練した AI とは全く異なる AI であっても可能であることを実証しています。

著者らは、これが安全性のためのツールであることを強調しています。より良い鍵を作るためには鍵を壊す方法を知る必要があるのと同様に、この研究は開発者がこれらの強力な AI システムがどれほど簡単に欺かれるかを理解し、より強力な防御を構築するのに役立ちます。

技術的サマリー：DarkLLM

問題提起

大規模な視覚およびマルチモーダル基盤モデル（CLIP、SAM、最先端の MLLM など）は、知覚および推論タスクの中核を担うようになっていますが、敵対的摂動に対して依然として極めて脆弱です。従来の敵対的攻撃手法は、転移性とスケーラビリティという 2 つの根本的な限界に直面しています。

転移性: 既存の攻撃は、特定のアーキテクチャやタスク（分類対セグメンテーションなど）に特化して設計されることが多く、異なるモデルを同時に侵害する単一の摂動を生成することが困難です。
スケーラビリティ: 現在の手法は、一般的に「1 つのターゲット、1 つの最適化」という硬直的なパラダイムに従っています。新しい敵対的目標（ターゲットクラスの切り替え、非対象攻撃から対象攻撃への切り替え、VLM からセグメンテーションモデルへの移行など）ごとに、専用の最適化パイプラインと再設計が必要となり、敵対的意図の柔軟な指定を阻害しています。

本論文は、大規模言語モデル（LLM）のセマンティック推論能力を活用し、モデル間で転移可能かつ目標間でスケーラブルな新しいフレームワークを設計できるかという問いを投げかけます。

手法：DarkLLM

著者らは、DarkLLM、すなわち言語駆動型の敵対的攻撃フレームワークを提案します。固定された最適化目標を使用するのではなく、DarkLLM は敵対的生成を言語条件付き合成問題として再定義します。このフレームワークは主に 2 つの段階で構成されます。

1. フレームワークアーキテクチャ

LLM を敵対的コントローラーとして: 大規模言語モデル（InternVL2.5-1B から初期化されたもの）がコントローラーとして機能します。自然言語の指示（例：「この画像のセグメンテーションモデルがセグメンテーションに失敗するようにしてください」）を受け取り、それらを高レベルの潜在敵対的埋め込みへマッピングします。
特殊制御トークン: LLM の語彙には、[VLM_TGT]、[SEG_ADV]、[MULTI_ADV] などの特殊制御トークンが拡張されています。LLM が特定のトークンを含む応答を生成すると、対応する敵対的ジェネレーターがトリガーされます。
潜在埋め込みの抽出: 制御トークンに対応する隠れ状態を抽出し、2 層の MLP を介して投影して、洗練された攻撃信号（ $E_{adv}$ ）を形成します。
条件付き摂動ジェネレーター: 軽量で学習可能なジェネレーター（ $F_{gen}$ ）は、潜在敵対的埋め込み $E_{adv}$ とランダムノイズ埋め込み $Z$ を入力として受け取ります。ここで、 $E_{adv}$ をキーおよびバリューとして用いるクロスアテンション機構を採用し、ノイズ埋め込みの洗練を誘導してピクセルレベルの敵対的摂動（ $\delta_{adv}$ ）を合成します。摂動は $L_\infty$ ノルム制約（ $\|\delta_{adv}\|_\infty \leq \epsilon$ ）によって制限されます。

2. 学習戦略

攻撃タイプの多様性（対象、非対象、セグメンテーション、マルチモデル）に対処するため、著者らは分離型プログレッシブ学習戦略を採用します。

段階 1（対象指示微調整）: LLM コントローラーを、複雑な攻撃コマンドのセマンティック解析を習得させるために、対象 QA 形式データで指示微調整（LoRA 経由）します。
段階 2（統合攻撃学習）: コントローラーを段階 1 の重みで初期化します。すべての攻撃タイプを共同で学習しますが、対象ジェネレーターはその能力を維持するために凍結し、非対象およびマルチモデルジェネレーターをコントローラーと共に学習します。これにより、互換性のない目標間の勾配干渉を防止します。

3. 最適化と代理モデル

このフレームワークは、転移ベースのブラックボックス攻撃設定を使用し、転移性を確保するために未見のターゲットに対して代理モデルを最適化します。

セグメンテーション（SAM）の場合: プロンプトとバックボーンの転移性に対処するため、著者らはマルチプロンプトアンサンブル（点プロンプトとボックスプロンプトをランダムにサンプリング）を使用し、マスク予測を全背景境界へ押しやるために二値交差エントロピー（BCE）損失を最適化します。これにより、特定のバックボーン活性化への過学習を回避します。
視覚言語モデル（CLIP/MLLM）の場合: 代理スケーリング戦略を使用し、分散学習中に多様な CLIP アーキテクチャと事前学習データセットのアンサンブルを採用することで、勾配の多様性と転移性を強化します。

主要な貢献

統合フレームワーク: DarkLLM は、対象、非対象、セグメンテーション、マルチモデル攻撃を単一の指示追従パラダイム内で統合した最初のフレームワークです。
言語駆動型生成: LLM を活用して自然言語の指示を潜在攻撃ベクトルに変換し、パイプラインの再設計なしに敵対的意図を柔軟に指定可能にします。
モジュール設計: 制御トークンと専用ジェネレーターの使用により、モジュール化されたスケーラビリティを実現し、システム全体を最初から再学習することなく新しい攻撃タイプを追加可能にします。
包括的な評価: 本手法は、CLIP、SAM（各種バージョン）、および最先端商用 MLLM（GPT-4o、Gemini、Qwen-VL）を含む 4 つのタスク、13 のデータセット、15 のモデルで評価されました。

実験結果

非対象攻撃: DarkLLM は、ゼロショット分類、画像 - テキスト検索、画像キャプション生成において強力な性能を達成します。X-Transfer や AnyAttack などの最先端ベースラインを上回るか、それらと同等の性能を示し、異なる CLIP エンコーダ間での優れた転移性を実証しています。
対象攻撃: 最先端商用 MLLM において、DarkLLM は高い攻撃成功率（ASR）を達成します。例えば、InternVL-2B を使用して GPT-4o で 67.7% の ASR、Gemini-3-Flash で 60.6% の ASR に達し、AnyAttack などのユニバーサルベースラインを大幅に上回っています。
セグメンテーション攻撃: DarkLLM は、SAM 変種（Base、Huge、HQ、SAM2）およびデータセット（ADE、COCO、Cityscapes）全体で大幅な mIoU 劣化を引き起こします。特にクロスバックボーン転移シナリオにおいて、UAD や DarkSAM などの専門的なベースラインを一貫して上回ります。
マルチモデルスケーラビリティ: DarkLLM によって生成された単一の摂動は、セグメンテーション（SAM）と認識/キャプション生成（CLIP/MLLM）の両方を同時に劣化させ、多様な基盤モデルアーキテクチャ間で共有される脆弱性を明らかにします。
堅牢性: 本攻撃は、コントラストや明るさの調整などの一般的な前処理防御に対しても有効です。

意義と主張

本論文は、DarkLLM が現代の基盤モデルにおけるシステム的な脆弱性を明らかにし、機能的に異なるモデルが、統合された言語駆動アプローチを通じて悪用可能な根本的なセマンティック的弱点を共有していることを実証すると主張しています。

著者らは、DarkLLM を単なる攻撃ツールではなく、重要な安全性評価メカニズムとして位置づけています。自然言語を通じて複雑で多目的な敵対的目標を指定できる能力は、より堅牢な防御の必要性を浮き彫りにすると論じています。この研究は、コミュニティに対して、柔軟でスケーラブルかつ転移可能な攻撃に対する基盤モデルの堅牢性を評価するための統合ベンチマークを提供し、最終的にはより回復力のある AI システムの開発を導くことを目指しています。著者らは明示的に、本成果物が「レッドチーム活動」および「プライバシー保護」のために使用されることを意図しており、悪意的な使用は厳しく禁止されていると述べています。