SPARK: Jailbreaking T2V Models by Synergistically Prompting Auditory and Recontextualized Knowledge

この論文は、安全な音声記述や映画術的指示を組み合わせることで、一見 benign なプロンプトからテキスト生成動画（T2V）モデルを回避させ、意図した安全違反コンテンツを生成させる新たなジャイルブレイク手法「SPARK」を提案し、複数のモデルで高い成功率を達成したことを報告しています。

要約

この論文は、最新の「テキストから動画を生成する AI（T2V モデル）」が、実は非常に巧妙な抜け道を持っていることを発見し、その仕組みを解明した研究です。

タイトルは**「SPARK」**。火花を散らすように、安全な言葉の組み合わせから危険な動画を「点火」してしまう攻撃手法を提案しています。

以下に、専門用語を排し、身近な例え話を使って分かりやすく解説します。

---

🎬 1. 背景：AI は「世界シミュレーター」に進化している

昔の AI は、単に「猫」と書けば猫の絵を描くだけでした。しかし、最新の AI（Sora や Kling など）は、**「物理法則や因果関係が分かる世界シミュレーター」**に進化しました。

• 例： 「ガラスが割れる音」という言葉を入力すると、AI は「ガラスが割れている映像」を想像して作ります。
• 問題点： この「音と映像の結びつき」が強すぎるため、「禁止された言葉（暴力やポルノなど）」を使わなくても、その「結果」や「雰囲気」を言葉で誘導すれば、AI は勝手に危険な映像を作ってしまうという弱点が見つかりました。

🔓 2. 従来の攻撃は「変装」だった（なぜ失敗したのか）

これまでの「ジャイルブレイク（セキュリティ突破）」攻撃は、**「言葉の言い換え」**が主流でした。

• 例： 「血（Blood）」という禁止語を「赤い液体（Red Liquid）」と言い換える。
• 弱点： AI のセキュリティフィルターは「赤い液体」という言葉自体を怪しいと判断してブロックしてしまいます。まるで、**「泥棒が『泥棒』と言わないために『泥棒』と書かれた服を着て、代わりに『泥棒』と書かれた仮面を被る」**ようなもので、結局はバレてしまうのです。

⚡ 3. SPARK の新戦略：「安全なパーツ」で「危険な火花」を起こす

この論文が提案するSPARKという手法は、全く違うアプローチをとります。
**「禁止された言葉を使わず、すべてが安全に見えるパーツを組み合わせて、AI の『想像力』を暴走させる」**というものです。

これを**「料理のレシピ」**に例えてみましょう。

• 従来の攻撃： 「毒入りスープ」という禁止されたレシピを、名前だけ「健康スープ」に変えて出そうとする（バレる）。
• SPARK の攻撃：
  1. 安全な土台（Semantic Anchor）： 「映画の撮影現場」という、何の問題もない舞台設定を作る。
  2. 音のトリガー（Auditory Trigger）： 「鋭い悲鳴が聞こえる」「金属がぶつかる音」という音を描写する。
  3. 雰囲気の調整（Stylistic Modulator）： 「ヒッチコック監督のサスペンス映画のような雰囲気」というスタイルを指定する。

結果：
AI は「悲鳴」や「金属音」という音と、「サスペンス」という雰囲気を聞くと、**「ああ、これは『襲撃』や『手術室での殺人』のシーンに違いない！」**と勝手に推測して、禁止された暴力シーンそのものを映像として作り出してしまいます。

重要なポイント：
入力された言葉（テキスト）自体はすべて「安全」です。

• 「悲鳴」＝ 安全な言葉
• 「サスペンス映画」＝ 安全な言葉
  しかし、これらを組み合わせた**「意味の火花（SPARK）」**が AI の頭の中で炸裂し、危険な映像が生まれてしまうのです。

🛡️ 4. なぜセキュリティ対策は無力なのか？

現在の AI のセキュリティは、**「入力された言葉（テキスト）」と「出力された映像」**を別々にチェックしています。

• テキストチェック： 「悲鳴」や「サスペンス」という言葉は安全なので、OKと判断。
• 映像チェック： 映像が生成される前に、AI の内部で「危険なシナリオ」が完成してしまっているため、チェックをすり抜けてしまいます。

まるで、**「爆発物そのものは持っていないが、爆発させるための安全な道具（火薬、雷管、スイッチ）をすべてバラバラに持ち込み、現場で組み合わせて爆発させた」**ような状態です。セキュリティ担当者は「爆発物」を持っていないので、見逃してしまうのです。

📊 5. 実験結果：どれくらい強力なのか？

研究者たちは、7 つの最新の AI モデル（商用のものも含む）でテストを行いました。

• 結果： 従来の攻撃方法では、多くのモデルでブロックされていましたが、SPARK は平均して 23% も成功率を向上させました。
• 特に「ポルノ」や「暴力」などの厳重に守られている分野でも、90% 以上の成功率を叩き出すケースもありました。
• さらに、最新の「AI によるテキストチェック」対策に対しても、SPARK はほとんど影響を受けず、強力な耐性を持っていることが分かりました。

💡 結論：私たちに何ができるか？

この研究は、**「言葉そのものが安全でも、AI の『想像力』や『知識の結びつき』を悪用すれば、危険なものが作れてしまう」**という重大な弱点を突き止めました。

教訓：
これからの AI 安全対策は、「悪い言葉を検知する」だけでは不十分です。
**「言葉の組み合わせが、どんな『物語』や『因果関係』を生み出しているか」**まで深く理解し、防衛する必要があることを示しています。

この「SPARK」は、AI のセキュリティをより強くするための「赤チーム（攻撃側）」の重要な発見であり、AI がより安全に社会に溶け込むための第一歩となるでしょう。

技術概要

SPARK: 音声と再文脈化された知識の相乗効果による T2V モデルのジャイルブレイク

1. 問題提起 (Problem)

テキストから動画へ生成する AI モデル（Text-to-Video: T2V）は、物理法則や因果関係を理解する「世界シミュレーター」として進化していますが、これに伴い新たな安全性リスクが生じています。
既存のジャイルブレイク（安全規制を回避する攻撃）手法の多くは、テキスト入力空間における「敵対的プロンプトの隠蔽（obfuscation）」や「同義語置換」に依存しています。しかし、T2V モデルは単なるテキスト - ピクセル変換器ではなく、非視覚的な手がかり（音やスタイル）と視覚的な結果の間に強い因果関係を学習した「マルチモーダル生成プリオ（事前知識）」を持っています。
既存手法はこのマルチモーダルな生成メカニズムを十分に活用しておらず、テキストフィルタリングが成熟しているため、攻撃プロンプトが検知されやすく、一貫性のない結果になりがちです。

2. 手法 (Methodology)

著者らは、T2V モデルが「音」や「雰囲気」といった非視覚的要素から視覚的出来事を推論する能力に脆弱性があることを発見し、SPARK という新しいフレームワークを提案しました。

2.1 核心的な洞察：クロスモーダル・レイテンシ・ステアリング

攻撃は、有害な意図を直接記述するのではなく、「安全なプリミティブ（基本要素）」を相乗的に組み合わせることで、モデルの物理推論能力を悪用し、間接的に有害なコンテンツを生成させるというアプローチを取ります。
具体的には、以下の 3 つの直交するコンポーネントからなる構造化された敵対的文法（Adversarial Grammar）を使用します。

1. セマンティック・アンカー (Semantic Anchor):
   • 文脈の接地（Grounding）を担当します。
   • 元の有害な意図に関連するが、完全に中立的で安全なシーンの記述を提供し、プロンプト全体の文脈を安全に見せます。
2. オーディトリー・トリガー (Auditory Trigger):
   • 「音→行動」の因果関係を利用します。
   • 禁止された行為そのものを言及せず、その行為の結果として生じる「音（例：金属音がカチカチと鳴る、悲鳴）」を記述します。モデルは、その音源を視覚的に補完するために、必然的に暴力や違法行為を生成せざるを得なくなります。
3. スタイリスティック・モジュレーター (Stylistic Modulator):
   • 雰囲気的なプリオ（Prior）をシフトさせます。
   • 「アルフレッド・ヒッチコックのスタイル」や「ドキュメンタリー調」といった指示により、生成の確率分布を緊張感やスリルのある領域へシフトさせ、安全閾値を下げて有害概念の生成を容易にします。

2.2 最適化アプローチ

この攻撃は、構造化された文法空間における制約付き最適化問題として定式化されます。

• 目的関数: 生成された動画の有害性（Visual Oracle による評価）を最大化し、かつ元の意図との整合性を保つ。
• 制約条件: 入力プロンプト自体のテキスト安全性（Textual Oracle による評価）が閾値以下であること。
• 探索アルゴリズム: 高コストな T2V 生成を避けるため、**ガイダンス対応ゼロ次探索（Guidance-Aware Zeroth-Order Search）**を採用します。LLM を提案者として使い、ブロック単位（Anchor, Trigger, Modulator）でプロンプトを逐次修正し、テキストフィルタリングを事前に通過する候補のみを動画生成に送ることで効率化を図っています。

3. 主要な貢献 (Key Contributions)

1. 新たな攻撃面の発見: T2V モデルにおける「クロスモーダル・レイテンシ・ステアリング（Cross-modal latent steering）」という脆弱性を初めて明らかにしました。これは、音、スタイル、視覚的行動の間の学習された相関関係を悪用することで、テキスト中心の安全アライメントを回避できることを示しています。
2. 原理的なジャイルブレイクフレームワークの提案: 敵対的構文と分離探索戦略を用いた、モジュール化された最適化問題としての攻撃手法を体系化しました。
3. 広範な実験的検証: 7 つの最先端 T2V モデル（商用およびオープンソース）に対する評価を行い、既存の防御策（特に LLM ベースのテキストフィルタ）に対する高い耐性を示しました。

4. 実験結果 (Results)

7 つの T2V モデル（Pixverse, Hailuo, Kling, Seedance など）を対象とした実験結果は以下の通りです。

• 攻撃成功率 (ASR) の向上:
  • 商用モデル全体で、既存のベースライン（TSB, RAB, DACA）と比較して平均 +23% の攻撃成功率の向上を達成しました。
  • 特定のモデル（例：Hailuo）では、平均 ASR が 60.0% に達し、既存手法（RAB: 28.0%, DACA: 31.0%）を大きく上回りました。
  • 最も防御が厳しいカテゴリ（ポルノ、グロテスクな描写）においても、90% 以上の成功率を記録するケースがありました。
• アブレーション研究:
  • 3 つのコンポーネント（アンカー、トリガー、モジュレーター）のいずれかを除去すると、攻撃成功率は劇的に低下しました（特にトリガーの欠如は致命的でした）。これにより、各要素の相乗効果が不可欠であることが証明されました。
• 防御耐性:
  • 厳格なキーワードフィルタリング: 既存手法は禁止語が含まれると即座に失敗しますが、SPARK は安全な語彙のみを使用するため、フィルタリング下でも ASR の低下がわずか 6.7% にとどまりました。
  • LLM ベースの防御: 入力プロンプトを分析して有害意図を検知する LLM 防御に対しても、SPARK は高い耐性を示しました（Seedance において 30.0% の ASR を維持）。これは、SPARK のプロンプトが単体では有害意図を含まず、T2V モデル内部でのみ有害な意味が生成されるため、テキスト解析では検知できないためです。

5. 意義と結論 (Significance)

本論文は、T2V モデルの安全性における根本的な限界を浮き彫りにしました。

• テキスト中心の防御の限界: 従来の「テキストフィルタリング」や「同義語置換の検知」だけでは、マルチモーダルな因果推論を利用した攻撃を防げないことを示しました。
• 物理推論の悪用: 攻撃者は「禁止された行為」を直接指示するのではなく、その「結果（音）」や「雰囲気」を指示することで、モデルの「世界シミュレーター」としての能力を逆手に取り、意図的に有害な視覚出力を誘発できることを実証しました。
• 今後の課題: この研究は、生成 AI のセキュリティ対策において、テキストだけでなく、マルチモーダルなコンテキストや物理的な因果関係まで考慮した、より堅牢な防御メカニズムの必要性を強く訴えています。

要約すると、SPARK は「安全な言葉」を巧みに組み合わせ、AI の「音から映像を想像する力」を悪用することで、従来のセキュリティガードレールをすり抜ける画期的な攻撃手法であり、T2V モデルの安全性確保に向けた重要な課題提起となっています。