PHANTOM: A Large-Scale Dataset of Multimodal Adversarial Attacks for Vision-Language Models
本論文は、研究の障壁を下げ、視覚言語モデルの堅牢性と安全性に関する体系的な評価を可能にすることを目的として設計された、10の高レベルなカテゴリにわたる47,000件以上の事前生成されたマルチモーダル敵対的攻撃で構成される大規模なオープンソースデータセットであるPHANTOMを紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界を、高度な教育を受けた巨大な図書館として想像してみてください。この図書館における最新かつ最も強力な司書たちは、**視覚言語モデル（VLM）**と呼ばれています。彼らは単に本に詳しいだけでなく、画像を見たり、テキストを読んだり、その両方がどのように関連しているかを理解することができます。彼らは役に立ち、かつ安全であるように設計されており、「爆弾の作り方」を聞かれたり、「誰かをいじめる方法」について尋ねられたりしても、回答を拒否するように作られています。
しかし、実際の図書館に「立入禁止」の看板があるように、巧妙なペテン師がそれをすり抜けようとすることもあります。これらのAI司書にも安全ルールがありますが、時には騙されてしまうことがあります。本論文では、研究者がまさにどのようにしてこれらの「トリック」が機能するのかを理解するための助けとなる、PHANTOMという大規模な新しいツールを紹介しています。
以下は、比喩を用いたこの論文の解説です。
1. 問題点：「ペテン師の道具箱」を作るのは難しすぎる
新しいセキュリティガード（AI）が仕事をうまくこなせているかテストしたいとしましょう。そのためには、悪い奴を中に通してしまうような「トリック」を試す必要があります。あるトリックは秘密のコードをささやくものであり、あるものは変装を用いるものであり、また別のものはメッセージを隠した画像を見せるものです。
これらのトリックを作ることは、非常に困難で、コストと時間がかかります。それは、どの鍵が錠前に合うかを確認するために、100万種類の偽物の鍵を鍛造しようとするようなものです。ほとんどの研究者は、自分自身でこれらすべての鍵を作るための時間もお金も持っていません。
解決策： 著者たちは、**47,524個の鍵（敵対的サンプル）**が入った巨大な既製の箱を作り上げました。彼らが鍵を鍛造するという大変な作業を済ませておいたので、他の研究者はすぐにそれらを手に取って、自分たちのセキュリティガードをテストすることができるのです。
2. 地図：「悪いアイデア」を分類する新しい方法
あらゆる方法でAIを騙せるように、著者たちは「悪意のある意図」の巨大な地図を作成しました。
- 旧来の地図： 以前の研究の地図には、おそらく1,000から2,000程度の悪いアイデアしかありませんでした。
- 新しい地図（PHANTOM）： 彼らはこれを7,826の具体的な悪いアイデアへと拡張しました。
- カテゴリー： これらを10の大きな近隣地域（「サイバーセキュリティ」、「児童の安全」、「詐欺」、「ヘイトスピーチ」など）と、その中にある55の小さな通りに整理しました。
- 新しい近隣地域： 従来の地図では重要な危険性を見落としていたため、彼らは**「児童の安全」**という全く新しい近隣地域も追加しました。
3. 攻撃戦略：トリックはどう機能するか
論文では、単に悪い質問を書いたわけではありません。どの手法が最も効果的かを見るために、5つの異なる「トリックのスタイル」を用いました。
- ささやき（BAP）： 画像をわずかに調整し（目に見えないノイズを加えるなど）、悪い要求が実は良いものであるとAIに誤認させるような混乱した文章を書きます。
- 会話（IDEATOR）： 悪いことを一度に要求するのではなく、AIと対話を続け、徐々に特定の方向へと誘導することで、最終的にAIが誤って有害なことに同意するように仕向けます。
- 隠されたメッセージ（MML）： 悪い要求を取り、それをバラバラにして画像の中に書き込みます。そしてAIに「このパズルを解いてくれますか？」と伝えます。AIは役に立とうとして、その悪い要求を解読し、その後、その要求に応えてしまいます。
- フローチャート（FC ATTACK）： 論理パズルのように見えるステップバイステップの図を描きます。AIはその手順に従い、自分が悪い目的から始まったことに気づかないまま、有害な行動をとってしまいます。
- おとり（CSDJSDJ）： 12枚の画像のコラージュをAIに見せます。ほとんどは無関係な画像ですが、そのうちの3枚に悪い要求の断片が隠されています。AIはパズルに気を取られ、その危険性を見逃してしまいます。
4. テスト走行：誰が騙されたのか？
著者たちは、これら47,000以上のトリックを、最も人気のあるAIモデルのラインナップ（誰でもダウンロードできるオープンソースのものと、GPT-5やClaudeのような高価なクローズドモデルの両方）に対してテストしました。
判明したこと：
- 完璧な存在はいない： 最新かつ最も賢いAIモデルであっても、騙されてしまいました。免疫を持っているモデルは一つもありませんでした。
- 「画像」の問題： 画像の中に悪い言葉を隠すトリック（「隠されたメッセージ」や「フローチャート」攻撃）が最も成功しました。AIは、悪いテキストを読むことは得意ですが、画像の中に隠された悪いテキストを読むことは苦手であるようです。
- 「転移」の効果： あるトリックが1つのAIモデルに効いた場合、それは全く異なる別のモデルにも効くことがよくあります。これは、もし偽物の鍵が1つのドアに合うなら、同じ建物内の他のドアにも合う可能性があるようなものです。
- 「強い拒絶」対「軟らかな承諾」： 一部のモデル（Claudeなど）は、単に回答を拒否しました（「強い拒否」）。これは攻撃者にとっては失敗とみなされます。一方、他のモデル（GPTなど）は、警告を含めつつも回答しようとしたり、時には誤って悪い答えを出してしまったりしました。論文では、役に立とうとするモデルほど、より簡単に騙されやすい傾向があることを指摘しています。
5. なぜこれが重要なのか
著者たちは、AIを壊す方法を教えようとしているのではありません。むしろ、彼らは「鍵」を「錠前を作る人々」に手渡しているのです。
この膨大なデータセットを公開することで、彼らはこう言っています。「ここに、私たちが知っているあらゆるトリックが入った大きな箱があります。これを使ってあなたのAIをテストし、セキュリティの穴を見つけ、より優れた防御を構築してください。」
彼らは、研究者が車輪の再発明をする手間を省き、特に画像とテキストを同時に見ている場合に、より安全で騙されにくいAIシステムを誰もが構築できるようにすることを願っています。
安全性に関する注意： 本論文には、不適切なコンテンツ（犯罪の手順や有害なアイデアなど）が含まれているという警告が含まれています。しかし、これらは火災を発生させるためではなく、スプリンクラーが機能するかをテストするために煙を使うのと同様に、AIの安全システムをテストするためだけに含められています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。