The Boy Who Cried Wolf: Adversarial Misclassification of Safe Inputs as Unsafe in Multimodal Guardrails

あなたの最もお気に入りのAIアシスタントが、画像を見ることができ、あなたの心まで読み取ることができる超スマートな司書であるような世界を想像してみてください。あなたが「この猫を白くして」と頼むと、司書はあなたの写真と質問を確認し、あなたがルールを破ろうとしていないかをチェックします。この司書は「ガードモデル（防護モデル）」と呼ばれ、暴力や恐ろしい画像などの「悪いもの」が通り抜けないようにするのが仕事です。通常、私たちは、悪意のある者が（例えば、司書に危険を見逃させるための秘密のコードをささやくことで）悪いアイデアを忍び込ませようとするトリックを心配します。しかし、もしトリック使いが悪いものを忍び込ませようとしているのではなく、むしろ「良いもの」を「悪いもの」だと司書に思い込ませようとしているとしたらどうでしょう？

この論文は、「狼少年（The Boy Who Cried Wolf）」攻撃と呼ばれる新しい種類のトリックについて探求しています。攻撃者は、悪いものを隠す代わりに、羊の無害な絵を描き、そこに司書にしか見えない「透明なインク」を塗ります。あなたがその絵を司書に見せると、司書は「狼だ！狼だ！」と叫び、たとえそれがただの可愛い羊であっても、あなたの助けを拒否します。この論文は、ハッカーがいかにして司書を混乱させ、過保護にさせ、誰も助けられない状態にして、みんなの楽しみを台無しにできるかを示しています。これはルールを破ることではなく、ルールを守る者をあまりにパラノイア（被害妄想）にさせ、仕事を停止させてしまうことなのです。

AIの世界における「狼少年」

人工知能の世界、特に画像を見ることができ、テキストを読み取ることができるモデル（マルチモーダル大規模言語モデルと呼ばれます）には、安全のためのガードが存在します。これらはクラブの用心棒のようなものです。彼らの仕事は、あなたが持ち込んだもの（画像と質問）を見て、それが安全かどうかを判断することです。安全であれば入場を許可し、安全でなければ追い出します。

長い間、研究者たちは「ジェイルブレイク（脱獄）」を懸念してきました。それは、誰かがVIPに変装することで、用心棒を騙して危険な人物を中に入れようとする行為です。しかし、この論文は異なる問いを投げかけます。「もし誰かが、用心棒を騙して、全く無実の人を追い出そうとしたらどうなるだろうか？」と。

著者たちはこれを**不安全誘導攻撃（Unsafe Induction Attack）**と呼んでいます。想像してみてください。あなたはふわふわした白い猫の写真を持っています。それは完全に安全です。しかし、攻撃者がその写真に、人間の目には見えないほど微細な変化を加えたとします。人間にとって、それは依然として可愛い猫のままです。しかし、AIの用心棒にとっては、その目に見えない変化が「危険！」という巨大なレッドフラッグのように見えるのです。そのため、あなたがAIに「この猫を白くして」と頼むと、AIは「できません。この画像は安全ではありません！」と言って拒否します。

恐ろしいのは、攻撃者はあなたがどのような質問をするかを知る必要がないという点です。彼らはただ、画像を「不安全」に見えるようにするだけでよいのです。もしこれが可能なら、彼らはインターネット上にこれらの「毒された」画像を溢れさせることができます。一般の人がそれらをダウンロードして使おうとするたびに、AIは何度も「ノー！」と言い続けます。最終的に、人々は苛立ち、AIへの信頼を失い、おそらく安全機能をすべてオフにしてしまうでしょう。これが「狼少年」効果です。ガードが偽の警報を鳴らし続け、誰もその言葉を信じられなくなるのです。

彼らがどのように行ったのか：「蒸留（Distillation）」の魔法

研究者たちは、これまでの試みはあまりにも限定的であったために失敗してきたことを発見しました。もし特定の「悪い」画像（例えば特定の銃など）に似せるように写真を細工した場合、ユーザーがその特定の銃に関連する質問をした場合にしか機能しないからです。しかし、実際のユーザーはあらゆるランダムな質問をします。

この問題を解決するために、チームは**不安全意味論的蒸留（Unsafe Semantic Distillation: USD）**と呼ばれる新しい手法を作成しました。このように考えてみてください。特定の「悪い」画像をコピーしようとするのではなく、AIに「悪らしさの雰囲気（バイブス）」を学習させるのです。

1. 古い方法（インスタンス・ミミクリー／個体模倣）： 特定の犯罪者に全く同じ格好をして、セキュリティガードを騙そうとする場面を想像してください。ガードがあなたを見れば、その人物だと分かります。しかし、もしその犯罪者が帽子を変えたら、ガードはあなたを認識できないかもしれません。
2. 新しい方法（USD）： 研究者たちは、何百もの異なる「悪い」画像（暴力、武器など）を取り上げ、AIに「これらすべての悪いものに共通していることは何か？」と尋せました。AIは、何かが「不安全」であると感じさせる隠れた、目に見えないパターンを見つけ出しました。そして、彼らは無害な猫の写真に、それらの目に見えないパターンを身にまとわせるように教え込みました。

彼らは単に一つの悪いものをコピーしたわけではありません。彼らは「悪の本質」を蒸留したのです。つまり、猫の写真は特定の銃や特定の喧嘩のように見えるわけではありません。ただ、ユーザーがどのような質問をしようとも、AIの脳が「危険の臭い」として認識する性質を帯びているのです。

結果：非常に効果的なトリック

チームは、現在利用可能な最もスマートな安全ガードのうち4つ（MetaやLLaVAなどのモデルを含む）を用いて、この新しい手法をテストしました。攻撃者がユーザーの質問を事前に知らなくても、トリックが機能するかどうかを確認するために、膨大な数の架空のユーザー質問を使用しました。

結果は驚くほど高いものでした。彼らがこの新しい「蒸留」手法を用いたとき：

• 安全な画像をAIに拒絶させることに84%の成功率を達成しました。これは、攻撃者がユーザーの質問を全く知らない状態でも実現できました。
• これは、成功率が60%から70%程度にとどまっていた従来のメソッドよりもはるかに優れた数値でした。
• さらに、特定の種類の「悪さ」をターゲットにすることもできました。目に見えないインクを調整するだけで、車の写真を「暴力的」だと判断させたり、おもちゃの写真を「性的」だと判断させたりすることができたのです。

この論文は、これが現実的な問題であることを示しています。攻撃者は、あなたが何を質問するかを知る必要はありません。ただ画像を「毒」すればよいのです。そして、この攻撃はさまざまな質問に対して効果を発揮するため、現在の安全システムには隠れた弱点があることが証明されました。それは、システムが「安全になりすぎる」ように騙される可能性があるということです。これは結局、全員にとってのサービスを損なうことになります。

ななぜこれが重要なのか

これは単なる理論上のゲームではありません。この論文は、もし悪意のある者がこれらの「毒された」画像をソーシャルメディアや公開データセットに広め始めた場合、一般ユーザーが愛用しているAIツールが突然機能しなくなる可能性があることを示唆しています。ユーザーが何か悪いことをしたからではなく、アップロードした画像に秘密のインクが塗られていたために、AIは「できません」と言い続けることになるのです。

著者たちは、私たちはAIが悪口を言わないようにすることには非常に長けてきましたが、AIが「善いもの」を「悪いもの」と誤認することを防ぐことには十分な注意を払ってこなかったと結論づけています。彼らはこれを「可用性の失敗（availability failure）」と呼んでいます。システムは存在していますが、羊に対して「狼だ！」と叫び続けることに忙しすぎて、実際には誰も助けることができなくなっている状態です。これは、安全性とは単に悪い奴らを排除することだけではなく、ガードが誤って善良な人々を追い出さないようにすることでもある、という教訓を残しています。