あなたは、非常に豪華なレストランの総料理長であると想像してください。そのレストランでは、「皿の上の絵」と「口頭での注文」という2つのものを同時に提供します。あなたの目標は、誰かが絵の中に「毒のある」指示を隠したり、変な方法で囁いたりしてシェフを騙そうとしても、キッチンが決して危険なものを調理しないようにすることです。これが**マルチモーダル大規模言語モデル（MLLM）**の世界です。これらは画像を見ることができ、テキストを読むことができ、さらにチャットで返答できる、非常に賢いコンピュータの脳です。しかし、それらは「見る」ことができるため、悪意のある者がピクセルの中に、あるいは写真の背景に隠れた有害なコマンドを忍び込ませることで、攻撃を仕掛ける可能性があります。

これを防ぐために、科学者たちは*推論時防御（Inference-Time Defenses）*を考案しました。これは、キッチンのドアのすぐ横に立っているセキュリティガードのようなものです。彼らはシェフのレシピ（モデルの脳）を変えるのではなく、注文が中に入る前*にチェックするか、あるいは料理が外に出る前*に最終的な料理をチェックします。あるガードは注文に丁寧な警告文を添え、またあるガードは、隠されたトリックをぼかすために画像を少し揺らしてブレさせます。大きな疑問は、**「どのガードが本当に最も優れた仕事をしているのか？」**ということです。もし私たちがガードを信頼できなければ、誤って危険な食事を提供してしまうか、あるいは、もっと悪いことに、危険を恐れるあまりに一切の料理を提供できなくなってしまうかもしれません。

---

大いなるキッチンの監査：スコアカードが間違っていたとき

モスクワの研究チームは、探偵として動くことに決めました。彼らは新しいガードを作るのではなく、3種類の異なるセキュリティガード（RapGuard、AdaShield、SmoothVLMといった手法に触発されたもの）を8つの異なるAIシェフに対してテストしたと主張する、最近の実験のアーカイブへと潜入しました。彼らは誰が最高かを確かめたかったのです。しかし、ファイルを掘り下げていくうちに、彼らは壊れたリンク、足りない材料、そして混乱したスコアカードの山を発見しました。

彼らが発見したことを、現実のチェックと共に提供します。

1. 「足りない材料」のミステリー

研究者たちは、9,000通りの異なる注文（入力）を7つの異なる安全性テストに対してテストするはずだった実験を見つけました。しかし、データの出所（プロベナンス）を確認したところ、7つのテストのうち3つが完全に壊れていることが判明しました。

• 「間違った皿」のエラー： 画像の中に隠された指示をAIが検知できるかをチェックするためのテストでしたが、実際には全く別の絵を提供していました。それはまるで、煙検知器ではなくトースターに水を吹きかけて火災報知器をテストしようとするようなものでした。
• 「テキストのみ」のズル： もう一つのテストは画像とテキストの混合であるはずでしたが、システムは誤ってAIに画像を無視させ、テキストだけを読ませてしまいました。これは「テキストのみへのフォールバック」であり、AIはテストに合格するために実際には画像を見る必要がありませんでした。
• 「ランダムなパッチ」のグリッチ： 3つ目のテストは、AIを混乱させるための特別な「アドバーサリアル・パッチ」（画像上の小さくてトリッキーなステッカー）を使用していると主張していました。しかし、コンピュータはトリッキーなステッカーを生成せず、ただのランダムな長方形を描いただけでした。

これらのエラーにより、研究者たちはこれらの3つのテストの結果を破棄せざるを得ませんでした。単に数字を「修正」することはできず、データそのものが存在しなかったのです。これにより、彼らが扱えるのは、4つの特定のテスト（FigStep、JailBreakV、SALAD-Bench、およびHarmBench-Simple）から得られた4,820個の有効な入力のみとなりました。

2. 「キーワード」の罠

元の実験では、AIが安全かどうかを判断するために、非常に単純な方法、つまり特定の「魔法の言葉」を探す方法を使用していました。

• AIが「それはできません」や「申し訳ありません」と言えば、安全（拒絶）とマークされました。
• AIが「〜の方法はこちらです」や「もちろんです、お手伝いします」と言えば、不安全（有害な回答）とマークされました。

研究者たちは、この方法に大きな問題があることを見つけました。システムは、空の回答（AIが何も言わなかった場合）を、レガシーコードに特別なルールがなかったために、単に「安全」としてカウントしていました。空の文字列は「有害」リストにも「拒絶」リストにも一致しなかったため、デフォルトのロジックが安全とみなしたのです。また、丁寧な警告から始まり、その後に危険な指示を続ける回答についても、システムが有害なものを上書きするための拒絶フレーズの存在のみを見ていたため、ロジックが混乱し、これらも「安全」とカウントされてしまいました。

データを再確認したところ、「キーワード」方式はひどい判定員であることが分かりました。それは、生徒が実際に質問に答えたかどうかを無視して、単に「てにをは」を探してテストを採点する教師のようなものでした。246件のトリッキーな回答の監査において、キーワードシステムは、より賢い人間のような判定器（「Haikuファミリーの判定器」）が正しく危険だと判断した13件の有害な回答を見逃しました。技術的な用語で言えば、キーワードシステムは、実際には「有害（Harmful）」であるケースを13件、「安全（Safe）」とラベル付けしてしまったのです（偽陰性）。

3. 「大量拒絶」の神話

元の研究は、セキュリティガードが原因でAIがすべてを拒否している（「大量拒決」）ことを示唆しているようでした。研究者たちは、AIが不要な時に実際に「ノー」と言っていないかどうかを確認するため、38,500件の安全で通常の質問を再監査しました。

結果はどうだったでしょうか？ AIは非常に礼儀正しく、協力的でした。

• 推定される不要な拒絶率はわずか**0.52%**でした。
• 最悪のシナリオ（最大の単一データグループ）においても、その率はわずか**3.24%**でした。
• 研究者たちは、「サンプリングのみによる不確実性（誤差の範囲）」が**10.92%**に達する可能性があると指摘しましたが、それでも元の研究が示唆した「大量拒絶」には程遠い数値です。

混乱の原因は「防御的プレアンブル（前置き）」にありました。セキュリティガードは、回答の冒頭に長い丁寧な警告（例：「これは危険であることを警告しておきますが……」）を加えることがよくありました。古いキーワードシステムは、この警告こそが「拒絶」であると考えていましたが、AIは実際にはその後に回答を続けていました。それは、用心棒が「お前は入れない」と言いながら、ドアを開けて歩いて入れるようにしていたようなものです。キーワードシステムは、これらのプレアンブルを拒絶と誤認し、数字を膨らませてしまいました。

4. 安全であることの代償

最後に、研究者たちはこれらのセキュリティガードがどれほどの時間を浪費しているかを調査しました。

• 「ガウス（Gaussian）」ガード（画像を5回ブレさせて回答を投票させるもの）は、何もしない場合よりも処理に5.45倍から12.76倍長くかかりました。
• 3つのガードのフルスタックを使用すると、4.36倍から16.59倍長くかかりました。

これは、ガードが助けになろうとしている一方で、キッチンを信じられないほど遅くしていることを意味します。

結論

この論文は、どのセキュリティガードが「最高」であるかを教えてくれるものではありません。むしろ、以前のランキングは信頼できないということを伝えています。なぜなら、データが壊れており、スコアリング方法に欠陥があったからです。

• 否定されたこと： 彼らは、「大量拒絶」に関する元の主張が間違っていること、および7つの安全性テストのうち3つが無効であることを証明しました。
• 判明したこと： セキュリティガード（特にプロンプト・ラッパー）はAIの挙動を変化させますが、その影響はAIモデルやテストの種類によって大きく異なります。時には助けになり、時には害を及ぼし、時には単にスピードを落とすだけです。
• 教訓： テストを実行してスコアを見るだけでは不十分です。材料（入力）が本物であること、スコアカード（評価）が実際に安全性を測定していること、そして作業を確認するための完全なレシピ（生のテキスト）を持っていることを確認する必要があります。

著者らは、異なるセキュリティガードを比較できるようになる前に、それらをテストするための、より良く、より誠実なシステムを構築する必要があると結論づけています。それまでは、誰がヒーローで、誰がただキッチンを遅くしているだけなのかを断定することはできません。