SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models

本論文は、マルチモーダル基盤モデルのタイポグラフィ攻撃に対する堅牢性を評価するための大規模で多様な実世界データセット「SCAM」を構築・公開し、モデルのアーキテクチャや学習データが攻撃への脆弱性に与える影響を明らかにするとともに、合成攻撃の実世界攻撃への有効性を検証した。

要約

この論文は、**「AI の目は、文字に騙されやすい」**という驚くべき発見と、それを証明するための新しい実験道具（データセット）について書かれたものです。

タイトルにある**「SCAM（スキャン）」は、ここでは「詐欺（Scam）」という意味を掛けた造語で、「 Multimodal（多様な情報を持つ）AI モデルに対する、こっそり文字を仕掛ける攻撃」**を指しています。

以下に、難しい専門用語を使わず、日常の例え話を使って解説します。

---

1. 何が問題なのか？「AI の『文字』への過信」

現代の AI（画像を見て「これは何？」と答えるロボット）は、写真の中の物体だけでなく、写真に書かれている「文字」にも強く反応することがわかりました。

• 例え話：
  Imagine you are looking at a photo of a clock (時計).
  But someone has stuck a sticky note (付箋) next to it that says "TAXI".
  Normally, a human would laugh and say, "That's a clock, silly!"
  But the AI? It gets confused. It sees the word "TAXI" and thinks, "Oh! It must be a taxi!"

  日本語で言うと：
  時計の写真を AI に見せると、その横に「タクシー」と書かれた付箋を貼っただけで、AI は**「これはタクシーだ！」と間違った答えをしてしまいます。
  AI は「写真の形」よりも「文字の意味」を優先して考えてしまうのです。これを「タイポグラフィック・アタック（文字による攻撃）」**と呼びます。

2. 研究チームがやったこと：「SCAM データセット」の作成

これまでは、この「文字による攻撃」を調べるためのデータが少なくて、研究が進んでいませんでした。そこで、この論文の著者たちは、**世界最大規模の「文字攻撃用写真集（SCAM）」**を作りました。

• どんなもの？

  • 本物の写真 1,162 枚を集めました。
  • 対象は、時計、車、動物、食べ物など660 種類ものバラエティに富んだもの。
  • 攻撃用の言葉も、「タクシー」や「歩行者」など206 種類あります。
  • 特徴： 9 人の人が、それぞれ違うスマホで、違う場所で、手書きの付箋を貼って写真を撮りました。これにより、本物の「街中」や「家の中」の雰囲気を再現しています。

• 3 つのバージョン：

  1. SCAM（攻撃版）： 付箋に「誤った言葉」が書かれている写真。
  2. NoSCAM（クリーン版）： 同じ写真から、付箋の文字を消した（元に戻した）写真。
  3. SynthSCAM（合成版）： 元の写真に、デジタルで「誤った文字」を後から書き込んだ写真。

3. 実験結果：AI はどうなった？

この「SCAM」を使って、最新の AI（Vision-Language Models）をテストしました。

• 結果 1：AI は簡単に騙される

  • 多くの AI は、文字が書かれているだけで、正解率が26% も低下しました。
  • 例：「時計」の写真に「タクシー」と書かれると、AI は「タクシー」と答えてしまいます。

• 結果 2：「手書き」も「デジタル」も同じくらい効果的

  • 本物の手書きの付箋（SCAM）も、後からデジタル加工した文字（SynthSCAM）も、AI を騙す力はほぼ同じでした。
  • 意味： 研究者たちは、本物の写真がなくても、デジタル加工したデータで実験すれば良いことがわかりました。これにより、安全に研究を進められます。

• 結果 3：AI の「脳」の大きさで変わる

  • 小さな AI は簡単に騙されますが、「大規模言語モデル（LLM）」という大きな「脳」を持っている AIは、騙されにくくなりました。
  • 例え話： 小さな AI は「文字が見えたら、その言葉が正解だ！」と単純に考えてしまいますが、大きな AI は「いや、待てよ。写真の形は時計だ。文字はただの罠かもしれない」と、文脈を深く考えて判断できるようになります。

4. なぜこれが重要なのか？

この研究は、AI が安全に使えるようになるための重要な一歩です。

• 自動運転車： もし道路標識の横に「歩行者」という偽の文字が書かれたら、AI は「歩行者がいる！」と誤認して、不必要に急ブレーキをかけるかもしれません。
• 医療診断： レントゲン写真に誤ったラベルが貼られていたら、AI は間違った病気を診断するかもしれません。

まとめ：この論文のメッセージ

1. AI は「文字」に弱すぎる。 写真の形よりも、そこに書かれた文字に引きずられやすい。
2. 新しい実験道具「SCAM」を作った。 これを使って、AI の弱点を詳しく調べられるようになった。
3. 大きな AI は強い。 文字の罠に引っかかりにくくなるためには、AI の「思考力（言語モデル）」を大きくすることが有効。
4. デジタル加工でも実験できる。 本物の手書き写真がなくても、デジタル加工したデータで同じ結果が得られるので、研究がしやすくなる。

一言で言うと：
「AI は、写真に書かれた『嘘の文字』に簡単に騙されてしまう弱いところがある。でも、もっと賢い（大きな）AI にすれば、その罠に気づけるようになるよ」という発見を、新しい実験データセット「SCAM」を使って証明した論文です。

技術概要

SCAM: マルチモーダル基盤モデルのための実世界タイポグラフィ攻撃ロバスト性評価

技術的サマリー（日本語）

本論文は、マルチモーダル基盤モデル（VLM および LVLM）が画像内のテキストに過剰に依存し、誤分類を引き起こす「タイポグラフィ攻撃」の脆弱性を調査した研究です。著者らは、実世界で収集された大規模かつ多様な攻撃データセット「SCAM」を提案し、既存のモデルがこれらの攻撃に対していかに脆弱であるかを実証するとともに、モデルのアーキテクチャや学習データがロバスト性に与える影響を分析しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

近年、CLIP や SigLIP などのビジョン・ランゲージモデル（VLM）や、LLaVA などの大規模ビジョン・ランゲージモデル（LVLM）は、画像分類や生成タスクにおいて卓越した性能を発揮しています。しかし、これらのモデルはタイポグラフィ攻撃（Typographic Attacks）に対して極めて脆弱であることが判明しています。

• 攻撃の仕組み: 画像内の物体とは意味的に無関係なテキスト（例：時計の画像に「タクシー」という手書きの文字を付箋に書いて貼る）を画像に埋め込むことで、モデルが視覚的な物体内容ではなく、埋め込まれたテキストに注目し、誤った予測を行うように誘導します。
• 既存研究の限界: 従来の攻撃データセットは、合成データが主流であり、実世界での多様性（照明、カメラ画質、手書きの揺らぎ、背景など）や規模が不足していました。これにより、モデルの真の脆弱性や汎化性能を正確に評価することが困難でした。

2. 手法と提案 (Methodology & Contributions)

著者らは、この課題に対処するため、以下の 3 つの主要な貢献を有するデータセットと評価フレームワークを提案しました。

A. SCAM データセットの構築

SCAM (Subtle Character Attacks on Multimodal Models) は、現在までに存在する中で最大かつ多様性のある実世界タイポグラフィ攻撃データセットです。

• 規模: 1,162 枚の画像。
• 構成: 660 種類の異なる物体と 206 種類の攻撃用単語（フレーズを含む）の組み合わせ。
• 収集方法: 9 人の貢献者が、異なるスマートフォン、手書きスタイル、屋内・屋外の多様な環境（家庭、店舗、交通インフラなど）で撮影しました。これにより、照明、画質、背景、文字の見た目に自然なばらつきが生まれています。
• 攻撃媒体: 日常的に使用される「付箋（Post-it note）」に手書きされた英語の単語を物体の横に配置しています。

B. 3 つの対照実験用バリエーション

SCAM の真価は、同じシーンを基にした 3 つのバリエーションを提供する点にあります。これにより、攻撃の影響を因果的に評価できます。

1. SCAM: 実世界で撮影された、手書きの攻撃テキストが含まれた画像。
2. NoSCAM: 攻撃テキスト（付箋）を元の色で覆い隠し、クリーンな状態にした画像（ベースライン）。
3. SynthSCAM: 元の画像に、同じ攻撃テキストをデジタル合成（Roboto フォント使用）して再追加した画像。

C. 広範なモデル評価

VLM（ゼロショット分類タスク）と LVLM（プロンプトベースの生成タスク）の両方に対し、上記 3 つのデータセットで評価を行いました。評価対象には、OpenCLIP 経由のモデル、Ollama 経由のオープンソースモデル（LLaVA, Gemma3, Llama 系列など）、および API 経由のクローズドソースモデル（GPT-4o, Claude Sonnet 4 など）が含まれます。

3. 主要な結果 (Key Results)

1. 実世界攻撃による性能の劇的な低下

• VLM において、実世界攻撃（SCAM）は平均して約 26 ポイントの精度低下をもたらしました。
• 一部のモデル（例：OpenAI 製 ViT-L-14-336 を使用）では、攻撃前の精度が 99% 以上あったものが、攻撃後には 30% 台まで急落しました。
• LVLM も同様に脆弱であり、特に視覚エンコーダが脆弱なモデルは大きな性能低下を招きました。

2. 合成攻撃と実世界攻撃の同等性

• SynthSCAM（合成攻撃）とSCAM（実世界攻撃）の結果は非常に高い相関を示しました。
• 混乱行列（Confusion Matrix）の分析から、合成データは実世界の攻撃効果をよく再現しており、スケーラブルなロバスト性評価のための信頼できる代理指標として機能することが実証されました。

3. モデルアーキテクチャと学習データの影響

• 視覚エンコーダの重要性: 攻撃への脆弱性は、モデルが使用する視覚エンコーダに強く依存します。例えば、CLIP-RN（ResNet）よりも CLIP-ViT の方が、SigLIP-ViT よりも CLIP-ViT の方が脆弱な傾向が見られました。また、パッチサイズが小さいほど脆弱性が高まる傾向も確認されました。
• 学習データの影響: LAION データセットで学習されたモデルは、CommonPool などのフィルタリングされたデータセットで学習されたモデルよりも攻撃に対して脆弱でした。

4. LLM バックボーンのサイズ効果

• LLM の役割: LVLM において、LLM バックボーンのサイズを大きくすると、攻撃への耐性が向上し、タイポグラフィの理解力も高まることが分かりました。
  • 小規模モデル（例：gemma3:4b, llava:7b）は 40〜60 ポイント以上の精度低下を示しました。
  • 大規模モデル（例：gemma3:27b, llava:34b, GPT-4o, Claude Sonnet 4）は、精度低下が 3〜15 ポイント程度に抑えられ、より堅牢でした。
• 視覚エンコーダの限界: 単に堅牢な視覚エンコーダに置き換えるだけでは、LLaVA などのモデルの堅牢性は向上しませんでした。これは、LLM の能力が視覚エンコーダの弱点を補う鍵であることを示唆しています。

4. 意義と結論 (Significance & Conclusion)

• 実世界での安全性の確保: 医療、自動運転など安全クリティカルな分野で VLM/LVLM が利用される中、タイポグラフィ攻撃は重大なリスクとなります。本論文は、これらのモデルが現在のところこの攻撃に対して脆弱であることを明確に示しました。
• 評価基準の確立: SCAM データセットと、実世界・合成・クリーンの 3 段階評価アプローチは、今後の防御メカニズムの開発や、堅牢なモデルの選定のための標準的なベンチマークとして機能します。
• 防御への示唆: 単なる視覚エンコーダの強化だけでなく、大規模な LLM バックボーンを採用し、テキストと視覚情報の統合理解を深めることが、攻撃耐性を高める有効な戦略である可能性が示唆されました。

著者らは、SCAM データセット、評価コード、および関連リソースをオープンソースで公開しており、今後の研究コミュニティにおける堅牢なマルチモーダル AI 開発を促進することを目的としています。