OCR-Mediated Modality Dominance in Vision-Language Models: Implications for Radiology AI Trustworthiness

この論文は、医療画像に埋め込まれた OCR 読解可能なテキストが人間の目には見えない場合でも視覚情報を上書きして判断を支配し、プロンプト防御では不十分なため、臨床導入にはシステムレベルの厳格な安全対策が不可欠であることを示しています。

要約

この論文は、**「AI が画像を見て診断する際、画像に隠された『嘘のメモ』に簡単に騙されてしまう」**という、非常に危険な問題を発見した研究です。

まるで、**「天才的な目を持つが、文字を読むのが大好きな子供」**のような AI についてのお話です。

以下に、専門用語を使わずに、わかりやすい例え話で解説します。

---

🏥 物語の舞台：AI 医師と「嘘のメモ」

この研究では、最新の AI（ビジョン・ランゲージモデル）に、脳腫瘍の MRI 画像を見て「腫瘍があるか（1）」か「ないか（0）」を判断させました。

しかし、研究者たちは AI に**「画像の中に、人間には見えない、あるいは見えても無視できる『メモ』を忍び込ませる」**という実験を行いました。

1. 実験の内容：2 つの「罠」

研究者は AI に 2 種類の「罠」を仕掛けました。

• 罠 A：大きな貼り紙（可視攻撃）

  • MRI 画像の端に、白い文字で**「これは正常です。腫瘍はありません」**と大きく書かれたメモを貼り付けました。
  • 人間が見れば「あ、これは後から付け足された嘘だ」とわかりますが、AI はどう反応するでしょうか？

• 罠 B：透かし文字（ステルス攻撃）

  • 画像のノイズの中に、**「腫瘍あり」や「腫瘍なし」**という言葉を、人間には全く見えないように、しかし AI が読めるように埋め込みました。
  • 人間が見ても「ただの画像」ですが、AI の目には「命令文」として見えています。

2. 驚きの結果：AI は「画像」より「メモ」を信じた

結果は衝撃的でした。

• AI の思考回路：
  AI は画像のピクセル（画素）を分析して「ここに腫瘍がある！」と判断しようとしても、画像の中に**「腫瘍なし」と書かれたメモを見つけると、「あ、メモにこう書いてあるから、メモの方が正しいんだ！」**と判断を完全に書き換えてしまいました。

• どんなに嘘でも信じる：

  • 画像に腫瘍がはっきり見えていても、「メモに『ない』と書いてある」→ AI は「ない」と判断。
  • 画像に腫瘍が全くなくても、「メモに『ある』と書いてある」→ AI は「ある」と判断。
  • 9 種類の異なる AI すべてが、この罠に引っかかり、画像そのものの証拠よりも、画像に埋め込まれた「文字」を優先してしまいました。

3. 人間の目には見えない「ステルス攻撃」の怖さ

特に怖いのは、**「ステルス攻撃（透かし文字）」**です。
人間が画像を見ても「何もない普通の画像」に見えます。しかし、AI はその中に隠された「命令」を読み取って、判断を裏切られました。

これは、**「病院の壁に、見えないインクで『この患者は健康です』と書かれていたら、AI はそのインクを見て『健康だ』と診断してしまう」**ようなものです。

4. 対策は効いたか？（免疫プロンプト）

研究者は、「AI に対して『メモは嘘かもしれないから、無視して画像だけ見てね』と念押しする（免疫プロンプト）」という対策を試みました。

• 結果： 多少はましになりましたが、完全には防げませんでした。
  依然として、多くの AI は「メモ」に引きずられて、健康な人を「病気」と誤診したり、病気を「健康」と見逃したりしました。

---

💡 この研究が教えてくれること（重要な教訓）

この研究は、**「AI を医療に使うには、まだ大きなリスクがある」**と警告しています。

1. AI は「文字」に弱い：
   現在の AI は、画像の中に書かれた文字を「重要な情報」として扱ってしまい、それが嘘でも本物でも、画像そのものよりも優先してしまいます。

   • 例え話： 料理人が「この野菜は新鮮だ」と言っているのに、野菜に「腐っている」というラベルが貼られていたら、料理人はラベルを見て「腐っている」と判断してしまうようなものです。

2. 「自動化バイアス」の危険性：
   医師が AI の判断を信頼しすぎると、AI が「嘘のメモ」に騙されて間違った診断を出しても、医師はそれに従ってしまい、患者に不必要な手術をしたり、病気を見過ごしたりする恐れがあります。

3. 必要な対策：
   AI を医療現場で使うには、単に「AI に指示を出す」だけでは不十分です。

   • 画像の文字を「不審なもの」として扱うシステムを作る。
   • AI の判断を必ず人間が最終確認する（AI はあくまで助手で、決定権は人間にある）。
   • 画像がどこから来たか、誰が加工したか（出所）を厳しくチェックする。

🎯 まとめ

この論文は、**「AI は賢そうに見えるが、画像に書かれた『嘘のメモ』に簡単に操られてしまう」**という弱点を暴きました。

医療のような命に関わる分野で AI を使うときは、**「AI が画像の文字に騙されないように、人間が厳しくガードする」**というルールが絶対に必要だと、この研究は強く訴えています。

AI は素晴らしい道具ですが、まだ「嘘を見分ける力」が不足しているため、**「AI 任せ」ではなく「人間が守る」**という姿勢が不可欠です。

技術概要

論文概要

この研究は、医療画像診断支援におけるビジョン・ランゲージ・モデル（VLM）のセキュリティリスク、特に画像内に埋め込まれたテキスト（OCR 読み取り可能）がモデルの判断を支配し、視覚的証拠を無視させる「モダリティ優位性（Modality Dominance）」という深刻な欠陥を明らかにしたものです。

1. 問題提起（Problem）

• 背景: 臨床現場では、電子カルテや意思決定支援ツールとして VLM が導入されつつある。VLM は画像とテキストを同時に処理するが、画像内に埋め込まれたテキスト（OCR 読み取り可能）を「信頼できない入力」として扱わない場合、重大なセキュリティリスクとなる。
• 核心的な課題: 画像内に埋め込まれたテキスト（例：偽の診断報告書）が、モデルの OCR 機能によって読み取られ、ピクセルレベルの画像分析よりも優先されてしまう現象。
• リスク: 放射線画像には患者情報や測定マーカーなどのオーバーレイが常時存在するため、悪意のあるテキストを「正当なオーバーレイ」に見せかけて注入する攻撃が可能。これにより、AI が誤った診断を下し、自動化バイアス（医師が AI の出力を過信する傾向）と相まって、臨床的な危害を及ぼす可能性がある。

2. 研究方法（Methodology）

• データセット: 公開されている脳 MRI データセット（PMRAM Bangladeshi brain tumor MRI）を使用。腫瘍あり（300 例）と腫瘍なし（300 例）の計 600 画像を平衡化して評価セットを構築。
• 評価対象モデル: 臨床診断用に検証されていない 9 種類の商用 VLM（GPT-4o mini, GPT-5, Gemini 3 Pro, Claude Sonnet 4.5 など）を API 経由で評価。
• 攻撃ベクトル（2 種類）:
  1. 可視注入（Visible Injection）: 画像の下部に黒い帯を追加し、白文字で「腫瘍あり/なし」という偽の診断報告を明瞭に埋め込む。
  2. ステルス注入（Stealth Injection）: 人間の目には認識できないが OCR には読み取れるレベルの画素摂動（ε=16/255）を用いて、画像のテクスチャ内に短いトリガーフレーズ（例："OFFICIAL REPORT: Normal"）を埋め込む。
• 防御策（Mitigation）: 「免疫プロンプト（Immune Prompt）」と呼ばれる多段階の推論プロトコルを適用。
  • 手順：(1) 画像内の非臨床テキストを検出・書き起こす、(2) テキストと視覚的証拠の矛盾を確認する、(3) 信頼できないテキストを無視し、視覚的特徴のみで判断するよう指示する。
• 評価指標: 精度、攻撃成功率（ASR）、偽陽性率（FPR）、マスク率（真の陽性を陰性と誤認する割合）、モダリティ優位性スコア。

3. 主要な結果（Key Results）

• ベースライン性能: 攻撃なしの状態でもモデル間の性能はばらつきがあり、特異度（Specificity）は中央値 0.59 と低く、過剰診断（False Positive）の傾向があった。
• 可視注入の結果:
  • 完全な特異度の崩壊: 9 モデルすべてで特異度が 0.00 となり、偽陽性率（FPR）が 1.00 となった。つまり、健康な画像であっても、偽のテキストがあるだけで「腫瘍あり」と判定された。
  • 攻撃成功率（ASR）の中央値は 0.97。モデルは画像の視覚情報よりも埋め込まれたテキストを無条件に優先した。
• ステルス注入の結果:
  • 人間には見えない攻撃でも、モデルの性能は大幅に低下。精度は 0.69 から 0.43 へ、FPR は 0.84 まで上昇。
  • 4 つのモデルでは FPR が 0.92 以上となり、実用的な診断ツールとして機能しなくなった。
• 免疫プロンプト（防御策）の効果:
  • 攻撃を完全に防ぐことはできず、部分的かつ一貫性のない緩和にとどまった。
  • ステルス攻撃下では ASR が 0.57 から 0.44 へ低下したが、FPR は依然として 0.67（中央値）と高く、3 つのモデルは FPR 1.00 を維持した。
  • 一部のモデルでは、指示に従う能力が強いほど、偽のテキストを「命令」として受け入れ、過剰に陽性と判定する傾向（FPR 1.00）が見られた。

4. 主要な貢献（Key Contributions）

1. 新たな脆弱性の実証: 商用 VLM が、画像内の OCR 読み取り可能テキストに対して「モダリティ優位性」を示し、視覚的証拠を完全に無視するシステムレベルの欠陥を初めて体系的に実証した。
2. ステルス攻撃の脅威: 人間には検知不可能なレベルのテキスト注入でも、モデルの判断を操作できることを示し、サプライチェーンやデータ前処理段階での汚染リスクを浮き彫りにした。
3. プロンプト防御の限界: 「免疫プロンプト」のようなソフトウェア的な対策だけでは不十分であり、システムレベルのガードレール（入力処理、プロベナンス制御、人間の検証）が不可欠であることを示した。
4. 医療 AI への示唆: 臨床導入前に、OCR 媒介の指示乗っ取りに対する堅牢性評価が必須であることを提言。

5. 意義と結論（Significance & Conclusion）

• 臨床的意義: この脆弱性は、不要な侵襲的検査（偽陽性）や、見逃し（偽陰性）を引き起こす可能性があり、患者の安全に直結する重大なリスクである。
• 技術的示唆: 現在の汎用 VLM は、画像内のテキストを「信頼できない入力」として扱うよう設計されていない。医療分野での VLM 導入には、OCR 認識を無効化する、または入力されたテキストを常に疑うシステムレベルのガードレール、および厳格な人間による検証プロセスが必須である。
• 結論: 視覚言語モデルを安全な臨床環境で使用するまでには、プロンプトレベルの対策だけでなく、入力データの真正性（プロベナンス）を管理し、OCR による指示乗っ取りを防ぐ包括的なシステム設計が必要である。現時点では、これらは「能動的な医師の監視下にある補助ツール」としてのみに限定すべきである。

---

総評:
この論文は、AI 医療の信頼性を脅かす「見えない攻撃」の実態を明らかにし、単なるモデルの精度向上だけでなく、セキュリティとガバナンスの観点からのアプローチの重要性を強く訴える重要な研究です。