🤖 AI

Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models

本論文は、医療画像モデルの敵対的攻撃評価において攻撃成功率（ASR）単独では不十分であり、摂動強度や知覚的画質、アーキテクチャ間の転移性などを包括する多指標評価フレームワークの必要性を、CNN と Vision Transformer を用いた大規模実証研究を通じて示しています。

原著者： Emily Curl, Kofi Ampomah, Md Erfan, Sayanton Dibbo

公開日 2026-04-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Emily Curl, Kofi Ampomah, Md Erfan, Sayanton Dibbo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🏥 結論：「正解かどうか」だけでは、危険さは測れない！

この研究の一番の発見は、「AI が攻撃に負けたかどうか（成功率）」だけを測るだけでは、本当の危険性はわからないということです。

🍎 例え話：「毒入りリンゴ」のテスト

Imagine（想像してみてください）：
AI 医師がリンゴの画像を見て、「これは美味しいリンゴだ」と判断するとします。

従来の評価方法（攻撃成功率 ASR）：
- 「このリンゴに毒を塗ったら、AI は『腐っている』と判断したか？」というYes/Noで評価していました。
- 「Yes（成功）」なら、AI は危ない！という結論になります。
この研究が指摘する問題：
- ケース A： 毒を塗ったけど、見た目は全く変わっていない（人間には見分けがつかない）。AI は誤診した。
- ケース B： 毒を塗ったけど、リンゴがボロボロに崩れて、明らかに怪しい状態になった。AI も誤診した。
従来の方法だと、A と B はどちらも「AI が負けた（成功）」として同じ評価になります。
しかし、ケース A の方がよっぽど危険です！なぜなら、人間（医師）が画像を見ても「あれ？おかしいな」と気づけないからです。

この研究は、「AI が負けたかどうか」だけでなく、「いじった跡（ノイズ）がどれだけ目に見えるか」「画像の質がどれだけ落ちたか」も一緒に測る必要があると主張しています。

🔍 研究のやり方：4 つの病院と 2 種類の AI

研究者たちは、以下の条件で大規模な実験を行いました。

4 つの医療データ：
- 皮膚のシミ（ダーマ）
- 細胞の病理（パス）
- 目の網膜（レティナ）
- 胸部 X 線（チェスター）
2 種類の AI 脳：
- CNN（従来の AI）： 画像をパズルのように細かく見て判断するタイプ。
- ViT（最新の AI）： 画像全体を一度に捉えて文脈で判断するタイプ（トランスフォーマー）。
7 種類の攻撃方法：
- 画像をいじる「ハッカー」のテクニックを 7 種類用意しました。

これらを組み合わせて、3,500 通りもの実験パターンでテストしました。

📊 驚きの発見：3 つの重要なポイント

1. 「成功率」と「見え方」は全く関係ない！

実験結果は意外でした。

**攻撃成功率（ASR）と、「画像の美しさ（PSNR/SSIM）」や「いじった大きさ（L2）」**の間には、ほとんど相関関係がありませんでした。
つまり、「画像がボロボロに汚れても、AI は同じように誤診するし、逆に、画像が綺麗でも AI は誤診する」ということです。
例え： 「車のスピードメーター（成功率）」と「車の傷の深さ（画像の質）」は、全く別の話なのです。

2. 新しい AI（ViT）は「伝染病」のように広がりやすい

従来の AI（CNN）は、モデルによって「攻撃されやすい」「強い」がバラバラでした。
しかし、最新の AI（ViT）は、あるモデルを攻撃すると、他の ViT モデルにもほぼ確実に攻撃が通ってしまいました（90% 以上の成功率）。
例え： CNN は「それぞれ違う鍵」を使っているのに対し、ViT は「共通のマスターキー」を持っているようなものです。一度突破されれば、他の ViT 病院も全部危ない状態になります。

3. 「攻撃の強さ」を上げても、効果は頭打ち

画像をいじる量（ノイズ）を 16 倍に増やしても、AI が誤診する確率はほとんど上がりませんでした。
例え： 「リンゴに毒を塗る量」を 16 倍にしても、「AI が毒に気づくかどうか」は変わらないどころか、「毒の量」と「AI の反応」は別物であることがわかりました。

💡 私たちにとっての意味：どうすればいい？

この研究は、医療 AI の開発者や医師に重要なメッセージを送っています。

今の評価基準は不十分： 「AI が攻撃に負けたかどうか」だけを見て安心するのは危険です。
新しい基準が必要： 「攻撃が成功したか」＋「画像がどれだけ歪んだか」＋「攻撃のコスト」を総合的に見る新しい評価システムが必要です。
なぜ重要か： 医療現場では、AI が「見えない小さな変化」で誤診すると、患者さんの命に関わります。画像が綺麗でも AI が間違えるなら、それは**「見えない爆弾」**と同じだからです。

🎯 まとめ

この論文は、**「AI の安全性を測るものさしを、もっと多角的に作り直そう」**と呼びかけています。

「AI が負けたか（Yes/No）」という単純な答えだけでなく、**「その攻撃がどれだけ巧妙で、人間には見抜けないほど巧妙だったか」**まで含めて評価しなければ、本当の医療 AI のリスクはわからない、というのがこの研究の核心です。

論文要約：医療画像モデルにおける敵対的転移性の多指標評価

タイトル: Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models
著者: Emily Curl, Kofi Ampomah, Md Erfan, Sayanton Dibbo

1. 背景と問題提起

深層学習は医療画像解析において急速に普及していますが、敵対的摂動（adversarial perturbations）に対する脆弱性は臨床導入における重大な懸念事項です。現在の脆弱性評価は、攻撃が成功したか否かを示す二値指標である**攻撃成功率（Attack Success Rate: ASR）**に依存しています。

しかし、ASR には以下の重大な限界があります。

摂動の強さや画像の知覚的品質を考慮していない: 攻撃が成功しても、画像の歪みがどの程度か（PSNR, SSIM）や、摂動の大きさ（L2 ノルム）が不明確である。
アーキテクチャ間の転移性の評価不足: 従来の CNN（畳み込みニューラルネットワーク）と、近年台頭している ViT（Vision Transformer）では学習メカニズムが異なり、単一の指標（ASR）では敵対的挙動を適切に捉えられない可能性がある。
不完全なリスク評価: 医療 AI におけるリスク評価には、攻撃の成功率だけでなく、その手法やコスト（摂動の可視性など）を含む多面的な視点が必要である。

本研究は、ASR 単独では敵対的堅牢性や転移性を評価するには不十分であり、多指標による評価枠組みの必要性を主張しています。

2. 研究方法

本研究は、医療画像の敵対的攻撃における転移性と堅牢性を体系的に実証分析しました。

2.1 データセット

4 つの医療画像データセットを使用しました（MedMNIST v2 ベンチマークおよび CheXpert）：

PathMNIST: 病理組織学（9 クラス）
DermaMNIST: 皮膚科（7 クラス）
RetinaMNIST: 眼科（OCT、5 クラス）
CheXpert: 胸部 X 線（多ラベル分類、14 クラス）

2.2 モデルアーキテクチャ

2 つの主要なモデルファミリーを比較評価しました。

CNN ファミリー: VGG-16, ResNet-50, DenseNet-121, Inception-v3
ViT ファミリー: DeiT, Swin Transformer, ViT-B/16
全てのモデルは ImageNet 事前学習済み重みを使用し、ファインチューニングなしで推論モードで評価されました。

2.3 敵対的攻撃手法

7 つの攻撃手法を適用しました。

単一ステップ: FGSM
反復ベース: PGD, I-FGSM
モメンタム/加速: MI-FGSM, NI-FGSM, VMI-FGSM
アンサンブル攻撃: 同一ファミリー内の全サロゲートモデルの勾配を結合

2.4 実験設定

摂動予算（ $\epsilon$ ）: $L_\infty$ ノルム制約下で 5 つの値（2/255, 4/255, 8/255, 16/255, 32/255）をテスト。
評価指標:
1. ASR: 攻撃成功率
2. PSNR: 信号対雑音比（画像品質）
3. SSIM: 構造的類似性指標（知覚的類似性）
4. L2 摂動大きさ: 摂動の強さ
総実験構成: 3,500 設定（4 データセット × 5 $\epsilon$ × 7 攻撃 × 7 モデルの組み合わせ）。ホワイトボックス（サロゲート＝ターゲット）とブラックボックス（サロゲート≠ターゲット）の両方を評価。

2.5 分析手法

3,500 設定における指標間の関係を分析するため、ピアソン相関係数とスピアマン順位相関係数を計算しました。

3. 主要な結果

3.1 ASR と知覚的指標の「脱結合（Decoupling）」

最も重要な発見は、ASR と知覚的/歪み指標（SSIM, PSNR, L2）の間にほとんど相関がないという事実です。

相関分析: CNN と ViT の両方で、ASR と SSIM/PSNR/L2 の相関係数はほぼゼロ（ $|r| \leq 0.17, |\rho| \leq 0.15$ ）でした。
知覚指標間の相関: 一方、SSIM、PSNR、L2 の間には強い相関（ $|r| \geq 0.87$ ）があり、摂動が大きくなれば画像品質が低下するという直感的な関係が確認されました。
意味: 攻撃が成功するかどうか（ASR）は、画像がどれだけ歪んでいるか（PSNR/SSIM）や摂動がどれだけ大きいか（L2）によって予測できません。

3.2 摂動予算と ASR の関係

摂動予算（ $\epsilon$ ）を 2/255 から 32/255（16 倍）に増やしても、ASR の向上はわずかで、ほぼ横ばいでした。

CNN: ブラックボックス ASR は 75.5% から 79.0% のみ上昇。
ViT: ホワイトボックス ASR は 99.5%〜100% でほぼ一定。
これは、摂動の強さを増しても攻撃成功率が劇的に上がらないことを示し、ASR と摂動規模が異なる次元の指標であることを裏付けています。

3.3 アーキテクチャ間の転移性の違い

ViT: 非常に均一で高い転移性を示しました。ある ViT モデルで生成された敵対的サンプルは、他の ViT モデルに対しても 91.1%〜93.4% の成功率で転移します。
CNN: 非対称で構造化された転移性を示しました。Inception-v3 は攻撃されやすく、ResNet-50 は最も堅牢でした。
CheXpert の特異性: CheXpert（多ラベル分類）において、CNN のブラックボックス攻撃成功率は 52.8% と著しく低かったのに対し、ViT は 100% を達成しました。これは多ラベルタスクにおけるアーキテクチャ間の相互作用の重要性を示しています。

3.4 アンサンブル攻撃の優位性

アンサンブル攻撃は、ホワイトボックスとブラックボックスの成功率の差（ギャップ）を最小化（1.1%）し、最も効果的な転移攻撃戦略であることが確認されました。

4. 貢献と意義

4.1 学術的貢献

ASR 単独評価の限界の証明: 医療画像領域において、ASR が摂動の質や強さと無関係であることを実証し、単一指標評価の不完全性を明らかにしました。
多指標評価枠組みの提唱: 敵対的リスクを評価するには、攻撃の成功率だけでなく、知覚的品質（SSIM/PSNR）や摂動コスト（L2）を含む多指標フレームワークが必要であることを示しました。
CNN と ViT の比較: 異なるアーキテクチャ間でも「ASR と知覚指標の脱結合」という現象が普遍的に起こることを発見しました。

4.2 医療 AI への示唆

臨床的リスクの再評価: 医師や病理学者が肉眼では区別できない（高 SSIM/PSNR）摂動であっても、モデルを誤分類させる（高 ASR）可能性があります。逆に、目に見える歪みがあっても攻撃が成功しない場合もあります。
ViT の脆弱性: ViT は高い転移性を持つため、一度攻撃が成功すれば他の ViT モデルにも容易に波及するリスクがあり、医療現場での導入には特に注意が必要です。
将来の方向性: 本研究は、攻撃の効率性、知覚的劣化、摂動コストを統合した複合指標の開発の必要性を促しています。

結論

本研究は、医療画像モデルにおける敵対的攻撃の評価において、従来の「攻撃成功率（ASR）」だけでは不十分であることを実証的に示しました。ASR は摂動の大きさや画像の質とは無関係に振る舞うため、医療 AI システムの真のリスクを評価するには、多角的な指標を用いた包括的な評価枠組みの採用が不可欠です。特に、ViT の高い転移性と ASR の脱結合現象は、次世代医療 AI の安全性確保において重要な課題として浮き彫りになりました。