🤖 AI

Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models

이 논문은 의료 영상 분석 모델의 적대적 공격 취약성을 평가할 때 공격 성공률 (ASR) 만으로는 부족하며, 왜곡 정도와 전이성 등을 포괄하는 다중 지표 평가 프레임워크의 필요성을 체계적인 실증 연구를 통해 입증했습니다.

원저자: Emily Curl, Kofi Ampomah, Md Erfan, Sayanton Dibbo

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Emily Curl, Kofi Ampomah, Md Erfan, Sayanton Dibbo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏥 1. 배경: 의료 AI 의 '눈가림' 문제

의료 현장에서 AI 는 엑스레이나 피부 사진을 보고 암을 찾거나 질병을 진단하는 일을 합니다. 그런데 이 AI 들은 아주 작은 '노이즈' (사람 눈에는 보이지 않는 미세한 변화) 만으로도 완전히 다른 진단을 내릴 수 있습니다. 마치 거울에 아주 얇은 먼지 한 알만 묻어도 거울이 깨진 것처럼 보일 수 있는 것과 비슷합니다.

지금까지 연구자들은 이 해킹이 성공했는지 확인하기 위해 **'공격 성공률 (ASR)'**이라는 하나의 점수만 보았습니다.

비유: 도둑이 금고 문을 열었는지, 안 열었는지만 확인하는 것과 같습니다. "열었다 (성공)"면 점수 100 점, "안 열었다 (실패)"면 0 점입니다.

❌ 2. 문제점: 점수 하나만으로는 부족합니다

저자들은 "성공률만 보면 안 된다"고 말합니다. 왜냐하면 성공률 점수는 해킹이 얼마나 위험한지, 얼마나 눈에 띄는지를 알려주지 않기 때문입니다.

상황 A: 금고 문을 아주 거칠게, 소음과 함께, 큰 망치로 부수고 들어갔습니다. (성공률 100%, 하지만 소문은 다 났고 흔적이 뚜렷함)
상황 B: 금고 문을 아주 정교하게, 소리 없이, 미세한 도구로 열어 들어갔습니다. (성공률 100%, 하지만 아무도 모르고 흔적도 남지 않음)

이 두 경우 '성공률'은 똑같이 100 점이지만, 위험의 성격이 완전히 다릅니다. 의료 AI 에서는 '눈에 띄지 않는 해킹 (상황 B)'이 훨씬 더 치명적일 수 있습니다.

🔬 3. 연구 내용: 4 가지 의료 데이터와 7 가지 AI 모델 실험

저자들은 이 문제를 해결하기 위해 다음과 같은 실험을 했습니다.

대상: 피부, 눈, 폐, 조직 등 4 가지 의료 이미지 데이터.
모델: 전통적인 CNN(구형 카메라) 과 최신 ViT(새로운 디지털 카메라) 등 7 가지 AI 모델.
공격: 7 가지 다른 해킹 방법과 5 가지 정도의 '노이즈 강도'.

그리고 성공률 (ASR) 외에 이미지 품질 (얼마나 깨끗한지), 노이즈 크기 등을 함께 측정했습니다.

💡 4. 놀라운 발견: "성공률"과 "이미지 품질"은 서로 무관합니다!

가장 중요한 결론은 다음과 같습니다.

"해킹이 성공했는지 (ASR) 와 해킹이 이미지를 얼마나 망가뜨렸는지 (품질) 는 서로 전혀 상관관계가 없습니다."

비유: "집에 도둑이 들어갔는지 (성공 여부)"와 "도둑이 문을 얼마나 크게 부쉈는지 (손상 정도)"는 별개라는 뜻입니다.
- 아주 작은 노이즈로도 AI 를 속일 수 있습니다 (이미지는 깨끗함, 해킹 성공).
- 아주 큰 노이즈를 넣어도 AI 를 속이지 못할 수도 있습니다 (이미지는 엉망, 해킹 실패).
- 반대로, 이미지를 완전히 뭉개도 AI 를 속일 수 있습니다.

즉, 성공률 점수만 보고 "이 AI 는 안전하다"라고 판단하는 것은 매우 위험하다는 것입니다.

🤖 5. 구형 vs 신형 AI 의 차이 (CNN vs ViT)

연구는 두 가지 종류의 AI 모델에서도 같은 결과가 나왔지만, '이동성' (Transferability) 에서 차이가 있었습니다.

구형 모델 (CNN): 해킹이 모델 A 에서 모델 B 로 넘어갈 때, 모델마다 반응이 다릅니다. (어떤 건 잘 뚫리고, 어떤 건 잘 안 뚫림)
신형 모델 (ViT): 해킹이 한 번 성공하면, 다른 ViT 모델들에도 매우 쉽게, 균일하게 퍼집니다. (한 번 뚫리면 다 뚫리는 느낌)

이는 마치 한 번 만든 열쇠가 모든 최신형 문 (ViT) 을 다 여는 반면, 구형 문 (CNN) 은 문마다 열쇠가 달라야 하는 것과 비슷합니다.

🚨 6. 결론: 우리는 더 넓은 눈으로 봐야 합니다

이 논문의 핵심 메시지는 다음과 같습니다.

"의료 AI 의 안전성을 평가할 때, '공격 성공률' 하나만 믿으면 안 됩니다. 해킹이 얼마나 교묘하게, 얼마나 눈에 띄지 않게 이루어졌는지를 함께 봐야 합니다."

앞으로는 성공률 + 이미지 품질 + 노이즈 크기를 모두 합쳐서 평가하는 '종합 점수'가 필요하다고 주장합니다. 그래야만 환자를 보호하고, 보이지 않는 위협을 미리 막을 수 있기 때문입니다.

한 줄 요약:
"의료 AI 해킹을 평가할 때, '성공했는가?'만 묻지 말고, '얼마나 교묘하게, 얼마나 위험하게 성공했는가?'를 함께 봐야 진짜 안전을 알 수 있다!"

1. 연구 배경 및 문제 정의 (Problem)

배경: 의료 영상 분석 분야에서 딥러닝 (CNN, ViT 등) 의 활용이 급증하고 있지만, 적대적 공격 (Adversarial Attacks) 에 대한 취약성은 임상 배포에 심각한 위협이 됩니다.
기존 문제: 현재 적대적 공격 평가는 주로 **공격 성공률 (Attack Success Rate, ASR)**이라는 이진 (Binary) 지표에 의존합니다.
- ASR 은 공격이 성공했는지 여부는 알려주지만, 교란의 강도 (Perturbation Strength), 시각적 화질 저하 (Perceptual Quality), 모델 간 전이성 (Transferability) 등의 중요한 요소를 고려하지 않습니다.
- 특히 CNN(합성곱 신경망) 과 ViT(Vision Transformer) 와 같이 학습 메커니즘이 근본적으로 다른 아키텍처 간에 단일 지표 (ASR) 가 적대적 행동을 얼마나 잘 포착하는지 불분명합니다.
연구 목적: ASR 만으로는 의료 AI 의 취약성을 완전히 평가할 수 없음을 입증하고, 공격 효율성, 시각적 품질, 교란 비용 등을 모두 포함하는 다중 지표 평가 프레임워크의 필요성을 강조하는 것입니다.

2. 방법론 (Methodology)

연구팀은 4 개의 의료 영상 데이터셋과 7 개의 모델, 7 가지 공격 방법, 5 가지 교란 예산 (Perturbation Budget) 을 사용하여 대규모 실험을 수행했습니다.

데이터셋 (4 개):
- MedMNIST v2: PathMNIST (병리학), DermaMNIST (피부과), RetinaMNIST (안과).
- CheXpert: 다중 레이블 임상 흉부 X-ray 데이터셋.
모델 아키텍처 (7 개):
- CNN 계열: VGG-16, ResNet-50, DenseNet-121, Inception-v3.
- Transformer (ViT) 계열: DeiT, Swin Transformer, ViT-B/16.
공격 방법 (7 개):
- 단일 단계: FGSM.
- 반복적/기반: PGD, I-FGSM, MI-FGSM, NI-FGSM, VMI-FGSM.
- 앙상블: Ensemble Attack.
실험 설정:
- 교란 예산 ( $\epsilon$ ): $L_\infty$ 노름 기준 {2/255, 4/255, 8/255, 16/255, 32/255} 의 5 단계.
- 평가 지표:
  - 성능: 공격 성공률 (ASR), 분류 정확도 (ACC).
  - 시각적/교란 품질: PSNR(신호 대 잡음비), SSIM(구조적 유사도), $L_2$ 교란 크기.
- 분석: 3,500 개의 실험 구성 (Dataset $\times$ $\epsilon$ $\times$ Surrogate $\times$ Target $\times$ Attack) 에 대해 피어슨 (Pearson) 및 스피어만 (Spearman) 상관관계 분석을 수행했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. ASR 과 시각적/교란 지표의 '분리 (Decoupling)' 현상

핵심 발견: ASR 은 시각적 품질 지표 (SSIM, PSNR) 및 교란 크기 ( $L_2$ $L_{2}$ ) 와 매우 약한 상관관계를 보입니다.
- ViT 모델: ASR vs SSIM/PSNR/ $L_2$ 상관관계가 거의 0 에 수렴 ( $|r| \le 0.05$ ).
- CNN 모델: 역시 매우 약한 상관관계 ( $|r| \le 0.17$ ).
시각적 품질 지표 간의 관계: 반대로 SSIM, PSNR, $L_2$ 는 서로 매우 강하게 상관관계가 있습니다 ( $|r| \ge 0.87$ ). 즉, 교란이 커질수록 화질은 일정하게 저하되지만, 이것이 공격 성공률 (ASR) 을 예측하지 못한다는 뜻입니다.
교란 예산의 영향: 교란 크기 ( $\epsilon$ ) 를 2/255 에서 32/255 로 16 배 증가시켰음에도 ASR 은 거의 변하지 않았습니다 (예: CNN Black-box 는 75.5% $\to$ 79.0%). 이는 공격 성공 여부가 교란의 크기와 무관하게 결정될 수 있음을 시사합니다.

B. 아키텍처별 전이성 (Transferability) 차이

ViT (Transformer): 모델 간 전이성이 매우 균일하고 높습니다. 하나의 ViT 모델로 생성된 적대적 예제는 다른 ViT 모델에서도 **91.1% ~ 93.4%**의 높은 성공률로 전이됩니다.
CNN: 전이성이 비대칭적이고 모델에 따라 편차가 큽니다.
- Inception-v3: 가장 공격하기 쉬운 타겟 (높은 전이성).
- ResNet-50: 가장 저항력이 강한 타겟 (낮은 전이성).
CheXpert 특이점: CheXpert(다중 레이블) 데이터셋에서 CNN 의 Black-box ASR 은 52.8% 로 급격히 떨어졌으나, ViT 는 100% 를 기록하여 아키텍처와 데이터 특성이 상호작용함을 보여줍니다.

C. 앙상블 공격의 효과

단일 공격 방법보다 여러 모델의 그라디언트를 결합한 Ensemble Attack이 Black-box 전이성에서 가장 효과적이었습니다. White-box 와 Black-box 간 성공률 격차를 1.1% 포인트 (93.4% vs 92.3%) 로 최소화했습니다.

4. 의의 및 결론 (Significance & Conclusion)

ASR 의 한계 재확인: 의료 AI 의 적대적 위험을 평가할 때 ASR 만으로는 불충분합니다. 공격이 성공했는지 여부와 별개로, 공격이 얼마나 눈에 띄는지 (시각적 품질) 그리고 생성 비용은 얼마인지에 대한 정보가 필수적입니다.
다중 지표 프레임워크의 필요성: 연구팀은 공격 효율성 (ASR), 시각적 왜곡 (SSIM, PSNR), 교란 비용 ( $L_2$ ) 을 모두 고려한 다중 지표 평가 체계를 제안합니다. 이는 특히 임상 환경에서 '눈에 띄지 않지만 진단을 왜곡하는' 공격을 식별하는 데 중요합니다.
임상적 함의: ViT 기반 모델은 높은 전이성으로 인해 단일 모델에 대한 공격이 다른 ViT 모델 전체로 확산될 위험이 크며, 이는 의료 시스템의 보안 취약점으로 작용할 수 있습니다.
향후 작업: ASR, 시각적 품질, 교란 크기를 통합한 복합 지표 (Composite Metric) 개발을 통해 더 포괄적인 위험 평가를 수행할 예정입니다.

요약하자면, 이 논문은 의료 영상 모델의 적대적 공격 평가에 있어 기존의 '공격 성공률 (ASR)' 중심 접근법의 한계를 지적하고, 교란의 물리적/시각적 특성과 공격 성공 간의 비선형적 관계를 실증적으로 증명함으로써, 보다 정교한 다중 지표 평가 체계의 도입을 강력히 주장합니다.