🤖 machine learning

Exploring Adversarial Watermarking in Transformer-Based Models: Transferability and Robustness Against Defense Mechanism for Medical Images

본 논문은 의료 영상 분석에서 뛰어난 성능을 보이는 비전 트랜스포머(ViT) 모델이 적대적 워터마킹 공격에 취약함을 밝히고, 이러한 공격의 CNN 모델로의 전이성과 적대적 훈련(Adversarial Training)을 통한 방어 효과를 분석하였습니다.

원저자: Rifat Sadik, Tanvir Rahman, Arpan Bhattacharjee, Bikash Chandra Halder, Ismail Hossain, Mridul Banik, Jia Uddin

게시일 2026-02-10

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rifat Sadik, Tanvir Rahman, Arpan Bhattacharjee, Bikash Chandra Halder, Ismail Hossain, Mridul Banik, Jia Uddin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🩺 제목: "똑똑하지만 예민한 의사 AI, '비전 트랜스포머'를 지켜라!"

1. 배경: 두 종류의 인공지능 의사

우리에게는 피부병을 진단해 주는 두 종류의 인공지능 의사가 있다고 상상해 보세요.

CNN 의사 (전통적인 방식): 이 의사는 **'돋보기'**를 들고 진료합니다. 피부의 아주 작은 부분, 즉 국소적인 모양이나 질감을 꼼꼼히 살피며 병을 찾아냅니다. 꼼꼼하지만, 전체적인 맥락을 놓칠 때가 있죠.
ViT 의사 (최신 방식 - Vision Transformer): 이 의사는 **'전지적 시점'**을 가졌습니다. 돋보기 대신 피부 전체를 한눈에 조망하며, "이 점의 모양과 저 부위의 색깔이 어떤 관계가 있는가?"를 파악합니다. 훨씬 똑똑하고 정확하지만, 전체를 다 보려다 보니 아주 작은 변화에도 민감하게 반응하는 성격입니다.

2. 문제 발생: '투명 망토'를 쓴 악당 (적대적 워터마킹)

그런데 이 똑똑한 ViT 의사에게 치명적인 약점이 발견되었습니다. 바로 '투명 망토(Adversarial Watermarking)' 공격입니다.

이 공격은 아주 교묘합니다. 사진 위에 사람 눈에는 전혀 보이지 않는, 아주 미세한 '가짜 먼지'를 뿌리는 것과 같아요. 우리 눈에는 멀쩡한 피부 사진처럼 보이지만, 전체적인 맥락을 읽는 ViT 의사에게 이 먼지는 엄청난 혼란을 줍니다.

마치, 아주 예민한 미식가에게 음식에 보이지 않는 미세한 향신료를 살짝 뿌렸더니, 갑자기 음식이 쓰다고 느끼며 맛을 완전히 잘못 판단하는 것과 같습니다. 실제로 실험 결과, 똑똑했던 ViT 의사의 정확도가 94%에서 27%까지 뚝 떨어졌습니다. (거의 엉터리 진단을 내리게 된 거죠!)

반면, 돋보기를 들고 부분만 보는 CNN 의사는 이 미세한 먼지에 상대적으로 덜 휘둘렸습니다.

3. 해결책: '모의 훈련'으로 단련하기 (적대적 학습)

연구팀은 이 예민한 ViT 의사를 강하게 만들기 위해 **'특수 훈련'**을 시켰습니다. 이를 **'적대적 학습(Adversarial Training)'**이라고 부릅니다.

이 훈련은 이렇습니다. 의사에게 평소처럼 깨끗한 사진만 보여주는 게 아니라, 일부러 '투명 망토'를 씌운 가짜 사진들을 엄청나게 많이 보여주며 "이건 가짜야! 속지 마!"라고 계속 가르치는 것입니다.

마치 격투기 선수가 실제 시합에 나가기 전에, 온갖 변칙적인 공격을 하는 스파링 파트너와 수천 번 연습하며 맷집을 키우는 것과 같습니다.

4. 결과: 다시 태어난 슈퍼 의사

훈련 결과는 놀라웠습니다!
처음에는 가짜 사진 한 장에 속아 넘어갔던 ViT 의사가, 훈련 후에는 가짜 사진을 보고도 다시 90%라는 높은 정확도로 병을 맞히기 시작했습니다.

결국, **"전체적인 맥락을 읽는 똑똑함(ViT)"**과 **"어떤 공격에도 흔들리지 않는 맷집(적대적 학습)"**을 모두 갖춘 무적의 AI 의사가 탄생한 것입니다.

💡 요약하자면?

**최신 AI(ViT)**는 피부병을 아주 잘 찾아내지만, 눈에 안 보이는 미세한 조작(공격)에 매우 취약하다.
이 공격은 의료 현장에서 오진을 일으켜 환자에게 큰 위험을 줄 수 있다.
하지만 **가짜 공격을 미리 연습(적대적 학습)**시키면, AI는 훨씬 더 똑똑하고 튼튼해져서 안전하게 사용할 수 있다!

[기술 요약] 트랜스포머 기반 의료 영상 모델의 적대적 워터마킹 탐구: 전이성 및 방어 기제에 대한 강건성 연구

1. 연구 배경 및 문제 정의 (Problem Statement)

최근 의료 영상 분석(특히 피부 질환 진단) 분야에서는 기존의 합성곱 신경망(CNN)을 넘어, 이미지의 전역적 문맥(Global Context)을 파악하는 데 탁월한 Vision Transformer (ViT) 모델이 주목받고 있습니다. 그러나 ViT의 핵심 메커니즘인 Self-Attention(자기 주의 집중) 구조는 이미지 패치 간의 관계를 모두 고려하기 때문에, 미세한 픽셀 변화에도 민감하게 반응하는 **적대적 공격(Adversarial Attack)**에 매우 취약할 수 있다는 잠재적 위험이 있습니다.

본 연구는 의료 영상 진단 시 발생할 수 있는 오진(예: 악성 흑색종을 양성으로 오판)을 초래할 수 있는 적대적 워터마킹(Adversarial Watermarking) 공격이 ViT 모델에 미치는 영향과 그 방어 가능성을 조사하고자 합니다.

2. 연구 방법론 (Methodology)

본 연구는 다음과 같은 단계적 방법론을 채택하였습니다.

공격 모델 (Adversarial Attack): PGD (Projected Gradient Descent) 알고리즘을 사용하여 적대적 워터마킹을 생성했습니다. PGD는 모델의 손실 함수(Loss Function)를 최대화하는 방향으로 미세한 섭동(Perturbation)을 단계적으로 추가하여, 인간의 눈에는 원본과 차이가 없으나 모델은 오작동하게 만드는 기법입니다.
대상 모델 및 데이터셋: 5가지 피부 질환(Atopic dermatitis, Eczema, Herpes, Nevus, Melanoma) 데이터셋을 사용하였으며, 비교를 위해 ViT, ResNet-50, VGG16 세 가지 아키텍처를 실험 대상으로 설정했습니다.
방어 기제 (Defense Mechanism): 모델의 강건성을 높이기 위해 **적대적 훈련(Adversarial Training)**을 적용했습니다. 이는 학습 과정에서 적대적 예제(Adversarial Examples)를 데이터셋에 포함시켜 모델이 공격 패턴에 익숙해지도록 만드는 방식입니다.
실험 워크플로우: 데이터 전처리 $\rightarrow$ 모델 학습(Clean) $\rightarrow$ PGD 공격 수행 $\rightarrow$ 적대적 훈련 수행 $\rightarrow$ 최종 강건성 평가 순으로 진행되었습니다.

3. 주요 기여 (Key Contributions)

ViT의 취약성 규명: 의료 영상 분야에서 ViT가 가진 전역적 주의 집중 메커니즘이 적대적 공격에 얼마나 취약한지를 정량적으로 입증했습니다.
아키텍처 간 비교 분석: 국소적 특징(Local features)에 집중하는 CNN(ResNet, VGG)과 전역적 관계에 집중하는 ViT 간의 적대적 공격에 대한 반응 차이를 분석했습니다.
방어 전략의 유효성 검증: 적대적 훈련이 ViT의 성능을 극적으로 회복시킬 수 있음을 보여줌으로써, 의료 AI 모델의 보안 가이드라인을 제시했습니다.

4. 연구 결과 (Results)

Clean 데이터 성능: ViT(94.4%)와 ResNet-50(94.2%)은 매우 높은 정확도를 보였으나, VGG16(84.0%)은 상대적으로 낮았습니다.
공격 시 성능 저하 (Vulnerability): PGD 공격 시 ViT의 정확도는 27.6%로 급락하여, ResNet-50(70.0%)이나 VGG16(54.4%)보다 훨씬 더 큰 타격을 입었습니다. 이는 ViT가 적대적 섭동에 매우 민감함을 의미합니다.
방어 후 성능 회복 (Robustness): 적대적 훈련을 적용한 결과, **ViT의 정확도는 27.6%에서 90.0%로 대폭 상승(+62.4%)**했습니다. ResNet-50과 VGG16 역시 성능이 개선되었으나, ViT의 회복 탄력성이 가장 두드러졌습니다.

5. 연구의 의의 및 결론 (Significance & Conclusion)

본 연구는 의료 AI 시스템의 신뢰성을 확보하는 데 있어 매우 중요한 시사점을 제공합니다.

보안 경고: 고성능을 자랑하는 ViT 모델이 보안 조치 없이는 의료 현장에서 치명적인 오진을 유발할 수 있음을 경고합니다.
실용적 해법: 적대적 훈련이 ViT의 취약점을 극복하고 실무에 적용 가능한 수준의 강건성을 확보할 수 있는 효과적인 방법임을 증명했습니다.
향후 과제: 연구팀은 향후 더 큰 데이터셋과 다양한 공격 알고리즘, 그리고 동적 적대적 훈련 전략을 통해 모델의 일반화 성능을 더욱 높여야 한다고 제언합니다.