Adversarial Robustness of Deep Learning-Based Thyroid Nodule Segmentation in Ultrasound

이 논문은 초음파 영상 기반 갑상선 결절 분할 모델이 공간 도메인 적대적 공격에는 일부 방어 기법으로 완화될 수 있으나, 주파수 도메인 공격에는 여전히 취약함을 규명했습니다.

핵심

🏥 배경: AI 의 눈과 초음파의 특징

갑상선 초음파를 찍으면 AI 가 결절 (혹) 의 경계를 찾아주는데, 이는 의사의 진단을 돕는 중요한 일입니다. 하지만 AI 는 사람처럼 눈으로 보고 판단하는 게 아니라, 숫자 패턴을 계산해서 판단합니다.

이 논문은 **"만약 누군가 AI 가 보는 화면에 사람이 눈으로 못 볼 정도로 아주 미세하게 노이즈를 섞어 넣으면, AI 는 어떻게 될까?"**를 실험했습니다.

⚔️ 실험 1: 두 가지 '악의적인 속임수' (공격법)

연구진은 AI 를 속이기 위해 두 가지 다른 방법을 고안했습니다.

1. SSAA (소금 알갱이 공격):

   • 비유: 초음파 화면은 원래 '소금 알갱이' 같은 잡음 (스페클) 이 가득한 바다 같습니다. 이 공격은 결절의 가장자리에만 집중해서 그 소금 알갱이들을 살짝 흔들어 놓는 방식입니다.
   • 결과: 사람이 보기에 화면은 거의 똑같지만, AI 는 "아, 여기가 결절의 끝이구나"라고 생각하던 곳을 완전히 헷갈려하게 만들었습니다. (AI 의 정확도가 76% 에서 47% 로 뚝 떨어졌습니다.)

2. FDUA (주파수 공격):

   • 비유: 초음파 이미지를 악보로 생각해보세요. 이 공격은 악보의 특정 음계 (주파수) 만 살짝 바꿔서 소리를 왜곡시키는 방식입니다.
   • 결과: 이 방법은 화면이 더 뭉개져서 보일 정도로 시각적으로도 이상했지만, AI 를 혼란스럽게 만드는 데는 첫 번째 방법보다 효과가 적었습니다.

🛡️ 실험 2: 방어막 세 가지 (방어법)

공격을 받은 AI 를 구하기 위해 세 가지 '방어막'을 시험해 봤습니다.

1. 랜덤한 전처리 (눈을 감았다 뜨기):
   • 비유: AI 가 이미지를 볼 때, 이미지를 살짝 확대하거나 흐리게 만들거나 회전시켜서 여러 번 보고 평균을 내는 방식입니다. 마치 눈을 감았다 뜨며 여러 각도에서 확인하는 것과 같습니다.
2. 확정적 제거 (청소하기):
   • 비유: 이미지의 잡음 (노이즈) 을 깔끔하게 지우는 청소기 같은 필터를 씌우는 것입니다.
3. 확률적 앙상블 (여러 전문가의 의견 모으기):
   • 비유: 같은 이미지를 여러 번 변형해서 AI 에게 보여주고, **여러 번의 답변을 모아 가장 많은 의견 (다수결)**을 최종 답으로 내는 방식입니다.

📊 결과: 어떤 방어막이 효과적일까?

• 소금 알갱이 공격 (SSAA) 에는 방어막이 통했습니다!

  • 특히 **'청소기 (확정적 제거)'**가 가장 효과적이었습니다. AI 가 잃어버린 정확도의 약 36% 를 되찾아왔습니다.
  • 다른 방법들도 약간의 도움을 주었지만, 청소기가 가장 잘 작동했습니다.
  • 핵심: 이 공격은 화면의 '질감'을 교란하는 것이었기 때문에, 노이즈를 닦아내는 청소기가 잘 먹혔습니다.

• 주파수 공격 (FDUA) 에는 방어막이 무력했습니다.

  • 세 가지 방어막 모두 통하지 않았습니다. AI 의 정확도는 거의 회복되지 않았습니다.
  • 핵심: 이 공격은 이미지의 '본질적인 구조 (주파수)'를 건드렸기 때문에, 단순히 화면을 흐리게 하거나 청소하는 것만으로는 해결할 수 없었습니다. 오히려 AI 가 결절을 너무 크게 보거나 (과잉 진단), 작게 보는 등 엉뚱한 방향으로 오답을 냈습니다.

💡 결론 및 시사점

이 연구는 우리에게 두 가지 중요한 교훈을 줍니다.

1. AI 는 보이지 않는 속임수에 취약합니다: 사람이 보기에 전혀 이상해 보이지 않는 초음파 이미지라도, AI 는 그 안에 숨겨진 미세한 노이즈 때문에 완전히 엉뚱한 진단을 내릴 수 있습니다.
2. 방어는 '공격의 종류'에 따라 달라져야 합니다:
   • 화면의 질감을 교란하는 공격에는 **단순한 노이즈 제거 (청소)**가 효과적입니다.
   • 하지만 이미지의 구조 자체를 건드리는 공격에는 단순한 청소로는 무용지물입니다. 더 근본적인 해결책 (AI 를 훈련시킬 때부터 이런 공격을 경험하게 하거나, AI 의 구조를 바꾸는 등) 이 필요합니다.

한 줄 요약:

"AI 가 초음파를 볼 때, **표면의 먼지 (노이즈)**를 닦아내면 해결되지만, **이미지의 뼈대 (구조)**를 흔드는 공격에는 단순한 청소로는 막을 수 없으니, 더 똑똑한 방어 전략이 필요하다"는 것을 증명했습니다.

기술 요약

논문 개요: 초음파 영상 기반 갑상선 결절 분할의 적대적 견고성 평가

이 연구는 임상 영상 워크플로우에 통합되고 있는 딥러닝 기반 분할 모델이 초음파 (Ultrasound) 환경에서 적대적 공격 (Adversarial Attacks) 에 얼마나 취약한지, 그리고 추론 시 (Inference-time) 적용 가능한 방어 기법이 그 효과를 발휘할 수 있는지 평가하는 것을 목적으로 합니다. 특히, 의료 영상 중에서도 잡음 (Speckle noise) 과 주파수 구조가 독특한 초음파 이미지에 특화된 공격과 방어 전략을 제안하고 검증했습니다.

1. 문제 제기 (Problem)

• 임상적 중요성: B-모드 초음파에서 갑상선 결절을 자동 분할하는 것은 진단, 치료 계획 수립, 장기 모니터링에 필수적입니다.
• 취약성: 딥러닝 모델은 작은 적대적 교란 (Perturbations) 에 의해 예측이 크게 왜곡될 수 있습니다. 자연 이미지 분류에서는 많이 연구되었으나, 의료 영상 분할, 특히 초음파에 대한 연구는 부족합니다.
• 초음파의 고유한 특성: 초음파는 곱셈적 스펙클 잡음 (Multiplicative speckle noise), 빔 형성으로 인한 주파수 도메인 구조, 높은 프레임 간 가변성을 가지며, 이는 일반적인 픽셀 단위 교란과 다른 공격 전략을 필요로 합니다.
• 방어 기법의 부재: 기존 연구는 주로 분류 작업이나 화이트박스 (White-box) 환경에 집중했으며, 초음파 분할을 위한 블랙박스 (Black-box) 공격과 경량 추론 시 방어 기법 (Inference-time defense) 의 효과는 평가되지 않았습니다.

2. 방법론 (Methodology)

가. 데이터셋 및 모델

• 데이터: Stanford AIMI Thyroid Ultrasound Cine-clip 데이터베이스 (167 명의 환자, 192 개의 생검 확인된 갑상선 결절, 총 17,412 프레임) 사용. 환자 단위로 학습/검증/테스트 (70/15/15) 분할.
• 모델: U-Net 아키텍처 (4 단계 인코더, 512 특징 병목, 대칭 디코더). Dice 손실과 이진 교차 엔트로피 손실을 결합하여 학습.

나. 적대적 공격 (Adversarial Attacks)

블랙박스 환경 (모델 가중치 미접근, 500 회 쿼리 제한) 에서 두 가지 초음파 특화 공격을 개발했습니다.

1. 구조화된 스펙클 증폭 공격 (SSAA, Structured Speckle Amplification Attack):
   • 초음파의 곱셈적 스펙클 잡음 모델을 활용합니다.
   • 예측된 분할 경계 근처에 공간적으로 구조화된 노이즈를 주입합니다.
   • 레이리 (Rayleigh) 분포 노이즈를 생성하여 원본 이미지에 곱셈적으로 적용합니다.
2. 주파수 도메인 초음파 공격 (FDUA, Frequency-Domain Ultrasound Attack):
   • 입력 이미지의 2D 푸리에 변환 (Fourier Transform) 을 조작합니다.
   • 버터워스 밴드패스 필터를 사용하여 조직 질감이 집중된 중간 주파수 대역 (Mid-frequency) 을 타겟팅합니다.
   • 해당 주파수 성분에 무작위 위상 노이즈를 곱하여 교란을 생성합니다.

다. 추론 시 방어 기법 (Inference-time Defenses)

모델 재학습 없이 입력 전처리나 예측 집계 방식을 통해 적용 가능한 세 가지 전략을 평가했습니다.

1. 무작위 전처리 및 테스트 시간 증강 (Randomized Preprocessing): 추론 전 무작위 스케일링과 가우시안 블러를 적용한 후 평균화.
2. 결정론적 입력 노이즈 제거 (Deterministic Input Denoising): 가우시안 블러 (Sigma=1.0) 와 3x3 중앙값 필터 (Median Filter) 적용.
3. 일관성 인식 집계를 통한 확률적 앙상블 (Stochastic Ensemble with Consistency-Aware Aggregation): 다양한 증강 (이동, 스케일, 블러, 노이즈 등) 을 가한 5 개의 복사본에 대해 예측 후, 픽셀 단위 일치도에 따라 가중치를 부여하여 최종 예측 생성.

3. 주요 결과 (Key Results)

가. 공격의 효과성

• 베이스라인: 교란 없는 이미지에서 평균 Dice Similarity Coefficient (DSC) 는 0.76이었습니다.
• SSAA 공격: DSC 를 0.47로 감소시켰음 (감소폭 0.29). 시각적 유사도 (SSIM) 는 0.94 로 매우 높아 육안으로 탐지하기 어려웠습니다.
• FDUA 공격: DSC 를 0.65로 감소시켰음 (감소폭 0.11). SSAA 보다 감소폭은 작았으나 시각적 왜곡 (SSIM 0.82) 이 더 컸습니다.

나. 방어 기법의 성능

• SSAA 에 대한 방어:
  • 세 가지 방어 기법 모두 통계적으로 유의미한 DSC 회복을 보였습니다.
  • **결정론적 노이즈 제거 (Denoising)**가 가장 효과적이었으며, DSC 를 0.57 로 회복시켰습니다 (회복률 35.57%, p < 0.001).
  • 무작위 전처리 (29.29% 회복) 와 확률적 앙상블 (28.24% 회복) 도 유의미한 개선을 보였습니다.
  • 원인: 주로 '위음성 (False Negative, 결절 누락)'을 줄이는 Recall 개선에 기여했습니다.
• FDUA 에 대한 방어:
  • 어떤 방어 기법도 DSC 에서 통계적으로 유의미한 개선을 보이지 못했습니다.
  • 일부 방어 기법은 Recall 을 개선했으나 Precision 이 감소하여 (과분할 현상), 전체 DSC 는 거의 변하지 않았습니다.
  • 이는 주파수 도메인 교란이 단순한 입력 전처리 (블러/필터) 로는 제거하기 어렵다는 것을 시사합니다.

다. 성능 비용 (Performance Cost)

• 모든 방어 기법은 공격받지 않은 정상 이미지에서 DSC 감소가 거의 없었거나 (0.003 이내), 오히려 미세하게 개선되어 임상 적용에 따른 성능 저하 비용은 미미했습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 초음파 특화 적대적 공격 프레임워크 제안: 초음파의 물리적 특성 (스펙클 잡음, 주파수 구조) 을 반영한 SSAA 와 FDUA 두 가지 새로운 블랙박스 공격을 제안했습니다.
2. 방어 기법의 비대칭성 발견:
   • 공간 도메인 (Spatial-domain) 공격 (SSAA) 은 간단한 전처리 (노이즈 제거 등) 로 부분적으로 방어 가능합니다.
   • 주파수 도메인 (Frequency-domain) 공격 (FDUA) 은 기존 추론 시 전처리 기법으로는 방어 불가능합니다.
   • 이는 의료 영상 (특히 초음파) 의 적대적 견고성 평가가 공격 유형과 영상 모달리티에 따라 다르게 접근해야 함을 강조합니다.
3. 임상적 시사점:
   • 시각적으로 거의 구별되지 않는 교란으로도 모델이 임상적으로 유의미한 오류 (결절 크기 과소평가 등) 를 범할 수 있음을 증명했습니다.
   • 단순한 전처리만으로는 모든 위협에 대응할 수 없으므로, **학습 단계 (Training-time)**에서의 적대적 학습 (Adversarial Training) 이나 아키텍처 개선, 그리고 불확실성 기반 트라이지 (Confidence-based triage) 시스템 도입의 필요성을 제기했습니다.

5. 결론

이 연구는 초음파 기반 갑상선 결절 분할 딥러닝 모델이 블랙박스 적대적 공격에 취약하며, 공격의 도메인 (공간 vs 주파수) 에 따라 방어 전략의 효과가 극명하게 달라진다는 것을 입증했습니다. 특히 주파수 도메인 공격에 대한 기존 전처리 기법의 무력함을 보여주어, 향후 더 강력한 견고성을 확보하기 위해서는 모델 학습 단계의 개선과 다양한 모달리티에 대한 지속적인 평가가 필수적임을 강조합니다.