Representation-Level Adversarial Regularization for Clinically Aligned Multitask Thyroid Ultrasound Assessment

1. 문제 정의 (Problem Statement)

• 임상적 배경: 갑상선 결절 평가에서 초음파는 1 차 진단 수단이며, 방사선과 전문의는 일반적으로 **결절의 윤곽 (Contour/Segmentation)**과 **TI-RADS 위험도 등급 (Risk Stratification)**이라는 두 가지 연동된 출력을 생성합니다.
• 핵심 문제:
  1. 주관적 편차 (Annotator Variability): 서로 다른 판독자가 동일한 사례에 대해 다른 윤곽선과 위험도 등급을 매길 수 있어, 학습에 사용되는 'Ground Truth'가 불일치 (Inconsistent Supervision) 합니다.
  2. 다중 태스크 학습의 한계: 기존 단일 태스크 모델 (분류 또는 분할만 수행) 은 임상 워크플로우와 불일치하며, 순차적 파이프라인 (분할 후 분류) 은 오류 전파를 일으킵니다.
  3. 경쟁하는 기울기 (Gradient Competition): 공유 인코더를 사용하는 다중 태스크 학습에서, 분할과 분류 태스크의 기울기가 공유 표현 (Shared Representation) 내에서 서로 경쟁하여 '부정적 전이 (Negative Transfer)'가 발생하고 학습이 불안정해집니다.

2. 제안 방법론 (Methodology)

저자들은 임상적으로 정렬된 다중 태스크 프레임워크를 제안하며, 이는 공유 인코더를 통해 분할과 TI-RADS 분류를 동시에 수행합니다. 주요 구성 요소는 다음과 같습니다.

A. 임상적 가이드가 있는 다중 태스크 아키텍처 (Clinically Guided Multitask Architecture)

• 공유 인코더: 입력 초음파 이미지를 받아 공유 표현 $z$를 추출합니다.
• 분할 디코더: 결절 마스크를 예측합니다.
• 분류 헤드: TI-RADS 등급을 예측합니다.
• 임상적 가이드 (Clinical Guidance): 분류 임베딩을 두 부분으로 나눕니다.
  • $h_{tirads}$: TI-RADS 기준 (형태, 경계, 에코 등) 과 정렬된 13 차원의 방사학적 (Radiomics) 특징을 인코딩하는 부분.
  • $h_{deep}$: 판별력을 높이는 심층 특징을 인코딩하는 부분.
• 방사학적 증류 (Radiomics Distillation): 학습 시에만 Ground Truth 마스크를 기반으로 13 차원 방사학적 목표 벡터 $r(x, \Omega)$를 계산하여 $h_{tirads}$를 지도 학습합니다. 추론 시에는 이 과정이 제거되어 임상 워크플로우에 추가 부담을 주지 않습니다.

B. 표현 수준 적대적 정규화 (RLAR, Representation-Level Adversarial Regularization)

• 동기: 태스크 간 기울기 경쟁을 명시적으로 제어하기 위해 제안되었습니다.
• 원리:
  1. 각 태스크 (분할, 분류, 임상 가이드) 에 대해 공유 표현 공간에서의 **정규화된 적대적 방향 (Normalized Adversarial Direction, $\delta_t$)**을 계산합니다. 이는 해당 태스크의 손실을 가장 크게 증가시키는 방향 (감도) 을 의미합니다.
  2. 태스크 쌍 간의 **코사인 유사도 (Cosine Similarity)**를 계산하여 기울기 간의 정렬 정도를 측정합니다.
  3. RLAR 손실 함수: 태스크별 적대적 방향 간의 과도한 정렬 (Angular Alignment) 을 패널티로 부과합니다.
     • $L_{RLAR} = \lambda_{adv} \sum |\text{sim}(\delta_t, \delta_{t'})|$
• 효과: 태스크 간 상호 간섭을 줄이면서도 임상적으로 의미 있는 공유 단서 (Shared Cues) 는 유지하도록 유도하여, 부정적 전이를 방지하고 학습 안정성을 높입니다.

C. 전체 학습 목적 함수

$$L_{total} = \lambda_{seg}L_{seg} + \lambda_{cls}L_{cls} + \lambda_{clin}L_{clin} + L_{RLAR}$$
(분할 Dice 손실, 분류 가중 크로스 엔트로피, 임상 가이드 손실, RLAR 정규화 항의 가중 합)

3. 주요 실험 및 결과 (Experiments and Results)

• 데이터셋:
  • ThyroidXL: 전문가 라벨링 및 병리 검증 데이터 (11,545 개 이미지).
  • AIMI: 생검 확인된 결절이 있는 cine-clip 데이터 (15,093 개 프레임).
  • 평가 방식: ThyroidXL 에서 3-fold 교차 검증 (In-domain) 및 AIMI 에서 제로샷 외부 검증 (Zero-shot External).
• 성능 비교:
  • 분류 (TI-RADS): RLAR 를 적용한 모델은 AIMI(외부 데이터) 에서 **Recall(민감도)**이 가장 높았으며 (0.4033), 이는 고위험 결절 누락을 줄이는 데 임상적으로 중요합니다. ThyroidXL 내에서는 Clinically Guided 모델이 가장 높은 F1 점수를 기록했습니다.
  • 분할 (Segmentation): Vanilla Multitask 가 ThyroidXL 에서 가장 높은 Dice 점수를 보였으나, RLAR 모델은 **가장 낮은 변동성 (Variance)**과 AIMI 에서 **가장 낮은 HD95(경계 오차)**를 보여 도메인 간 일반화 성능과 경계 안정성이 우수함을 입증했습니다.
• Ablation Study:
  • RLAR 적용 위치: Bottleneck(공유 병목층) 에서 적용하는 것이 ThyroidXL 에서 가장 일관된 개선을 보였으며, AIMI 에서는 Mid Encoder Layer 가 더 효과적이었습니다. 이는 Cine-clip 데이터의 시간적 중복성과 높은 변이성 때문입니다.
  • 특징 중요도: ThyroidXL 에서는 단일 특징 제거가 큰 영향을 미치지 않았으나, AIMI 에서는 형태 (ellipticity) 와 질감 (texture) 관련 특징 제거 시 성능이 크게 저하되어 외부 일반화에 이러한 임상적 가이드가 필수적임을 시사했습니다.

4. 주요 기여 (Key Contributions)

1. 임상 워크플로우 정렬 프레임워크: 갑상선 초음파 평가의 두 가지 핵심 태스크 (분할 및 위험도 분류) 를 단일 모델에서 동시에 학습하도록 설계하여 임상적 의사결정 과정을 반영했습니다.
2. 임상적 근거 기반 학습 (Clinically Grounded Learning): 추론 시에는 불필요하지만 학습 시에는 방사학적 특징 (Radiomics) 을 증류하여 분류 임베딩을 임상적으로 해석 가능하고 의미 있는 방향으로 유도했습니다.
3. RLAR (Representation-Level Adversarial Regularization): 파라미터 수준의 기울기 수술 (Gradient Surgery) 이 아닌, 잠재 공간 (Latent Space) 의 기하학적 정렬을 기반으로 태스크 간 경쟁을 제어하는 새로운 정규화 기법을 제안했습니다. 이는 불일치하는 라벨 (Annotator Variability) 하에서도 다중 태스크 학습을 안정화시킵니다.
4. 강건한 일반화: 공개 데이터셋 (ThyroidXL, AIMI) 에서 단일 태스크 및 기존 다중 태스크 베이스라인 대비 위험도 분류의 민감도와 분할의 경계 안정성을 동시에 개선함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 의료 영상 분석에서 다중 태스크 학습의 불안정성을 해결하기 위해 **임상적 지식 (Radiomics)**과 **기하학적 정규화 (RLAR)**를 결합한 새로운 패러다임을 제시합니다.

• 임상적 의의: 고위험 결절의 누락 (False Negative) 을 줄이는 민감도 향상에 기여하며, 방사선과 전문의의 주관적 편차로 인한 학습 불안정성을 완화합니다.
• 기술적 의의: 공유 표현 공간에서 태스크 간 간섭을 '기울기 방향의 정렬'이라는 기하학적 관점에서 제어함으로써, 하드 디커플링 (Hard Disentanglement) 없이도 유연하고 안정적인 다중 태스크 학습을 가능하게 합니다.
• 배포 가능성: 학습 시에만 임상적 가이드와 RLAR 를 사용하므로, 실제 임상 환경에서의 추론 프로세스는 기존과 동일하여 도입 장벽이 낮습니다.

결론적으로, 제안된 방법은 불완전한 라벨링 환경에서도 임상적으로 신뢰할 수 있는 갑상선 결절 평가 시스템을 구축하는 데 중요한 기여를 합니다.