기술 요약: Locus – 의료 영상 분류를 위한 해부학적 가이드 기반 어텐션 정규화

1. 문제 정의

의료 영상 분류 모델은 일반적으로 영상 수준의 레이블(image-level labels)만을 사용하여 학습되므로, 명시적인 공간적 감독(spatial supervision)이 결여되어 있습니다. 결과적으로, 이러한 모델들은 진단적으로 유의미한 해부학적 구조보다는 영상 아티팩트(artifacts), 주변 조직 또는 데이터셋 특유의 맥락적 단서와 같은 해부학적으로 무관한 영역과의 통계적 상관관계에 의존하는 경향을 보입니다. 이러한 동작은 모델의 해석 가능성과 일반화 능력을 제한합니다.

기존의 접근 방식들은 해부학적 형태 정보(예: 세그멘테이션 마스크)를 통합하여 이를 해결하려 시도했으나, 다음과 같은 중대한 한계에 직면해 있습니다:

• 수동 주석(Manual Annotation): 전문가가 작성한 마스크에 의존하는 것은 비용이 많이 들고 확장이 어렵습니다.
• 결합 학습(Joint Training): 분류기와 세그멘테이션 브랜치를 함께 학습시키는 것은 상충하는 그래디언트(competing gradients)나 가이드를 오염시킬 수 있는 노이즈 섞인 예측과 같은 최적화 문제를 야기합니다.
• CAM 기반 의사 마스크(Pseudo-masks): 주석 비용은 피할 수 있지만, 이러한 방법은 레이블과 상관관계가 있는 디스크리미네이티브(discriminative) 영역에만 활성화될 뿐, 전체 유의미한 해부학적 구조를 포착하지 못하는 경우가 많습니다.
• 전용 세그멘테이션 모델: 새로운 세그멘테이션 모델을 처음부터 학습시키는 것은 주석 부담과 계산 오버헤드를 다시 불러옵니다.

2. 방법론: Locus 프레임워크

저자들은 Segmentation Foundation Models (SFMs) (예: Medical SAM, BiomedParse)를 활용하여, 별도의 세그멘테이션 학습이나 수동 주석 없이 분류기의 어텐션을 가이드하는 Locus 프레임워크를 제안합니다.

2.1 해부학 중심 어텐션 정규화 (Anatomy-Centric Attention Regularization)

분류기의 어텐션 맵과 해부학적 마스크 사이의 엄격한 픽셀 단위 정렬을 강제하는 대신(이는 지나치게 제한적일 수 있음), Locus는 힌지 기반 정규화 항(hinge-based regularization term) ($R$)을 도입합니다.

• 메커니즘: 프레임워크는 SFM 마스크로부터 도출된 해부학적 전경($A_{fg}$)과 배경($A_{bg}$) 내에서의 가중 평균 어텐션 에너지를 계산합니다.
• 손실 함수: 정규화 항은 $R(M, A) = \max(0, A_{bg} - A_{fg})$로 정의됩니다.
• 논리: 이 항은 배경 어텐션이 전경 어텐션보다 우세할 때만 분류기에 페널티를 부여합니다. 만약 전경 어텐션이 이미 충분하다면($A_{fg} \geq A_{bg}$), 정규화는 비활성화됩니다. 이러한 방식은 잠재적으로 진단에 유용한 맥락 정보를 과도하게 억제하는 것을 방지하면서도, 모델이 주로 배경 노이즈에 의존하지 않도록 보장합니다.

2.2 패치 단위 해부학적 프롬프팅 (Patch-wise Anatomical Prompting)

SFM에 전체 영상을 대상으로 표준 프롬프팅을 수행하면, 특히 작거나 분리된 구조물(예: 흩어져 있는 병변 또는 양측 기관)을 모두 포착하지 못하고 가장 지배적인 영역만을 반환하는 경우가 많습니다.

• 전략: Locus는 입력 영상을 겹치지 않는 격자 형태의 패치로 분할합니다. 각 패치는 동일한 클래스 유래 텍스트 기술자(예: "lung", "tumor")로 독립적으로 프롬프팅됩니다.
• 집계: 생성된 패치 수준의 마스크들은 **합집합(union)**을 통해 전체 해상도의 해부학적 마스크($M$)로 집계됩니다.
• 목표: 이 전략은 해부학적 커버리지를 극대화하여, 결과적인 마스크가 다소 거칠더라도 모든 관련 영역이 어텐션 감독에 기여할 수 있도록 합니다. 저자들은 정밀한 픽셀 단위 세그멘테이션이 필수적인 것이 아니라, 어텐션을 가이드하기 위한 충분한 해부학적 근거(grounding)를 확보하는 것이 목표임을 강조합니다.

2.3 네트워크 손실 (Network Loss)

전체 네트워크 손실은 표준 태스크 손실(cross-entropy)과 해부학 중심 정규화 항을 결합합니다:
$$L_{net} = L_{task} + \lambda \cdot R(M, A)$$

• 학습 전략: 네트워크를 몇 에포크 동안 $L_{task}$만으로 먼저 학습시킨 후, 정규화 강도($\lambda$)를 점진적으로 높이는 웜업(warm-up) 전략이 사용됩니다.
• 유연성: 이 프레임워크는 특정 어텐션 추출 방법(예: Grad-CAM, Grad-CAM++, Vanilla CAM)이나 SFM의 선택에 구애받지 않습니다.

3. 주요 기여

1. 새로운 정규화 프레임워크 제안: 전경과 배경 사이의 어텐션을 적응적으로 조절하여 배경 어텐션이 우세할 때만 페널티를 주는 해부학 중심 어텐션 정규화 방식을 제안하며, 이를 통해 전용 세그멘테이션 학습의 필요성을 제거했습니다.
2. 플러그 앤 플레이(Plug-and-Play) 적응성: 분류기 아키텍처를 수정하거나 파운데이션 모델을 미세 조정(fine-tuning)할 필요 없이 다양한 분류기 백본(CNN 및 Transformer)과 SFM에 쉽게 적용할 수 있습니다.
3. 포괄적인 검증: 8개의 다양한 의료 영상 데이터셋(더모스코피, X-ray, 조직병리, 초음파, 심장 MRI)에서 일관된 성능 향상과 해석 가능성 개선을 입증했습니다.

те 4. 실험 결과

저자들은 Locus를 세 가지 베이스라인과 비교 평가했습니다: 표준 교차 엔트로피(CE), 마스크 입력(SFM 마스크를 사용하여 배경을 제거함), 그리고 MGA(전문가 주석이 필요한 Dice 기반 어텐션 정렬)입니다.

• 분류 성능: Locus는 6개의 벤치마크 데이터셋(HAM10000, PneumoniaMNIST, BTXRD, PanNuke, ChestX-ray8, BUSI)과 심장 시네 MRI 데이터셋의 거의 모든 설정에서 가장 높은 정확도와 F1-score를 달이트했습니다. 이는 제약 없는 학습 및 마스크 입력 베이스라인보다 일관되게 우수한 성능을 보였습니다.
• 어텐션 품질: 시각화(Grad-CAM) 결과, Locus는 더 집중되고 해부학적으로 일관된 어텐션 맵을 생성했습니다. 특히 배경 지배적 성향이 있는 아키텍처(예: ConvNeXt, ViT)에서, Locus는 표준 CE 학습과 비교했을 때 관련 구조(예: 폐 영역, 병변)로 어텐션을 현저히 날카롭게 집중시켰습니다.
• 강건성(Robustness): 테스트 타임 변형(밝기, 대비, 가우시안 블러, 노이즈) 하에서도 Locus로 학습된 모델은 CE 전용 베이스라인보다 높은 정확도를 유지했습니다. 이는 정규화가 왜곡에 민감한 가짜 특징(spurious features)에 대한 의존을 억제함을 시사합니다.
• 일반화 능력: 정규화의 이점은 서로 다른 어텐션 추출 방법(Grad-CAM, Grad-CAM++, Vanilla CAM, Gradient Norm)과 서로 다른 네트워크 백본(ResNet, ConvNeXt, ViT) 전반에 걸쳐 일관되게 나타났습니다.

5. 의의 및 주장

본 논문은 Locus가 수동 주석의 막대한 비용이나 복잡한 결합 세그멘테이션-분류 학습 없이도, 의료 영상 분류기의 "블랙박스" 특성을 해결하여 진단적으로 유의미한 해부학적 구조로 유도할 수 있는 실질적인 솔루션을 제공한다고 주장합니다.

"기성품(out-of-the-box)" 형태의 로컬라이제이션 능력을 갖춘 파운데이션 모델을 활용하고 유연한 힌지 기반 정규화제를 채택함으로써, 프레임워크는 다음을 달성합니다:

• 개선된 해석 가능성: 모델이 배경이나 아티팩트가 아닌 올바른 해부학적 영역(예: 심장 MRI의 심근)에 집중하도록 합니다.
• 향상된 일반화 능력: 다양한 모달리티에 걸친 더 나은 성능과 이미지 변형에 대한 강건성을 제공합니다.
• 효율성: 전용 세그멘테이션 모델을 학습시키는 계산 오버헤드를 피하면서도 신뢰할 수 있는 해부학적 가이드를 제공합니다.

저자들은 이 접근 방식이 특히 픽셀 수준의 주석을 사용할 수 없는 시나리오에서 의료 AI를 더욱 신뢰할 수 있고 임상적으로 해석 가능하게 만드는 중요한 단계라고 결론짓습니다. 향후 연구로는 불확실성 인지 가중치(uncertainty-aware weighting) 및 패치 구성의 엔드 투 엔드 학습에 대한 탐구를 제안합니다.