M3Net: A Macro-to-Meso-to-Micro Clinical-inspired Hierarchical 3D Network for Pulmonary Nodule Classification

기술적 요약: 폐 결절 분류를 위한 M3Net

문제 제기
CT 스캔에서 양성 및 악성 폐 결절을 정확하게 구분하는 것은 초기 폐암 선별 검사에서 중요하지만 도전적인 과제입니다. 딥러닝 모델은 LIDC-IDRI와 같은 벤치마크에서 높은 예측 정확도를 보였으나, 종종 "블랙박스"로 작동하여 임상 통합에 필요한 투명성과 설명 가능성을 결여하고 있습니다. 기존 접근법들은 종종 방사선과 의사가 사용하는 계층적 진단 논리를 체계적으로 모델링하지 못하는데, 이는 미세한 구조적 세부 사항에서 지역적 맥락, 그리고 최종적으로 전역 해부학적 관계로 진행됩니다. 또한 많은 모델은 단일 모달 입력이나 모델의 내부 특징 표현과 일치하지 않는 사후 설명 가능성 기술에 의존하여 실제 진단 시나리오에서의 신뢰성을 제한합니다.

방법론: M3Net
저자들은 방사선과 의사의 계층적 진단 워크플로우에서 영감을 받은 새로운 3D 네트워크인 M3Net을 제안합니다. 이 프레임워크는 거시 (Macro) → 중시 (Meso) → 미세 (Micro) 원칙에 따라 작동하며, 2 단계 훈련 프로토콜과 계층적 교차 주의 (cross-attention) 융합 메커니즘을 통해 다중 스케일 맥락 정보를 통합합니다.

1. 임상에서 영감을 받은 입력 전략:
   모델은 서로 다른 공간 스케일을 나타내는 세 가지 중첩된 볼륨 패치를 처리합니다:

   • 미세 스케일 ($X_{32}$): 결절의 미세한 구조 (예: 가시형성, 결절성, 내부 질감) 를 포착합니다.
   • 중시 스케일 ($X_{64}$): 국소 맥락과 결절 주변 관계 (예: 혈관 수렴, 흉막 인접) 를 인코딩합니다.
   • 거시 스케일 ($X_{96}$): 전역 공간 관계와 장거리 해부학적 맥락 (예: 조직 압박, 대규모 혈관 연결성) 을 나타냅니다.

2. 스케일별 인코딩 및 정렬:
   각 스케일은 전용 백본 네트워크 (예: ConvNeXt, ResNet) 로 처리됩니다. 스케일 간 의미론적 일관성을 보장하기 위해 저자들은 2 단계 훈련 프로토콜을 사용합니다:

   • 1 단계 (판별적 사전 학습): 각 스케일별 브랜치는 교차 엔트로피 분류 목적 함수를 사용하여 독립적으로 최적화됩니다. 저층 레이어는 저수준 질감 및 에지 표현을 보존하기 위해 부분적으로 고정됩니다.
   • 2 단계 (스케일 간 정렬): 네트워크는 스케일 간 일관성을 강제하도록 미세 조정됩니다. 이는 스케일별 특징을 통합된 잠재 공간에 투영하고 다음으로 구성된 계층적 정렬 손실 ($\mathcal{L}_{align}$) 을 최적화하는 과정을 포함합니다:
     • InfoNCE 손실: 서로 다른 스케일의 잠재 임베딩 간 상호 정보를 최대화합니다.
     • 공분산 정렬: 특징 기하학을 안정화하기 위해 스케일별 공분산 행렬 간의 프로베니우스 거리를 최소화합니다.
     • 직교성 및 핵 노름 정규화: 표현 붕괴를 방지하고 다양하며 상호 보완적인 부분 공간을 장려합니다.

3. 계층적 교차 주의 융합:
   정렬된 특징은 임상적 추론을 모방하는 점진적 주의 메커니즘을 통해 융합됩니다:

   • 1 단계 (주변 추론): 저 및 중 스케일 임베딩이 경계 및 질감 단서를 교환합니다.
   • 2 단계 (맥락 흡수): 전역 스케일 임베딩이 정제된 국소 특징과 상호작용하여 더 넓은 맥락으로 미세한 단서를 조절합니다.
   • 3 단계 (통합): 계층적 Transformer 인코더가 융합된 시퀀스를 통합하며, 최종 분류 전에 주의 가중치에 $l_2$ 정규화를 적용하여 과도한 확신 집중을 방지합니다.

주요 기여

• 계층적 프레임워크: 이 논문은 모델의 추론을 방사선과 의사의 인지 워크플로우 (미세 세부 사항에서 전역 맥락으로) 에 정렬하는 임상적으로 안내된 거시 - 중시 - 미세 (M3) 3D 네트워크를 소개합니다.
• 점진적 다중 스케일 융합: 이 방법은 점진적 다중 스케일 입력을 구성하고 잠재 공간 투영 및 상호 정보 최대화를 갖춘 스케일별 인코더를 사용하여 스케일 간 의미론적 일관성을 보장합니다.
• 최첨단 성능: 광범위한 실험을 통해 M3Net 이 공개 LIDC-IDRI 데이터셋과 자체 수집 임상 데이터셋 (USTC-FHLN) 모두에서 기존 베이스라인 (3D-CNN, ResNet, Transformer 기반 모델 포함) 보다 우수함을 입증했습니다.
• 설계된 설명 가능성: 사후 방법과 달리, 이 모델의 아키텍처는 특징 추출을 임상 진단 단계와 일치하도록 구조화함으로써 본질적으로 설명 가능성을 지원하며, 인간 - 기계 간 교차 검증을 용이하게 합니다.

실험 결과
저자들은 M3Net 을 두 가지 데이터셋에서 평가했습니다:

• LIDC-IDRI: M3Net 은 정확도 **86.96%**를 달성하여 최상의 베이스라인 (ResNet-18 의 82.67% 및 DeepLung 의 83.70%) 보다 3.26% 더 높은 성능을 보였습니다. 또한 가장 높은 F1 점수 (86.66%) 와 균형 정확도 (80.12%) 를 달성했습니다.
• USTC-FHLN (임상 데이터): 모델은 정확도 **84.24%**를 달성하여 최상의 베이스라인보다 2.17% 더 우수한 성능을 보였습니다.
• Ablation 연구:
  • 단일 스케일 (미세, 중시, 또는 거시) 중 하나를 제거하면 성능이 저하되어 다중 스케일 정보의 상호 보완적 가치를 확인했습니다.
  • 전체 정렬 손실 (공분산, 직교성, 핵 노름 항 포함) 이 결정적이었으며, 핵 노름 손실이 전역 일관성에 크게 기여했습니다.
  • Grad-CAM 시각화는 M3Net 이 주변 조직에 흩어진 활성화를 보이는 베이스라인과 비교하여 결절 영역 주변에서 더 안정적이고 공간적으로 집중된 주의 지도를 생성함을 나타냈습니다.

의의 및 주장
이 논문은 데이터 기반 AI 와 임상 실무 간의 격차를 해소함으로써 폐 결절 분류를 위한 강력하고 임상적으로 관련성 있는 솔루션을 M3Net 이 제공한다고 주장합니다. 방사선과 의사의 계층적 진단 논리를 네트워크 아키텍처에 내장함으로써, 이 모델은 우수한 정확도를 달성할 뿐만 아니라 구조화되고 해석 가능한 추론 과정을 제공합니다. 저자들은 이 접근법이 AI 지원 진단의 신뢰성을 향상시켜 의사가 병리생리학적 관점에서 예측을 평가할 수 있게 한다고 봅니다. 현재 프레임워크는 폐 결절에 초점을 맞추고 있지만, 저자들은 작업별 적응이 이루어진다면 간 병변 분석 및 유방 종괴 평가와 같은 다른 병변 중심 의료 영상 작업으로 거시 - 중시 - 미세 계층적 추론 패러다임을 확장할 수 있다고 제안합니다.