Optimization in Sparse 2D to Dense 3D Weakly Supervised Learning: Application to Multi-Label Segmentation of Large ex vivo MRI Data

기술 요약: 다중 라벨 분할을 위한 희소 2D 에서 조밀한 3D 약지도 학습에 대한 최적화 (대규모 ex vivo MRI 데이터)

문제 제기
고해상도 ex vivo 척수 MRI(일반적으로 50–100 µm 등방성) 는 회백질 (GM) 과 백질 (WM) 병변을 포함하여 다발성 경화증 (MS) 병리의 상세한 해부학적 특성을 제공합니다. 그러나 데이터의 방대한 양 (샘플당 수천 개의 슬라이스) 으로 인해 조밀한 볼록별 (voxel-wise) 수동 주석은 과도하게 비용이 많이 듭니다. 연구자들은 종종 희소 2D 주석 (예: 총 104,000 개 이상의 슬라이스 중 428 개 슬라이스) 에 의존할 수밖에 없습니다. 이는 기술적 이분법을 야기합니다: 희소 슬라이스로 훈련된 2D 모델은 부피적 맥락이 부족하여 Z 축을 따라 일관성 없는 예측을 초래하는 반면, 3D 모델은 존재하지 않는 조밀한 정답 (ground truth) 을 필요로 합니다. 2.5D 전략이나 크로스 티칭과 같은 기존 솔루션은 이러한 격차를 메우려 시도하지만, 특히 2D 최적화 전략이 3D 컨텍스트로 이전되는 것과 관련하여 이러한 "희소 - 조밀 (Sparse-to-Dense)" 파이프라인을 최적화하기 위한 지침은 여전히 모호합니다.

방법론
저자들은 nnU-Net v2 를 기반으로 한 2D Teacher 와 3D Student 아키텍처를 활용하는 3 단계 희소 - 조밀 (Sparse-to-Dense) 프레임워크를 제안합니다.

1. 데이터셋: 본 연구는 MS 환자 (12 개 샘플, 43,719 개의 축방향 슬라이스) 의 9.4T ex vivo 척수 MRI 데이터를 활용합니다. 정답은 4 가지 클래스 (건강한 WM, 건강한 GM, 병변 WM, 병변 GM) 에 걸친 428 개의 수동 분할 슬라이스로 구성됩니다.
2. 1 단계 (2D Teacher): 2D nnU-Net 을 희소 주석으로 훈련합니다. 저자들은 입력 모달리티 (크기 대 위상), 전처리 기술 (CLAHE, 대비 스트레칭), 공간 증강, 그리고 소프트 라벨 정규화를 체계적으로 테스트하여 이 단계를 최적화했습니다.
3. 2 단계 (의사 라벨 생성): 최적화된 2D Teacher 는 앙상블 (4 폴드 교차 검증) 과 테스트 시간 증강 (TTA) 을 사용하여 전체 데이터셋에 대한 조밀한 볼륨 의사 라벨을 생성합니다.
4. 3 단계 (3D Student): 3D nnU-Net 을 조밀한 의사 라벨로 훈련하여 부피적 특징과 종방향 일관성을 학습합니다. 저자들은 2D 전략이 효과적으로 이전되는지 확인하기 위해 전처리, 증강, 소프트 라벨과 동일한 체계적 최적화를 3D Student 에 적용했습니다.
5. 평가: 성능은 Dice 점수, 95 백분위 하우스도르프 거리 (HD95), 그리고 Z 축 부드러움을 측정하는 새로운 기하학적 일관성 지표 (슬라이스 간 Dice, DSCz) 를 사용하여 평가되었습니다.

주요 기여
본 논문은 세 가지 주요 기여를 합니다:

1. 지각의 이질성: 인간 시각 지각에 최적화된 전처리 기술 (특히 CLAHE 와 대비 스트레칭) 이 이 도메인에서 머신러닝 성능에 해롭다는 실증적 증거입니다. 이러한 방법들은 모델에 필수적인 전역 강도 통계를 교란시켜 회백질 병변 Dice 점수를 최대 25 퍼센트 포인트까지 저하시켰습니다.
2. 이질적인 정규화 요구사항: 희소 - 조밀 파이프라인에서의 중요한 갈등 식별입니다. 공격적인 공간 증강과 소프트 라벨링이 2D Teacher 를 크게 개선 (병변 WM 탐지 11 점 이상 Dice 향상) 한 반면, 동일한 기술들은 3D Student 의 성능을 저하시켰습니다.
3. 오픈 액세스 모델: ex vivo 인간 척수 MRI 에서 WM, GM 및 MS 병변을 분할하기 위한 훈련된 모델을 Spinal Cord Toolbox 를 통해 공개했습니다.

결과

• 입력 모달리티: 이중 입력 모델 (크기 + 위상) 은 특히 병변 GM 의 안정성과 경계 정밀도 (HD95) 에서 크기 전용 모델보다 우수한 성능을 보였으며, 미세한 해부학적 경계를 해결하기 위해 위상 데이터가 필수적임을 확인했습니다.
• 전처리: 시각적 향상이 모델을 돕는다는 가설과 달리, 크기 이미지에 CLAHE 를 적용하고 위상 이미지에 대비 스트레칭을 적용하면 심각한 성능 저하가 발생했습니다. 2D 병변 GM Dice 은 크기 CLAHE 적용 시 0.665 에서 0.415 로 떨어졌습니다. 3D 모델도 유사한 저하를 보였으나, 병변 GM 의 경계 지표 (HD95) 에서 약간 더 회복력을 보였는데, 이는 부피적 맥락이 텍스처 왜곡에 대해 일정한 보호를 제공함을 시사합니다.
• 증강:
  • 2D: 공격적인 공간 증강 (회전, 스케일링, 전단) 이 결정적이었습니다. 이를 적용하지 않으면 병변 WM Dice 이 0.631 로 떨어졌으나, 중간 정도 증강 (Aug2) 을 적용하면 0.743 에 도달했습니다.
  • 3D: 반대 경향이 관찰되었습니다. 3D Student 는 공간 증강이 없을 때 최고 성능 (총 평균 Dice 0.772) 을 달성했습니다. 증강을 도입하면 성능이 저하되었으며, 가장 공격적인 설정은 경계 충실도의 붕괴를 초래했습니다.
• 소프트 라벨:
  • 2D: 소프트 라벨링 (Soft Seg 2) 은 성능을 개선하여 병변 WM Dice 을 0.744 로 높이고 경계 정밀도를 세밀하게 조정했습니다.
  • 3D: 소프트 라벨링은 이점을 제공하지 않았으며 오히려 결과를 약간 악화시켰습니다. 저자들은 2D 앙상블에서 생성된 의사 라벨이 이미 불확실성을 평활화하므로 추가적인 소프트 손실 정규화가 역효과 (과도한 평활화) 를 낸다고 제안합니다.
• 볼륨 일관성: 2D 에서 3D 로의 전환은 기하학적 연속성에서 상당한 향상을 가져왔습니다. 2D 예측의 단순한 스택킹은 0.785 의 낮은 슬라이스 간 Dice(DSCz) 을 보인 반면, 3D Student 는 0.900 을 달성했습니다. 그러나 이 부드러움은 트레이드오프를 수반했습니다: 3D Student 는 최적화된 2D Teacher(0.72 mm) 에 비해 약간 더 높은 HD95(1.00 mm) 를 보였는데, 이는 엄격한 평면 내 윤곽 준수를 생물학적 타당성으로 전환했음을 나타냅니다.

의의 및 주장
본 논문은 약지도 학습에서 2D 에서 3D 로의 전환이 단순한 추론 트릭이 아니라 학습 역학의 근본적인 변화라고 주장합니다. 저자들은 조밀한 의사 라벨로 훈련된 3D 아키텍처가 2D 대응 모델과 다른 최적화 지형을 보인다고 주장합니다. 구체적으로, 희소 2D 설정에서 공격적인 증강을 필요로 하는 "숏컷 학습 (shortcut learning)" 위험은 3D 에서 의사 라벨의 밀도에 의해 완화되어 이러한 증강이 해롭게 됩니다. 마찬가지로, 2D 인간 판독자 모방에 유익한 불확실성 모델링은 3D 모델이 이미 평균화된 앙상블 예측으로 훈련될 때 불필요하거나 파괴적이 됩니다.

본 연구는 인간 중심 전처리, 공격적인 증강, 소프트 라벨링과 같은 표준 컴퓨터 비전 관행이 2D 에서 3D 의료 분할 작업으로 맹목적으로 이전될 수 없다고 결론지었습니다. 대신, 조밀한 의사 라벨로 훈련된 3D 모델은 희소 2D 훈련에 필요한 특정 노이즈 감소 기술보다 부피적 일관성을 우선시하는 고유하고 보수적인 정규화 전략이 필요합니다. 이 연구는 "더 많은 데이터 (조밀한 의사 라벨)"가 단순히 2D 최적화 휴리스틱의 직접 적용을 가능하게 한다는 가정을 도전하며, 정규화 요구사항의 "차원 격차"를 강조합니다.