Semantic Segmentation for Histopathology using Learned Regularization based on Global Proportions

[기술 요약] 전역적 비율 기반 학습된 정규화를 이용한 병리 조직학적 의미론적 분할

1. 문제 정의 (Problem Statement)

병리학에서 조직 유형의 공간적 분포와 비율은 질병 진행을 모니터링하는 핵심 지표입니다. 병리학자들은 이미지 전체의 조직 비율(Global Proportions)을 매우 정확하게 추정할 수 있지만, 픽셀 단위의 정밀한 주석(Pixel-wise Annotation)을 작성하는 것은 막대한 비용과 시간이 소요됩니다.

본 논문은 **"전역적 라벨 비율(Label Proportions)만을 사용하여 어떻게 픽셀 단위의 의미론적 분할(Semantic Segmentation)을 수행할 것인가?"**라는 문제를 다룹니다. 이 문제는 다음과 같은 이유로 매우 어렵습니다(Underdetermined):

• 모호성(Ambiguity): 동일한 전역 비율을 만족하는 픽셀 배치(Layout)가 무수히 많음.
• 고해상도: 전체 슬라이드 이미지(WSI)는 기가픽셀 단위로 매우 커서 세밀한 정보 손실 없이 처리하기 어려움.
• 데이터 부족: 픽셀 단위의 정밀한 가이드라인이 없는 상태에서 공간적 일관성을 유지해야 함.

2. 제안 방법론 (Methodology: VSLP Framework)

저자들은 **VSLP (Variational Segmentation from Label Proportions)**라는 2단계 프레임워크를 제안합니다.

[1단계: 초기 예측 및 불확실성 추정 (First Stage)]

• Swin Transformer 활용: ImageNet으로 사전 학습된 Swin Transformer를 전역 비율 라벨을 사용하여 미세 조정(Fine-tuning)합니다.
• 테스트 시간 증강 (TTA): 이미지를 다양한 각도로 회전시켜 여러 번 예측을 수행합니다.
• 픽셀 단위 히스토그램 생성: 각 픽셀에서 여러 회전 결과값들을 모아 픽셀 단위의 확률 분포(히스토그램)를 만듭니다. 이는 단순한 투표(Voting) 방식보다 훨씬 풍부한 불확실성(Uncertainty) 정보를 담고 있습니다.

[2단계: 변분 최적화를 통한 정제 (Second Stage)]
1단계에서 얻은 불확실한 예측을 수학적 최적화 문제를 통해 정제합니다. 에너지 함수 $E(u)$를 최소화하는 과정입니다:
$$u^* = \arg \min_u D(u, z_i^h) + \lambda R(u; z_i^h, x_i, \theta^*)$$

• 데이터 충실도 항 (Data Fidelity Term, $D$): Wasserstein 거리를 사용하여 1단계에서 얻은 픽셀 히스토그램과 최종 분할 결과 사이의 일관성을 유지합니다. Wasserstein 거리는 분포 간의 거리를 효과적으로 측정하며 최적화에 유용한 그래디언트를 제공합니다.
• 학습된 정규화 항 (Learned Regularizer, $R$): U-Net 구조의 신경망을 사용하여 병리 조직 특유의 복잡한 질감과 구조적 패턴(Prior)을 학습합니다. 이를 통해 분할 결과가 공간적으로 매끄럽고 생물학적으로 타당하게 만듭니다.
• 최적화 알고리즘 (Optimization): **Unadjusted Langevin Algorithm (ULA)**를 사용하여 최적의 해를 찾습니다. 특히 확산 모델(Diffusion model)에서 영감을 얻은 노이즈 스케줄링(Noise Scheduling) 기법을 도입하여, 초기에는 넓은 범위를 탐색하고 후기에는 세밀한 부분을 정제하도록 설계되었습니다.
• 효율성을 위한 GMM 변형: 계산 복잡도를 줄이기 위해 히스토그램 대신 가우시안 혼합 모델(GMM)을 사용하여 불확실성을 매개변수화하는 방식도 제안합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 전역 비율(LLP)로부터 픽셀 단위 분할을 도출하는 변분적(Variational)이고 불확실성을 고려한(Uncertainty-aware) 프레임워크인 VSLP를 최초로 제안했습니다.
2. 모호성 해결: Wasserstein 거리와 학습된 정규화 항을 결합하여, 전역 정보만으로 발생할 수 있는 공간적 모호성을 효과적으로 해결했습니다.
3. 해석 가능성: 엔드투엔드(End-to-end) 블랙박스 모델과 달리, 에너지 함수(충실도 vs 정규화)를 시각화할 수 있어 모델의 결정 과정을 임상적으로 해석하기 용이합니다.
4. 강력한 성능 및 일반화: 공개 데이터셋뿐만 아니라 노이즈가 섞인 임상 데이터(In-house dataset)에서도 기존 SOTA(State-of-the-art) 모델들을 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

• 공개 데이터셋 (RINGS, BCSS): 기존의 MIL(Multiple Instance Learning) 및 LLP 기반 방법론들보다 Dice 계수와 mIoU 측면에서 우수한 성능을 기록했습니다. 특히 2단계 정제 과정이 1단계 결과보다 일관되게 성능을 향상시킴을 확인했습니다.
• 노이즈 강건성 (Robustness): 라벨에 10%의 노이즈가 섞이거나 병리학자의 거친(Coarse) 추정치를 사용할 경우에도 VSLP의 변형 모델들(VSLPGMM, VSLP$_{Diff}$)은 매우 안정적인 성능을 유지했습니다.
• 임상 데이터 적용: 실제 병원 데이터(Renal cell carcinoma)에서 병리학자의 비율 추정치만을 사용하여 분할을 수행했을 때, 기존 방법론들보다 훨씬 정확하고 형태학적으로 일관된 결과를 생성했습니다.

5. 의의 (Significance)

본 연구는 **"최소한의 비용(전역 비율)으로 최대한의 정보(픽셀 분할)를 얻는 것"**이 가능한 경로를 제시했습니다. 이는 대규모 병리 데이터셋 구축 시 발생하는 라벨링 비용 문제를 해결할 수 있는 실질적인 대안을 제공하며, 불확실성을 고려한 최적화 방식을 통해 의료 AI의 신뢰성과 해석 가능성을 높였다는 점에서 큰 의의가 있습니다.