기술 요약: 반지도 학습 기반 의료 영상 분할을 위한 클래스 내 이질성 수용

1. 문제 정의

반지도 학습 기반 의료 영상 분할(Semi-Supervised Medical Image Segmentation, SSMIS)은 정확한 분할을 수행하기 위해 제한된 전문가 주석 레이블과 함께 풍부한 미라벨 데이터를 활용하는 것을 목표로 한다. 이 도메인의 핵심적인 과제는 **클래스 내 이질성(intra-class heterogeneity)**이다. 즉, 많은 해부학적 구조는 동일한 클래스 내에서도 상당한 강도 패턴(intensity pattern)의 변화를 보인다 (예: 단일 장기 내에서 밝거나, 회색이거나, 어두운 영역으로 나타나는 서로 다른 조직 밀도).

기존의 프로토타입 학습(Prototype Learning, PL) 방식은 이러한 이질성과 관련하여 두 가지 주요 한계를 가진다:

1. 다양성 부족 (단일 프로토타입): 대부분의 방법은 클래스당 하나의 대표 프로토타입을 학습한다. 이는 모델이 균일하거나 지배적인 표현으로 수렴하도록 강제하며, 클래스 내 전체 스펙트럼의 변이를 포착하지 못하게 하여, 특히 지배적인 패턴에서 벗어난 영역에서 부정확한 분할을 초래한다.
2. 강도 모델링의 비효과성 (기존 다중 프로토타입): 최근 일부 방법들이 다중 프로토타입을 사용하려고 시도하지만, 이들은 대개 명시적인 이미지 강도 특성과의 정렬 없이 특징 공간 클러스터링(예: K-means)에 의존한다. 결과적으로, 이러한 프로토타입들은 고밀도 강도 영역에 의해 지배되어, 소수 강도 하위 영역을 체계적으로 과소 표현하고 해부학적 구조의 구조적 복잡성을 진정으로 모델링하는 데 실패한다.

2. 방법론: 다중 프로토타입 대조 학습 (Multiple Prototype Contrastive Learning, MPCL)

저자들은 이미지 고유의 강도 특성과 프로토타입 생성을 정렬함으로써 클래스 내 이질성을 체계적으로 모델링하도록 설계된 프레임워크인 MPCL을 제안한다. 이 프레임워크는 Mean-Teacher 아키텍처 내에서 작동하며 세 가지 새로운 구성 요소로 이루어진다.

A. 강도 정렬형 이질적 프로토타입 생성 (Intensity-aligned Heterogeneous Prototype Generation, IHPG)

IHPG는 이미지의 강도 분포를 명시적으로 모델링하여 각 클래스에 대한 다중 프로토타입을 생성한다.

• 강도 기반 초기화: 이 방법은 이미지 내 마스크 영역 내의 픽셀 강도 히스토그램을 분석한다. 히스토그램에서 국소 최댓값(피크)을 식별하며, 이는 서로 다른 강도 패턴(예: 밝음, 회색, 어두움)에 대응한다. 다양한 피크를 선택하기 위해 비최대 억제(Non-maximum suppression)가 적용되며, 이 피크들은 프로토타입의 초기 위치 역할을 한다.
• 특징-공간 클러스터링: 초기 프로토타입은 의미론적 특징 정보와 공간 좌표를 통합하는 반복적인 클러스터링 과정을 통해 정교화된다. 이를 통해 최종 프로토타입은 이미지의 본질적인 특징 분포에 근거하여 클래스 내 이질성을 포괄적으로 표현하게 된다.
• 불확실성 가중치 부여: 미라벨 데이터의 경우, 프로토타입 생성은 신뢰할 수 없는 복셀 예측을 억제하기 위해 불확실성이 가중된 분할 마스크에 의해 유도된다.

B. 프로토타입 공간 최적화 (Prototypical Space Optimization, PSO)

PSO는 변별력과 일반화 능력을 높이기 위해 생성된 프로토타입 공간을 최적화한다.

• 변별적 프로토타입 정교화: 클래스 간의 명확한 결정 경계를 구축하는 동시에 클래스 내 이질성을 유지하기 위해 프로토타입 수준에서 대조 손실(contrastive loss)이 적용된다. 이는 서로 다른 클래스의 프로토타입은 멀리 밀어내고, 유사한 프로토타입은 서로 끌어당긴다.
• 상보적 프로토타입 통합: 프레임워크는 레이블된 프로토타입(신뢰할 수 있는 감독)과 미라벨 프로토타입(광범위한 분포 지식)을 융합한다. 시간 의존적 가우시안 워밍업 함수는 미라벨 프로토타입의 기여도를 동적으로 제어하며, 초기 훈련 단계에서는 노이즈를 피하기 위해 낮은 가중치로 시작하여 네트워크가 안정됨에 따라 가중치를 높인다.

C. 이중 브랜치 지식 정렬 (Dual-branch Knowledge Alignment, DKA)

DKA는 프로토타입 학습 브랜치와 분할 네트워크 사이의 간극을 메운다.

• 양방향 정렬: 이 방법은 복셀 특징과 최적화된 프로토타입 사이의 코사인 유사도를 기반으로 복셀 단위 예측을 계산한다. 이렇게 생성된 프로토타입 기반 예측은 일관성 제약 조건을 통해 분할 네트워크의 출력과 정렬된다.
• 지식 전이: 이 과정은 프로토타입 공간에 인코딩된 클래스 내 이질성 지식을 픽셀 수준의 분할 결정으로 명시적으로 전달하는 동시에, 분할 출력이 프로토타입 브랜치를 규제할 수 있도록 한다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장한다:

• 새로운 패러다임: 클래스 내 이질성을 체계적으로 모델링하기 위해 이미지 강도 특성을 명시적으로 고려하는 다중 프로토타입 프레임워크를 SSMIS 분야에서 처음으로 제안하였다.
• 강도 정렬 생성 (IHPG): 고유한 강도 변이를 반영하여 다중 프로토타입을 생성함으로써 구조적 다양성의 전체 스펙트럼을 포착하는 혁신적인 전략을 제시하였다.
• 프로토타입 공간 최적화 (PSO): 변별적인 결정 경계를 구축하고 레이블된 데이터와 미라벨 데이터로부터 상보적인 지식을 통합하여 견고한 프로토타입 공간을 만드는 학습 전략을 제시하였다.
• 지식 전이 (DKA): 최적화된 이질성 지식을 프로토타입 공간에서 분할 네트워크로 효율적으로 전달하여 정밀한 픽셀 수준 예측을 보장하는 메커니즘을 제시하였다.

4. 실험 결과

저자들은 높은 클래스 내 이질성을 가진 세 가지 데이터셋인 Left Atrium (LA), NIH Pancreas CT (Pan-NIH), BraTS2019에서 MPCL을 평가하였다. 실험은 극도로 제한된 감독 조건(레이블 데이터 5% 및 10%) 하에서 수행되었다.

• 정량적 성능: MPCL은 모든 지표(Dice, Jaccard, 95HD, ASD)에서 Consistency Regularization (CR), Single Prototype Learning (SPL), 그리고 기존의 Multiple Prototype Learning (MPL) 방법들을 포함한 최신 기술(SOTA)들을 능가하였다.
  • 높은 이질성이 특징인 Pan-NIH 데이터셋에서 MPCL은 우수한 안정성을 보여주었다. 레이블 데이터가 10%에서 5%로 감소했을 때, 경쟁 모델인 MPL 방식들(BaPC, MPER)은 성능이 급격히 하락(예: Dice 값 26% 이상 감소)한 반면, MPCL은 상대적으로 작은 감소폭(17.45%)을 보이며 안정성을 유지하였다.
• 정성적 분석: 시각적 비교 결과, MPCL은 다른 방법들이 놓쳤던 이질적인 전경 영역(예: 어두운 종양 부분이나 밝은 첨단 구조)을 성공적으로 분할하였다. 또한, 유사한 강도를 가진 배경 영역으로부터 전경을 더 잘 구분하여 과분할(over-segmentation)을 줄였다.
• 절제 연구 (Ablation Studies):
  • 핵심 설계: 세 가지 구성 요소(IHPG, PSO, DKA) 중 하나라도 제거하면 성능 저하가 발생하였으며, 이는 각 모듈의 필요성을 확인시켜 준다.
  • 프로토타입 수 ($K$): 해부학적 구조가 흔히 세 개의 뚜렷한 강도 하위 영역(밝음, 회색, 어두움)으로 분해된다는 관찰과 일치하게, $K$가 1에서 3으로 증가함에 따라 성능이 향상되었다. $K$를 5까지 늘리는 것은 중복된 세분화로 인해 수익 체감 또는 약간의 성능 저하를 가져왔다.
  • 초기화: 강도 기반 초기화는 무작위 선택이나 특징 기반 클러스터링보다 유의미하게 우수한 성능을 보였다.

5. 의의 및 주장

본 논문은 MPCL을 기존의 프로토타입 학습 방식의 병목 현상을 깨뜨리는 새로운 패러다임으로 정의하며, 균일한 표현에서 벗어나 다양하고 강도에 정렬된 표현으로 나아간다.

• 높은 정밀도: 클래스 내 이질성을 수용함으로써, MPCL은 단일 프로토타입이 실패하는 복잡한 해부학적 구조에서 더욱 정밀한 분할을 달성한다.
• 희소성에 대한 견고성: 이 방법은 전문가 주석이 부족한 임상 시나리오에서 매우 유용하며, 극도로 제한된 레이블 데이터 하에서도 우수한 성능을 입증하였다.
• 일반적 적용 가능성: 특정 장기에 특화된 방법들과 달리, MPCL은 의료 영상에 내재된 보편적인 강도 특성을 활용하므로 다양한 해부학적 구조와 영상 프로토콜에 걸쳐 폭넓은 적용 가능성을 시사한다.

한계점 인정: 저자들은 노이즈가 많은 저선량 영상 시나리오에서는 강도 피크가 덜 뚜렷해져 강도 정렬의 효과가 감소할 수 있음을 언급하였다. 이에 대해 노이즈 제거 전처리 또는 적응형 프로토타입 선택을 통합하는 후속 연구를 제안하였다.

향후 방향: 저자들은 강도 정렬 프로토타입 개념을 분류(classification)와 같은 다른 의료 영상 분석 작업으로 확장하여, 이질적인 하위 영역에 대한 미세한 표현을 제공할 것을 제안한다.