Probabilistic Modeling of Multi-rater Medical Image Segmentation for Diversity and Personalization

기술 요약: 조절 가능한 의료 병변 분할을 위한 선호도와 모호성 분리

문제 제기
의료 병변 분할은 정의되지 않은 경계, 아티팩트, 그리고 의료 대상의 불규칙한 형태로 인한 영상 불확실성에 본질적으로 직면해 있습니다. 이러한 불확실성의 중요한 발현은 간관찰자 변이성 (inter-observer variability) 으로, 서로 다른 전문가가 동일한 이미지에 대해 상이한 주석을 제공한다는 점입니다. 기존 다수 평가자 의료 영상 분할 접근법은 일반적으로 두 가지 제한된 범주로 나뉩니다:

1. 생성 방법: 다양한 분할 결과를 생성하지만 전문가별 개인화를 포착하지 못하며, 종종 실제 전문가 행동을 모방하지 않는 변이를 생성합니다.
2. 개인화 방법: 개별 주석자의 출력을 복제하지만 다양한 분할을 생성할 능력이 부족하여, 전문가 선호도를 효과적으로 하드코딩하고 본질적인 영상 모호성을 무시합니다.
3. 크라우드소싱 방법: 여러 주석을 단일 메타 분할로 집계하며, 단일 정답을 가정하고 전문가 변이성의 분포를 모델링하지 못합니다.

본 논문은 문헌에서 다음과 같은 간극을 지적합니다: 다양성(전문가 간 불일치 범위 포착) 과 개인화(특정 전문가 주석 정렬) 를 모두 갖춘 분할 결과를 동시에 생성할 수 있는 효과적인 접근법이 통합 프레임워크 내에 존재하지 않습니다.

방법론: ProSeg
저자들은 ProSeg(다수 평가자 분할의 확률적 모델링) 을 제안합니다. 이는 다양성과 개인화를 통합하도록 설계된 확률적 그래픽 모델 (PGM) 입니다. 핵심 혁신은 불확실성의 원천을 분리하기 위해 두 가지 연속 잠재 변수를 도입하는 데 있습니다:

• $\tau$ (Tau): 전문가 주석자 간의 주관적 변이(간관찰자 변이성) 를 모델링합니다. 이는 특정 전문가 주석자 $R$로부터 추론됩니다.
• $Z$: 의료 스캔의 모호성(영상 내 불확실성) 을 모델링합니다. 이는 관측된 영상 데이터 $X$로부터 추론됩니다.

확률적 공식화
ProSeg 는 주석 ($Y$), 영상 ($x$), 그리고 전문가 ($R$) 의 결합 분포 $p(Y, x, R)$를 모델링합니다. 이 모델은 주석들이 잠재 변수 $\tau$와 $Z$에 조건부로 생성된다고 가정합니다.

• 생성 과정: 모델은 조건부 분포 $p(y_{ri} | \tau_i, z_i)$, $p(x | z_i)$, 그리고 $p(r_i | \tau_i)$를 정의합니다.
• 변분 추론: 잠재 변수의 사후 분포가 계산적으로 다루기 어렵기 때문에, 모델은 $q(z_i | x)$와 $q(\tau | R)$를 사용하여 이를 근사하는 변분 추론을 사용합니다.
• 훈련 목적: 모델은 관측 데이터의 음의 로그 가능도를 최소화 (영상 재구성, 전문가 분류, 분할 정확도) 하면서 $\tau$와 $Z$의 사후 분포를 사전 분포 ( $\tau$ 에 대한 디리클레 분포, $Z$ 에 대한 가우시안 분포) 와 일치하도록 정규화하는 증거 하한 (ELBO) 을 최대화하도록 훈련됩니다.

모델 아키텍처
아키텍처는 다섯 개의 신경망 모듈로 구성됩니다:

1. 영상 인코더: 영상 $x$로부터 모호성 잠재 변수 $z$를 추론합니다.
2. 영상 디코더: $z$로부터 영상을 재구성합니다.
3. 클래스 임베딩: 전문가 주석자 $R$로부터 전문가 선호도 잠재 변수 $\tau$를 추론합니다.
4. 분류기: $\tau$로부터 전문가 주석자를 예측합니다.
5. 분할 예측기: $\tau_i$와 $z_i$ 모두에 조건부로 분할 $y_{ri}$를 생성합니다.

제어 메커니즘

• 개인화: 특정 전문가 $r$을 지정함으로써, 모델은 $q(\tau | r)$에서 $\tau$를 샘플링하여 해당 전문가의 스타일에 정렬된 분할을 생성하면서, $z$를 샘플링함으로써 다양성을 유지합니다.
• 다양성: 특정 전문가의 사후 분포가 아닌 사전 분포 $p(\tau)$ (디리클레) 에서 $\tau$를 샘플링함으로써, 모델은 전문가 변이성의 전체 스펙트럼을 나타내는 다양한 분할 결과를 생성합니다.

실험 결과
저자들은 ProSeg 를 두 가지 벤치마크 데이터셋에서 평가했습니다:

1. LIDC-IDRI: 이미지당 네 가지 전문가 주석이 포함된 폐 결절 데이터셋.
2. NPC: 네 명의 실제 방사선과 의사가 포함된 비인두암 데이터셋으로, 선호도 변이성이 더 높습니다.

주요 지표:

• 다양성: 일반화된 에너지 거리 (GED) 와 소프트 다이스 ($D_{soft}$) 로 측정.
• 개인화: 매치 다이스 ($D_{match}$), 최대 다이스 ($D_{max}$), 그리고 특정 전문가에 대한 평균 다이스 점수 ($D_{mean}$) 로 측정.

결과:

• ProSeg 는 두 데이터셋 모두에서 **최고 성능 (SOTA)**을 달성했습니다.
• LIDC-IDRI 에서 ProSeg 는 가장 낮은 GED(0.1152) 와 가장 높은 $D_{soft}$(91.53%) 를 기록하여, 생성 방법 (예: Probabilistic U-Net) 과 개인화 방법 (예: TAB, Pionono) 을 능가했습니다.
• 더 까다로운 NPC 데이터셋에서 ProSeg 는 GED 기준으로 이전 SOTA 개인화 방법 대비 다양성 성능을 20.71% 향상시켰으며, 높은 개인화 정확도 ($D_{mean} = 82.07\%$) 를 유지했습니다.
• **절대 실험 (Ablation studies)**은 두 잠재 변수 모두 중요함을 확인시켰으며, $\tau$ 또는 $Z$ 중 하나를 제거하면 성능이 크게 저하되었습니다.
• 시각 분석은 ProSeg 가 다양성이 있으면서도 전문가 주석의 "골드 스탠다드" 분포와 밀접하게 정렬된 분할을 생성하는 반면, 다른 방법들은 다양성이 부족하거나 특정 전문가 선호도를 맞추지 못함을 보여주었습니다.

의의 및 주장
본 논문은 ProSeg 가 다수 평가자 병변 분할을 위한 다양성과 개인화 모델링을 통합한 최초의 확률적 모델링 프레임워크라고 주장합니다. 단일 확률적 프레임워크 내에서 이러한 측면들을 공동으로 학습함으로써 ProSeg 는 다양성과 개인화를 상호 배타적인 것으로 간주하거나 다단계 훈련을 요구하는 기존 방법의 한계를 해결합니다. 저자들은 ProSeg 가 다른 다수 평가자 의료 영상 분할 작업으로 확장 가능한 일반화 가능한 프레임워크를 제공하며, 임상 진단의 본질적인 불확실성과 변이성을 처리하는 강력한 솔루션을 제공한다고 주장합니다. 이 연구는 영상의 모호성과 주석자의 주관성을 모두 포착하는 것이 신뢰할 수 있고 임상적으로 관련성 있는 분할 출력을 생성하는 데 필수적임을 강조합니다.