D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities

기술 요약: D3Seg – 결손 모달리티가 있는 뇌 종양 분할을 위한 의존성 인식 확산 모델

문제 제기
다중 매개변수 MRI 를 이용한 정확한 뇌 종양 분할은 치료 계획 수립에 필수적입니다. 표준 임상 프로토콜에서는 일반적으로 T1, 조영증강 T1(T1ce), T2, FLAIR 의 네 가지 시퀀스를 획득합니다. 그러나 실제 임상 현장에서는 기관별 프로토콜 차이 또는 조영제 사용에 대한 환자 금기 사항으로 인해 모든 모달리티를 획득하는 것이 항상 가능하지는 않습니다. 기존 분할 방법들은 모달리티가 결손될 경우 성능이 크게 저하되는 경향이 있습니다. 현재 접근 방식은 일반적으로 두 가지 범주로 나뉩니다:

1. 퓨전 기반 방법: 이러한 방법들은 사용 가능한 모달리티의 단순한 특징 연결 (concatenation) 이나 통계적 집합에 의존하지만, 결손된 입력을 명시적으로 보상하는 메커니즘이 부족합니다.
2. 재구성 기반 방법: 이러한 방법들은 모든 결손된 모달리티를 합성하거나 공유 잠재 표현을 학습하려 시도합니다. 그러나 모든 결손 특징을 무분별하게 재구성하는 것은 불필요한 계산 오버헤드를 초래할 수 있습니다.
3. 지식 증류: 이러한 방법들은 교사 - 학생 네트워크에 의존하지만 추가적인 학습 오버헤드를 발생시키며 교사 네트워크의 신뢰도에 크게 의존합니다.

더욱이, 기존 모델들은 종종 임상적으로 중요한 하위 영역인 조영증강 종양 (ET) 의 경계 설정에 어려움을 겪으며, 특히 T1ce 데이터가 부재할 경우 소수 클래스의 과소 분할과 부종 (edema) 과 같은 우세 클래스에 대한 과도한 확신으로 이어지는 경향이 있습니다.

방법론
저자들은 결손 모달리티 환경에서도 안정적인 성능을 유지하도록 설계된 의존성 인식 확산 보정 분할 네트워크인 D3Seg를 제안합니다. 이 아키텍처는 각 사용 가능한 MRI 모달리티를 독립적인 3D 합성곱 인코더를 통해 처리합니다. 핵심 구성 요소는 다음과 같습니다:

1. 멀티홉 모달리티 그래프 퓨전 (MMGF):
   단순한 평균 퓨전 대신, D3Seg 는 고차원 모달리티 간 의존성을 모델링합니다. 노드가 모달리티 임베딩 (전체 평균 풀링을 통해 유도됨) 을 나타내는 모달리티 인접 그래프를 구성합니다. 인접 행렬은 임베딩 간의 코사인 유사도를 기반으로 계산됩니다. 모달리티가 결손된 경우, 해당 행/열은 마스킹되지만, 병목 구간 (bottleneck) 의 T1ce 특징은 사용 가능한 데이터 또는 확산 기반 보정 표현을 활용합니다. 모델은 학습 가능한 홉 가중치를 사용하여 최대 3 홉까지 그래프를 통해 정보를 전파하여, 중간 모달리티를 통해 정보가 흐르도록 하여 사용 가능한 모달리티의 표현을 풍부하게 합니다. 이는 네트워크 병목 구간과 스킵 연결에 적용됩니다.

2. 확산 기반 잠재 T1ce 보정:
   종양 핵의 경계 설정에 있어 T1ce 의 중요성을 인식하여, 저자들은 경량 무조건부 확산 메커니즘을 도입했습니다. 이는 T1ce 인코더의 잠재 특징 공간 (병목 구간) 에서 직접 작동합니다. 경량 트랜스포머 기반의 디노이저 (3 개의 어텐션 레이어) 는 주입된 가우시안 노이즈를 제거하여 모달리티가 결손되었을 때 T1ce 특징 표현을 합성하도록 학습합니다. 이 접근 방식은 모든 모달리티의 완전한 재구성을 피하고 임상적으로 중요한 T1ce 특징에만 초점을 맞춤으로써 파라미터 효율성을 유지합니다.

3. 오차 유도 의사결정 정제 (EGDR):
   모델이 우세 클래스 (예: 부종) 에 대해 과도하게 확신하고 소수 클래스 (예: 조영증강 종양) 를 과소 분할하는 경향을 해결하기 위해, 의사결정 정제 모듈이 확률 공간에서 작동합니다. 경량 오차 예측기는 볼록별 오차 가능성 지도를 추정합니다. 이 지도는 확률 질량의 적응적 재분배를 유도하여, 과소 분할이 발생하기 쉬운 영역에서 부종 (ED) 으로부터 조영증강 종양 (ET) 으로 확신을 이전합니다. 이는 종양 하위 영역에 대한 더 균형 잡힌 예측을 보장합니다.

주요 기여
본 논문은 세 가지 주요 기여를 제시합니다:

1. 의존성 인식 퓨전: 모달리티 인접 그래프를 구성하여 직접적 및 간접적 모달리티 간 관계를 멀티홉 전파를 통해 모델링하는 새로운 MMGF 접근법으로, 단순 퓨전보다 더 표현력 있는 집합을 가능하게 합니다.
2. 표적 잠재 보정: 네트워크 병목 구간에서 임상적으로 중요한 T1ce 특징 표현을 합성하는 확산 기반 메커니즘입니다. 이는 모든 모달리티 특징을 재구성하는 계산 비용 없이 결손된 T1ce 정보에 대한 표적 보상을 제공합니다.
3. 의사결정 정제: 결손 모달리티의 모호성 하에서 소수 종양 하위 영역 (특히 ET) 으로 확률 질량을 적응적으로 재분배함으로써 우세 클래스에 대한 과도한 확신을 명시적으로 완화하는 고유한 모듈입니다.

실험 결과
이 모델은 BraTS 2023데이터셋 (1,251 스캔) 에서 평가되었으며, 70% 학습, 10% 검증, 20% 테스트로 분할되었습니다. 성능은 다양한 결손 모달리티 구성에서 전체 종양 (WT), 종양 핵 (TC), 조영증강 종양 (ET) 에 대한 디코 유사도 계수 (DSC) 를 사용하여 측정되었습니다.

• 성능 향상: D3Seg 는 여러 결손 모달리티 시나리오에서 M3AE, M3FeCon, IM-Fuse 를 포함한 최신 방법들보다 일관되게 우수한 성능을 보였습니다.
  • 현재 최첨단 방법 (IM-Fuse) 대비 조영증강 종양 (ET) 에서 약 1.5–2.0% 의 디코 개선을 달성했으며, 종양 핵 (TC) 에서는 약 **1.0%**의 개선을 보였습니다.
  • 주목할 점은, 더 적은 파라미터 (IM-Fuse 의 47M 대비 38M) 와 더 낮은 계산 비용 (249 GFLOPs 대비 236 GFLOPs) 으로도 경쟁력 있거나 우수한 성능을 유지했다는 것입니다.
• 애블레이션 연구: 실험은 각 구성 요소가 성능에 기여함을 확인시켰습니다. 구체적으로, MMGF 는 Mamba 퓨전 전용 베이스라인 대비 ET 디코를 1.3% 향상시켰으며, 확산 기반 보정은 TC 디코에 추가 1.0% 의 향상을 더했습니다. 전체 모델은 결손-T1ce 설정에서 가장 높은 점수 (WT 92.5%, TC 80.8%, ET 64.9%) 를 달성했습니다.
• 정성적 분석: 시각적 결과는 표준 퓨전과 비교하여 MMGF 가 ET 영역에서 더 국소화되고 대비가 강화된 응답을 산출하여, 실제 정답 (ground truth) 과의 정합성을 향상시켰음을 보여주었습니다.

의의 및 주장
저자들은 D3Seg 가 완전한 MRI 획득이 불가능한 임상 시나리오에 대한 강력한 해결책을 제공한다고 주장합니다. 그래프 기반 의존성 모델링, 표적 확산 보정, 확률 공간 정제를 결합함으로써, 이 모델은 기존 방법들의 특정 약점인 결손 입력에 대한 보상 불가 및 우세 클래스에 대한 편향을 해결합니다. 논문은 이러한 개선이 계산 효율성을 유지하면서 달성되었으며, 실제 세계 배포에 실용적임을 강조합니다. 결과는 무분별한 재구성이나 단순 퓨전보다 모달리티 간 의존성을 명시적으로 모델링하고 중요한 특징을 선택적으로 보정하는 것이 더 효과적임을 시사합니다.