Joint Medical Image Enhancement and Segmentation with Diffusion-based Symbiotic Information Interaction

기술 요약: DiSIINet – 확산 기반 공생적 정보 상호작용을 통한 의료 영상 향상 및 분할의 결합

문제 정의
MRI, CT, 초음파와 같은 의료 영상 모달리티는 비용 제약으로 인해 저해상도, 노이즈, 흐림(blurriness), 열악한 조명 등 품질 저하가 빈번하게 발생합니다. 이러한 한계는 중요한 해부학적 구조나 병변의 시각화를 어렵게 만들어 잠재적으로 오진을 유발할 수 있습니다. 전통적인 접근 방식은 일반적으로 영상 향상을 분할 전의 별도 전처리 단계로 취급하며, 두 작업 사이의 잠재적인 시너지 효과를 활용하지 못합니다. 또한, GAN이나 초기 확산 모델을 포함한 기존의 생성 모델들은 지각적 품질과 충실도(fidelity) 사이의 균형을 맞추는 데 어려움을 겪거나, 단방향 정보 흐름(예: 분할을 사용하여 향상을 가이드함)에 의존하여 상호 이익을 충분히 활용하지 못하는 경우가 많습니다. 최근의 텍스트 가이드 확산 방식은 핵심 객체를 간과하거나 초해상도(super-resolution) 작업에서 모호성을 생성하는 것과 같은 의미론적 정확도의 한계에 직면해 있습니다.

방법론
저자들은 의료 영상의 향상과 분할을 공동으로 수행하는 통합 프레임워크인 DiSIINet(Diffusion-based Symbiotic Information Interaction Network)을 제안합니다. 이 아키텍처는 **Denoising Diffusion Implicit Models (DDIM)**를 기반으로 구축되었으며, 두 개의 주요 브랜치로 구성됩니다:

1. DiEnh (Diffusion-based Enhancement): 저품질(LQ) 영상을 고품질(HQ) 영상으로 복원하는 데 전념하는 브랜치입니다.
2. DiSeg (Diffusion-based Segmentation): 저품질(LQ) 영상으로부터 분할 마스크를 생성하는 데 전념하는 브랜치입니다.

핵심 메커니즘: 공생적 정보 상호작용 (Symbiotic Information Interaction, SII)
핵심 혁신은 역확산 과정 동안 DiEnh와 DiSeg 브랜치 간의 동적이고 양방향적인 정보 교환을 촉진하는 공생적 정보 상호작용(SII) 모듈입니다. 단방향 계단식 방법과 달리, DiSIINet은 두 작업이 서로를 반복적으로 개선할 수 있도록 합니다.

• 아키텍처: SII 모듈은 Enh-Controller와 Seg-Controller로 구성됩니다.
• 작동 원리: 각 역확산 단계 $t$에서, 모듈은 두 브랜치의 잠재 표현(latent representations) 간의 교차 주의(cross-attention)를 계산합니다.
  • Enh-Controller는 분할 잠재 변수($Z^{seg}_t$)를 쿼리(query)로, 향상 잠재 변수($Z^{enh}_t$)를 키(key) 및 값(value) 행렬로 취급하여 향상 브랜치를 위한 가이드된 특징($F^{(t)}_{oi}$)을 생성합니다.
  • Seg-Controller는 향상 잠재 변수($Z^{enh}_t$)를 쿼리로, 분할 잠재 변수($Z^{seg}_t$)를 키 및 값 행렬로 취급하여 분할 브랜치를 위한 가이드된 특징($F^{(t)}_{os}$)을 생성합니다.
• 학습: 모델은 두 브랜치에 대한 DDIM 노이즈 예측 손실, 향상된 영상에 대한 복원 손실(MSE), 그리고 가중치 적용된 이진 크로스 엔트로피(binary cross-entropy) 손실을 결합한 공동 손실 함수를 사용하여 엔드 투 엔드(end-to-end)로 학습됩니다.

주요 기여

1. 이중 브랜치 확산 아키텍처: DiSIINet은 향상과 분할 작업이 순차적이거나 독립적으로 작동하는 대신, 지속적인 정보 교환을 통해 서로를 강화하는 이중 브랜치 확산 아키텍처를 활용한 첫 번째 프레임워크로 제시됩니다.
2. 공생적 정보 상호작용 (SII) 모듈: 저자들은 역확산 과정 중 교차 주의를 통해 양방향 특징 흐름을 가능하게 하는 새로운 모듈을 설계하였으며, 이를 통해 분할 브랜치가 향상을 가이드하고 그 반대도 가능하게 하였습니다.
3. 포괄적인 검증: 이 방법은 다양한 주요 의료 영상 모달리티(MRI, CT, 초음파)와 여러 데이터셋(ACDC, KiTS19, TN3K)에 걸쳐 검증되었으며, 기존의 순차적 및 독립적 방식들에 비해 일관된 성능 향상을 입증하였습니다.

실험 결과
세 가지 데이터셋에 대해 광범위한 실험이 수행되었습니다:

• ACDC (MRI): DiSIINet은 향상 측면에서 PSNR 32.15, SSIM 0.932를 달성하였고, 분할 측면에서는 avg-mIoU 84.81, avg-Dice 91.78을 기록하며 MedSegDiff-V2 및 UNet 변형 모델들을 능가하였습니다.
• KiTS19 (CT): 모델은 PSNR 34.68, SSIM 0.961의 향상 성능과 분할 지표인 75.25 mIoU, 85.87 Dice를 달성하였습니다.
• TN3K (초음파): DiSIINet은 PSNR 34.26, SSIM 0.942에 도달하였으며, 분할 지표로는 75.18 mIoU, 85.82 Dice를 기록하였습니다.

정성적 결과는 DiSIINet이 흐림 현상이나 세부 정보 손실을 보이는 경쟁 방법들에 비해 미세한 구조적 세부 사항(예: 심실 영역, 신장 종양, 갑상선 결절)을 더 효과적으로 보존함을 보여줍니다. 어블레이션 연구(Ablation studies)를 통해 Enh-Controller 또는 Seg-Controller 중 하나라도 제거하면 성능이 크게 저하됨을 확인하였으며, 이는 공생적 상호작용의 필요성을 입증합니다.

의의 및 주장
본 논문은 DiSIINet이 확산 모델의 생성적 프레임워크 내에서 향상과 분할 작업 간의 딥 피처 상호작용(deep feature interaction) 간극을 해결한다고 주장합니다. 두 작업이 서로의 의미론적 및 구조적 정보를 통해 공생 관계를 구축함으로써, 이 프레임워크는 단방향 또는 독립적 방식에 비해 우수한 재구성 품질과 분할 정확도를 달 achieves 합니다. 저자들은 이러한 성능 향상이 계산 복잡도의 증가를 수반한다는 점을 인정하며, 향후 연구는 공생적 이점을 유지하면서 디노이징 단계를 줄이기 위한 모델 증류(distillation) 및 적응형 메커니즘에 집중할 것이라고 밝혔습니다.