💻 computer science

Cross-Modal MRI Ovary Segmentation in Endometriosis Using Unpaired TVUS Prototype Priors

본 논문은 TVUS에서 유도된 프로토타입 사전 지식(prototype priors)을 활용하여 모달리티 간의 특징을 정렬함으로써, 기존의 최첨단 방법들과 비교하여 자궁내막증 MRI에서의 까다로운 과제인 교차 모달리티 난소 분할 성능을 크게 향상시키는 듀얼 브랜치 프레임워크를 제안한다.

원저자: Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자궁 내막증은 자궁 내막과 유사한 조직이 자궁 외부에서 자라나 종종 난소에 낭종을 형성하는 통증을 동반한 만성 질환입니다. 이 질병을 진단하고 치료하기 위해 의사들은 두 가지 서로 다른 유형의 의료 영상 기술에 크게 의존합니다. 하나는 체내 내부의 영상을 만들어내는 질 초음파이고, 다른 하나는 강력한 자석을 사용하여 골반 깊숙한 곳을 보는 자기공명영상(MRI)입니다. 초음파는 난소 낭종의 구체적인 질감을 보여주는 데 탁ла 뛰어나지만, MRI는 주변 해부학적 구조를 더 넓고 명확하게 보여줍니다. 그러나 중대한 과제가 남아 있습니다. 난소는 크기가 작고, MRI 스캔에서는 난소의 경계가 주변 장기 및 조직과 매우 유사해 보일 수 있다는 점입니다. 이로 인해 인공지능이라 불리는 컴퓨터 프로그램이 의사를 돕기 위해 난소를 자동으로 정확하게 둘러싸는 선을 그리는 데 어려움을 겪습니다. 정밀한 윤곽이 없으면 질병을 추적하거나 수술을 계획하기가 더 어려워집니다.

연구자들은 초음파와 MRI의 강점을 결합하면 이 문제를 해결할 수 있기를 오랫동안 희망해 왔지만, 큰 장애물이 가로막고 있었습니다. 현실 세계에서 환자가 정확히 같은 순간에 정확히 같은 난소에 대해 초음파와 MRI를 모두 받는 경우는 드물기 때문에, 두 이미지는 완벽하게 일치하지 않습니다. 이러한 매칭된 쌍의 부재는 컴퓨터가 초음파에서 보이는 명확한 특징을 MRI 영상으로 직접 변환하는 법을 배우는 것을 방해해 왔습니다. 독일의 과학자 팀은 영리한 우회 방법을 제안합니다. 개별 환자를 두 기기에 맞춰 연결하려고 노력하는 대신, 그들은 컴퓨터에게 수백 개의 초음파 영상을 통해 난소가 어떻게 생겼는지에 대한 일반적인 '개념'을 학습하도록 가르쳤고, 그 후 컴퓨터가 MRI 스캔을 볼 때 이 일반적인 지식을 사용하도록 했습니다.

연구팀은 두 차선 도로처럼 작동하는 시스템을 구축했습니다. 한 차선은 초음파 영상을 처리하고, 다른 차선은 MRI 영상을 처리합니다. 그들은 의료 영상을 이해하도록 설계된 강력한 사전 학습된 컴퓨터 모델로 시작하여, 이를 난소에 특화되도록 조정했습니다. 먼저, 연구진은 이미 인간 전문가에 의해 표시된 대규모 초음파 영상 모음으로 시스템에 데이터를 입력했습니다. 컴퓨터는 이 영상들을 분석하여 정상적인 난소와 낭종이 있는 난소가 형태와 질감 측면에서 일반적으로 어떤 모습인지에 대한 정신적 라이브러리, 즉 '프로토타입 뱅크(prototype bank)'를 구축했습니다. 이 라이브러리는 난소가 어떠해야 하는지에 대한 인구 집단 수준의 표준으로서 참조 가이드 역할을 합니다.

이 가이드가 확립된 후, 연구진은 MRI 스캔에 주목했습니다. 그들은 이 MRI 스캔을 특정 초음파 영상과 짝을 맞출 필요가 없었습니다. 대신, 연구진은 컴퓨터에게 MRI 스캔을 보고 난소를 찾으라고 지시했습니다. 컴퓨터가 추측을 수행할 때, 컴퓨터는 초음파 데이터로부터 구축된 참조 가이드와 자신의 결과물을 비교했습니다. 만약 컴퓨터가 이해한 MRI 영상이 기존에 확립된 난소의 형태 및 특징에서 벗어나면, 시스템은 이를 올바른 패턴 쪽으로 부드럽게 끌어당겼습니다. 이 과정은 컴퓨터가 환자 쌍을 일치시키지 않고도 초음파에서 이미 배운 명확함을 빌려와 MRI에서 난소를 찾아내는 어려운 과업을 수행할 수 있게 해주었습니다.

이 접근 방식의 결과는 유의미했습니다. 연구팀이 자궁 내막증 환자 81명의 MRI 스캔 데이터셋으로 이 새로운 시스템을 테스트했을 때, 기존의 여러 방법보다 뛰어난 성능을 보였습니다. 컴퓨터가 장기의 윤곽을 얼마나 잘 그리는지를 측정하는 가장 일반적인 표준은 다이스 계수(Dice coefficient)라는 점수로, 0에서 100퍼센트 사이의 값을 가지며 숫자가 높을수록 정확도가 높음을 의미합니다. 새로운 방법은 약 28.9퍼센트 또는 그보다 약간 높은 점수를 기록한 다른 고급 기술들에 비해 상당히 개선된 61.0퍼센트의 점수를 달랐습니다. 연구진은 이 향상이 단순한 통계적 이득이 아니라, 컴퓨터의 윤곽이 훨씬 더 조밀하고 정확해졌으며, 건강한 조직을 난소의 일부로 잘못 식별하는 횟수를 줄였다고 언급했습니다.

그러나 이 연구는 이러한 진보의 한계 또한 드러냈습니다. 새로운 방법이 테스트된 것 중 가장 우수하긴 했지만, 연구진은 61퍼센트라는 점수가 여전히 개선의 여지가 있음을 인정했으며, 시스템이 모든 이미지 속의 모든 난소를 완벽하게 그려내지는 못한다는 점을 시인했습니다. 그들은 시스템을 어떻게 훈련시켰느냐가 매우 중요하다는 것을 발견했습니다. 구체적으로, 컴퓨터가 MRI 데이터로부터 효과적으로 학습하기 위해서는 초음파 데이터만으로 짧은 기간의 '웜업(warm-up)' 훈련이 필요하다는 것을 발견했습니다. 만약 처음부터 두 차선의 고속도로를 동시에 훈련시키거나 웜업 과정을 건너뛰면 시스템의 성능은 훨씬 저하되었습니다. 이는 명확한 초음파 영상으로부터 난소가 어떻게 생겼는지에 대한 견고한 토대를 구축하는 것이 모호한 MRI 스환에 그 지식을 적용하기 전의 중요한 첫 단계임을 시사합니다.

연구팀은 또한 다양한 설정이 시스템 성능에 미치는 영향을 탐구했습니다. 그들은 표준 이미지 매칭 작업과 새로운 '참조 가이드' 작업 사이의 균형이 매우 섬세하다는 것을 발견했습니다. 만약 시스템이 초음파 가이드에 너무 많이 의존하면 MRI 특징을 충분히 학습하지 못했고, 반대로 너무 적게 의존하면 실수를 바로잡지 못했습니다. 세심한 테스트를 통해 연구진은 가장 잘 작동하는 특정 설정을 식별해 냈으며, 이는 해당 방법이 견고하지만 정밀한 조정이 필요함을 입증했습니다. 연구진은 자신들의 접근 방식이 환자 매칭 데이터 없이도 두 가지 서로 다른 영상 세계 사이의 간극을 성공적으로 메웠지만, 현재 가용 가능한 데이터의 한계로 인해 기술이 여전히 진화 중이라고 결론지었습니다. 그들은 특히 현재 컴퓨터를 혼란스럽게 만드는 난소 바로 옆의 특정 조직을 더 잘 인식하도록 시스템을 계속 정교화할 계획입니다. 이 연구는 인공지능을 사용하여 의사가 자궁 내막증의 보이지 않는 세부 사항을 보는 데 도움을 주는 의미 있는 진전이며, 더 정밀한 진단과 케어를 향한 길을 제시합니다.

기술 요약: 비쌍(Unpaired) TVUS 프로토타입 사전 지식을 이용한 자궁내막증의 교차 모달 MRI 난소 분할

문제 정의

MRI에서의 난소 분할은 특히 자궁내막증 환자(초콜릿 낭종)의 병변 위치를 파악하는 데 매우 중요합니다. 그러나 난소는 크기가 작고 주변 골반 구조와 경계가 모호하여 이 작업은 여전히 매우 까다롭습니다. 질 초음파(TVUS)는 종종 더 뚜렷한 난소 특성을 포착하지만, 감독 학습을 위한 쌍을 이룬(paired) TVUS-MRI 검사를 임상 현장에서 확보하는 것은 어렵습니다. 기존 연구들은 주로 단일 모달리티 분석이나 질병 분류에 집중되어 있으며, 교차 모달 난소 분할에 대한 연구는 거의 이루어지지 않았습니다. 쌍을 이룬 데이터 없이 TVUS로부터 해부학적 지식을 MRI로 효과적으로 전이할 수 있는 방법론이 부족한 실정입니다.

방법론

저자들은 비쌍(unpaired) TVUS 난소 마스크를 활용하여 인구 수준의 난소 사전 지식(population-level ovarian prior)을 학습하고, 이를 MRI 난소 분할 개선에 전이하도록 설계된 **이중 브랜치 프레임워크(dual-branch framework)**를 제안합니다. 핵심 구성 요소는 다음과 같습니다.

1. MedSAM3 백본을 이용한 이중 브랜치 구조

본 프레임워크는 TVUS 및 MRI 브랜치 모두를 위해 프롬프트 가능한 개념 분할 파운데이션 모델인 MedSAM3를 백본으로 사용합니다.

매개변수 효율적 미세 조정 (PEFT): 두 브랜치 모두 사전 학습된 MedSAM3 모델을 적응시키기 위해 저차원 적응(LoRA)을 채택합니다.
브랜치 구성:
- TVUS 브랜치: 웜업(warm-up) 단계 이후 백본과 LoRA 모듈이 고정(frozen)됩니다. 프로젝션 헤드는 MRI 브랜치로부터 지수 이동 평균(EMA)을 통해 업데이트됩니다.
- MRI 브랜치: LoRA 모듈과 프로젝션 헤드가 학습 가능합니다.
특징 추출: 비전 트랜스포머(ViT) 백본은 특징 피라미드 네트워크(FPN)를 통해 다중 스케일 특징 표현을 생성합니다. 이 특징들은 경량 프로젝션 헤드(1×1 convolution, GroupNorm, ReLU, L2 normalization)를 통해 정규화된 임베딩으로 매핑됩니다.

2. 프로토타입 뱅크 구축

TVUS로부터 해부학적 지식을 MRI 브랜치로 주입하기 위해, 저자들은 비쌍 TVUS 난소 마스크로부터 인구 수준의 난소 전경(foreground) 사전 지식을 구축합니다.

프로토타입 메모리 뱅크: 이 뱅크는 전경( $p_{fg}^{TVUS}$ ) 및 배경( $p_{bg}^{TVUS}$ ) 프로토타입을 저장합니다.
추출: TVUS 입력으로부터 마스크 평균 풀링(masked average pooling)을 통해 전경 및 배경 특징( $q_{fg}, q_{bg}$ )을 추출합니다.
업데이트 메커니즘: 프로토타입은 다음의 EMA 전략을 사용하여 업데이트됩니다:
$p_{fg}^{TVUS}(t) = \alpha p_{fg}^{TVUS}(t-1) + (1-\alpha) q_{fg}^{TVUS}(t)$
여기서 $\alpha$ 는 모멘텀 계수입니다. 이는 배치별 노이즈가 아닌 인구 수준의 해부학적 구조를 나타내는 안정적인 프로토타입 사전을 보장합니다.

3. 프로토타입 대조 학습 (Prototype Contrastive Learning)

데이터셋이 비쌍(unpaired)이므로 공간적 대응 관계를 강제할 수 없습니다. 대신, 프레임워크는 특징 공간 내에서 교차 모달 해부학적 일관성을 강제합니다.

목표: MRI 난소 전경 특징( $q_{fg}^{MRI}$ )이 TVUS 난소 전경 프로토타입( $p_{fg}^{TVUS}$ )에는 가까워지도록 유도하는 동시에, TVUS 배경 프로토타입( $p_{bg}^{TVUS}$ ) 및 MRI 배경 특징( $q_{bg}^{MRI}$ )으로부터는 멀어지도록 합니다.
손실 함수: InfoNCE 대조 손실( $\mathcal{L}_{proto}$ )이 사용됩니다:
$\mathcal{L}_{proto} = -\log \frac{\exp(\text{sim}(q_{fg}^{MRI}, p_{fg}^{TVUS})/\tau)}{\exp(\text{sim}(q_{fg}^{MRI}, p_{fg}^{TVUS})/\tau) + \sum_{z \in \{p_{bg}^{TVUS}, q_{bg}^{MRI}\}} \exp(\text{sim}(q_{fg}^{MRI}, z)/\tau)}$
전체 손실: 대조 손실은 가중치 $\lambda$ 가 적용된 표준 분할 손실( $\mathcal{L}_{seg}$ )과 결합됩니다:
$\mathcal{L}_{total} = \mathcal{L}_{seg} + \lambda \mathcal{L}_{proto}$

4. 학습 전략

웜업 사전 학습 (Warm-up Pretraining): 특징 공간을 안정화하고 신뢰할 수 있는 프로토타입을 추출하기 위해 TVUS 브랜치를 먼저 3 에포크 동안 독립적으로 사전 학습합니다.
교차 모달 학습: 그 후 TVUS 모델을 고정하고, TVUS 유래 프로토타입을 사용하여 MRI 브랜치를 10 에포크 동안 학습시킵니다.

주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

이중 브랜치 프레임워크: MedSAM3를 기반으로 구축되어 모달리티별 특징과 교차 모달 해부학적 표현을 학습할 수 있는 새로운 MRI 난소 분할 아키텍처를 제안합니다.
인구 수준의 난소 사전 지식: 쌍을 이룬 데이터 없이도 MRI 표현 학습을 위한 해부학적 가이드를 제공하기 위해, 비쌍 TVUS 난소 마스크로부터 구축된 프로토타입 뱅크를 도입합니다.
프로토타입 대조 학습: TVUS로부터 도출된 해부학적으로 의미 있는 난소 특징을 향해 MRI 특징 표현을 정규화함으로써 교차 모달 해부학적 일관성을 강제하는 전략을 제시합니다.

실험 결과

프레임워크는 공개된 자궁내막증 관련 데이터셋인 OTU-2D(TVUS) 및 UT-EndoMRI(MRI)를 통해 평가되었습니다.

정량적 성능: 제안된 이중 브랜치 접근 방식은 평균 Dice 계수(mDICE) **61.0%**와 평균 평균 정밀도(mAP) **27.3%**를 달s했습니다.
- 이는 완전히 미세 조정된 MedSAM3(54.6%)보다 mDICE 측면에서 5 퍼센트 포인트 이상 향상된 수치이며, 제로샷(zero-shot) MedSAM3(14.9%) 및 2D nnU-Net(28.9%)을 크게 상회하는 성능입니다.
정성적 관찰: 본 방법은 베이스라인 모델들에 비해 더 조밀한 예측을 생성하고 주변 골반 영역에서의 위양성(false-positive) 반응을 줄였습니다. 제로샷 모델은 위치 파악에 어려움을 겪고 nnU-Net은 난소 영역을 식별하지 못한 반면, 제안된 방법은 경계 예측을 정교화했습니다.
절제 연구 (Ablation Studies):
- 프로토타입 뱅크: 프로토타입 뱅크를 제거하면 mDICE가 61.02%에서 57.74%로 감소하여, 품질 향상에 대한 역할을 확인했습니다.
- 웜업: 3 에포크의 TVUS 전용 웜업이 최상의 결과를 냈습니다. 공동 웜업(joint warm-up)을 하거나 웜업을 하지 않으면 성능이 저하되었습니다.
- 매개변수: 프레임워크는 대조 손실 가중치( $\lambda$ )와 EMA 모멘텀( $\alpha$ )의 변화에 대해 견고함을 보였으며, 최적의 성능은 $\lambda=0.015$ , $\alpha=0.95$ 에서 나타났습니다.

의의 및 주장

저자들은 본 연구가 비쌍(unpaired) TVUS 데이터를 사용하여 텍스트 프롬프트가 가능한 MRI 난소 분할을 위한 유용한 교차 모달 프로토타입 사전을 구축할 수 있음을 입증했다고 주장합니다.

완만한 성능 주장: 본 방법이 최신 베이스라인들을 능가함에도 불구하고, 저자들은 MRI 난소 분할에 대한 전반적인 성능이 "완만하다(modest)"는 점을 인정합니다. 이는 원본 데이터셋에서 난소 어노테이션(annotation)의 가용성이 제한적이라는 점과, 배경 프로토타입이 해부학적으로 유사한 구조보다는 쉬운 픽셀들에 의해 지배되는 문제 때문이라고 설명합니다.
방법론적 통찰: 본 연구는 파운데이션 모델(제로샷)의 직접적인 전이가 이 특정 작업에는 불충분하며, 비쌍 교차 모달 사전을 통한 타겟 도메인 적응이 실행 가능한 전략임을 강조합니다.
향ers 방향: 저자들은 향후 연구로서 확장된 마스크(dilated masks)를 사용하여 "근접 배경(near-background)" 프로토타입을 구축하고, 더 나은 특징 정렬을 위한 자기 지도 학습(self-supervised pretraining)을 탐구하며, 프레임워크를 3D 볼륨 분할 및 다른 모달리티(예: 복강경 영상)로 확장하는 것을 제안합니다.