🤖 AI

A Geometric Multimodal Foundation Model Integrating Bp-MRI and Clinical Reports in Prostate Cancer Classification

이 논문은 리만 심층 학습(Riemannian deep learning)을 사용하여 이중 파라미터 MRI와 임상 보고서를 통합함으로써, 훈련 데이터 요구량을 크게 줄이면서도 우수하고 견고한 전립선암 분류를 달성하는 기하학적 멀티모달 파운데이션 모델인 MFM-Geom을 소개한다.

원저자: Juan A. Olmos, Antoine Manzanera, Fabio Martínez

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Juan A. Olmos, Antoine Manzanera, Fabio Martínez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 단서의 절반만을 가진 채 미스터리를 풀려는 탐정이라고 상상해 보십시오. 의학의 세계, 특히 전립선암을 살펴볼 때 의사들은 주로 두 가지 유형의 증거에 의존합니다: 전립선의 특수한 3D 영상(bp-MRI라고 불리는)과 환자의 병력 및 혈액 검사 수치가 담긴 서면 보고서입니다. 오랫동안 의사를 돕기 위해 설계된 컴퓨터 프로그램들은 마치 영상만을 들여다보는 탐정 같았습니다. 즉, 서면 기록은 무시한 채 말이죠. 그들은 이미지만을 뚫어지게 쳐다보며 답을 추측하려 노력하는데, 이는 까다로운 일입니다. 의료 영상은 매우 복잡하며 학습할 수 있는 사례가 항상 수천 개씩 존재하는 것도 아니기 때문입니다. 여기서 "파운데이션 모델(Foundation Models)"이 등장합니다. 이들은 이미 많은 의료 영상과 텍스트를 학습하여, 특정 시험을 치르기 전에 도서관의 모든 교과서를 다 읽은 학생처럼 이미 많은 것을 배운 거대한 사전 학습 AI 뇌입니다. 연구자들이 던지는 핵심 질문은 이것입니다. "우리가 이미지와 텍스트를 동시에 바라보면서, 이 서로 다른 단서들이 기하학적으로 어떻게 맞물리는지를 이해하는 특수한 수학을 사용하여 더 똑똑한 탐정을 만들 수 있을까?"

이 논문은 MFM-Geom이라는 새로운 탐정을 소개합니다. MFM-Geom은 단순히 사진과 텍스트의 예측값을 마지막 단계에서 하나로 합치는 것이 아니라, "기하학적 학습(geometric learning)"이라는 영리한 기술을 사용합니다. 컴퓨터가 이해하는 이미지와 텍스트를 서로 다른 언어라고 생각해 보십시오. 보통의 AI는 이들을 하나의 평평한 숫자 목록으로 번역하려고 시도합니다. 하지만 MFM-Geom은 이 단서들을 곡선 공간(리만 다양체, Riemannian manifold) 속의 하나의 형상으로 취급합니다. 즉, 이미지 단서와 텍스트 단서 사이의 거리와 각도가 단서 그 자체만큼이나 중요하다고 보는 것입니다. 이러한 곡선형 기하학적 접근 방식을 통해, 이 모델은 의료 영상과 임상 보고서 사이의 숨겨진 연결 고리를 찾아낼 수 있으며, 이는 학습할 수 있는 사례가 많지 않은 상황에서도 가능합니다.

연구진은 이 새로운 탐정을 전립선암 사례 데이터셋을 통해 테스트했습니다. 그 결과, MFM-Geom은 아주 적은 양의 데이터만 주어졌음에도 불구하고 유의미한 암을 찾아내는 데 놀라운 능력을 보여주었습니다. 이 "소규모 데이터" 시나리오에서 MFM-Geom은 AUC-PR 90.67을 기록했는데, 이는 이미지만을 보거나 표준적인 번역 기법을 사용한 기존 방식들보다 훨씬 뛰어난 성적이었습니다. 예를 들어, 이 특정 지표에서 기존의 가장 우수한 이미지 전용 모델보다 8.3% 더 높은 성과를 냈습니다. 또한, 모델의 일반화 능력을 확인하기 위해 완전히 다른 데이터셋(PROSTATE158이라는 외부 데이터셋)으로 테스트했을 때도 AUC-PR 90.6이라는 강력한 수치를 유지하며, 이 기하학적 접근 방식이 견고함을 입증했습니다.

이 논문은 단순히 이미지와 텍스트의 예측을 마지막 단계에서 결합하는 방식("의사결정 수준 융합", decision-level fusion)이 최선이라는 생각에 명시적으로 반박합니다. 그들은 이 오래된 방식이 이미지의 세부 사항과 임상 변수 사이의 복잡하고 초기적인 관계를 놓친다고 주장합니다. 대신, 이 단서들이 모델의 뇌 내부에서 기하학적 구조를 사용하여 깊숙이 엮여야 한다고 제안합니다. 또한, 일반적인 이미지(ImageNet 등)로 사전 학습된 모델을 사용하는 것보다 생물 의학 데이터(BiomedCLIP)로 사전 학습된 모델을 사용하는 것이 더 효과적임을 보여줌으로써, 사전에 학습된 "의학적 어휘"가 얼마나 중요한지를 시사했습니다.

실험에서 팀은 MFM-Geom을 표준 이미지 전용 모델, 이미지 패치를 평균 내는 모델, 그리고 비의료 데이터로 사전 학습된 동일한 이미지 구조를 가진 모델 등 여러 설정과 비교했습니다. 결과적으로 기하학적 헤드(곡선 수학을 처리하는 부분)가 다른 모델들을 지속적으로 압도했으며, 특히 중간 단계의 암이 포함된 어려운 사례에서 그 성능이 두드랐습니다. 저자들은 또한 AI가 무엇에 집중하고 있는지를 보여주는 히트맵인 "어텐션 맵(attention maps)"을 살펴보았습니다. 그들은 모델의 이미지 부분이 실제 병변에 집중하고, 텍스트 부분이 전립선 부피 및 특정 구역과 같은 핵심 변수에 집중하고 있음을 발견했으며, 이는 모델이 올바른 것을 학습하고 있음을 확인시켜 주었습니다. 이 모델은 매우 효과적이지만, 저자들은 실행 시간이 조금 더 오래 걸린다는 점(단순한 모델의 7.6 ms에 비해 약 14.3 ms)과 모델의 내부 "사고 과정"을 완전히 해석하기가 여전히 어려울 수 있다는 점을 언급했습니다. 다만 어텐션 맵이 그 과정을 엿볼 수 있는 실마리를 제공합니다. 궁극적으로, 이 연구는 의료 데이터를 평평한 숫자 목록이 아닌 기하학적 형상으로 다루는 것이, 특히 데이터가 부족한 상황에서 암 진단을 개선할 수 있는 강력한 방법이 될 수 있음을 시사합니다.

기술 요약: 전립선암 분류를 위한 MFM-Geom

문제 정의
전립선암(PCa)은 임상적으로 유의미한 전립선암(csPCa)의 적기 및 정확한 분류가 치료 결과에 있어 매우 중요한 흔한 악성 종양입니다. 현재의 진단 워크플로우는 바이파라메트릭 MRI(bp-MRI)와 임상 변수(예: PSA, 연령)에 크게 의존합니다. 그러나 전문가의 평가는 시간이 많이 소요되며 판독자 간 변동성이 존재합니다. 기존의 컴퓨터 보조 진단(CAD) 방법들은 주로 단일 모드(unimodal) 기반의 영상 딥러닝 모델을 활용하며, 이 과정에서 상호 보완적인 임상적 맥락을 간과하는 경우가 많습니다. 또한, 영상과 임상 데이터를 결다 결합하는 접근 방식들은 대개 결정 수준 융합(decision-level fusion)에 의존하여, 영상 특징과 임상 변수 사이의 복잡하고 초기 단계적인 상관관계를 놓치게 됩니다. 게다가 이러한 모델들은 데이터 부족 문제로 인해 견고한 표현(representation)을 학습하는 데 어려움을 겪는 경우가 많습니다.

방법론
저자들은 bp-MRI 볼륨과 임상 보고서로부터 표현을 공동으로 학습하도록 설계된 기하학적 멀티모달 파운데이션 모델인 MFM-Geom을 제안합니다. 이 파이프라인은 세 가지 주요 구성 요소로 이루어집니다:

멀티모달 표현 학습 (Multimodal Representation Learning):
- 영상 브랜치 (Imaging Branch): 모델은 각 bp-MRI 시퀀스(T2W, ADC, DWI)를 위한 독립적인 볼륨 브랜치를 사용합니다. 모델은 가중치 인플레이션(weight-inflation) 전략을 사용하여 볼륨 입력을 위해 BiomedCLIP 파운데이션 모델의 이미지 인코더(Vision Transformer, ViT)를 적응시킵니다. 관심 영역(VoI) 볼륨은 Adapter 3D (A3D) 레이어를 통해 3D 패치로 처리되어 패치 임베딩과 클래스 임베딩을 생성합니다.
- 텍스트 브랜치 (Text Branch): 임상 변수(연령, PSA, PSAD, 전립선 부피 및 구역별 확장 정보)는 구조화된 "빈칸 채우기(fill-in-the-blank)" 형식의 텍스트 보고서로 변환됩니다. 이 보고서는 토큰화되어 BiomedCLIP 텍스트 인코더(PubMedBERT)에 의해 처리되며, 텍스트 토큰 임베딩과 클래스 임베딩을 생성합니다.
- 대조적 정렬 (Contrastive Alignment): 모델은 영상 클래스 임베딩과 텍스트 클래스 임베딩을 공유 잠재 공간(shared latent space)으로 정렬하기 위해 대조 손실(InfoNCE)을 사용하여 미세 조정되며, 이를 통해 대응하는 쌍 사이의 유사성은 최대화하고 대응하지 않는 쌍 사이의 유사성은 최소화합니다.
기하학적 분류 헤드 (Geometric Classification Head):
- 클래스 토큰 임베딩에만 의존하는 대신, 이 방법은 모든 패치 및 텍스트 토큰 임베딩을 단일 멀티모달 시퀀스로 통합합니다.
- 이 시퀀스로부터 대칭 양의 정부호(Symmetric Positive Definite, SPD) 디스크립터( $S_0$ )를 계산하여 영상과 임상 변수 간의 쌍별 관계 및 상관관관계를 포착합니다.
- SPD 매니폴드의 고유한 기하학적 구조를 보존하기 위해, 모델은 **리만 딥러닝(Riemannian deep learning)**을 채택합니다. 여기에는 SPD 행렬을 처리하면서 그 기하학적 특성을 유지하는 BiRe 블록(Bilinear Mapping 레이어와 Rectification 레이어로 구성)이 포함됩니다.
- 표현은 LogEig 레이어를 통해 유클리드 도메인으로 투영된 후, 최종 분류를 위해 다층 퍼셉트론(MLP)을 통과합니다.
학습 전략 (Training Strategy):
- 모델은 수백만 개의 생물 의학 이미지-텍스트 쌍에 대한 사전 학습을 활용합니다.
- 미세 조정에는 이진 교차 엔트로피(binary cross-entropy)와 정렬을 위한 대조 손실이 결합된 손실 함수를 사용합니다.
- 최적화에는 표준 레이어를 위한 AdamW 옵티마이저와 SPD 레이어를 위한 기하학적 알고리즘을 사용합니다.

주요 기여 (Key Contributions)
본 논문은 네 가지 주요 기여를 설명합니다:

생물 의학 파운데이션 모델의 적응: 전립선 구역 위치 및 피막 외 침범과 같은 변수에서 유도된 bp-MRI 볼륨과 임상 보고서를 활용하여 전립선암 진단을 위한 멀티모달 생물 의학 파운데이션 모델을 적응시켰습니다.
SPD 디스크립터: 인코더 임베딩으로부터 멀티모달 상관관계를 포착하기 위해 SPD 디스크립터를 도입하여, 표준 클래스 토큰 기반 분류에 대한 대안을 제시했습니다.
기하학적 헤드: SPD 매니폴드의 기하학적 구조를 보존하면서 SPD 디스크립터를 처리하는 딥 리만 학습 모듈(Geometric Head)을 개발했습니다.
대조 학습: 멀티모달 잠재 공간 내에서 전립선암 관련 영상 및 텍스트 임베딩을 정렬하기 위해 대조 학습 손실을 구현했습니다.

결과 (Results)
모델은 PI-CAI 데이터셋(내부)과 PROSTATE158 데이터셋(외부)에서 평가되었습니다.

데이터 효율성: 단 **10%**의 훈련 데이터만을 사용했을 때, MFM-Geom은 비(non)-csPCa와 중간/고위험성 악성 사례를 구분하는 작업에서 AUC-PR 90.67을 달ach했습니다. 이는 단일 모드 베이스라인(UFM-C, UFM-GAP) 및 기하학적 헤드가 없는 모델보다 상당한 차이로 우수한 성능을 보였습니다(예: UFM-C 대비 +8.3%).
일반화 성능: 외부 데이터셋인 PROSTATE158에서 기하학적 헤드는 견고함을 입증하였으며, MFM-Geom과 단일 모드 기하학적 변형 모델(UFM-Geom)은 각각 90.6 및 90.61의 AUC-PR 점수를 기록하며 ImageNet 사전 학습 및 표준 분류 베이스라인을 능가했습니다.
성능 지표: 기하학적 모델들은 베이스라인들에 비해 95% 참 양성률(TPR)에서의 거짓 양성률(FPR95)이 일관되게 낮게 나타났습니다.
해석 가능성: 어텐션 맵(Attention maps)은 영상 인코더가 병변에 집중하고, 텍est 인코더가 관련 임상 변수(예: PSAD, 병변 확장)를 강조함을 보여주었으며, 이는 모델이 일관된 멀티모달 표현을 학습했음을 확인시켜 줍니다.

의의 및 주장 (Significance and Claims)
저자들은 MFM-Geom이 멀티모달 데이터의 기하학적 구조를 존중하는 통합 잠재 공간을 생성함으로써 기존의 단일 모드 및 결정 수준 융합 접근 방식의 한계를 해결한다고 주장합니다. 본 논문은 제안된 기하학적 헤드가 특히 데이터 가용성이 제한적인 조건에서 전통적인 분류 헤드보다 우수한 성능을 보인다고 단언합니다. 결과에 따르면, 기하학적 파운데이션 모델을 통해 임상적 맥락을 영상과 통합하는 것은 중간 위험도 병변의 탐지를 향상시키며, 이는 적극적 감시(active surveillance) 대 공격적 치료 결정에 있어 임상적으로 매우 중요합니다. 이 연구는 생물 의학 파운데이션 모델을 기하학적 학습 모듈과 함께 미세 조정하는 것이 훨씬 적은 훈련 데이터를 사용하면서도 최신 CNN 기반 접근 방식과 경쟁할 수 있는 성능을 달성할 수 있음을 보여줍니다.

기술 요약: 전립선암 분류를 위한 MFM-Geom

유사한 논문