기술 요약: Mr3D-VL

문제 정의

다중 파라미터 자기공명영상(mpMRI)은 뇌종양 진단 및 치료의 초석이지만, 현재의 AI 모델들은 임상 적용에 있어 결정적인 한계에 직면해 있습니다. 기존 솔루션들은 다음과 같은 세 가지 주요 과제에 어려움을 겪고 있습니다:

1. 자연어 상호작용의 부재: 임상의는 종양의 공간적 특성, 모달리티 간 연관성 또는 임상적 함의를 자연어를 통해 직접 질의할 수 없으며, 이는 현재 모델들의 수술 계획 및 위험 평가 활용도를 제한합니다.
2. 모달리티 및 공간적 복잡성: 다양한 MRI 모달리티(예: T1, T2, DWI)는 조직 특성의 상당한 차이를 반영하므로, 모델은 고유한 물리적 의미를 이해해야 합니다. 또한, 서로 다른 시간 간격의 스캔 사이에서 환자의 움직임으로 인해 공간적 정렬 불일치가 발생하기도 합니다.
3. 기존 3D VLM의 한계: 시각-언어 모델(VLM)이 유망한 성과를 보이고 있으나, 대부분의 모델은 볼륨을 순차적인 2D 슬라이스로 처리하여 2D 아키텍처를 3D 데이터에 적응시키는 방식을 취합니다. 이러한 접근 방식은 명시적인 3D 공간 관계를 무시하고, 볼륨의 연속성을 저해하며, 토큰의 기하급수적인 증가를 초래합니다. 기존의 3D VLM(예: CT용)은 mpMRI에 필요한 다중 영상 모달리티 간의 협업 추론이라는 특수한 과제를 해결하지 못하는 경우가 많습니다. 또한, 고품질의 다중 모달 3D 이미지-텍스트 데이터셋의 부족은 지도 학습을 저해합니다.

방법론

저자들은 다중 파라미터 3D MRI를 위해 설계된 40억 파라미터 규모의 범용 시각-언어 파운데이션 모델인 Mr3D-VL을 소개합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 모델 아키텍처

• 공유 3D 비전 인코더: 모달리티별 인코더를 사용하거나 2D 슬라이스 기반 처리를 하는 방식과 달리, Mr3D-VL은 MedNext(ConvNeXt3D, UpKern 및 복합 스케일링 활용)를 기반으로 한 모달리티 불가지론적(modality-agnostic) 3D 비주얼 인코더를 채택합니다. 이 인코더는 Dino-v2 아키텍처를 사용하여 비지도 방식으로 사전 학습되며, 텍스트 라벨 없이도 모달리티 내 특징과 모달리티 간 차이를 모두 포착할 수 있게 합니다.
• 4D 회전 위치 인코딩 (4D-RoPE): 볼륨 데이터의 공간적 복잡성을 해결하기 위해, 모델은 전통적인 위치 인코딩을 **시간(모달리티), 깊이(z축), 너비(x축), 높이(y축)**의 4D 좌표계로 확장합니다. 이를 통해 모델은 텍스트 토큰과 3D 볼륨의 특정 공간 차원에 별도의 위치 인코딩을 할당할 수 있으며, 모달리티 정보와 공간적 국소화의 이중 차원 융합을 용이하게 합니다.
• 다중 해상도 특징 이식 (Multi-Resolution Feature Implantation): DeepStack 및 UNet에서 영감을 받아, 모델은 비주얼 인코더의 피라미드 아키텍처로부터 저해상도, 중해상도, 고해상도 특징 맵을 추출합니다. 이 특징들은 비전 트랜스포머(ViT)를 통해 융합된 후 대규모 언어 모델(LLM) 디코더의 중간 레이어에 점진적으로 이식됩니다. 이 전략은 LLM이 전역적 문맥과 미세한 진단적 세부 사항 모두에 주목할 수 있도록 보장합니다합니다.
• LLM 백본: 모델은 Qwen3-4B-Instruct를 언어 백본으로 사용하여, 연결된 텍est와 투영된 3D 비주얼 임베딩을 자기회귀적으로 처리합니다.

2. 데이터 생성 파이프라인

다중 모달 3D 의료 데이터의 희소성을 극복하기 위해, 저자들은 LLM 기반 데이터 생성 파이프라인을 개발했습니다:

• 리포트 파싱 및 증강: 임상 리포트를 파싱하여 구조화된 정보를 추출합니다. LLM은 논리적 일관성을 높이고 의료 지식을 통합하며, 단일 또는 다중 모달리티에 대한 다양한 설명을 생성하도록 리포트를 재작성합니다.
• 전문가 가이드 그라운딩: 더 작은 전문화된 모델들로부터 얻은 세그멘테이션 및 탐지 결과를 통합하여 병변 및 해부학적 영역에 대한 정밀한 공간적 그라운딩(바운딩 박스)을 제공합니다.
• 합성 데이터셋 구축: 파이프라인은 모달리티 설명, 해부학적 영역 설명, 세그멘테이션/탐지 기반 추론, 그리고 공간 인지 Q&A 쌍의 네 가지 유형의 훈련 데이터를 생성합니다. 이를 통해 8개 모달리티를 아우르는 103,605개 케이스(460,541개 이미지)의 데이터셋을 구축했습니다.

3. 훈련 파이프라인

훈련 과정은 두 단계로 나뉩니다:

• 사전 학습 (Pre-training): 단일 모달리티 단문 정렬에서 혼합 모달리티 장문 이해로 나아가는 세 단계(S0, S1, S2)로 진행됩니다. 여기에는 모달리티 격차를 해소하고 교차 모달 추론을 학습하기 위해 특정 구성 요소(프로젝션 모듈, 인코더, LLM)를 동결하거나 해제하는 과정이 포함됩니다.
• 사후 학습 (SFT): 방사선 보고서 생성 및 개방형/객관식 질의응답을 포함하여 약 30만 개의 샘물에 대해 목표 지향적인 지도 미세 조정(Supervised Fine-Tuning)을 수행합니다.

주요 기여

1. LLM 기반 데이터 생성: 임상 리포트를 파싱하고 작은 모델의 추론을 통합하여 다양하고 고품질인 다중 모달 이미지-텍스트 데이터셋을 생성함으로써, 데이터 희소성과 의미론적 불일치 문제를 해결하는 새로운 파이프라인을 제시했습니다.
2. 공유 인코더를 통한 비지도 사전 학습: Dino-v2를 통해 사전 학습된, 모든 모달리티에 공유되는 모달리티 불가지론적 3D 인코더를 사용하여 파라미터 수를 줄이는 동시에 교차 모달 융합 능력을 향상시켰습니다.
3. 4D 회전 위치 인코딩: 전통적인 3D 인코딩에 "깊이" 차원을 도입하여, LLM의 디코딩 공간 내에서 모달리티와 공간 정보를 통합하는 4D 시스템을 구축하는 특화된 인코딩 전략을 제안했습니다.
4. 다중 해상도 특징 이식: 여러 해상도 수준의 특징을 LLM 디코더 레이어에 주입하는 전략을 통해, 진단 관련 세부 사항을 손실하지 않으면서 전역적 특징과 세부 특징에 대한 협업적 주의(collaborative attention)를 가능하게 했습니다.

실험 결과

Mr3D-VL은 방사선 보고서 생성 및 시각적 질의응답(VQA) 작업에서 도메인 특화 모델(Hulu-Med, Lingshu) 및 범용 모델(Qwen3.5 시리즈)을 대상으로 평가되었습니다.

• 보고서 생성: Mr3D-VL은 BERTScore 0.856을 달성하여, Qwen3.5-4B(0.688) 및 Hulu-Med(0.659)와 같은 의료 특화 모델을 크게 상회했습니다. 또한 METEOR(0.496) 및 CIDEr(0.655)에서도 우수한 성능을 보였습니다.
• 질의응답 (Question Answering):
  • 개방형 (Open-ended): 0.713의 정확도를 달성하여, 기존 모델 대비 약 20% 향상된 성능을 보였습니다.
  • 객관식 (Multiple-choice): 0.912의 정확도를 달성하여, 기존 모델 대비 약 13% 향상된 성능을 보였습니다.
• 효율성: 경쟁 모델들이 7B 또는 35B 파라미터를 가진 것에 비해, Mr3D-VL은 40억 개의 파라미터만으로도 뛰어난 계산 효율성을 입증했습니다. 5개 모달리티 입력 시, Qwen3.5-4B 대비 FLOPs를 96% 줄였으며, Lingshu-7B 대비 피크 GPU 메모리 사용량을 93% 절감했습니다.
• 강건성 (Robustness): 입력 모달리티 수가 증가함에 따라 성능 저하나 의미론적 노이즈가 나타나는 다른 모델들과 달리, Mr3D-VL은 안정적인 BERTScore와 METEOR 지표를 유지하며 강력한 홀리스틱(holistic) 추론 능력을 보여주었습니다.

의의 및 주장

본 논문은 Mr3D-VL을 단순한 탐지를 넘어 임상적으로 해석 가능한 상호작용으로 나아가는 mpMRI 지능형 분석의 패러다임 전환으로 규정합니다. 자연어 질의를 가능하게 함으로써, 임상의는 해부학적 국소화, 신호 특성 및 기능적 파라미터를 포함하는 답변을 받는 직접적인 진단 질문을 던질 수 있습니다.

저자들은 이러한 능력이 진단 및 치료 계획에서의 임상 의사 결정 효율성과 정확성을 크게 향고할 것이라고 주장합니다. 2D 슬라이싱과 관련된 정보 손실 없이 다중 모달 3D 데이터를 네이티브하게 처리하는 능력은 현재 의료 AI의 핵심적인 공백을 메웁니다. 이 연구는 유전체 데이터, 치료 이력 및 다회차 임상 대화를 통합할 수 있는 미래 시스템을 위한 토대를 마련함으로써, "방사선학적 진단"에서 "정밀 의료"로의 전환을 촉진하는 것을 목표로 합니다.