Adapting 2D Multi-Modal Large Language Model for 3D CT Image Analysis

논문 요약: 2D 멀티모달 대규모 언어 모델을 3D CT 이미지 분석에 적용하는 방법

1. 문제 정의 (Problem)

3D 의료 영상 (CT, MRI 등) 분석은 질병 진단과 치료에 필수적이지만, 기존 멀티모달 대규모 언어 모델 (MLLM) 을 의료 분야에 적용하는 데에는 두 가지 주요 한계가 존재합니다.

• 데이터 부족 및 사전 학습의 한계: 3D 의료 영상은 자연 이미지 (2D) 에 비해 데이터 양이 극히 적습니다. 기존 3D MLLM 은 3D 의료 데이터만으로 3D 비전 인코더 (Vision Encoder) 를 처음부터 학습 (Pre-training) 해야 하므로, 2D 자연 이미지로 방대하게 학습된 2D MLLM 에 비해 시각적 지각 능력 (Perceptual Capacity) 이 부족합니다.
• 작업별 특징 추출의 부재: 의료 보고서 생성 (MRG) 과 의료 시각적 질문 응답 (MVQA) 은 서로 다른 특징을 요구합니다. MRG 는 이미지 전체의 맥락을 이해해야 하지만, MVQA 는 질문과 관련된 특정 영역에 집중해야 합니다. 기존 3D MLLM 들은 두 작업에 대해 동일한 이미지 특징을 추출하여 최적의 성능을 내지 못했습니다.

2. 제안된 방법론 (Methodology)

저자들은 2D 자연 이미지로 잘 학습된 MLLM 의 강력한 능력을 3D 의료 영상 분석에 계승하면서도, 3D 공간 정보와 작업별 특징을 효과적으로 추출할 수 있는 새로운 아키텍처를 제안합니다.

가. 2D 에서 3D 로의 비전 인코더 적응 (2D-to-3D Adaptation)
기존의 2D ViT (Vision Transformer) 를 3D 볼륨 데이터에 적용하기 위해 다음과 같은 구조적 수정을 가합니다.

• 패치 임베딩 (Patch Embedding): 3D 볼륨을 2D 슬라이스 시퀀스로 변환하여 2D 패치 임베딩 레이어를 재사용합니다.
• 위치 임베딩 (Positional Embedding): 2D 위치 임베딩에 더해, 깊이 (D) 차원의 위치를 구분하기 위해 회전 위치 임베딩 (RoPE) 을 자기 주의 (Self-attention) 레이어에 추가합니다.
• 어텐션 블록 (Attention Block): 하위 레이어의 2D 어텐션 블록은 유지하여 국소적인 텍스처 정보를 보존하고, 상위 레이어의 2D 어텐션 블록을 3D 어텐션 블록으로 변환하여 3D 볼륨 정보를 추출합니다.
• 파치 머징 (Patch Merging): 2D 평면에서의 머징은 유지하되, 깊이 차원을 따라 평균 풀링을 적용하여 토큰 수를 줄입니다.
• 미세 조정 (Fine-tuning): 기존 방법과 달리 인코더 파라미터를 고정하지 않고, 2D MLLM 의 강력한 지각 능력을 유지하면서 3D 데이터에 맞춰 미세 조정합니다.

나. 텍스트 가이드 계층적 MoE (Text-Guided Hierarchical MoE, TGH-MoE)
MRG 와 MVQA 가 서로 다른 특징을 필요로 한다는 점을 고려하여, 프롬프트 텍스트를 가이드로 사용하여 작업별 특징을 추출하는 MoE 구조를 도입합니다.

• 작업 수준 MoE (Task-level MoE): 입력된 텍스트 프롬프트 (예: "보고서 생성", "질문 답변") 를 인코더를 통해 분석하여, 해당 작업 (MRG 또는 MVQA) 에 특화된 전문가 (Expert) 로 이미지 토큰을 라우팅합니다. 하드 라우터 (Hard Router) 를 사용하여 작업 간 최적화 간섭을 방지합니다.
• 토큰 수준 MoE (Token-level MoE): 각 작업별 전문가 내부에서 다시 토큰 단위로 희소 (Sparse) 경로를 선택하여 더 강력하고 다양한 특징을 학습합니다.

다. 2 단계 학습 전략 (Two-Stage Training Strategy)
TGH-MoE 를 직접 최적화할 경우 작업 공유 특징 (Task-shared features) 학습이 어렵다는 문제를 해결하기 위해 2 단계 학습을 제안합니다.

• 1 단계 (Task-shared 학습): 작업 수준 MoE 를 사용하지 않고 토큰 수준 MoE 만을 사용하여 MRG 와 MVQA 가 동일한 특징을 공유하도록 학습합니다.
• 2 단계 (Task-specific 학습): 1 단계에서 학습된 전문가를 초기값으로 사용하여, 텍스트 프롬프트에 따라 작업을 구분하는 TGH-MoE 를 학습합니다. 이 단계에서는 LLM 은 고정하고 비전 인코더와 커넥터만 미세 조정하여 작업별 차별화된 특징을 학습합니다.

3. 주요 기여 (Key Contributions)

1. 2D MLLM 의 3D 적응: 2D 자연 이미지로 학습된 강력한 2D MLLM 을 3D 의료 영상 처리에 성공적으로 적응시켰으며, 모든 사전 학습 파라미터를 재사용하여 효율성을 높였습니다.
2. TGH-MoE 프레임워크: 텍스트 프롬프트를 기반으로 MRG 와 MVQA 에 적합한 작업별 특징을 동적으로 추출하는 계층적 MoE 구조를 제안했습니다.
3. 2 단계 학습 전략: 작업 공유 특징과 작업별 특징을 모두 효과적으로 학습할 수 있도록 하는 새로운 학습 전략을 고안했습니다.
4. 성능 입증: 대규모 3D 의료 멀티모달 데이터셋 (M3D-Data) 을 통한 실험에서 기존 SOTA 방법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 M3D-Data 데이터셋 (약 10 만 개의 캡션, 43 만 개의 VQA 샘플) 을 사용하여 실험을 수행했습니다.

• 의료 시각적 질문 응답 (MVQA):
  • 닫힌 질문 (Closed-ended): 정확도 81.06% 를 기록하여 2 위인 M3D(79.35%) 보다 1.71%p 높았습니다.
  • 열린 질문 (Open-ended): BLEU-1 과 ROUGE-1 점수에서 M3D 대비 각각 2.54%, 2.78% 향상되었습니다.
• 의료 보고서 생성 (MRG):
  • ROUGE-1, METEOR, BERT-Score 등 주요 지표에서 모든 기존 방법 (M3D, Med3DVLM, RadFM 등) 을 상회했습니다. 특히 RadFM(14B 파라미터) 보다 적은 파라미터 (4B) 로 더 우수한 성능을 보였습니다.
• 추론 (Qualitative Analysis):
  • 생성된 보고서가 병변의 위치와 특성을 더 정확하게 포착했으며, VQA 에서도 특정 장기의 위치를 정확히 식별하는 등 M3D 보다 정교한 답변을 생성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 3D 의료 영상 분석 분야에서 데이터 부족으로 인한 3D 비전 인코더의 한계를 2D MLLM 의 강력한 사전 학습 능력을 계승함으로써 해결했다는 점에서 의의가 큽니다. 또한, 단일 모델이 서로 다른 목적 (보고서 생성 vs 질문 응답) 을 가진 작업들을 동시에 수행할 때 발생하는 특징의 충돌 문제를 텍스트 가이드 MoE 와 2 단계 학습 전략으로 해결했습니다.

이는 의료 AI 가 다양한 임상 시나리오에서 더 정밀하고 유연하게 작동할 수 있는 기반을 마련하며, 향후 3D 의료 영상 기반의 지능형 진단 보조 시스템 개발에 중요한 이정표가 될 것으로 기대됩니다.