기술 요약: SynerMedGen

문제 제기

다중 모달리티 이해와 시각적 생성의 통합은 이질적 모달리티 (예: CT, MRI, PET) 의 해석 및 변환이 필요한 임상 워크플로우를 위한 의료 AI 의 중요한 최전선입니다. 최근 HealthGPT 와 UniMedVL 과 같은 통합된 의료 다중 모달리티 대규모 언어 모델 (MLLM) 들이 이러한 능력을 결합하기 시작했지만, 중요한 불일치가 여전히 존재합니다. 기존 프레임워크는 일반적으로 이해와 생성을 분리된 목표로 취급하며, 이해 브랜치를 의료 이미지 합성의 특정 요구 사항과 약하게 연관된 프록시 작업 (예: 전역 의미 인식 또는 병변 중심 VQA) 으로 훈련시킵니다.

이러한 "작업 불일치"는 인식 스타일의 질문에 답변하는 데는 탁월할 수 있지만, 충실한 교차 모달리티 합성에 필요한 세밀한 슬라이스 수준의 해부학적 대응 관계와 모달리티별 제약을 제공하지 못하는 모델로 이어집니다. 그 결과, 통합 모델은 환자 특이적 병리를 보존하고, 픽셀 수준의 대응 관계를 유지하며, 대상 모달리티 제약을 준수하는 데 어려움을 겪어 할루시네이션과 구조적 불일치를 초래합니다.

방법론: SynerMedGen

이를 해결하기 위해 저자들은 생성 정렬 이해 (generation-aligned understanding) 원칙에 기반한 통합 프레임워크인 SynerMedGen을 제안합니다. 핵심 가설은 학습된 표현이 합성에 유익하도록 하려면 이해 작업이 생성 데이터셋 자체에서 직접 유도되어야 한다는 것입니다.

1. 생성 정렬 이해 작업

일반적인 감독 대신 SynerMedGen 은 쌍을 이룬 합성 데이터 (소스 - 대상 이미지 쌍) 에서 세 가지 구체적인 작업을 구성하여 이해 브랜치를 안내합니다:

• 조건부 대상 선택 (CTS): 슬라이스 수준의 대응 관계를 강제합니다. 소스 슬라이스와 대상 모달리티 요청이 주어지면, 모델은 인접 슬라이스에서의 어려운 부정 샘플을 포함한 후보군 중 올바른 짝을 이루는 대상 슬라이스를 선택해야 합니다. 이는 모델이 거친 의미론이 아닌 세밀한 정렬을 학습하도록 강제합니다.
• 모달리티 식별 (MI): 모달리티를 명시적이고 학습 가능한 제어 요인으로 취급합니다. 모델은 입력 이미지의 특정 영상 모달리티 (예: CT, CBCT, PET, 특정 MRI 시퀀스) 를 예측하여 피상적인 단서에 대한 의존성을 줄이고 모달리티를 환자 콘텐츠로부터 분리되도록 보장합니다.
• 변환 지시 정렬 (TIA): 합성의 방향과 제약을 근거화합니다. 소스 - 대상 쌍이 주어지면, 모델은 관찰된 시각적 변환과 가장 잘 정렬되는 텍스트 설명을 선택합니다 (무엇이 변하는지, 예: 질감/대비, 그리고 무엇이 불변으로 유지되는지, 예: 해부학/병변을 명시). 이는 합성 방향을 모호하지 않게 만듭니다.

2. 2 단계 훈련 전략

SynerMedGen 은 이러한 유익한 표현을 생성 브랜치로 전이하기 위해 2 단계 최적화 일정을 사용합니다:

• 1 단계: 생성 정렬 이해 (GAU): 모델은 이해 경로 (비전 인코더 + 이해 전문가) 를 사용하여 세 가지 생성 정렬 작업 (CTS, MI, TIA) 에만 훈련됩니다. 이 단계는 대응 관계를 보존하고, 모달리티를 분리하며, 매핑 제약을 인코딩하는 "합성에 충분한" 표현을 학습합니다.
• 2 단계: 이해 조건부 생성 (UCG): 모델은 1 단계에서 초기화되고, 흐름 매칭 (flow matching) 을 사용하여 VAE 잠재 공간에서 조건부 합성을 위해 미세 조정됩니다. 생성 전문가는 소스 증거와 1 단계에서 학습된 표현에 조건을 부여하여 대상 이미지를 합성합니다.

3. 데이터셋: SynerMed

저자들은 SynerMed를 공개했는데, 이는 다음을 포함하는 대규모 데이터셋입니다:

• 뇌, 골반, 전신 영역에 걸쳐 다양한 교차 모달리티 작업 (CT↔CBCT, CT↔MRI, CT↔PET, 다중 시퀀스 MRI) 을 다루는 100 만 개의 쌍을 이룬 합성 샘플.
• 제안된 세 가지 작업을 지원하기 위해 쌍을 이룬 데이터로부터 구축된 200 만 개의 생성 유도 이해 인스턴스.

주요 결과

이 논문은 SynthRAD2023, AutoPET, BraTS 를 포함한 벤치마크에서 22 가지 의료 이미지 합성 작업에 걸쳐 SynerMedGen 을 평가했으며, 전문 합성 모델 (예: ResViT, SynDiff, RCD) 과 최근 통합 MLLM(HealthGPT, UniMedVL) 과 비교했습니다.

• 우수한 합성 성능: SynerMedGen 은 모든 베이스라인을 일관되게 능가합니다. 예를 들어, BraTS T2→T1CE 작업에서 전문 모델인 SynDiff 대비 SSIM 을 4.3% 향상시켰습니다. 전신 PET→CT 에서는 SSIM 이 91.10 으로, 전문 및 통합 경쟁 모델보다 훨씬 높습니다.
• 제로샷 일반화: 놀랍게도 이해 작업 (1 단계, GAU) 에만 훈련된 모델이 22 가지 합성 작업 전반에서 강력한 제로샷 성능을 달성하여, 명시적인 생성 훈련 없이도 학습된 표현이 생성에 본질적으로 유익함을 입증했습니다.
• 보이지 않는 데이터에 대한 강건성: 이 프레임워크는 보이지 않는 데이터셋 (MyoPS 심장 MRI, SynthRAD2025) 에 대해 강건하게 일반화되어 SSIM 및 MAE 지표 모두에서 베이스라인을 능가합니다.
• 작업 정렬 검증: 제거 실험 (ablation studies) 은 전통적인 의료 이해 작업으로 생성 정렬 작업을 대체할 경우 성능이 현저히 저하됨을 확인시켜 주어, 이해 작업의 특정 설계가 개선의 주요 동인임을 검증했습니다.
• 정성적 개선: 시각적 비교는 SynerMedGen 이 전통적인 감독으로 훈련된 모델에 비해 더 나은 해부학적 일관성, 더 적은 할루시네이션 구조, 그리고 더 정확한 대상 모달리티 외관을 생성함을 보여줍니다.

중요성 및 주장

이 논문은 통합된 의료 MLLM 의 주요 병목 현상은 이해와 생성 목표 간의 격차라고 주장합니다. 이해 작업을 생성 목표와 명시적으로 정렬함으로써 SynerMedGen 은 이 격차를 해소하며, "어떤 형태의 이해가 실제로 생성에 유익한가"는 이해 감독이 합성 작업의 제약을 얼마나 밀접하게 반영하는지의 함수임을 입증합니다.

저자들은 SynerMedGen 을 단순한 성능 향상이 아닌 방법론적 전환으로 위치시킵니다. 쌍을 이룬 생성 데이터에서 직접 이해 감독을 유도함으로써 모델은 설계상 "합성에 충분한" 표현을 학습할 수 있게 됩니다. 이 접근법은 할루시네이션을 줄이고 교차 모달리티 변환의 충실도를 향상시켜, 복잡한 임상 의미론을 해석하고 진단 및 치료 계획용 영상 데이터를 변환할 수 있는 통합 의료 AI 시스템으로 확장 가능한 경로를 제공합니다. SynerMed 데이터셋과 코드의 공개는 의료 분야에서의 이해 - 생성 시너지에 대한 추가 연구를 지원하기 위한 것입니다.