1. 연구 배경 및 문제 제기 (Problem)

• 배경: 신경계 질환 (다발성 경화증, 뇌졸중, 뇌종양 등) 은 전 세계적으로 주요 건강 문제이며, 진단과 임상 의사결정을 위해 신경영상 (MRI, CT) 의 정확한 해석이 필수적입니다. 최근 멀티모달 대규모 언어 모델 (MLLMs) 의 발전은 이미지 기반 의사결정 지원에 새로운 가능성을 열었습니다.
• 문제점:
  • 기존 MLLM 벤치마크는 일반적인 시각적 질문 답변 (VQA) 에 초점을 맞추어, 신경영상에서 요구되는 정교한 시각적 변별력, 공간적 추론, 그리고 구조화된 임상 출력 (Structured Clinical Output) 을 체계적으로 평가하지 못했습니다.
  • 신경영상 해석에 대한 MLLM 의 신뢰성, 보정 (Calibration), 그리고 실제 임상 워크플로우에서의 운영적 트레이드오프 (비용, 지연 시간 등) 는 충분히 이해되지 않았습니다.
  • 기존 모델들은 특정 작업에 특화되어 있어 임상적 맥락과 영상 증거를 통합하는 추론 능력이 부족하며, 환각 (Hallucination) 이나 불확실성 처리의 부재로 인해 임상 적용에 리스크가 존재합니다.

2. 방법론 (Methodology)

2.1 NeuroVLM-Bench 데이터셋 구성

• 데이터 소스: 공개된 2D MRI 및 CT 데이터셋을 통합하여 구성했습니다.
• 대상 질환: 뇌종양 (다양한 하위 유형 포함), 다발성 경화증 (MS), 뇌졸중 (허혈성/출혈성), 기타 이상 소견 (농양, 낭종 등 종양 모방자), 정상 대조군.
• 총 샘플 수: 약 29,538 개의 샘플 (다양한 모달리티, 시퀀스, 해부학적 평면 포함).
• 구조화: 단순한 진단 분류뿐만 아니라 세부 진단, 영상 모달리티, MRI 시퀀스, 해부학적 평면 등 임상적으로 의미 있는 구조화된 출력 필드를 정의했습니다.

2.2 평가 프로토콜 (4 단계 점진적 프레임워크)

편향을 통제하고 공정한 비교를 위해 4 단계의 계층적 평가 프로토콜을 도입했습니다.

1. Phase 0 (실험 설정 고정): 온도 (Temperature), Top-p 등 하이퍼파라미터와 프롬프트 형식을 고정하여 실험적 기준을 마련했습니다.
2. Phase 1 (초기 스크리닝): 20 개의 최첨단 MLLM 을 데이터의 30% 로 평가하여 성능이 현저히 낮거나 구조화된 출력 (JSON) 을 생성하지 못하는 모델을 걸러냈습니다 (11 개 모델 선정).
3. Phase 2 (안정성 검증): 선정된 11 개 모델을 데이터의 45% 로 평가하여 대규모 데이터에서의 성능 안정성을 확인하고 최종 6 개 모델을 선정했습니다.
4. Phase 3 (일반화 벤치마크): 홀드아웃된 25% 테스트 데이터에서 Zero-shot과 Few-shot(클래스당 4 개 예시) 프롬팅을 적용하여 최종 성능을 평가했습니다.

2.3 평가 지표 (Multi-Dimensional Performance Metrics)

단순 정확도뿐만 아니라 4 가지 차원에서 종합적으로 평가했습니다.

1. 분류 성능: 거절 (Abstention) 을 고려한 Macro-F1, 정확도, 정밀도, 재현율, AUC.
2. 출력 신뢰성: JSON 유효성 (Schema Validity), 거절률.
3. 통계적 보정: 기대 보정 오차 (ECE), 브라이어 점수 (Brier Score).
4. 운영 효율성: 토큰 사용량, 지연 시간 (Latency), 추론 비용.

2.4 프롬프트 설계 (UNIPP)

• Unified Neuro-Imaging Prompting Protocol (UNIPP): 모든 모델이 동일한 구조화된 JSON 형식 (메타데이터 추론, 진단 추론, 정량적 평가) 으로 출력을 생성하도록 설계했습니다.
• 제약 조건: 자유 텍스트 설명 금지, 할루시네이션 방지, 불확실한 경우 'null' 출력 요구.

3. 주요 기여 (Key Contributions)

1. NeuroVLM-Bench 도입: 신경영상에 특화된 최초의 포괄적이고 엄격한 벤치마크를 제시했습니다.
2. 임상적으로 의미 있는 구조화된 출력: 단순 VQA 가 아닌, 실제 방사선 보고서와 유사한 계층적 진단 및 메타데이터 추출을 평가 대상으로 설정했습니다.
3. 편향 통제 및 점진적 평가: 4 단계 프로토콜을 통해 모델 선정 편향을 줄이고, Zero-shot 과 Few-shot 의 효과를 체계적으로 비교했습니다.
4. 다차원 평가 프레임워크: 성능, 신뢰성, 보정, 효율성을 동시에 고려하여 실제 임상 배포 가능성을 평가하는 기준을 마련했습니다.
5. 광범위한 모델 평가: 20 개의 선구적 MLLM (상용, 오픈소스, 의료 특화) 을 동일한 조건에서 평가하여 각 모델의 강점과 한계를 규명했습니다.

4. 주요 결과 (Results)

4.1 전반적 성능

• 기술적 속성 vs. 임상적 추론: 모달리티 (CT/MRI) 및 해부학적 평면 (Axial, Sagittal 등) 인식은 대부분의 모델이 거의 완벽하게 해결했습니다. 반면, 진단 하위 유형 예측 (예: 뇌종양의 구체적 유형, 뇌졸중의 종류) 은 여전히 매우 어려운 과제로 남았습니다.
• 질환별 난이도:
  • 뇌종양: 가장 신뢰할 수 있는 작업 (최고 모델 기준 F1 약 0.9 이상).
  • 뇌졸중: 중간 수준의 해결 가능 (Few-shot 프롬팅으로 성능 향상).
  • 다발성 경화증 (MS) 및 기타 희귀 이상: 여전히 매우 어려움 (F1 점수 낮음).

4.2 모델별 성과

• 상용 모델 (Proprietary):
  • Gemini 2.5 Pro: 전체적인 진단 성능이 가장 강력했으나, 추론 비용과 지연 시간이 높았습니다.
  • GPT-5 Chat: 강력한 진단 성능과 보정 능력을 보였으며, 특히 뇌졸중 분류에서 우수했습니다.
  • Gemini 2.5 Flash: 성능과 계산 효율성 (비용, 속도) 간의 가장 이상적인 균형을 보여주어 임상 배포에 가장 유망한 모델로 평가받았습니다.
  • Gemini 2.0 Flash: Zero-shot 환경에서 가장 낮은 ECE(보정 오차) 를 기록하여 가장 신뢰할 수 있는 확률 추정을 제공했습니다.
• 오픈 가중치 모델 (Open-Weight):
  • MedGemma 1.5 4B: 의료 특화 모델 중 가장 유망한 결과를 보였습니다. Few-shot 프롬팅 시 상용 모델의 Zero-shot 성능에 근접하며, 구조화된 출력 유효성은 완벽하게 유지했습니다.
  • LLaMA 4 Maverick: 중간 수준의 진단 성능을 보였으나, 메타데이터 인식은 뛰어났습니다.
  • Qwen 2.5-VL 32B: Few-shot 프롬팅 시 오히려 성능이 저하되는 등 불안정성을 보였습니다.

4.3 Few-shot 프롬팅의 영향

• 대부분의 모델에서 진단 성능 (Macro-F1) 을 향상시켰지만, 토큰 사용량, 지연 시간, 추론 비용을 증가시켰습니다.
• 모든 모델에 일관된 개선을 가져오지는 않았으며 (일부 모델은 성능 저하), 특히 희귀 질환이나 미세한 병변 (MS 등) 에서는 효과가 제한적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 통찰: 현재 MLLM 은 '일반적인 신경영상 진단사'가 아니라, 특정 작업 (예: 종양 선별) 에 특화된 보조 도구로 활용해야 함을 시사합니다.
• 신뢰성과 안전성: 높은 정확도만으로는 임상 적용이 불가능하며, 보정 (Calibration), 거절 (Abstention) 행동, 그리고 희귀 질환에서의 실패 모드를 반드시 평가해야 합니다.
• 미래 방향:
  • 2D 슬라이스 기반 평가의 한계를 넘어 3D 볼륨 데이터 및 시퀀스 간 공간적 일관성 평가 필요.
  • 환자 병력, 증상 등 구조화된 임상 메타데이터 통합.
  • 도메인 특화 파인튜닝 및 인간 - AI 협업 (Human-in-the-loop) 연구 확대.
• 결론: NeuroVLM-Bench 는 신경영상 분야에서 멀티모달 AI 시스템의 표준화된 평가를 위한 중요한 기반을 제공하며, 안전한 임상 배포를 위한 기술적, 윤리적 가이드라인을 마련하는 데 기여합니다.