Evaluating GPT-5 as a Multimodal Clinical Reasoner: A Landscape Commentary

이 논문의 초록에 따르면, GPT-5 는 텍스트 기반 추론과 일부 다중모달 임상 추론 능력에서 GPT-4o 를 능가하는 유의미한 진전을 보였으나, 신경방사선학 및 유방촬영과 같은 고도로 전문화된 지각 기반 작업에서는 여전히 전문 목적 모델에 미치지 못해 임상 현장에서의 완전한 대체는 아직 이르다는 결론을 내립니다.

핵심

이 논문은 **"최신 인공지능 (GPT-5) 이 의사가 되어 환자를 진단할 수 있을까?"**라는 질문에 답하기 위해 진행된 실험 보고서입니다.

쉽게 비유하자면, **GPT-5 는 '만능 천재 학생'**이고, **기존 모델 (GPT-4o) 은 '경험 많은 선배 학생'**입니다. 이 논문은 이 두 학생에게 의학 시험을 치르게 하고, 특히 **'글자만 보고 푸는 문제'**와 **'사진 (엑스레이, 조직도 등) 을 보고 푸는 문제'**를 섞어서 얼마나 잘 푸는지 비교했습니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 실험의 목적: 의사는 어떻게 생각할까?

실제 의사는 환자를 볼 때 단순히 "아, 이 병은 A 야"라고 외우는 게 아니라, 환자의 이야기 (증상), 혈액 검사 결과, 그리고 엑스레이 사진을 모두 합쳐서 종합적으로 판단합니다.

이 논문은 GPT-5 가 이런 **'종합 판단 능력'**을 얼마나 갖췄는지 확인하려 했습니다. 마치 수석 의사가 되기 위한 최종 면접을 치르는 것과 같습니다.

2. 시험 문제 구성 (세 가지 영역)

연구진은 GPT-5 를 세 가지 다른 분야의 '의사'로 변신시켜 시험을 보게 했습니다.

• ① 뇌종양 (신경방사선): 머릿속 MRI 사진을 보고 종양이 무엇인지 맞히는 문제.
  • 비유: 복잡한 지도 (MRI) 를 보고 "여기 길고 좁은 터널이 막혔네?"라고 추리하는 것.
• ② 조직 검사 (디지털 병리): 현미경으로 본 세포 사진을 보고 "암인가, 암이 아닌가?"를 판별하는 문제.
  • 비유: 아주 작은 벌레 (세포) 를 현미경으로 들여다보고 "이 친구는 착한가, 나쁜가?"를 구분하는 것.
• ③ 유방 촬영 (마모그래피): 유방 엑스레이 사진을 보고 "혹시 암일까요?"를 체크하는 문제.
  • 비유: 흐릿한 안개 낀 산 (유방 조직) 에서 작은 돌 (종양) 을 찾아내는 것.

3. 실험 결과: GPT-5 의 활약상

✅ 잘한 점: "글로 된 추리"와 "종합적 판단"

• 결과: GPT-5 는 기존 모델보다 **글로 된 의학 문제 (USMLE 등)**를 훨씬 잘 풀었습니다. 특히 복잡한 증상을 읽고 논리적으로 결론을 내는 능력 (Chain-of-Thought) 이 크게 향상되었습니다.
• 비유: GPT-5 는 두꺼운 의학 책과 환자 기록지를 읽고, "환자가 A 병일 확률이 높아요. 왜냐하면 B 증상과 C 검사 결과가 일치하기 때문이에요"라고 아주 논리적으로 설명할 수 있게 되었습니다.
• 특이점: 특히 **유방 촬영 (마모그래피)**에서 종양의 모양을 세세하게 분석할 때, 기존 모델보다 10~40% 더 잘했습니다. 마치 초고해상도 카메라로 작은 얼룩까지 잘 찾아내는 것과 같습니다.

⚠️ 아쉬운 점: "전문가 수준의 정밀함"은 아직 부족

• 결과: 하지만 뇌종양이나 유방암 진단에서 GPT-5 는 **전용 AI(특정 목적에 맞춰 훈련된 AI)**보다는 성적이 낮았습니다.
  • 예: 유방암 진단에서 GPT-5 는 50~60% 정도만 맞추는데, 전용 AI 는 80% 이상 맞췄습니다.
• 비유: GPT-5 는 **'만능 지능형 로봇'**입니다. 모든 걸 다 알지만, **'유방암 전문 검사관'**처럼 미세한 결함 하나하나를 놓치지 않고 찾아내는 정밀함에서는 아직 그 전문 로봇을 따라잡지 못합니다.
  • 뇌종양 진단에서는 44% 정도만 맞추는데, 이는 100 점 만점에 44 점으로, 의사로서는 아직 혼자 진단을 내리기엔 위험한 수준입니다.

4. 결론: GPT-5 는 어떤 역할을 할까?

이 논문의 결론은 매우 명확합니다.

"GPT-5 는 의사를 대체할 '수석 의사'가 아니라, 의사를 도와주는 '훌륭한 조수 (어시스턴트)'입니다."

• 현재 상태: GPT-5 는 환자의 복잡한 이야기를 듣고, 검사 결과를 보고, 엑스레이를 보며 **"의사 선생님, 이 환자는 A 일 가능성이 높으니 B 검사를 해보시는 게 어떨까요?"**라고 제안하는 데는 매우 탁월합니다.
• 한계: 하지만 **"이게 100% 암입니다. 수술하세요"**라고 최종 진단을 내리는 결정권은 아직 GPT-5 에게 맡겨서는 안 됩니다. 특히 유방암이나 뇌종양처럼 아주 정밀한 시각적 판단이 필요한 분야에서는 전용 AI 나 인간 전문가의 확인이 필수적입니다.

📝 한 줄 요약

"GPT-5 는 의학 지식이 풍부하고 논리적인 '천재 조수'가 되어 의사의 판단을 돕는 데는 훌륭하지만, 아직은 전문적인 시각 진단을 혼자서 책임질 만큼 완벽하지는 않습니다."

따라서 앞으로는 GPT-5 를 **의사들의 '두 번째 뇌'**로 활용하되, 최종 결정은 인간 의사가 내리고, GPT-5 는 그 과정을 더 정확하고 빠르게 돕는 도구로 써야 한다는 것이 이 논문의 메시지입니다.

기술 요약

논문 개요

이 논문은 범용 기초 모델 (General-purpose Foundation Models) 이 임상 의학에서 요구되는 통합 추론 능력을 지원하는지 평가하기 위해, **GPT-5 패밀리 (GPT-5, GPT-5 Mini, GPT-5 Nano)**를 전임상 및 임상 기반 작업에 걸쳐 체계적으로 평가한 최초의 통제된 횡단면 연구입니다. 이전 모델인 GPT-4o 와 비교하여 텍스트 기반 추론부터 신경방사선학, 디지털 병리학, 유방촬영술에 이르는 다양한 다중 모달 (Multimodal) 작업에서의 성능을 분석했습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 임상 추론의 복잡성: 실제 임상 진단은 모호한 환자 내력, 실험실 데이터, 그리고 다양한 영상 (MRI, 조직 검사, 유방촬영 등) 을 통합하여 종합적인 결론을 도출하는 고도의 추론 과정이 필요합니다.
• 기존 모델의 한계: 기존 연구들은 주로 텍스트 중심이거나 이질적인 방법론을 사용하여, 보고서, 이미지, 구조화된 신호를 동시에 추론해야 하는 실제 임상 환경에서의 모델 능력을 명확히 규명하지 못했습니다.
• 연구 목적: 단일 지시 수행 모델 (Instruction-following model) 이 전문적인 다중 모달 임상 추론을 신뢰할 수 있게 지원할 수 있는지, 그리고 GPT-5 가 이전 세대 모델 대비 어떤 진전을 이루었는지 검증하는 것입니다.

2. 방법론 (Methodology)

• 평가 대상 모델: GPT-5, GPT-5 Mini, GPT-5 Nano, 그리고 이전 모델인 GPT-4o.
• 프로토콜: Zero-shot Chain-of-Thought (CoT) 프로토콜을 사용했습니다.
  • 모든 모델에 대해 파인튜닝 (Fine-tuning) 이나 인-컨텍스트 예제 (In-context examples) 없이 동일한 프롬프트 구조를 적용했습니다.
  • CoT 전략: 모델이 단계별 추론 (Rationale) 을 생성하도록 유도한 후, 최종 답변을 단일 선택지로 수렴하게 하는 2 단계 프롬프팅을 사용했습니다.
• 평가 데이터셋 (14 개):
  • 텍스트 기반: USMLE (Step 1, 2, 3), MedQA, MMLU (의학 하위 분야), MedXpertQA (전문가 수준 추론).
  • 다중 모달 (VQA):
    • 신경방사선학: BraTS 코호트 (다중 파라미터 MRI 를 이용한 뇌종양: GBM, 수막종, 전이).
    • 디지털 병리학: PathVQA (전체 슬라이드 이미지, 임상/현미경 이미지), Blood Cell VQA (혈액학), BreaKHis (유방 조직병리학).
    • 유방촬영술: EMBED, InBreast, CMMD, CBIS-DDSM (BI-RADS 밀도, 병변 특성, 악성도 판별 등).
• 데이터 전처리: MRI 는 표준 RAS 방향과 삼면적 모자이크 (Triplanar mosaic) 로 변환되었으며, 조직학 및 유방촬영 데이터셋은 질문 - 답변 쌍을 표준화하여 객관적 평가를 수행했습니다.

3. 주요 결과 (Key Results)

가. 텍스트 기반 및 의학 교육 평가

• USMLE 및 MedQA: GPT-5 는 모든 단계 (Step 1~3) 에서 GPT-4o 를 능가했으며, 특히 Step 2 CK 에서 4.17%p 향상되었습니다.
• 전문가 수준 추론 (MedXpertQA): 텍스트 기반 추론에서 GPT-5 는 GPT-4o 대비 25~26%p 이상의 절대적 향상을 보였습니다. 이는 단순 사실 회상이 아닌 복잡한 다단계 추론 능력의 비약적 발전을 시사합니다.

나. 다중 모달 추론 (VQA) 평가

• 종합적 성능: GPT-5 는 대부분의 VQA 벤치마크에서 SOTA(최첨단) 또는 경쟁력 있는 성능을 보였으며, GPT-4o 대비 10~40% 의 성능 향상을 기록했습니다.
• 신경방사선학 (BraTS): 뇌종양 분류에서 GPT-5 의 평균 정확도는 약 **44%**로, 여전히 중등도 수준이었습니다. GPT-5 Mini 가 GPT-5 보다 미세하게 높은 성능을 보인 것은 흥미로운 발견입니다.
• 디지털 병리학:
  • PathVQA 에서 GPT-5 는 가중 평균 정확도 **70.9%**로 가장 높은 성능을 보였습니다.
  • 혈액 세포 (Blood Cell VQA) 분류에서는 GPT-4o 가 80% 로 가장 높았으며, GPT-5 는 75.2% 로 근접했습니다.
• 유방촬영술 (Mammography):
  • GPT-5 는 EMBED 및 CBIS-DDSM 데이터셋에서 GPT-4o 를 크게 앞섰습니다 (예: CBIS-DDSM BI-RADS 정확도 69.3% vs GPT-4o 28.4%).
  • 한계: 그러나 전문적인 도메인 특화 모델 (예: Mammo-CLIP, Sun et al. 의 네트워크) 은 8090% 이상의 정확도를 보이는 반면, GPT-5 는 **5264%** 수준에 머물렀습니다. 이는 미세한 병변 특성 (미세석회화, 방추형 가장자리 등) 을 식별하는 데 있어 범용 모델의 한계를 보여줍니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

1. GPT-5 의 임상 추론 능력 입증: GPT-5 는 불확실한 임상 내력을 객관적인 영상 증거와 결합하여 추론하는 능력에서 GPT-4o 대비 상당한 진전을 보였습니다. 이는 임상 의사결정 지원 시스템 (CDSS) 에 대한 잠재력을 입증합니다.
2. 범용 모델 vs. 도메인 특화 모델의 격차 확인: 범용 모델은 통합 추론과 맥락 이해에 강점이 있지만, 고도로 전문화된 지각 작업 (예: 유방촬영술의 미세 병변 식별) 에서는 도메인 특화 모델에 비해 성능이 현저히 낮습니다. 따라서 범용 모델은 전문 시스템을 대체할 수 없으며, 보조 도구 (Adjunct) 로서의 역할이 명확해졌습니다.
3. 평가 프로토콜의 표준화: Zero-shot CoT 프로토콜을 통해 모델 자체의 능력과 프롬프트 엔지니어링의 효과를 분리하여 평가한 방법론적 엄격함을 제공했습니다.
4. 임상 배포를 위한 제언:
   • 도메인 적응 (Domain Adaptation): 특정 의료 영상 분야에 대한 파인튜닝이 필수적입니다.
   • 검증 및 투명성: 사실적 정확성과 추론의 투명성 (Explainability) 보장이 임상 배포의 전제 조건입니다.
   • 불확실성 관리: 모델의 오답 가능성 (예: NOTA 실험에서 성능 급감) 을 인지하고, 의사의 보조 도구로 활용해야 합니다.

5. 결론

GPT-5 는 의료 교육 및 통합적 임상 추론 분야에서 획기적인 발전을 이루었으나, 고도의 지각이 필요한 전문 의료 영상 진단 (특히 유방촬영술) 에서는 아직 독립적인 임상 사용에는 적합하지 않습니다. 이 연구는 GPT-5 를 강력한 보조 도구로 위치시키면서, 도메인 특화 적응, 엄격한 검증, 그리고 추론 투명성 확보가 임상 현장 도입의 핵심 과제임을 강조합니다.