Medical errors in large language models revealed using 1,000 synthetic clinical transcripts

이 논문은 1,000 건의 합성 임상 기록을 활용한 대규모 시뮬레이션을 통해, 높은 진단 정확도에도 불구하고 불완전한 정보 입력 시 필수 검사를 누락하거나 위험한 triage 결정을 내리는 등 대형 언어 모델의 치명적인 안전성 결함과 성별 편향이 드러났음을 보고합니다.

핵심

1. 실험실의 비유: "교과서 vs. 실제 병원"

기존의 AI 평가 방식은 마치 교과서 속의 완벽한 환자를 보는 것과 같았습니다.

• 기존 방식: "머리가 아파요. 3 일째 지속되고, 빛을 보면 더 아파요. 진단은 편두통입니다."처럼 정보가 딱딱 정리된 짧은 문장만 주고 AI 가 답을 맞히게 했습니다.
• 이 연구의 방식: 연구팀은 1,000 명의 가짜 환자를 만들어냈습니다. 이들은 실제 병원에 오는 사람처럼 말도 안 되는 이야기를 하거나, 기억이 안 나거나, 말을 너무 많이 하거나, 영어를 서툴게 하는 등 정말 '지저분하고' 불완전한 정보를 제공했습니다.

비유: 기존 시험은 "완벽하게 정리된 레시피"를 보고 요리를 시켰다면, 이 연구는 "재료가 반만 있고, 요리사가 말을 잘 못 하고, 요리 도구가 고장 난 상황"에서 요리를 시킨 것입니다.

2. AI 의 실수: "정보 부족할 때 오히려 더 자신 있게?"

가장 무서운 발견은 AI 가 정보가 부족할 때 오히려 더 자신 있게 위험한 조언을 했다는 점입니다.

• 사람 의사의 반응: 환자가 "머리가 아픈데 언제부터인지 모르겠어요"라고 말하면, 의사는 "정보를 더 알아야겠네. 뇌수술이나 척추 천자를 해봐야겠다"라고 생각합니다. (위험을 감수하고 더 확인하려는 태도)
• AI 의 반응: 같은 말을 들으면 AI 는 "아, 정보가 없으니 그냥 편두통이겠지. 집에서 쉬세요"라고 확신에 차서 말합니다.

비유: AI 는 정보의 빈 공간을 '아무것도 없음'으로 해석합니다. 하지만 의사는 "정보가 없다는 건 '아직 위험할 수도 있음'을 의미한다"고 생각합니다.

• 치명적인 예시: 뇌출혈 (지주막하 출혈) 이 의심되는 환자가 정보를 제대로 주지 않았을 때, AI 는 100% 의 확률로 "척추 천자 (진단 시술) 를 하지 마세요"라고 답했습니다. 이는 환자를 죽음으로 몰고 갈 수 있는 조언입니다.

3. 성별 편견과 '미니' 모델의 위험

연구는 AI 가 성별에 따라 다르게 행동하기도 한다고 밝혔습니다.

• 여성 환자: 같은 위험한 증상이라도 여성 환자에게는 "집에서 쉬세요"라고 말해버리는 경우가 남성보다 훨씬 많았습니다. (특히 30~50 대 여성)
• 모델의 차이: 최신 고성능 모델 (GPT-5.2) 은 꽤 잘했지만, 우리가 흔히 쓰는 **가벼운 버전 (GPT-5-mini)**은 훨씬 더 위험했습니다.
  • 비유: 고성능 모델은 '숙련된 주치 의사'라면, 가벼운 버전은 '의대 1 학년 학생'이면서 **자신감은 100%**인 것과 같습니다. 정보가 부족할 때 가벼운 버전은 오히려 위험한 진통제 (코데인) 를 처방하거나, 필요한 검사를 안 하라고 조언했습니다.

---

📝 한 줄 요약

이 연구는 **"AI 가 교과서 문제에서는 천재일지 몰라도, 실제처럼 정보가 부족하고 messy 한 상황에서는 오히려 사람을 죽일 수 있는 위험한 조언을 자신 있게 내뱉는다"**는 것을 1,000 개의 가짜 환자를 통해 증명했습니다.

💡 우리가 배워야 할 교훈

1. AI 를 맹신하지 마세요: 특히 정보가 불완전한 상황에서는 AI 가 "모른다"고 말하기보다 "잘못된 확신"을 가질 수 있습니다.
2. 모델을 가려서 써야 합니다: 모든 AI 가 똑같은 것이 아닙니다. 의료 같은 중요한 분야에서는 성능이 떨어지는 '가벼운' 모델을 쓰면 안 됩니다.
3. 새로운 검증이 필요합니다: 이제부터는 AI 를 평가할 때 "정답을 몇 개 맞췄나?"가 아니라 **"위험한 상황에서 얼마나 안전하게 행동하는가?"**를 테스트해야 합니다.

이 연구는 AI 가 의사가 되기 전에, 인간처럼 '위험을 감지하고 조심하는' 태도를 배워야 함을 강력하게 경고하고 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 현재 평가의 한계: 기존 의료용 대규모 언어 모델 (LLM) 의 임상 평가는 소수의 엄격하게 선별된 '교과서적' 사례 (vignettes) 에 의존하고 있습니다. 이는 실제 임상 현장의 복잡성 (비전형적 증상, 단편적인 병력, 다양한 의사소통 스타일) 을 반영하지 못합니다.
• 실제 위험: LLM 이 교과서적 사례에서 높은 성능을 보인다고 해서, 희귀하거나 응급적인 '엣지 케이스 (edge cases)'나 정보가 불완전한 상황에서도 안전하다고 보장할 수 없습니다. 특히, 불완전한 정보에 직면했을 때 LLM 이 추가 정보를 요청하기보다 위험한 가정을 하거나 진단을 내리는 경향이 있어 치명적인 오류가 발생할 수 있습니다.
• 연구 목적: 실제 임상 환경과 유사한 복잡성과 불확실성을 가진 대규모 데이터를 통해 LLM 의 임상 추론 실패를 정량적으로 매핑하고 안전성을 검증할 수 있는 새로운 평가 프레임워크를 개발하는 것입니다.

2. 방법론 (Methodology)

이 연구는 고처리량 (High-throughput) 환자 시뮬레이션 엔진을 개발하여 1,000 개의 합성 임상 전사를 생성하고 이를 평가에 활용했습니다.

• 데이터 생성 프로세스:

  • 진단 범위: 국제 두통 분류 제 3 판 (ICHD-3) 기준에 따라 33 가지 두통 및 안면통 진단 (일차성 두통, 희귀 증후군, 이차성 응급 질환 등) 을 대상으로 균등하게 샘플링했습니다.
  • 그라운드 트루스 (Ground Truth): 각 사례에 대해 ICHD-3 기준에 부합하는 정확한 임상 사실 (phenotype facts) 을 먼저 정의했습니다.
  • 다양한 환자 페르소나: 7 가지 차원 (말의 양, 건강 문해력, 영어 능력, 기억력, 집중도, 정보 공개 의지, 증상 표현 방식) 을 조합하여 3,645 가지의 독특한 환자 페르소나를 생성했습니다.
  • 전사 생성: 표준화된 의사의 질문 시나리오에 대해, 생성된 페르소나와 임상 사실을 기반으로 GPT-OSS 20B 모델을 사용하여 자연스러운 대화 전사를 생성했습니다.
  • 정보 불완전성 제어: 임상 정보의 완전성을 5 단계 (20%, 40%, 60%, 80%, 100%) 로 체계적으로 조작하여, 정보가 얼마나 부족한지 실험적으로 통제했습니다.

• 평가 대상 및 프로토콜:

  • 모델: 최신 추론 모델인 GPT-5.2와 공개형 의료 도구에 사용된 것으로 알려진 GPT-5-mini 두 모델을 평가했습니다.
  • 평가 항목: 1,000 개의 전사를 기반으로 총 14,000 개의 임상 결정 (차별 진단, 영상 검사 [CT, MRI, LP] 권고, 약물 처방 [인도메타신, 코데인], 추후 진료 시기) 을 평가했습니다.
  • 분석: 생성된 LLM 의 출력을 해당 사례의 결정론적 그라운드 트루스와 비교하여 정확도와 안전성 (위험한 권고 여부) 을 분석했습니다.

3. 주요 결과 (Key Results)

• 진단 정확도 vs. 정보 불완전성:

  • GPT-5.2: 완전한 병력 (100% 정보) 에서 97.5% 의 높은 진단 정확도를 보였으나, 정보가 불완전해지면 (20% 정보) 정확도가 급격히 떨어졌습니다.
  • GPT-5-mini: 전체적으로 GPT-5.2 보다 정확도가 낮았으며 (84.9%), 정보 부족 시 성능 저하가 더 심했습니다.
  • 공통된 실패: 두 모델 모두 정보가 부족할 때 추가 정보를 요청하기보다, 오히려 감별 진단의 범위를 좁히거나 불필요하게 확신을 가진 채 진단을 내리는 경향을 보였습니다.

• 위험한 검사 권고 (Investigation Recommendations):

  • 지체 없는 결정: 정보가 불충분함에도 불구하고 "결정 불가"라고 답하기보다 CT, MRI, 요추 천자 (LP) 에 대해 확신 있는 '수행' 또는 '비수행' 권고를 내렸습니다.
  • 치명적 오류:
    • 지주막하 출혈 (SAH): SAH 가 의심되는 경우, 요추 천자가 필수적인 상황에서도 두 모델 모두 100% (낮은 정보 수준에서) 요추 천자를 수행하지 말라고 권고하거나, 시기가 불분명한 경우에도 결정을 내렸습니다.
    • 뇌종양: 뇌종양이 있는 경우의 18.8~25.0% 에서 MRI 검사를 권고하지 않았습니다.
    • 과도한 영상 촬영: GPT-5.2 는 고령 환자에게 CT 를 과도하게 권고하는 경향을 보였습니다.

• 약물 처방의 안전성:

  • 코데인: GPT-5-mini 는 두통 관리에 일반적으로 권장되지 않는 코데인을 전체 사례의 16.1% 에서 권고했으며, 정보가 불완전할수록 이 비율이 21.7% 로 증가했습니다. 특히 고령 환자에서도 위험을 고려하지 않고 처방했습니다.
  • 인도메타신: GPT-5-mini 는 지주막하 출혈 (SAH) 과 같은 치명적인 질환에서도 정보가 부족할 경우 인도메타신을 부적절하게 권고했습니다.

• 분류 (Triage) 및 인구통계학적 편향:

  • 안전하지 않은 분류: 생명이나 시력을 위협하는 응급 질환 (SAH, 뇌막염, 거대세포 동맥염 등) 에서 정보가 불완전할 때, 두 모델 모두 응급실 방문이나 긴급 검진을 권고하기보다 '자가 관리'나 '일반적인 추후 진료'로 분류하는 비율이 급증했습니다 (GPT-5-mini 는 20% 정보 시 54.8% 까지 상승).
  • 성별 편향: GPT-5.2 의 경우, 여성 환자가 남성 환자보다 안전하지 않은 분류 (자가 관리 등) 를 받을 확률이 3.2 배 높았습니다 (OR 3.2, 95% CI 1.4-7.1). 이는 30~50 대 여성에서 특히 두드러졌습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

• 새로운 평가 패러다임: 기존 소규모 '교과서' 기반 평가를 넘어, 수천 개의 자연스러운 대화 전사를 통해 LLM 의 임상 추론을 대규모로 스트레스 테스트 (Stress-test) 할 수 있는 방법론을 제시했습니다.
• 확률적 추론의 한계 규명: LLM 이 정보가 부족할 때 인간 의사와는 반대로 위험을 과소평가하고 (Absence of evidence = Absence of disease), '무조건적인 확신'을 보이는 경향이 있음을 발견했습니다. 이는 LLM 이 '증거가 없음'을 '질병이 없음'으로 잘못 해석하는 구조적 결함을 보여줍니다.
• 모델 선택의 중요성: 고사양 모델 (GPT-5.2) 이 진단 정확도는 높았으나, 안전성 (위험한 검사 기피, 분류 오류) 면에서는 여전히 치명적인 실수를 범했습니다. 반면 저사양 모델 (GPT-5-mini) 은 모든 영역에서 더 위험한 결과를 초래했습니다. 이는 의료 AI 도입 시 모델 선택과 투명성이 필수적임을 강조합니다.
• 안전성 프레임워크 제안: 단순한 정확도 점수가 아닌, 불완전한 정보 하에서의 위험 관리 능력과 인구통계학적 편향을 평가하는 것이 의료 AI 안전성 확보에 필수적임을 주장했습니다.

5. 결론

이 연구는 현재 최첨단 LLM 들이 실제 임상 환경과 유사한 불완전한 정보 상황에서 치명적인 의료 오류를 범할 수 있음을 1,000 개의 합성 전사를 통해 입증했습니다. LLM 은 높은 진단 정확도에도 불구하고, 위험한 질환을 배제하기 위한 필수 검사를 기피하거나 응급 환자를 경미한 상태로 분류하는 등 위험 조절 (Risk calibration) 실패를 보입니다. 따라서 의료 AI 를 임상 현장에 통합하기 위해서는 단순한 성능 향상을 넘어, 불확실성 하에서의 안전성을 보장하는 알고리즘적 안전장치 (Guardrails) 와 엄격한 평가 체계가 시급히 필요함을 강조합니다.