Bias in respiratory diagnoses by Large Language Models (LLMs) in Low Middle Income Countries (LMICs)

이 연구는 북미와 유럽 중심의 대규모 언어 모델 (LLM) 이 저소득 및 중소득 국가 (LMIC) 의 호흡기 진단 시 고소득 국가 역학에 편향되어 현지 의사의 진단 범위보다 덜 적합한 진단을 제시함을 보여주었습니다.

핵심

🌍 핵심 비유: "미국식 레시피로 만든 한국 음식"

상상해 보세요. 전 세계에 유명한 **초대형 요리사 (AI)**가 있습니다. 이 요리사는 미국과 유럽의 요리책, 블로그, 뉴스, 레시피를 수백만 권이나 읽어서 배웠습니다. 그래서 그는 서양식 음식 (고소득 국가의 질병) 을 만드는 데는 천재입니다.

하지만 이 요리사가 아프리카나 남아시아 (저소득 국가) 의 작은 마을로 가서 현지 주민들을 위해 요리를 해달라고 요청받았다고 칩시다.

• 현지 주민의 요청: "우리 마을에는 '말라리아'나 '결핵' 같은 병이 흔한데, 이 증상을 보면 뭐가 될까?"
• 요리사 (AI) 의 대답: "음... 이 증상은 '폐암'이나 '천식'이겠네요. 제가 배운 책에는 그런 게 가장 많으니까요."

이 요리사는 나쁜 의도가 있어서 그런 게 아닙니다. 다만, 배운 데이터가 너무 편향되어 있어서, 현지에서 실제로 많이 보는 병은 생각하지 못하고, 서양에서 흔한 병만 떠올리는 것입니다. 이것이 바로 이 논문이 경고하는 **'AI 의 편향'**입니다.

---

🔍 연구는 어떻게 진행되었나요? (실험실 이야기)

연구진들은 이 문제를 확인하기 위해 **5 개의 가상의 환자 이야기 (케이스)**를 만들었습니다. 이 이야기들은 의도적으로 모호하게 만들어서, 어느 나라에 있느냐에 따라 진단이 달라져야 하는 상황이었습니다.

1. 현실의 의사들: 영국, 가나, 인도, 요르단, 브라질의 실제 의사들에게 이 이야기를 주고 "가장 의심되는 병 4 가지를 말해줘"라고 물었습니다.
2. AI (챗GPT, 클로드 등): 똑같은 이야기를 AI 에게 물어봤습니다.
   • 실험 1: AI 가 접속한 위치를 가나나 인도인 것처럼 속여서 (VPN 사용) 물어봤습니다.
   • 실험 2: "이 환자는 가나에 있습니다"라고 AI 에게 직접 말해줬습니다.

📊 결과는 어땠나요? (놀라운 차이)

결과는 매우 명확했습니다.

• 영국 (고소득 국가): AI 가 영국 의사들의 진단과 50% 정도 겹쳤습니다. 꽤 잘 맞췄죠.
• 저소득 국가 (LMIC): AI 가 현지 의사들의 진단과 겹치는 비율은 **32%**로 떨어졌습니다.
• 중요한 점: AI 에게 "너는 지금 가나에 있어"라고 말해주거나, 가나에서 접속하게 해도 결과는 변하지 않았습니다. AI 는 여전히 서양식 사고방식에서 벗어나지 못했습니다.

비유하자면:
현지 의사들은 "이 환자는 결핵일 수도 있고, 말라리아일 수도 있고, 기생충일 수도 있어"라며 다양한 가능성을 열었습니다. 하지만 AI 는 "아니, 이건 폐렴이야"라고 서양에서 흔한 한 가지 답만 고집했습니다.

💡 왜 이런 일이 일어날까요?

AI 는 데이터로 배웁니다.
현재 가장 똑똑한 AI 들은 주로 미국과 유럽의 의료 기록, 논문, 뉴스에서 배웠습니다. 그래서 AI 의 머릿속에는 "세계의 질병"이 아니라 **"서양의 질병"**이 저장되어 있는 것입니다.

이건 마치 한국어 번역기를 영어권 데이터로만 훈련시켰을 때, 한국 특유의 정서나 문화적 뉘앙스를 전혀 이해하지 못하고 엉뚱한 번역을 해내는 것과 같습니다.

⚠️ 이 연구가 우리에게 주는 메시지

1. AI 는 아직 완벽하지 않습니다: 특히 의료 같은 중요한 분야에서는, AI 가 서양 기준으로만 판단하면 저소득 국가 환자들이 잘못된 진단을 받을 위험이 큽니다.
2. 현지 검증이 필수입니다: AI 를 병원에 도입하기 전에, 그 나라의 실제 상황 (환자의 질병 분포, 의료 환경) 에서 테스트해봐야 합니다.
3. 개발자들의 책임: AI 를 만드는 회사들은 "우리는 전 세계를 위해 만든다"고 말하지만, 실제로는 특정 지역 (서양) 에만 최적화되어 있을 수 있음을 인정하고, 전 세계 데이터를 포함하도록 노력해야 합니다.

🏁 결론

이 논문은 **"AI 가 의사가 되려면, 전 세계의 모든 환자를 이해할 수 있어야 한다"**고 외치고 있습니다.

지금 당장은 AI 를 맹신하기보다, 현지 의사들의 판단을 보조하는 도구로만 조심스럽게 사용해야 하며, 개발자들은 이 편향을 고치기 위해 더 노력해야 한다는 것이 이 연구의 핵심 메시지입니다.

한 줄 요약: "미국식 레시피로 만든 AI 요리사가 아프리카 마을의 배고픈 아이에게 서양식 빵만 주는 건, 배를 채우는 게 아니라 오히려 문제를 키우는 일입니다."

기술 요약

논문 개요

이 연구는 북미와 유럽 중심의 데이터로 훈련된 대규모 언어 모델 (LLM) 이 저소득 및 중소득 국가 (LMIC) 의 의료 환경에서 진단 보조 도구로 사용될 때 발생할 수 있는 **고소득 국가 편향 (High-Income Country Bias)**을 규명하고, 이를 통해 LMIC 의 임상적 맥락에서 LLM 의 진단 적합성을 평가한 연구입니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 생성형 AI 와 LLM 이 의료 진단, 교육, 문서 작성 등에 빠르게 도입되고 있으며, 특히 GPT-4 와 같은 모델은 미국 의료 면허 시험 (USMLE) 에서 우수한 성적을 거두었습니다.
• 문제점: 대부분의 LLM 은 북미 및 유럽 (고소득 국가, HIC) 의 데이터로 훈련되었습니다. 이로 인해 LMIC 의 역학 (epidemiology), 질병 분포, 의료 자원의 차이 등을 반영하지 못하여, LMIC 환경에서 사용 시 진단 편향이 발생할 수 있습니다.
• 연구 목적: 호흡기 질환 임상 사례를 통해 LLM 이 제안하는 감별진단이 LMIC 의 실제 임상 현장 (의사들의 판단) 과 얼마나 일치하는지, 그리고 LLM 이 LMIC 의 역학적 특성을 반영하지 못하는지 확인하는 것입니다.

2. 연구 방법론 (Methodology)

• 실험 설계:
  • 임상 사례 (Vignettes): 5 개의 호흡기 관련 응급실 임상 사례를 제작했습니다. 이 사례들은 의도적으로 모호하게 작성되어 지역별 역학에 따라 주요 감별진단이 달라지도록 구성되었습니다.
  • 참여자: 영국 (UK), 가나, 인도, 요르단, 브라질 등 5 개국의 의사 21 명 (각국 4~5 명) 이 참여했습니다. 의사들은 최소 2 년 이상의 호흡기, 응급의학과, 또는 가정의학과 경력을 가진 전문가로 선정되었습니다.
  • LLM 모델: 데이터 수집 시점 (2025 년 2 월) 에 가장 최신이었던 4 가지 모델 사용:
    • ChatGPT 4-o
    • Claude 3.5 Sonnet
    • Google Gemini-2.0-flash-001
    • Microsoft Copilot (GPT-4 기반)
• 실험 프로세스:
  1. 의사 그룹: 각국 의사들이 5 개 사례 각각에 대해 가장 가능성 있는 4 가지 진단을 독립적으로 제출 (LLM 사용 금지).
  2. LLM 그룹 (실험 1): VPN 을 사용하여 각 LMIC 국가의 IP 로 접속한 후 동일한 사례를 입력받아 4 가지 진단 요청.
  3. LLM 그룹 (실험 2): 동일한 사례에 "이 사례가 [특정 LMIC 국가] 에서 발생했다"는 문맥을 프롬프트에 명시하여 4 가지 진단 요청.
• 데이터 분석:
  • 모든 진단명은 ICD-11로 코딩하여 통일했습니다.
  • Coverage (커버리지): 의사가 제안한 진단 중 LLM 이 포함시킨 비율.
  • Agreement (일치도): LLM 이 제안한 진단 중 의사가 포함시킨 비율.
  • 통계 분석은 R 을 사용하여 수행되었으며, Chi-squared 검정을 통해 UK 와 LMIC 간 차이를 검증했습니다.

3. 주요 결과 (Key Results)

• 진단 수의 차이:
  • 의사 21 명이 제안한 고유 진단명은 총 106 개였으나, LLM 이 제안한 고유 진단명은 VPN 사용 시 53 개, 국가 명시 시 59 개에 불과했습니다.
  • LMIC 의 의사들은 LLM 보다 훨씬 더 넓은 범위의 진단을 고려하는 것으로 나타났습니다.
• 편향의 정량화:
  • UK(고소득 국가) 환경: LLM 이 UK 의사들이 제안한 진단의 50% (95% CI 32.6~67.4%) 를 포함했습니다.
  • LMIC 환경: LLM 이 LMIC 의사들이 제안한 진단의 32.0% (95% CI 23.1~42.3%) 만 포함했습니다.
  • 통계적 유의성: 이 차이는 통계적으로 유의미했습니다 (Chi-squared p = 0.028).
• 프롬프트 엔지니어링의 한계:
  • LLM 에게 "이 환자는 [국가명] 에 있다"고 명시적으로 알려주었음에도 불구하고, LLM 의 진단 편향 (HIC 중심) 은 사라지지 않았습니다. 즉, 단순한 프롬프트 수정만으로는 지역적 역학적 편향을 해결할 수 없음을 시사합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

• 최초의 실증 연구: LLM 의 진단 편향이 LMIC 환경에서 어떻게 나타나는지를 체계적으로 비교 분석한 최초의 연구 중 하나입니다.
• 데이터 편향의 구체화: LLM 이 고소득 국가의 역학 데이터에 과도하게 의존하고 있음을 입증하여, LMIC 에서는 LLM 이 실제 임상적 필요 (예: 말라리아, 결핵, 기생충 감염 등 HIC 에서는 드문 질환) 를 놓칠 위험이 있음을 경고합니다.
• 임상 적용에 대한 경고: 현재 LLM 기반 의료 기술은 LMIC 에서 임상적 평가 없이 사용되어서는 안 된다는 점을 강조합니다.
• 향후 방향성 제안:
  • AI 개발사는 모델 출시 전 전 세계적 지역 (특히 LMIC) 에 대한 편향 평가를 의무화해야 함.
  • LMIC 에 특화된 새로운 벤치마크 연구 개발 필요.
  • 지속적인 모니터링을 위한 라이브 벤치마크 시스템 구축 제안.

5. 결론 (Conclusion)

이 연구는 현재 사용 가능한 LLM 들이 LMIC 의 의료 환경에 적합하지 않으며, 고소득 국가 중심의 편향으로 인해 중요한 감별진단을 누락할 수 있음을 보여줍니다. 특히 단순한 위치 정보 제공만으로는 이러한 편향이 교정되지 않으므로, LMIC 에서의 실제 임상 적용 전에는 철저한 지역별 검증과 모델 재훈련이 필수적입니다.

---

참고: 본 논문은 2026 년 3 월 3 일 medRxiv 에 게재된 사전 출판 (preprint) 자료로, 동료 검토 (peer review) 를 거치지 않았음을 명시하고 있습니다.