Implicit Geographic Inference in LLM Medical Triage: Language-Driven Disparities in Emergency Recommendations

기술 요약: LLM 의료 트리아지(Triage)에서의 암묵적 지리적 추론

문제 정의
본 연구는 의료 분야에 대규모 언어 모델(LLM)을 도입할 때 발생하는 핵심적인 가정, 즉 임상적 권고가 입력된 의료 내용만이 아니라 언어와 같은 표면적인 특징에 의해 결정되는 것이 아니라 오직 의료적 내용에 의해서만 도출된다는 가설을 조사한다. 저자들은 모델이 입력 언어를 환자의 지리적 위치에 대한 대리 지표(proxy)로 사용하여, 동일한 임상 시나리오에 대해 지역별 의료 규범(예: "클리닉 우선" 경로 vs. "방어적 진료")을 적용할 수 있다고 가설을 세웠다. 이는 다국어 사용자, 이민자 또는 국외 거주자가 실제 위치나 의료적 필요가 아닌, 자신이 선택한 언어에 따라 부적절한 트리아지 조언을 받게 되는 잠재적 불평등을 초래한다.

연구 방법론
연구진은 Gemini 3.5 Flash(2026년 5월 출시 버전)를 사용하여 온도(temperature) 0.3 설정으로 통제된 실험을 수행하였다.

• 자극(Stimulus): 단일하고 임상적으로 모호한 신경학적 증상 프로필(38세 환자의 지속적인 두통, 시야 흐림, 아침 구역질, 시각 이상)을 제시하였다.
• 변수: 원어의 표현 관습을 충족하기 위해 프롬프트는 6개 언어(영어, 스페인어, 중국어 간체, 힌디어, 일본어, 아랍어)로 수동 작성되었다.
• 실험 조건:
  1. 기초선(Baseline): 위치 맥락이 없는 6개 언어의 프롬프트 ($n=30$ per language).
  2. 미국 위치 앵커(US Location Anchor): 환자가 미국에 있다는 문장을 추가한 동일한 프롬프트.
  3. 역 앵커(Reverse Anchor): 도쿄 또는 뭄바이에 있다는 문장을 추가한 영어 프롬프트.
  4. 역번역 통제(Back-Translation Control): 이해도 차이를 배제하기 위해 일본어 프롬프트를 모델을 통해 영어로 번역한 후 트리아지를 수행함.
• 출력 지표: 모델은 심각도 점수(1–10), 긴급도 분류, 특정 행동 권고(응급실 방문 vs. 의사 예약 vs. 자가 관리)를 포함하는 구조화된 JSON을 출력하도록 강제되었다.
• 규모: 총 450회의 API 호출이 실행되었다.

주요 결과

1. 언어 기반 불평등: 모든 언어에서 거의 동일한 심각도 점수(7.7–8.0/10)를 부여했음에도 불구하고, 모델이 권고하는 행동은 극명하게 달랐다.
   • 영어 및 아랍어 프롬프트는 응급실(ER) 권고율이 **30%**였다.
   • 일본어 및 힌디어 프롬프트는 응급실 권고가 **0%**였다.
   • 중국어와 스페인어는 그 사이(각각 20%와 13.3%)에 위치했다.
2. 메커니즘 검증 (지리적 추론):
   • 미국 앵커: 비영어 프롬프트에 미국 위치를 추가하자 응급실 권고율이 급증했다 (예: 일본어는 0%에서 46.7%로, 힌디어는 0%에서 73.3%로 상승).
   • 역 앵커: 영어 프롬프트에 도쿄 위치를 추가하자 응급실 권고율이 30%에서 6.7%로 감소했다.
   • 역번역: 일본어 프롬프트를 영어로 번역했을 때 응급실 권고율은 36.7%였으며, 이는 영어 기초선과 통계적으로 차이가 없었다. 이를 통해 모델이 일본어로도 증상을 동일하게 잘 이해했음을 확인했다. 즉, 0%의 응급실 권고율은 이해력 부족이 아니라 추론된 일본의 의료 규범 때문이었다.
3. 암묵적 추론: JSON 출력에 나타난 모델의 명시적 추론은 언어와 관계없이 동일한 임상적 위험(예: 뇌압 상승)을 설명했다. 지리적 추론은 암묵적이었으며, 근거(rationale)에는 명시되지 않은 채 최종 행동에 영향을 미쳤다.

기여
본 논문은 세 가지 주요 기여를 한다:

1. 체계적 편향의 입증: 생산형 LLM이 임상적 내용과 독립적으로, 오직 프롬프트 언어에 따라 체계적으로 다른 의료 트리아지 권고를 생성한다는 실증적 증거를 제공한다.
2. 메커니즘 식별: "암묵적 지리적 추론"을 인과적 메커니즘으로 식별하고 검증함으로써, 언어가 지역별 의료 규범을 촉발하는 대리 지표로 작용함을 증명한다.
3. 오픈 사이언스: 재현 및 추가 연구를 용이하게 하기 위해 전체 데이터셋, 실험 코드, 원시 결과를 공개한다.

의의 및 주장
저자들은 이러한 모델들이 자신의 언어와 일치하는 국가에 거주하는 단일 언어 사용자에게는 제대로 작동할 수 있지만, 이민자, 국외 거주자, 관광객 및 다국어 사용자와 같이 언어가 실제 지리적 현실과 일치하지 않는 사용자들에게는 실패한다고 주장한다.

논문은 해결책이 모델에서 지리적 인식을 제거하는 것이 아니라, **언어와 지리적 인식을 분리(decouple)**하는 것이라고 결론짓는다. 저자들은 개발자가 시스템 프롬프트에 환자의 위치를 명시적으로 고정하거나(예: "환자는 [국가]에 위치해 있습니다. [국가]의 의료 시스템 규범을 사용하십시오...") 권고를 생성하기 전에 사용자에게 위치를 묻도록 제안한다. 이를 통해 언어는 모델이 '무엇을 권고할지'가 아니라 '어떻게 소통할지'를 결정하게 된다.

한계점
저자들은 몇 가지 한계점을 겸허히 언급하였다: 본 연구는 단 하나의 모델(Gemini 3.5 Flash)과 하나의 특정 증상 프로필만을 테스트했다는 점, 모든 언어에 대해 프롬프트가 의료 전문가에 의해 독립적으로 검증되지 않았다는 점, 그리고 샘양 크기($n=30$)가 중간 범위의 비교(예: 영어 vs. 스페인어)에 대한 통계적 유의성을 제한할 수 있다는 점이다. 또한, 인간 임상의의 기준점이 없으므로 어떤 언어의 권고가 "옳은지"는 판단할 수 없으며, 단지 권고가 서로 다르다는 점만을 확인할 수 있다고 강조하였다.