Prompting language influences diagnostic reasoning and accuracy of large language models

기술 요약: 프롬프트 언어가 대규모 언어 모델의 진단 추론 및 정확도에 미치는 영향

문제 제기
대규모 언어 모델 (LLM) 은 임상 의사결정 지원 분야에서 유망한 가능성을 보이지만, 비영어권 언어에서의 신뢰성은 여전히 불확실합니다. 대부분의 평가는 영어 데이터와 표준화된 객관식 벤치마크에 의존하며, 이는 실제 임상 추론의 복잡성을 포착하지 못합니다. 의료 행위가 언어, 문화, 지역 역학과 깊이 연관되어 있음을 고려할 때, 주로 영어 코퍼스로 훈련된 LLM 이 프랑스어와 같은 다른 언어에서도 동등한 충실도로 진단 추론을 수행할 수 있는지에 대한 이해에는 중대한 공백이 존재합니다. 이러한 불균형은 다국어 환경에서 공정한 의료 배포와 환자 안전에 위험을 초래합니다.

방법론
저자들은 o3, DeepSeek-R1, GPT-4-Turbo, Llama-3.1-405B-Instruct, BioMistral-7B 등 5 가지 LLM 에 대한 진단 추론 및 최종 진단 정확도의 이중언어 비교 평가를 수행했습니다.

• 데이터셋: 본 연구는 16 개 의학 전문 분야 (순수 기술 또는 외과 분야 제외) 를 다루는 180 개의 임상 사례를 활용했습니다. 사례는 합성 생성, 참고 자료, 그리고 익명화된 실제 임상 경험을 바탕으로 제작되었습니다. 각 사례는 프랑스어로 작성된 후 두 명의 의사가 독립적으로 영어로 번역하여 의미적 동등성과 임상적 정확성을 보장했습니다.
• 프롬프팅: 모델은 각 사례당 두 언어로 한 번씩 쿼리되었으며, 표준화된 프롬프트를 사용하여 모델이 의사 역할을 수행하고, 임상 추론을 제공하며, 최종 진단을 JSON 형식으로 출력하도록 지시했습니다.
• 평가 프레임워크: 두 명의 의사가 6 가지 기준을 포함하는 18 점 척도를 사용하여 모든 모델 출력을 독립적으로 평가했습니다.
  1. 내적 타당성 (0–5): 사례 데이터의 추출 및 해석.
  2. 외적 타당성 (0–3): 사례를 넘어선 의학 지식의 정확성.
  3. 가설 및 감별진단 (0–1): 관련 감별진단 생성.
  4. 논리적 구조 (0–4): 추론의 일관성과 조직화.
  5. 표현 (0–2): 문법적 및 의미적 정확성.
  6. 최종 진단 정확도 (0–3): 기준 진단과의 일치도.
• 통계 분석: 영어와 프랑스어 간의 성능 차이는 언어를 고정 효과로, 사례/평가자를 무작위 절편으로 하는 선형 혼합 모델 (LMM) 을 사용하여 분석했습니다. 영어 성능이 프랑스어 성능을 초과한다는 가설을 평가하기 위해 일측 검정을 사용했으며, 다중 비교를 위해 본페로니 보정을 적용했습니다. 평가자 간 신뢰도는 Intraclass Correlation Coefficients (ICC) 와 Cohen's kappa 를 사용하여 평가했습니다.

주요 결과

• 전체 성능: 5 개 모델 중 4 개 (DeepSeek-R1, GPT-4-Turbo, Llama-405B, BioMistral-7B) 는 프랑스어보다 영어에서 유의하게 더 좋은 성능을 보였습니다. 전체 점수에서 평균 차이는 18 점 척도상 0.37 에서 0.91 점 사이였으며 (보정된 p < 0.05),
  • Llama-405B는 가장 큰 격차 (0.91 점) 를 보였습니다.
  • BioMistral-7B는 의학 특화 모델임에도 불구하고 전체적으로 점수가 현저히 낮았으며 (중앙값 약 8–9/18), 유의한 언어 격차 (0.78 점) 를 나타냈습니다.
  • o3는 전체적인 언어 효과가 전혀 없는 유일한 모델이었으며 (평균 차이 0.08, p = 1.000), 두 언어 모두에서 거의 천장 성능 (중앙값 18/18) 을 달성했습니다.
• 추론 차원: 언어 격차는 추론 유형별로 균일하지 않았습니다. 영어를 우세하게 하는 유의한 불균형이 다음과 같은 영역에서 관찰되었습니다.
  • 감별진단: Llama-405B, GPT-4-Turbo, DeepSeek-R1 은 영어에서 더 일관된 감별진단을 생성했습니다.
  • 논리적 구조: GPT-4-Turbo, Llama-405B, BioMistral-7B 는 영어에서 더 일관된 추론 조직화를 보여주었습니다.
  • 내적 타당성: Llama-405B 와 DeepSeek-R1 은 영어에서 임상 데이터의 추출 및 해석이 더 우수했습니다.
  • 표현: BioMistral-7B 는 프랑스어에서 문법적 오류가 더 빈번하게 발생했습니다.
• 추론 유형: 언어 격차는 복잡한 다단계 추론이 필요한 가설 - 연역적 및 알고리즘적 추론에서 가장 두드러졌습니다. 어떤 모델에서도 확률적 추론에 대해서는 언어 효과가 관찰되지 않았습니다.
• 상관관계: BioMistral-7B 의 경우, 추론의 질과 진단 정확도 간의 상관관계가 영어 ($\rho=0.75$) 에서 프랑스어 ($\rho=0.60$) 보다 유의하게 강했으며, 이는 이 모델의 경우 영어 컨텍스트에서 추론과 정확도가 더 밀접하게 결합되어 있음을 시사합니다.

의의 및 주장
본 논문은 프롬프트 언어가 임상 진단 추론에서 LLM 성능의 중요한 결정 요인임을 주장합니다. 연구 결과는 성능 격차가 단순한 사실적 회상의 문제가 아니라 임상 추론 과정 자체의 질, 일관성, 그리고 내적 타당성으로까지 확장됨을 보여줍니다.

저자들은 다음과 같이 주장합니다.

1. 형평성 함의: 모델이 환자의 모국어 (비영어) 로 더 낮은 품질의 추론과 덜 정확한 진단을 산출할 경우, 기존 건강 불평등을 악화시킬 수 있습니다. LLM 이 환자들이 건강 정보를 얻기 위해 직접 increasingly 사용하는 점을 고려할 때 이는 특히 우려스럽습니다.
2. 시험을 넘어: 이전 연구가 객관식 의학 시험에 국한되었다면, 본 연구는 실제 임상 행위를 더 잘 모방하는 개방형 진단 추론 작업에서도 언어 격차가 지속됨을 확인했습니다.
3. 모델 아키텍처의 중요성: o3에서 언어 격차가 부재한 것은 추론 능력의 발전 (예: 테스트 시간 계산 확장, 확장된 사고의 사슬) 이 훈련 데이터가 주로 영어임에도 불구하고 언어 관련 불평등을 부분적으로 완화할 수 있음을 시사합니다.
4. 자원 격차: 프랑스어는 훈련 코퍼스에 상당한 비중을 차지하는 상대적으로 고자원 언어이므로, 저자들은 이러한 불평등이 저자원 언어에서는 더욱 증폭될 것이라고 가정합니다.

본 연구는 LLM 이 신뢰할 수 있는 건강 정보 접근에서의 불평등을 확대하는 것이 아니라 줄이는 기회를 놓치지 않도록 하기 위해, 언어 간 공정한 성능 보장이 모델 개발 및 규제 평가의 최우선 과제가 되어야 한다고 결론지었습니다. 향후 연구를 지원하기 위해 저자들은 전체 이중언어 데이터셋과 평가 코드를 공개했습니다.