Cross-Lingual Empirical Evaluation of Large Language Models for Arabic Medical Tasks

기술 요약: 아랍어 의료 작업에 대한 대규모 언어 모델의 교차 언어적 경험적 평가

문제 정의
대규모 언어 모델(LLM)은 임상 의사 결정 지원 및 의료 질의응답과 같은 영어 중심의 의료 애플리케이션에서 놀라운 능력을 입증해 왔으나, 언어적으로 다양한 커뮤니티에서의 신뢰성은 아직 검증되지 않았습니다. 기존 연구들은 아랍어와 같은 저자원 언어에서 의료용 LLM의 성능이 크게 저하된다는 점을 지적해 왔지만, 이러한 차이의 근본적인 원인은 명확히 밝혀지지 않았습니다. 기존 문헌은 종종 이러한 실패를 사전 학습 데이터의 부족이나 도메인 불일치로 광범위하게 돌리지만, 성능 저하가 고유한 언어적 특성(예: 형태론, 토큰화), 불충분한 의료 도메인 적응, 아키텍처 선택, 또는 이들 요소 간의 상호작용 중 어디에서 기인하는지를 체계적으로 분리하여 파악하지 못하고 있습니다. 이러한 세밀한 이해의 부족은 효과적인 다국어 학습 및 평가 전략 설계를 저해합니다.

방법론
저자들은 아랍어와 영어 의료 작업 간의 성능 격차에 기여하는 구체적인 요인을 격리하기 위해 설계된 체계적인 교차 언어적 경험 연구를 제시합니다. 본 연구는 19개 의료 전문 분야를 포함하는 아랍어 의료 객관식 문제(MCQ) 데이터셋인 MedAraBench와 그에 대응하는 영어 번역본을 활용합니다. 모델을 원문 아랍어 질문과 영어 번로된 질문 모두로 평가함으로써, 저자들은 의료적 콘텐츠를 통제하여 언어적 표현의 효과만을 분리해 냅니다.

평가 프레임워크는 일반 목적의 LLM(예: DeepSeek-V3.2, LLaMA 3.3 70B)과 의료 도메인 특화 모델(예: Meditron 3, Med42, MedGemma)을 포함한 다양한 오픈 소스 모델을 사용하여 다섯 가지 특정 연구 질문(RQ)을 다룹니다. 방법론은 다음과 같습니다:

1. 교차 언어 정확도 비교: 동일한 프롬프트 구조 하에서 아랍어와 영어 입력 간의 성능 차이를 측정합니다.
2. 세밀한 분석: 입력 길이, 교육 난이도(학습 연수), 의료 전문 분야가 성능에 미치는 영향을 조사합니다.
3. 정렬 및 출력 형식: "소프트 매칭(문자 선택)"과 "하드 매칭(자유 형식 텍스트 생성)"을 비교하여 지시 이행 및 표면 형태 생성 능력을 평가합니다.
4. 토큰화 분석: 토큰화 효율성, 파편화율(단어당 토큰 수, 토큰당 문자 수), 단일 문자 토큰의 빈도를 조사합니다.
5. 신뢰성 평가: 모델이 보고한 확신도/설명과 실제 정답 사이의 상관관계를 분석합니다.

주요 기여
본 논문은 세 가지 주요 기여를 합니다:

• 진단 프레임워크: 언어, 출력 형식, 토큰화 동작 및 신뢰도 신호를 가로질러 통제된 분석을 가능하게 하는 교차 언어 진단 평가 프레임워크를 설계했습니다.
• 격리된 경험적 연구: 의료 도메인 콘텐츠를 통제하면서 언어 효과를 격리하기 위해 MedAraBench와 그 영어 대응물을 사용한 최초의 체계적인 연구를 수행했습니다.
• 분리된 발견: 아랍어 성능 저하가 단순히 의료 지식의 부족이 아니라, 표현, 정렬 및 평가 요인의 복합적인 상호작용에 의해 발생함을 식별했습니다.

결과
경험적 분석은 다음과 같은 몇 가지 중요한 결과를 도출합니다:

• 지속적인 성능 격차: 평가된 거의 모든 모델에서 아랍어 정확도는 영어보다 현저히 낮았습니다. 이 격차는 작업 복잡성(예: 의료 학습 연수가 높은 경우)과 자유 형식 생성 시 더욱 심화됩니다. DeepSeek-V3.2는 두 언어 간에 대등한 성능을 보이는 유일한 모델이었습니다. 주목할 점은, 모델의 크기가 크다고 해서 반드시 교차 언어적 성능 저하가 줄어드는 것은 아니라는 점입니다.
• 작업 복잡성 및 길이: 아랍어의 성능 저하는 입력 길이와 난이도에 의해 불균형적으로 영향을 받습니다. 영어 성능은 입력이 길어져도 비교적 안정적으로 유지되는 반면, 아랍어 정확도는 질문 길이가 길어짐에 따라 크게 저하됩니다.
• 출력 형식 민감도: 모델이 문자 기반 옵션을 선택하는 것보다 자유 형식의 텍스트 답변을 생성해야 할 때 성능 격차가 더 커집니다. 아랍어 출력은 정답과의 표면 형태 유사도가 낮게 나타났으며, 이는 지시 이행 및 생성 작업이 언어 특유의 어려움을 증폭시킨다는 것을 시사합니다.
• 토큰화 파편화: 토큰화 분석 결과, 아랍어 의료 텍스트에서 구조적 파편화가 발견되었습니다. 아랍어 입력은 영어에 비해 일관되게 단어당 더 많은 토큰을 필요로 하며, 단일 문자 토큰의 비율이 더 높습니다. 이러한 파편화는 높은 토큰 사용량 및 잠재적인 성능 저하와 상관관계가 있지만, 그 효과가 균일하지는 않습니다. 일부 모델(DeepSeek-V3.2 등)은 파편화에도 불구하고 안정성을 유지했는데, 이는 토큰화가 기여 요인이기는 하나 유일한 요인은 아님을 나타냅니다.
• 신뢰할 수 없는 확신도: 모델이 보고한 확신도와 생성된 설명은 정답 여부와 상관관계가 매우 낮았습니다. 실제로 중간 정도의 음의 상관관계가 관찰되었는데, 즉 확신도가 높은 예측이 오히려 정확도가 낮은 경우가 많았습니다. 이러한 미조정(miscalibration) 현상은 의료 환경에서 확신도 점수가 정답 여부를 판단하는 신뢰할 수 있는 대리 지표가 아님을 시사합니다.

의의
본 논문은 아랍어 의료용 LLM에서 관찰된 성능 격차가 단순히 의료 지식의 부족이나 데이터 희소성의 결과가 아니라고 주장합니다. 대신, 성능 저하는 토큰화 파편화와 같은 언어적 표현 문제, 정렬 제약, 그리고 평가 프로토콜을 포함한 상호작용하는 요인들에 의해 발생합니다. 이 연구는 언어 인지적 설계 및 평가 전략의 필요성을 강조합니다. 저자들은 어떤 특정 요인이 모델의 실패를 주도하는지 이해하지 못한다면, 효과적인 다국어 학습 전략이나 정렬 절차를 설계하기 어렵다고 결론짓습니다. 본 연구는 총체적인 성능 점수를 넘어, 저표집 언어에서 발생하는 LLM 실패의 구체적인 메커니즘을 다루기 위한 기초적인 진단적 접근 방식을 제공합니다.