Left Behind: Cross-Lingual Transfer as a Bridge for Low-Resource Languages in Large Language Models
이 논문은 대규모 언어 모델이 저자원 언어 (카자흐어, 몽골어) 에서 영어 대비 정확도가 현저히 낮으며, 교차 언어 전이 기법이 이원적 아키텍처 모델에는 일부 효과가 있지만 영어 중심 모델에는 무효함을 보여 저자원 언어 커뮤니티의 체계적 소외와 완화 전략의 아키텍처 의존성을 규명했습니다.
AI 는 영어로 대화할 때는 마치 세계적인 요리사처럼 요리를 잘합니다. 하지만 카자흐어나 몽골어처럼 자료가 적은 언어로 주문을 받으면, 요리 실력은 떨어지는데 맛 (말투) 은 여전히 그럴듯한 요리를 내줍니다.
연구진은 8 가지 다른 AI 모델에게 영어, 카자흐어, 몽골어로 50 가지 질문을 던져보았습니다. 질문의 종류는 사실 확인, 추리, 기술적 지식, 그리고 해당 문화에 뿌리 깊은 지식까지 다양했습니다.
📉 2. 주요 발견: "겉은 멀쩡한데 속은 비어있다"
결과가 매우 놀라웠습니다.
점수 차이: 영어로 질문했을 때 점수가 90 점 이상이었다면, 카자흐어나 몽골어로 질문했을 때는 13~17 점이나 떨어졌습니다.
유창성의 함정 (Fluency Illusion): AI 가 내뱉는 말은 문법적으로 완벽하고 자연스러웠습니다. 마치 화려한 포장지에 담긴 음식처럼 보입니다. 하지만 내용 (사실성) 을 따져보면 틀린 정보가 가득했습니다.
비유: "맛있는 냄새는 나는데, 먹으면 배탈이 나는 음식"이라고 생각하시면 됩니다. 사용자는 AI 가 잘하는 줄 알지만, 사실은 엉뚱한 말을 하고 있는 것입니다.
🌉 3. 해결책 시도: "번역 다리 (Cross-Lingual Transfer)"
연구진은 "그럼 AI 가 영어로 생각한 뒤, 다시 번역해서 답하게 하면 어떨까?"라는 아이디어를 시도했습니다. 이를 **'번역 다리'**라고 부르겠습니다.
방법: 질문 (카자흐어) → 영어로 번역 → 영어로 생각/답변 → 다시 카자흐어로 번역.
결과: 이 방법은 모든 AI 에게 효과가 있는 것은 아니었습니다.
영어 중심 AI: 이미 영어로 잘 생각하니까, 굳이 번역 과정을 거치면 오히려 지쳐서 점수가 더 떨어졌습니다. (불필요한 이동)
이중 언어 AI (중국어 + 영어 등): 이 모델들은 번역 다리를 건너면서 점수가 2~4 점 정도 올랐습니다. 마치 약간의 발판이 되어주어 더 잘 생각하게 된 것입니다.
🎭 4. 아이러니한 실패: "다국어 전문가의 실수"
가장 흥미로운 점은 **'Aya Expanse'**라는 모델이었습니다. 이 모델은 "우리는 100 개 이상의 언어를 다 잘합니다!"라고 홍보하며, 특히 튀르크어족 (카자흐어 포함) 을 잘 다룬다고 했습니다.
현실: 영어로는 80 점 이상을 받았지만, 카자흐어 질문에는 15 점, 몽골어 질문에는 4 점이라는 초저조한 점수를 받았습니다.
실수 내용: 이 모델은 카자흐어를 묻는데, 카자흐어와 아주 비슷하지만 다른 '키르기스어'로 답변을 했습니다.
비유: "한국어"로 대답해달라고 했는데, "경상도 사투리"나 "일본어"로 대답하는 것과 비슷합니다. "우리는 다 잘한다"고 했지만, 정작 필요한 언어에서는 엉뚱한 언어를 뱉어낸 것입니다.
💡 5. 결론: "무조건적인 해결책은 없다"
이 연구는 우리에게 중요한 교훈을 줍니다.
현재 AI 는 소수 언어 사용자를 제대로 지원하지 못합니다. 겉보기엔 유창해 보이지만, 내용은 틀린 경우가 많습니다.
해결책은 모델마다 다릅니다. 어떤 모델은 '번역 다리'가 도움이 되지만, 어떤 모델은 도움이 안 됩니다.
단순한 '다국어 지원' 표방은 믿을 수 없습니다. 많은 언어를 지원한다고 광고해도, 정작 그 언어의 문화와 뉘앙스를 제대로 이해하지 못할 수 있습니다.
한 줄 요약:
"지금의 AI 는 영어로는 천재지만, 카자흐어나 몽골어 같은 소수 언어에서는 겉만 번지르르한 초보 요리사입니다. 그리고 모든 AI 에게 똑같은 해결책 (번역하기) 을 적용하는 것은 효과가 없으며, 모델의 성격에 따라 다른 전략이 필요합니다."
이 연구는 앞으로 AI 가 더 공정하게 발전하려면, 단순히 많은 언어를 지원하는 것보다 각 언어의 깊이와 정확성을 검증해야 함을 강조합니다.
1. 연구 배경 및 문제 제기 (Problem)
대형 언어 모델 (LLM) 은 전 세계적으로 광범위하게 배포되고 있지만, 그 성능은 언어 간에 극심한 불평등을 보이고 있습니다. 영어와 같은 고자원 언어 (High-Resource Languages) 는 방대한 학습 코퍼스와 평가 벤치마크를 누리는 반면, 카자흐어 (약 1,900 만 화자) 나 몽골어 (약 600 만 화자) 와 같은 저자원 언어 (Low-Resource Languages, LRLs) 는 상대적으로 소외되어 있습니다.
이러한 비대칭성은 LRL 사용자들에게 다음과 같은 문제를 야기합니다:
정확도 저하: 영어 기반 학습 데이터에 편향된 모델은 LRL 에서 사실적 오류를 많이 발생시킵니다.
유창성의 착시 (Fluency Illusion): 모델은 목표 언어로 자연스럽게 보이는 텍스트를 생성하지만, 내용은 사실과 다르거나 환각 (Hallucination) 일 수 있어 사용자를 오도할 위험이 있습니다.
문화적 지식 부재: 영어 중심의 학습 데이터는 튀르크어족이나 몽골어족의 고유한 문화적 맥락을 반영하지 못합니다.
기존의 해결책으로 제안된 교차 언어 전이 (Cross-Lingual Transfer, CLT) 전략 (질문을 영어로 번역 → 영어로 추론 → 답을 다시 목표 언어로 번역) 이 모든 아키텍처에서 효과적인지 여부는 아직 명확히 검증되지 않았습니다.
2. 연구 방법론 (Methodology)
이 연구는 8 개의 LLM 을 대상으로 카자흐어와 몽골어에서의 성능을 정밀하게 벤치마크했습니다.
벤치마크 구성:
질문: 50 개의 수동 제작 질문 (Fact, Reasoning, Technical, Kazakh-문화, Mongolian-문화 카테고리별 10 개씩).
데이터: 각 질문은 영어, 카자흐어, 몽골어 병렬 버전으로 존재하며, 참조 답변 시트를 통해 다중 정답을 허용했습니다.
총 응답 수: 8 개 모델 × 5 개 실험 조건 × 50 질문 = 2,000 개 응답.
평가 모델 (8 개):
English-First (5 개): Claude Opus 4.5, GPT-5.2, Gemini 3 Pro 등 (영어 코퍼스가 주력).
Multilingual (1 개): Aya Expanse (100 개 이상 언어를 명시적으로 학습).
실험 조건 (5 가지):
C1: 영어 기반 (기준).
C2, C4: 카자흐어/몽골어 직접 프롬프트 (Direct).
C3, C5: 교차 언어 전이 (CLT) 파이프라인 (질문 번역 → 영어 추론 → 답 번역).
평가 지표:
정확도 (Accuracy), 유창성 (Fluency), 완성도 (Completeness) 를 각각 0~2 점으로 평가 (최대 6 점).
유창성 점수: 잘못된 언어 (예: 카자흐어 대신 키르기스어) 로 응답 시 0 점 처리.
3. 주요 결과 (Key Results)
A. 성능 격차 (Performance Gap)
영어 기준 (C1) 평균 점수: 90.7%
저자원 언어 직접 프롬프트 (C2, C4) 평균 점수: 74.0% ~ 76.9%
결론: 영어와 LRL 조건 사이에서 13.8~16.7%p 의 일관된 성능 격차가 존재합니다.
B. 교차 언어 전이 (CLT) 의 효과
CLT 전략은 모델 아키텍처에 따라 효과가 극명하게 달랐습니다.
English-First 모델: CLT 사용 시 성능이 오히려 약간 감소하거나 (-0.7 ~ -1.1%p) 변화가 없었습니다. 내부적으로 이미 영어 표현을 활용하고 있어 추가적인 번역 단계가 불필요하거나 방해가 된 것으로 보입니다.
Bilingual 모델: CLT 를 통해 카자흐어 (+2.2%p), 몽골어 (+4.3%p) 에서 유의미한 성능 향상을 보였습니다. 이는 구조화된 추론 과정이 LRL 내에서의 추론 능력을 보완해 줌을 시사합니다.
Multilingual 모델 (Aya Expanse): 영어에서는 82.3% 를 기록했으나, 카자흐어 (15.7%) 와 몽골어 (4.7%) 에서는 성능이 급락했습니다. 특히 카자흐어 대신 키르기스어를 생성하거나 몽골어를 엉망으로 출력하는 등, "다국어 지원"을 표방함에도 실제 저자원 언어 처리에는 실패했습니다.
C. 유창성의 착시 (The Fluency Illusion)
유창성 (Fluency) 은 영어 대비 LRL 에서 1112.5%p 만 감소한 반면, 정확도 (Accuracy) 는 1316%p 급격히 하락했습니다.
모델은 문법적으로 자연스러운 LRL 텍스트를 생성하지만, 사실적 오류를 포함하고 있어 사용자에게 위험할 수 있습니다.
4. 주요 기여 및 시사점 (Contributions & Significance)
체계적인 벤치마크 제공: 튀르크어족 (카자흐어) 과 몽골어족 (몽골어) 을 포함한 저자원 언어에 대한 2,000 개의 응답을 분석한 최초의 통제된 벤치마크 중 하나입니다.
아키텍처 의존적 CLT 효과 규명: 교차 언어 전이 (CLT) 가 만능 해결책이 아님을 증명했습니다. CLT 는 이중 언어 (Bilingual) 아키텍처에게는 유용한 '발판 (Scaffolding)'이 되지만, 영어 중심 모델이나 다국어 모델에는 효과가 없거나 부정적입니다.
다국어 모델의 한계 지적: 100 개 이상 언어를 지원한다고 명시된 모델조차 인접한 언어 (키르기스어 vs 카자흐어) 를 혼동하거나 저자원 언어에서 완전히 실패할 수 있음을 보여주었습니다. 이는 단순한 학습 데이터 양의 문제가 아니라 언어별 정밀도 (Precision) 의 문제임을 시사합니다.
정책 및 개발 방향성 제시:
저자원 언어 커뮤니티는 현재 LLM 에 의해 체계적으로 소외되고 있음.
보편적인 해결책보다는 모델 아키텍처에 맞는 맞춤형 완화 전략 (예: Bilingual 모델에 CLT 적용) 이 필요함.
향후 연구는 더 많은 튀르크/몽골어족 언어로 확장하고, 프롬프트 전략보다 소규모 LRL 코퍼스를 활용한 타겟 파인튜닝이 더 효과적인지 검증해야 함.
5. 결론
이 연구는 현재 LLM 이 저자원 언어 사용자에게 제공되는 서비스가 불충분하며, 단순한 프롬프트 기법 (CLT) 만으로는 이를 완전히 해결할 수 없음을 보여줍니다. 효과적인 개선을 위해서는 모델의 아키텍처 특성을 고려한 전략적 접근과, 저자원 언어에 대한 전용 학습 및 평가 시스템의 구축이 시급합니다.