이 논문은 **"영어만 잘하면 된다는 생각은 틀렸다"**는 놀라운 결론을 내리는 연구입니다. 인공지능 (LLM) 이 여러 언어를 배우는 과정에서 어떤 일이 일어나는지, 마치 요리사와 레시피에 비유해서 쉽게 설명해 드릴게요.
🍳 핵심 비유: "영어만 요리하는 요리사 vs 세계 요리 요리사"
지금까지 인공지능을 가르칠 때, 대부분의 연구자들은 "영어라는 재료만 엄청나게 많이 넣어서 요리 (학습) 를 시켰습니다." 그 결과, 영어는 아주 잘하지만 다른 언어 (스페인어, 힌디어, 스와힐리어 등) 로 말하면 엉뚱한 대답을 하거나 아예 못 하는 경우가 많았죠.
이 논문은 **"영어만 넣지 말고, 다양한 언어의 재료를 조금씩 섞어주면 어떨까?"**라고 궁금해하며 실험을 진행했습니다.
🔍 실험 내용: 220 번의 요리 시연
연구진들은 220 번의 실험을 했습니다.
요리사 (모델): 0.6 억 개부터 80 억 개까지 다양한 크기의 뇌를 가진 인공지능들 (Qwen, Gemma).
요리 재료 (데이터): 수학 문제와 "앱을 호출하는 방법" 같은 두 가지 종류의 과제.
실험 방식:
영어만 넣어서 요리하기.
영어 + 다른 언어 1 개 섞어서 요리하기.
영어 + 다른 언어 9 개까지 섞어서 요리하기.
이때, 각 언어의 양을 똑같이 맞춰서 "단순히 데이터 양이 많아서 잘하는 건지, 언어가 다양해서 잘하는 건지"를 정확히 구분했습니다.
💡 놀라운 발견 3 가지
1. "영어만 먹으면 배가 고파요" (영어만 학습하는 건 비효율적)
기존에는 "영어 데이터를 줄이고 다른 언어를 넣으면 영어 실력이 떨어지지 않을까?"라고 걱정했습니다. 하지만 결과는 정반대였습니다.
비유: 요리사가 영어 레시피만 보고 요리하면, 그 레시피를 완벽하게 외우지만 다른 나라 손님에게는 요리를 못 해줍니다. 하지만 다른 나라 레시피를 하나라도 섞어주면, 오히려 영어 레시피를 더 깊이 이해하게 되어 영어 실력까지 더 좋아집니다.
결론: 영어만 학습하는 것은 '최적의 방법'이 아닙니다. 비영어권 언어를 하나라도 섞어주는 것만으로도 모든 언어 (영어도 포함) 의 실력이 올라갑니다.
2. "작은 요리사는 혼란스러워하지만, 큰 요리사는 행복해해요" (모델 크기의 영향)
작은 모델 (0.6B~1B): 재료가 너무 다양해지면 (언어가 4~5 개 이상), 요리사가 혼란스러워져서 실수가 조금 늘어날 수 있습니다. 마치 초보 요리사가 너무 많은 레시피를 한 번에 보며 당황하는 것과 같습니다.
큰 모델 (4B~8B): 뇌가 충분히 크면, 재료가 다양해질수록 실력이 계속 오릅니다. 특히 **자원이 부족한 언어 (스와힐리어, 벵골어 등)**는 영어보다 훨씬 더 큰 혜택을 받습니다. 마치 가난한 마을에 좋은 식재료를 보내주면 그 마을의 요리 실력이 비약적으로 상승하는 것과 같습니다.
3. "다양한 언어를 배우면, 직접 가르치지 않아도 통한다" (제로샷 전이)
이게 가장 흥미로운 부분입니다.
상황: "스페인어"로 직접 가르치지 않았는데, "영어, 프랑스어, 독일어, 중국어" 등 다양한 언어를 섞어서 가르쳤을 때, 모델이 스페인어도 잘하게 될까요?
결과:
고급 언어 (스페인어, 일본어 등): 네! 잘합니다. 다양한 언어를 배우면서 언어의 '구조'와 '원리'를 깨우쳤기 때문에, 직접 배우지 않은 언어도 잘 해냅니다. 마치 여러 나라의 문법 원리를 익힌 사람이 새로운 언어를 금방 배우는 것과 같습니다.
저급/다른 계열 언어: 완전히 완벽하진 않지만, 그래도 영어만 배운 것보다는 훨씬 낫습니다.
🌟 요약: 이 연구가 우리에게 주는 메시지
영어는 전부가 아닙니다: 인공지능을 영어로만 훈련시키는 것은 비효율적이고, 오히려 영어 실력까지 제한할 수 있습니다.
다양성이 힘입니다: 영어에 다른 언어를 조금만 섞어도, 모델의 전반적인 지능 (추론 능력, 도구 사용 능력) 이 향상됩니다.
작은 언어를 소홀히 하지 마세요: 자원이 부족한 언어일수록 다양한 언어 학습을 통해 가장 큰 혜택을 봅니다.
큰 모델일수록 유리합니다: 인공지능이 충분히 커지면, 여러 언어를 동시에 배워도 서로 방해하지 않고 서로 도움을 주며 성장합니다.
한 줄 결론:
"인공지능에게 영어만 가르치지 말고, 세계 각국의 언어를 조금씩 섞어주면, 그 모델은 영어도 더 잘하고 다른 언어도 더 잘하게 됩니다. 다양성이 곧 지능의 핵심입니다."
1. 연구 배경 및 문제 제기 (Problem)
대형 언어 모델 (LLM) 은 전 세계적으로 광범위하게 배포되고 있지만, 모델의 성능을 최종적으로 다듬는 후기 학습 (Post-training, SFT) 파이프라인은 여전히 영어 중심으로 구성되어 있습니다. 이로 인해 다양한 언어 간에 심각한 성능 격차가 존재합니다.
기존 연구들은 소량의 영어 데이터를 다국어 데이터로 대체하거나 추가하는 방식의 결과를 보고했으나, 다음과 같은 한계가 있었습니다:
제한된 범위: 소수의 언어, 작업, 모델 규모에 국한되어 있어 다국어 학습의 체계적인 영향을 파악하기 어려움.
** Trade-off 불명확:** 영어 성능과 비영어 성능 간의 균형, 작업 유형 (추론 vs 구조화 생성), 모델 용량에 따른 상충 관계 (Trade-off) 가 명확하지 않음.
다국어의 저주 (Curse of Multilinguality): 고정된 모델 용량 하에서 언어 범위를 확장하면 고자원 언어의 성능이 저하될 수 있다는 기존 우려가 후기 학습 단계에서도 어떻게 나타나는지 불분명함.
2. 연구 방법론 (Methodology)
이 연구는 언어 범위, 모델 규모, 작업 도메인 간의 상호작용을 체계적으로 분석하기 위해 220 회의 통제된 실험을 수행했습니다.
데이터 구성:
작업: 수학적 추론 (Mathematical Reasoning) 과 API 호출 (API Calling) 두 가지 작업.
언어: 총 11 개 언어 (영어, 스페인어, 일본어, 벵골어, 스와힐리어 등). 이 중 5 개는 핵심 평가 언어로, 나머지 6 개는 다양성을 높이기 위해 학습 혼합물에 추가되었습니다.
데이터 병렬성: 모든 언어의 데이터는 영어 기반 작업을 병렬 번역 (Parallel Translation) 하여 생성되었으며, 데이터 양을 동일하게 유지하여 언어 다양성의 효과만을 격리하여 측정했습니다.
혼합 비율 (Mixtures): 2 개 언어 (영어 + 1 개) 에서 최대 10 개 언어까지 점진적으로 언어 수를 늘리는 22 가지 데이터 혼합물을 구성했습니다.
모델 아키텍처:
Qwen-3: 0.6B, 1.7B, 8B 파라미터.
Gemma-3: 1B, 4B 파라미터.
총 5 개의 모델을 두 가지 작업과 22 가지 데이터 혼합물에 적용하여 총 220 회 학습 실행.
평가:
학습에 사용된 언어뿐만 아니라 학습에 포함되지 않은 언어 (Telugu 등) 에 대한 제로샷 (Zero-shot) 일반화 능력도 평가했습니다.
3. 주요 기여 및 발견 (Key Contributions & Results)
가. 다국어 확장 (Multilingual Scaling) 의 전반적 이점
성능 향상 또는 유지: 학습 언어의 범위를 늘리는 것은 대부분의 작업과 모델 규모에서 성능을 향상시키거나 유지했습니다.
저자원 언어의 혜택: 저자원 언어 (Low-resource languages) 는 다국어 학습이 추가될수록 지속적으로 성능이 향상되었습니다.
고자원 언어의 안정성: 고자원 언어는 성능이 저하되지 않고 '평탄화 (Plateauing)'되는 경향을 보였습니다. 즉, 다국어 학습이 영어 성능을 해치지 않았습니다.
예외: 1B 미만의 매우 작은 모델 (Qwen-3 0.6B) 의 경우, API 호출 작업에서 언어가 너무 많아지면 (약 5 개 이상) 성능이 약간 저하되는 '용량 기반 간섭' 현상이 관찰되었습니다.
나. 최소한의 다국어성도 효과적 (Even Minimal Multilinguality Helps)
영어 전용 학습의 비최적성: 영어만 학습하는 것보다 영어 + 비영어 언어 1 개를 학습하는 것만으로도 모든 언어 (영어 포함) 의 성능이 향상되었습니다.
교차 언어 일반화: 학습에 포함되지 않은 언어에서도 성능이 개선되었으며, 이는 다국어 데이터가 모델의 표현력을 강화하여 교차 언어 전이 (Cross-lingual Transfer) 를 촉진하기 때문입니다.
통계적 우위: 이진 (Bilingual) 학습은 영어 전용 학습보다 75% 이상의 설정에서 더 높은 정확도를 기록했습니다.
다. 높은 다양성이 직접 포함을 대체할 수 있음 (High Diversity Enables Zero-shot Transfer)
직접 노출 vs 제로샷 전이: 학습 언어의 다양성이 충분히 높을 때 (예: 6~9 개 언어), 학습에 평가 언어가 직접 포함되지 않더라도 제로샷 교차 언어 전이 성능이 해당 언어를 직접 학습한 경우와 비슷하거나 더 뛰어났습니다.
언어별 차이:
고자원 언어: 높은 다양성 하에서 제로샷 전이가 직접 학습을 대체할 수 있었습니다.
저자원/형질적 거리 먼 언어: 직접적인 학습 데이터 포함이 여전히 더 유리했습니다.
영어 성능: 영어는 학습 데이터의 주류 언어임에도 불구하고, 다른 언어의 다양성이 증가할수록 영어 추론 및 생성 성능이 추가로 향상되었습니다.
라. 회귀 분석 (Pooled Regression)
모델 크기, 작업 유형, 직접 언어 포함 여부 등을 통제한 후에도 학습 언어의 범위 (Coverage) 가 성능에 유의미한 양의 상관관계를 보였습니다 (β=0.053). 이는 다국어 학습의 이점이 단순히 '직접적인 언어 노출' 때문만이 아님을 입증합니다.
4. 의의 및 결론 (Significance & Conclusion)
영어 중심 학습의 한계 극복: "영어만 있으면 된다"는 가설은 틀렸습니다. 영어 전용 후기 학습은 비효율적이며, 최소한의 다국어 데이터 추가만으로도 전 세계 언어의 성능을 종합적으로 향상시킬 수 있습니다.
실용적 가이드라인:
저자원 언어: 다국어 학습을 통해 큰 혜택을 볼 수 있습니다.
고자원 언어: 성능 저하 없이 안정적으로 유지됩니다.
전략: 특정 언어를 학습 데이터에 직접 포함시키기 어렵더라도, 다양한 언어로 구성된 데이터 풀을 학습하면 제로샷 전이를 통해 해당 언어의 성능을 확보할 수 있습니다.
모델 설계 시사점: 모델 용량이 충분하다면 (1B 이상), 후기 학습 단계에서 언어 다양성을 높이는 것은 비용 대비 효율이 매우 높은 전략입니다.
이 연구는 다국어 LLM 의 후속 학습 파이프라인을 설계할 때, 단순히 영어 데이터를 유지하는 것보다 체계적인 다국어 데이터 혼합이 필수적임을 입증했습니다.