💬 NLP

Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance

이 논문은 사전 학습 단계에 언어 간 매핑 작업을 도입하고 언어 정렬 계수를 제안함으로써 데이터 불균형과 편향을 해결하여 다국어 LLM 의 번역 및 이해 성능을 크게 향상시키는 방법을 제시합니다.

원저자: Weihua Zheng, Chang Liu, Zhengyuan Liu, Xin Huang, Kui Wu, Muhammad Huzaifah Md Shahrin, Aiti Aw, Roy Ka-Wei Lee

게시일 2026-04-14

📖 3 분 읽기☕ 가벼운 읽기

원저자: Weihua Zheng, Chang Liu, Zhengyuan Liu, Xin Huang, Kui Wu, Muhammad Huzaifah Md Shahrin, Aiti Aw, Roy Ka-Wei Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"다국어 인공지능 (LLM) 이 서로 다른 언어 사이에서 소통할 때 겪는 어려움을 해결하는 새로운 방법"**을 소개합니다.

비유하자면, 이 논문은 **"세계 각국의 언어를 배우는 인공지능에게 '단순히 외국어 책을 읽게 하는 것'과 '외국어 책을 번역하며 내용을 이해하게 하는 것'을 동시에 가르쳐, 더 똑똑하게 만드는 방법"**을 제안합니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

1. 문제점: "왜 인공지능은 외국어를 잘 못 할까?"

지금까지의 인공지능 (LLM) 은 주로 **영어, 중국어 등 데이터가 풍부한 언어 (고자원 언어)**로만 대량 학습을 받았습니다.

비유: 한 학생이 영어 책만 100 권 읽고, 한국어 책은 1 권만 읽었다고 상상해 보세요. 이 학생은 영어는 유창하지만, 한국어로 된 질문을 받으면 "아, 한국어는 조금만 알지"라며 엉뚱한 답을 하거나 아예 영어로 대답할 수 있습니다.
현실: 인공지능도 비슷합니다. 데이터가 적은 언어 (저자원 언어) 에서는 성능이 떨어지고, 서로 다른 언어 사이를 오가며 정보를 전달할 때 (예: 영어 질문을 받고 한국어로 답변하기) 어색하거나 틀린 말을 자주 합니다.

2. 기존 방법의 한계: "번역기를 따로 붙이는 것"

기존 연구자들은 "번역 데이터를 많이 주면 되겠지"라고 생각했습니다. 하지만 이는 두 가지 문제가 있었습니다.

데이터 부족: 완벽한 번역 데이터 (병렬 코퍼스) 는 구하기 어렵고 비쌉니다.
불안정성: 번역만 시키면, 오히려 원래 언어 (예: 영어) 를 잘 쓰던 능력이 떨어지거나 (망각 현상), 번역이 너무 기계적으로만 되어 자연스러움이 사라집니다.

3. 이 논문의 해결책: "이중 학습 (Cross-Lingual Mapping)"

저자들은 인공지능을 훈련할 때 두 가지 일을 동시에 시켰습니다.

일과 1: 다음 단어 예측 (NTP)
- 비유: "오늘 날씨 좋아. 내일도 ( ) 가 좋겠지?"라고 했을 때, 빈칸을 채우는 연습입니다. 이는 인공지능이 각 언어를 유창하게 구사하게 합니다.
일과 2: 교차 언어 매핑 (CL Task)
- 비유: "영어로 된 이야기를 듣고, 그 내용을 이해한 뒤 바로 한국어로 다시 말해봐"라는 훈련입니다.
- 핵심: 단순히 단어를 바꾸는 게 아니라, 영어의 '의미'와 한국어의 '의미'가 뇌 (모델) 안에서 서로 연결되도록 훈련시킵니다. 마치 두 언어가 서로 통하는 '공통의 언어'를 만들어내는 것과 같습니다.

이 방법을 통해 인공지능은 원래 언어 능력은 유지하면서, 다른 언어 사이를 넘나드는 능력까지 자연스럽게 습득하게 됩니다.

4. 새로운 측정 도구: "언어 정렬 계수 (LAC)"

"우리가 만든 방법이 정말 효과가 있을까?"를 확인하기 위해 저자들은 새로운 자를 만들었습니다.

비유: 두 언어의 의미가 얼마나 잘 맞는지 측정할 때, 단순히 "비슷한가?"만 보면 안 됩니다. "어떤 부분에서는 비슷하고, 어떤 부분에서는 엉뚱한가?"를 모두 봐야 합니다.
LAC: 이 도구는 언어 간의 연결이 얼마나 일관되고 튼튼한지 (일정하게 잘 맞는지) 측정합니다. 데이터가 적어도 정확한지 확인해 주는 '정밀한 자' 역할을 합니다.

5. 결과: "기적 같은 성과"

이 방법으로 훈련된 인공지능은 다음과 같은 놀라운 결과를 보였습니다.

번역 (MT): 번역 점수가 기존 모델보다 최대 11.9 점이나 올랐습니다. (예: 영어를 한국어로 번역할 때 훨씬 자연스러워짐)
질문 답변 (CLQA): "영어로 된 글을 읽고 한국어로 답하라"는 질문에 정답을 맞히는 비율이 크게 향상되었습니다.
요약 (CLSum): 긴 글을 요약할 때도 핵심을 잘 잡아냈습니다.

6. 결론: "왜 이 방법이 중요한가?"

이 논문은 **"인공지능에게 외국어를 가르칠 때, 번역만 시키는 게 아니라 '의미의 연결'을 직접 학습시키는 것이 핵심"**임을 증명했습니다.

마무리 비유: 이전까지 인공지능은 "외국어 단어장"을 외우는 수준이었다면, 이 새로운 방법은 인공지능이 **"세계 각국의 문화와 생각을 연결하는 다리를 직접 건설"**하게 한 것입니다. 덕분에 데이터가 적은 언어를 쓰는 사람들도 이제 더 똑똑하고 정확한 인공지능의 도움을 받을 수 있게 되었습니다.

한 줄 요약:

"데이터가 부족한 언어도 걱정하지 마세요! 인공지능이 여러 언어의 '의미'를 서로 연결하는 훈련을 통해, 이제 어떤 언어로 물어봐도 똑똑하고 자연스러운 답을 해줍니다."

1. 연구 배경 및 문제 정의 (Problem)

다국어 대규모 언어 모델 (Multilingual LLMs) 은 고자원 언어 (High-resource languages) 와 저자원 언어 (Low-resource languages) 간의 데이터 불균형과 프리트레이닝 (Pre-training) 단계의 단일 언어 편향 (Monolingual bias) 으로 인해 교차 언어 (Cross-lingual) 작업에서 성능 저하를 겪고 있습니다.

주요 한계: 기존 모델은 고자원 언어에 치중된 코퍼스로 인해 저자원 언어의 일반화 능력이 부족하며, 기계 번역 (MT) 및 교차 언어 요약 (CLSum) 과 같은 작업에서 의미의 정확성과 언어적 일관성을 유지하기 어렵습니다.
기존 방법의 문제점: 이중 언어 파인튜닝 (Bilingual fine-tuning) 이나 대비 학습 (Contrastive alignment) 과 같은 기존 접근법은 방대한 병렬 데이터가 필요하거나, 불안정성이 있으며, 특히 디코더 전용 (Decoder-only) LLM 에서는 효과적으로 적용하기 어렵다는 한계가 있었습니다.

2. 제안된 방법론 (Methodology)

저자들은 모델의 단일 언어 유창성을 해치지 않으면서 교차 언어 정렬을 강화하기 위해 프리트레이닝 단계에 '교차 언어 매핑 (Cross-Lingual Mapping, CL) 태스크'를 통합하는 새로운 접근법을 제안합니다.

가. 교차 언어 매핑 (CL) 태스크

개념: 단일 언어의 다음 토큰 예측 (Next-Token Prediction, NTP) 과 병행하여, 소스 언어 시퀀스를 입력으로 받아 타겟 언어 시퀀스를 생성하는 태스크를 수행합니다.
차별점: 기존 번역 태스크와 달리 명시적인 지시문 (Instruction) 이나 인코더 - 디코더 구조를 사용하지 않습니다. 대신 디코더 전용 아키텍처 내에서 소스 언어의 임베딩을 기반으로 타겟 언어 토큰을 예측함으로써, 모델이 암묵적으로 언어 간 의미적 대응 관계를 학습하도록 유도합니다.
최적화: NTP 손실과 CL 손실을 결합한 **연속 프리트레이닝 (Continued Pre-training)**을 수행하여 모델이 고자원 언어의 유창성을 유지하면서 저자원 언어 간의 정렬을 학습하게 합니다.

나. 언어 정렬 계수 (Language Alignment Coefficient, LAC)

목적: 다국어 모델의 교차 언어 일관성을 정량적으로 평가하기 위한 새로운 지표입니다.
정의: 선택된 레이어들에서 추출한 문장 임베딩 간의 평균 코사인 유사도를 그 유사도 값들의 표준편차로 나눈 값입니다.
- 수식: $LAC = \frac{\text{Mean Cosine Similarity}}{\text{Std Dev of Similarities}}$
장점: 기존 평균 유사도 지표는 이상치나 데이터 부족에 민감할 수 있으나, LAC 는 유사도의 강도와 안정성 (분산) 을 모두 고려하여 저자원 시나리오에서도 더 견고한 평가를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

프리트레이닝 기반 CL 태스크 제안: 명시적인 교차 언어 정렬을 모델 학습 과정에 통합하여, 병렬 데이터에 의존하지 않고도 강력한 다국어 표현을 학습할 수 있는 새로운 프레임워크를 제시했습니다.
LAC 지표 개발: 교차 언어 일관성을 정량화하는 새로운 메트릭을 도입하여, 제한된 데이터 환경에서도 모델의 정렬 안정성을 신뢰성 있게 평가할 수 있게 했습니다.
광범위한 평가 프레임워크: 기계 번역 (MT), 교차 언어 자연어 이해 (CLNLU), 교차 언어 질문 응답 (CLQA), 교차 언어 요약 (CLSum) 등 다양한 태스크에 걸쳐 포괄적인 평가를 수행했습니다.
성능 입증: Llama-3-8B 및 BLOOM-3B 모델을 기반으로 한 실험을 통해 제안된 방법이 강력한 베이스라인 (Supervised Fine-Tuning 적용 모델) 대비 유의미한 성능 향상을 보임을 입증했습니다.

4. 실험 결과 (Results)

실험은 Llama-3-8B 와 BLOOM-3B 모델을 기반으로 진행되었으며, 주요 결과는 다음과 같습니다.

기계 번역 (MT):
- WMT 및 Flores 데이터셋에서 최대 11.9 BLEU 점수 향상을 기록했습니다.
- 특히 저자원 언어 쌍 (예: Czech-Ukrainian) 에서 기존 방법 대비 큰 폭의 개선을 보였습니다.
교차 언어 질문 응답 (CLQA):
- XQuAD 데이터셋에서 BERTScore-Precision 이 6.72 포인트 증가했습니다.
- 오픈 도메인 질문 응답 (Open-ended QA) 평가에서 Claude 3.5 를 활용한 인간 유사 평가에서 가장 높은 순위 (Top 1) 를 차지하며 문맥 이해력과 생성 품질이 우수함을 입증했습니다.
교차 언어 자연어 이해 (CLNLU):
- Belebele 데이터셋에서 5% 이상의 정확도 향상을 보였습니다.
단일 언어 성능 유지:
- 교차 언어 능력을 향상시켰음에도 불구하고, 영어 등 고자원 언어의 단일 언어 작업 (MMLU, LogiQA 등) 에서 성능 저하가 없거나 오히려 미세하게 향상되는 것을 확인했습니다. 이는 '재앙적 망각 (Catastrophic Forgetting)'이 방지되었음을 의미합니다.
LAC 분석:
- 제안된 모델 (Llama_CL) 은 다른 변형 모델들보다 레이어 간 유사도 분산이 작아 더 안정적인 언어 정렬을 보였습니다.

5. 의의 및 결론 (Significance)

프리트레이닝 패러다임의 전환: 교차 언어 정렬을 사후 (Post-hoc) 파인튜닝이 아닌 프리트레이닝 단계의 핵심 목표로 통합함으로써, 모델이 언어 간 경계를 자연스럽게 넘나드는 표현 공간을 학습하도록 했습니다.
저자원 언어 지원: 병렬 코퍼스가 부족한 상황에서도 효과적인 교차 언어 학습이 가능함을 증명하여, 저자원 언어를 포함한 다국어 LLM 의 접근성을 높였습니다.
유연성과 일반화: 명시적인 번역 지시문에 의존하지 않는 방식으로 학습되었기 때문에, 번역뿐만 아니라 요약, 질문 응답 등 다양한 교차 언어 태스크에 대한 뛰어난 일반화 능력을 보여줍니다.

이 연구는 다국어 LLM 의 성능 격차를 해소하고, 단일 언어 유창성과 교차 언어 능력을 동시에 극대화할 수 있는 효과적인 전략을 제시했다는 점에서 의의가 큽니다.