💬 NLP

Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality

이 논문은 사전 학습된 번역 모델을 외부 구성 요소로 활용하여 LLM 의 다국어 이해 및 생성 능력을 확장하면서도 핵심 지식 처리는 영어 기반 LLM 에 맡기는 'XBridge'라는 아키텍처를 제안하고, 경량 매핑 계층과 최적 수송 기반 정렬 기법을 통해 저자원 및 미확인 언어에서의 성능을 크게 향상시켰음을 보여줍니다.

원저자: Mengyu Bu, Yang Feng

게시일 2026-03-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mengyu Bu, Yang Feng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **'XBridge'**라는 새로운 기술을 소개합니다. 이 기술을 쉽게 이해하기 위해 몇 가지 비유를 들어 설명해 드릴게요.

🌍 핵심 아이디어: "전문가 팀을 꾸리는 것"

지금까지의 거대 언어 모델 (LLM, 예: LLaMA, Qwen 등) 은 영어 실력은 천재지만, 다른 언어 (특히 스와힐리어나 방글라데시어 같은 소수 언어) 를 할 때는 아주 서툴거나 아예 못 하는 경우가 많았습니다. 마치 영어를 유창하게 하는 천재 수학자가 있지만, 외국어는 전혀 못 해서 외국인과 대화할 때 막히는 상황과 비슷합니다.

반면, 기계 번역 모델 (NMT) 은 수백 개 언어를 능숙하게 다루지만, 복잡한 추론이나 논리적 사고는 약합니다. 마치 통역사는 모든 언어를 잘 하지만, 수학 문제를 풀거나 복잡한 이야기를 지어내는 건 못 하는 상황입니다.

XBridge는 이 두 가지 장점을 합쳐서 최고의 팀을 꾸리는 방법입니다.

🏗️ XBridge 의 작동 원리: "건축가, 통역사, 그리고 설계도"

이 시스템은 세 가지 역할을 나누어 수행합니다.

통역사 (인코더):
- 사용자가 "스와힐리어로 질문해"라고 하면, 이 통역사가 그 말을 영어의 의미로 바꿔서 전달합니다.
- 비유: 외국인이 말한 것을 이해할 수 있는 영어로 번역해 주는 역할입니다.
천재 건축가 (LLM, 고정됨):
- 번역된 영어 의미를 받아 가장 중요한 사고 과정을 수행합니다. "지구는 둥글까? 네, 둥글다. 왜냐하면..." 같은 논리를 영어로 완벽하게 구상합니다.
- 중요한 점: 이 천재 건축가는 기존에 훈련된 그대로 사용합니다. 다시 가르치지 않아도 됩니다. (재훈련 불필요!)
설계도 번역가 (디코더):
- 천재 건축가가 구상한 영어 답변을, 사용자가 원하는 원래 언어 (스와힐리어 등) 로 다시 번역해서 출력합니다.
- 비유: 건축가가 그린 영어 설계도를, 현지 언어로 된 완성된 집으로 만들어주는 역할입니다.

🌉 왜 'XBridge'라고 부를까요?

기존에는 통역사와 건축가 사이에 언어 장벽이 있었습니다. 통역사가 영어로 말해도 건축가가 그걸 제대로 이해하지 못하거나, 건축가가 영어로 답을 해도 통역사가 그걸 다른 언어로 자연스럽게 바꾸지 못했습니다.

XBridge는 이 두 사람 사이에 **가교 (Bridge)**를 놓아줍니다.

가교의 역할: 통역사의 말과 건축가의 생각, 그리고 다시 번역가의 말 사이의 의미가 정확히 일치하도록 맞춰주는 기술입니다.
최적 수송 (Optimal Transport) 기술: 이는 마치 퍼즐 조각을 맞추는 것과 같습니다. 단어의 개수가 다르거나 표현이 달라도, "이 단어는 저 단어와 의미가 같다"는 것을 수학적으로 찾아내어 완벽하게 연결해 줍니다.

🚀 이 기술이 가져오는 변화

저비용, 고효율: 거대 언어 모델 (LLM) 을 처음부터 다시 가르칠 필요가 없습니다. 이미 있는 천재 건축가 (LLM) 에게 통역사 (번역 모델) 만 붙여주면 됩니다.
소수 언어의 비약적 성장: 영어는 잘하지만 다른 언어는 못 하던 모델이, 이제 스와힐리어, 방글라데시어 등 어떤 언어든 자연스럽게 대화할 수 있게 됩니다.
언어 선택의 자유 (Language on Demand): 사용자는 "이 답변을 스와힐리어로 해줘"라고만 하면, 모델은 영어로 사고한 뒤 스와힐리어로 출력합니다. 언어만 바꿀 뿐, 사고의 깊이는 그대로 유지됩니다.

💡 한 줄 요약

**"영어 실력은 천재지만 외국어는 서툰 AI 에게, 수백 개 언어를 잘하는 통역사를 붙여주어, 어떤 언어로도 똑똑하게 대화하게 만든 기술"**입니다.

이제 AI 는 특정 언어에 갇히지 않고, 전 세계 모든 언어로 지식을 나눌 수 있는 진정한 글로벌 시민이 되었습니다.

1. 연구 배경 및 문제 정의 (Problem)

LLM 의 다국어 불균형: 대규모 언어 모델 (LLM) 은 강력한 일반 지능과 추론 능력을 보이지만, 다국어 성능은 매우 불균형합니다. 영어 및 고자원 언어에서는 탁월한 성능을 발휘하지만, 저자원 언어 (Low-resource) 나 보지 못한 언어 (Unseen languages) 에서는 신뢰할 수 있는 이해나 생성이 어렵습니다.
지식과 표현의 괴리: LLM 은 통합된 의미 공간에 방대한 교차 언어 지식을 보유하고 있음에도 불구하고, 이를 다양한 언어의 표현 공간 (Representation space) 과 연결하는 데 어려움을 겪습니다.
기존 접근법의 한계:
- 데이터 레벨 증강: 번역된 데이터를 사용하여 LLM 을 재학습시키는 방식은 번역 노이즈를 유발하고, 고자원 언어 성능을 저하시킬 수 있으며, 계산 비용이 큽니다.
- 인코더 증강 (Encoder-augmented): 기존 연구들은 다국어 인코더를 LLM 입력에 주입하여 이해 능력을 향상시켰으나, 생성 (Generation) 단계는 여전히 LLM 의 기본 언어 (주로 영어) 에 의존하여 다국어 생성이 제한적이었습니다.
- 구조적 문제: 인코더와 디코더가 통합된 NMT(신경 기계 번역) 모델 사이에 고정된 (Frozen) LLM 을 삽입할 경우, LLM 의 출력 공간과 NMT 디코더가 기대하는 입력 공간 간의 의미적 불일치 (Semantic Misalignment) 가 발생합니다.

2. 제안 방법론: XBridge (Methodology)

저자들은 XBridge라는 새로운 아키텍처를 제안합니다. 이는 사전 학습된 인코더 - 디코더 기반의 다국어 NMT 모델과 LLM 을 조합하여 확장 가능한 다국어 능력을 구현하는 컴포지셔널 (Compositional) 프레임워크입니다.

2.1 아키텍처 구조

XBridge 는 인코더-LLM-디코더 (Encoder-LLM-Decoder) 구조를 채택합니다.

다국어 인코더 (Multilingual Encoder): 입력된 다양한 언어의 텍스트를 공유된 의미 공간으로 매핑하여 강력한 표현을 생성합니다.
고정된 LLM (Frozen LLM): 영어 중심의 핵심 지식 처리 및 추론을 담당합니다. LLM 은 재학습되지 않으며, 지식의 핵심 (Core) 으로 작용합니다.
다국어 디코더 (Multilingual Decoder): LLM 의 처리 결과를 받아 목표 언어로 텍스트를 생성합니다.
가벼운 매핑 레이어 (Lightweight Mapping Layers): 인코더와 LLM, LLM 과 디코더 간의 이질적인 표현 공간을 연결하기 위해 경량 MLP(멀티 레이어 퍼셉트론) 를 사용합니다.

2.2 최적 수송 기반 정렬 (Optimal Transport-based Alignment)

LLM 의 출력과 NMT 디코더 간의 토큰 수준 의미 불일치를 해결하기 위해 최적 수송 (Optimal Transport, OT) 기반 정렬 목표를 도입했습니다.

문제: 서로 다른 토크나이저 (Tokenizer) 로 인해 시퀀스 길이가 다르고, 표현 공간이 이질적입니다.
해결: LLM 이 생성한 영어 시퀀스를 다시 NMT 인코더로 인코딩한 결과 ( $H_z$ ) 와, LLM 은디코더 매핑을 거친 결과 ( $\tilde{H}_{z'}$ ) 간의 소프트 매칭 (Soft Matching) 을 OT 알고리즘을 통해 수행합니다.
효과: 토큰 길이 불일치에 강인하며, 이질적인 표현 공간 간의 미세한 의미 일관성을 보장하여 다국어 생성 품질을 높입니다.

2.3 3 단계 학습 전략 (Three-Stage Training Strategy)

LLM 을 고정 (Frozen) 하고 안정적으로 최적화하기 위해 3 단계 학습을 수행합니다.

Stage 1 (Cross-Model Mapping): 삼국어 번역 데이터 ( $x \to z \to y$ ) 를 사용하여 인코더, LLM, 디코더 간의 거시적 의미 정렬을 수행합니다. (매핑 레이어 및 디코더 어텐션 학습)
Stage 2 (Encoder-Side Adaptation): 인코더 측 매핑 레이어만 미세 조정하여 LLM 이 다국어 입력을 어떻게 태스크 수행에 활용하는지 학습시킵니다. (LLM 생성 손실 최적화)
Stage 3 (Decoder-Side Adaptation): 디코더 측 매핑 레이어와 OT 정렬 손실을 함께 최적화하여 다국어 생성 품질을 향상시킵니다.

3. 주요 기여 (Key Contributions)

컴포지셔널 다국어 프레임워크: LLM 을 재학습시키지 않고, 외부 NMT 모델의 다국어 능력을 "플러그인" 방식으로 활용하여 확장 가능한 다국어 이해 및 생성을 가능하게 했습니다.
표현 정렬 기법: 고정된 LLM 과 NMT 모델 간의 이질적인 표현 공간을 연결하기 위해 최적 수송 (OT) 기반의 토큰 수준 정렬 목표를 제안하여 의미적 일관성을 확보했습니다.
효율적인 학습 전략: LLM 을 고정하고 경량 매핑 레이어와 디코더만 학습함으로써, 추가 파라미터와 데이터는 최소화하면서도 LLM 의 핵심 추론 능력을 유지했습니다.
언어 온 디맨드 (Language-on-Demand): 재학습 없이도 목표 언어 토큰을 지정하여 임의의 언어로 유연하게 출력을 생성할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MetaMath-7B, LLaMA3-8B, Aya-23-8B, Qwen2.5-7B 등 4 개의 다양한 LLM 을 기반으로 실험을 수행했습니다.

다국어 번역 (FLORES-101): XBridge 는 저자원 언어 (방글라데시어, 스와힐리어 등) 에서 기존 LLM 기반 베이스라인 (MindMerger, LayAlign 등) 을 크게 상회하며, 외부 NMT 모델 (NLLB-200) 에 근접하는 성능을 달성했습니다.
다국어 추론 (MGSM): 인코더 적응 (Stage 2) 을 통해 LLM 의 다국어 이해력이 향상되었고, 디코더 적응 (Stage 3) 을 통해 생성된 답변의 정확도가 영어 기반 추론과 유사한 수준을 유지했습니다.
다국어 요약 (XL-Sum): XBridge 는 SFT(지도 미세조정) 기반 베이스라인보다 평균 성능이 우수하며, 특히 다국어 생성이 어려운 언어에서 큰 개선을 보였습니다.
일반화 능력: 학습에 사용되지 않은 42 개의 언어에서도 NLLB 모델과 유사한 성능을 보이며, 모델이 특정 언어에 과적합되지 않고 언어 중립적인 의미 전달을 학습했음을 입증했습니다.
효율성: LLM 전체를 재학습하는 SFT 대비 학습 및 추론 비용이 낮으며, 캐스케이드 번역 시스템 (Translate-Test) 보다 빠르고 정확합니다.

5. 의의 및 결론 (Significance)

지식 중심의 다국어 확장: LLM 의 강력한 추론 능력을 유지하면서, 외부 NMT 모델의 다국어 능력을 결합함으로써 "지식은 영어 중심 (Core), 언어는 온 디맨드 (On-Demand)"라는 패러다임을 제시했습니다.
저자원 언어 지원: 고비용의 대규모 다국어 데이터 수집 및 LLM 재학습 없이도 저자원 언어의 성능을 획기적으로 개선할 수 있는 실용적인 솔루션을 제공합니다.
구조적 유연성: 다양한 LLM 백본과 다양한 NMT 모델 (NLLB, M2M100 등) 과의 호환성을 보여주어, 이 프레임워크가 다양한 모델 조합에 적용 가능한 범용 아키텍처임을 입증했습니다.

결론적으로, XBridge 는 LLM 의 다국어 불균형 문제를 해결하기 위해 모델 구성 (Model Composition) 과 정교한 표현 정렬 (Representation Alignment) 을 결합한 혁신적인 접근법으로, 향후 다국어 LLM 개발에 중요한 방향성을 제시합니다.