💬 NLP

ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection

이 논문은 강화학습 과정에서 사고 언어 선택을 온-폴리시 행동으로 도입하여 탐험과 활용을 동시에 개선함으로써, 단일 영어 학습보다 우수한 성능과 다국어 사고 준수성을 달성하는 'ExpLang'이라는 새로운 LLM 후학습 파이프라인을 제안합니다.

원저자: Changjiang Gao, Zixian Huang, Kaichen Yang, Jiajun Chen, Jixing Li, Shujian Huang

게시일 2026-02-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Changjiang Gao, Zixian Huang, Kaichen Yang, Jiajun Chen, Jixing Li, Shujian Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"ExpLang"**이라는 새로운 인공지능 학습 방법을 소개합니다. 쉽게 말해, **"AI 가 문제를 풀 때, 가장 잘하는 언어를 스스로 골라 쓰게 만드는 기술"**입니다.

기존의 AI 는 대부분 영어로만 생각하도록 훈련받았는데, 이 방법은 AI 에게 "오늘은 영어로 풀고, 내일은 한국어나 베트남어로 풀어봐"라고 자유롭게 선택하게 함으로써 더 똑똑하게 만든다는 내용입니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

🧠 1. 문제: 왜 영어만 고집할까? (기존 방식의 한계)

지금까지의 거대 AI(대형 언어 모델) 들은 영어로만 훈련받았기 때문에, 영어로 생각할 때 가장 똑똑합니다. 마치 영어로만 요리하는 셰프가 있죠.
하지만 전 세계 사용자는 각자 다른 언어를 씁니다. 게다가, 어떤 문제는 영어보다 한국어나 중국어로 생각할 때 더 쉽게 풀리는 경우가 있습니다. 그런데 기존 AI 는 "무조건 영어로만 생각해야 해!"라고 강요받아서, 그 잠재력을 제대로 쓰지 못했습니다.

🚀 2. 해결책: ExpLang (스스로 언어를 고르는 AI)

이 논문은 AI 에게 **"생각하는 언어를 스스로 선택하는 능력"**을 가르칩니다. 마치 다국적 팀을 꾸리는 것과 비슷합니다.

기존 방식: 팀장 (AI) 이 무조건 영어로만 지시한다.
ExpLang 방식: 팀장에게 "이 문제는 한국어 팀이, 저 문제는 스페인어 팀이 해결하는 게 나을 것 같아. 네가 판단해서 고르렴"이라고 말합니다.

🎮 3. 학습 과정: 두 단계로 나누는 전략

이 방법은 AI 를 훈련시킬 때 두 가지 단계를 거칩니다. 마치 모험가가 새로운 땅을 탐험하는 과정과 같습니다.

1 단계: 탐험 (Exploration) - "다양하게 시도해 봐!"

상황: AI 는 처음에 영어만 쓰려 합니다.
전략: AI 에게 "너는 이제 다양한 언어 (한국어, 프랑스어, 일본어 등) 로 문제를 풀어봐. 어떤 언어가 이 문제를 풀 때 더 잘하는지 찾아봐"라고 장려합니다.
비유: 미식가가 새로운 식당을 찾아다니며 "오늘은 태국 음식, 내일은 이탈리아 음식으로 배를 채워보자"라고 다양한 맛을 경험하는 단계입니다. 이 단계에서는 AI 가 영어뿐만 아니라 다른 언어로도 문제를 풀 수 있는 '새로운 길'을 발견하게 됩니다.

2 단계: 활용 (Exploitation) - "가장 잘하는 걸로 집중해!"

상황: 다양한 언어를 시도해 보니, 어떤 언어가 특정 문제를 풀 때 더 빠르고 정확하다는 것을 알게 됩니다.
전략: 이제 AI 에게 "아까 시도해 본 것들 중에서 가장 잘 풀린 언어를 골라서, 그 언어로 문제를 해결하는 데 집중해"라고 말합니다.
비유: 미식가가 다양한 음식을 다 맛본 후, "아, 태국 음식이 내 입맛에 가장 잘 맞네!"라고 깨닫고, 앞으로는 태국 식당만 찾아다니며 그 맛을 극대화하는 단계입니다.

🌟 4. 놀라운 결과: 왜 이 방법이 좋은가요?

더 똑똑해짐 (성능 향상):
영어만 쓸 때보다, 다양한 언어를 시도하고 그중에서 가장 효율적인 것을 골라 쓰니 문제 해결 능력이 훨씬 좋아졌습니다. 같은 시간과 비용으로 더 높은 점수를 냅니다.
사용자의 언어를 존중함 (언어 준수):
사용자가 "한국어로 생각해서 답을 줘"라고 요청하면, AI 는 거의 100% 정확하게 한국어로 생각합니다. 기존 방식은 요청한 언어를 무시하고 영어로 생각하다가 점수를 깎이는 경우가 많았는데, 이 방법은 그 문제를 해결했습니다.
보이지 않는 언어에도 적용됨 (일반화):
훈련할 때 직접 가르치지 않은 언어 (예: 스와힐리어) 가 나와도, AI 는 그 언어로 생각할 수 있는 능력을 이미 익혀서 새로운 언어에도 잘 적응합니다.

💡 5. 핵심 요약 (한 줄 결론)

이 논문은 **"AI 가 문제를 풀 때, 무조건 영어로만 생각하게 강요하지 말고, AI 스스로 '어떤 언어로 생각하면 가장 잘 풀릴까?'를 판단하게 하라"**는 아이디어를 증명했습니다.

그 결과, AI 는 다양한 언어를 경험하는 '탐험' 단계를 거쳐 가장 효율적인 언어를 선택하는 '활용' 단계로 넘어가면서, 더 똑똑하고, 더 유연하며, 전 세계 사용자에게 더 친절한 AI가 되었습니다.

한마디로: "AI 에게 영어만 쓰라고 강요하지 말고, 상황에 맞춰 가장 잘하는 언어를 스스로 골라 쓰게 하면, AI 는 더 똑똑해진다!"는 것을 증명한 연구입니다.

1. 문제 정의 (Problem)

현재 대형 추론 모델 (LRM) 은 강화 학습 (RL) 기반의 사후 학습 (Post-training) 을 통해 복잡한 작업에서 뛰어난 성능을 보입니다. 그러나 기존 연구는 영어 중심의 추론에 집중되어 있어 다음과 같은 한계가 존재합니다.

다국어 잠재력 무시: 영어가 아닌 언어로 사고하는 것 (Multilingual Thinking) 이 오히려 모델의 탐색 공간 (Exploration Space) 을 확장하고 성능을 향상시킬 수 있다는 증거가 있음에도 불구하고, 이를 활용하지 못했습니다.
사용자 요구 부응 실패: 전 세계 사용자는 모국어 (Native Language) 로 사고 과정을 추적 (Thinking Trace) 하고 싶어 하지만, 현재 모델들은 강제된 영어 사고 패턴에 갇혀 있습니다.
성능 저하 우려: 다국어 추론을 도입하면 성능이 떨어질 것이라는 기존 편견 (Curse of Multilinguality) 이 존재합니다.

2. 방법론 (Methodology: ExpLang)

저자들은 ExpLang이라는 새로운 LLM 사후 학습 파이프라인을 제안합니다. 이는 **On-Policy Thinking Language Selection(온-폴리시 사고 언어 선택)**을 통해 강화 학습 (RL) 과정 중 모델이 스스로 사고 언어를 선택하도록 유도하여, 탐색 (Exploration) 과 활용 (Exploitation) 의 효율성을 극대화합니다.

핵심 구성 요소:

고품질 다국어 사고 데이터 생성:
- 기존 영어 수학 데이터셋을 기반으로 12 개 언어 (유럽어 6 개, 아시아어 6 개) 로 사고 과정을 생성합니다.
- LangDetect 와 HuggingFace Math-Verify 를 사용하여 언어 준수 여부와 정답 정확도를 필터링하여 고품질 데이터를 확보합니다.
냉간 시작 (Cold-Start) 및 SFT:
- 수집된 다국어 데이터로 모델을 LoRA(SFT) 방식으로 미세 조정합니다.
- LoRA 를 사용하여 포스트 트레이닝된 모델의 catastrophic forgetting(치명적 망각) 을 방지하면서, 모델이 <lang_select> 태그에 따라 특정 언어로 사고하는 행동을 학습시킵니다.
RLVR(Verifiable Rewards) 학습 전략:
- 탐색 단계 (Exploration Stage, RL 단계의 1/4):
  - 목표: 모델이 덜 사용된 언어를 선택하도록 장려하여 탐색 공간을 확장.
  - 보상 설계: 언어 다양성 보상 ( $r_d$ ) 을 부여하여 희귀 언어 사용을 장려합니다. KL 손실 (KL Loss) 을 비활성화하여 출력 다양성을 유지합니다.
- 활용 단계 (Exploitation Stage, RL 단계의 3/4):
  - 목표: 가장 효율적인 사고 언어를 찾아 성능을 극대화.
  - 보상 설계: 언어별 Pass@k 보상 ( $r_p$ ) 을 도입하여, 동일한 언어 내에서 정답을 낸 경우 높은 보상을 줍니다. KL 손실을 활성화하여 모델이 최적의 언어 (주로 영어) 로 수렴하도록 유도합니다.

3. 주요 기여 (Key Contributions)

On-Policy 언어 선택 메커니즘: 모델이 외부에서 강제된 언어가 아닌, 스스로 사고 언어를 선택하는 행동을 RL 의 액션으로 정의하여 안정적이고 효율적인 학습을 가능하게 함.
탐색과 활용의 균형: 다국어 사고를 통해 넓은 탐색 공간을 확보한 후, 이를 바탕으로 최적의 언어 전략을 활용하는 두 단계 학습 파이프라인 설계.
성능과 준수도의 동시 달성: 영어-only 학습보다 높은 성능을 내면서도, 사용자가 지정한 언어 (보거나 보지 않은 언어 모두) 에 대해 거의 완벽한 사고 언어 준수 (Compliance) 를 달성.

4. 실험 결과 (Results)

Qwen3 모델 (4B, 8B, 32B) 을 MATH-500, AIME 2025, Olym-MATH 등의 벤치마크에서 평가했습니다.

성능 향상: 동일한 학습 예산 하에서 영어-only 학습 (Naive Baseline) 보다 ExpLang 이 일관되게 높은 정확도 (Accuracy) 와 Pass@k를 기록했습니다. 특히 RL 단계에서 성능 향상 폭이 컸습니다.
사고 언어 준수 (Compliance):
- 학습된 12 개 언어와 미학습 (Unseen) 4 개 언어 (인도네시아어, 히브리어 등) 모두에서 99% 이상의 준수율을 보였습니다.
- 기존 방법론 (Prefix-hacking 등) 은 준수율이 낮아 실제 성능이 과대평가되었으나, ExpLang 은 준수된 샘플만으로도 높은 성능을 입증했습니다.
사고 언어 선호도 변화:
- 학습 과정에서 모델의 언어 선택은 **"영어 → 다국어 → 영어"**의 패턴을 보였습니다.
- 초기 SFT 및 탐색 단계에서는 다국어 사용이 급증하여 다양한 사고 경로를 확보했고, 활용 단계에서는 다시 영어로 수렴하며 최적의 성능을 냈습니다. 이는 다국어 사고가 영어 추론 능력을 향상시키는 전이 학습 (Transfer Learning) 효과를 입증합니다.
응답 다양성: ExpLang 모델은 RL 초기에 더 높은 정책 엔트로피 (Policy Entropy) 를 유지하다가 후기에는 효율적으로 수렴하여, 기존 모델보다 더 풍부한 탐색과 빠른 최적화를 달성했습니다.

5. 의의 및 결론 (Significance)

다국어의 새로운 관점: 다국어 추론을 단순한 '사용자 서비스'나 '성능 저하 요인'이 아닌, 모델의 추론 능력을 향상시키는 핵심 자원으로 재정의했습니다.
범용성: ExpLang 방법은 GRPO 알고리즘에 특화된 것이 아니라, 대부분의 RLVR 알고리즘 (Dr. GRPO, DAPO 등) 에 직교 (Orthogonal) 하게 적용 가능한 범용적인 프레임워크입니다.
실용적 가치: 전 세계 사용자에게 모국어 기반의 고품질 사고 과정을 제공하면서도, 모델의 전반적인 추론 성능을 높이는 상생 (Win-Win) 솔루션을 제시했습니다.

요약하자면, ExpLang은 모델이 스스로 언어를 선택하게 함으로써 다국어 사고의 이점을 최대한 끌어내어, 영어 중심의 한계를 극복하고 더 강력하고 포용적인 대형 추론 모델을 만드는 새로운 패러다임을 제시합니다.