Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments

이 논문은 14 개 언어로 검증 가능한 추론 문제를 절차적으로 생성할 수 있는 'Multilingual Reasoning Gym'을 소개하며, 이를 통해 대규모 다국어 추론 모델 연구와 강화 학습 평가를 지원한다고 요약할 수 있습니다.

핵심

🌍 다국어 추론 체육관: 전 세계를 위한 두뇌 운동장

이 논문은 **"다국어 추론 체육관 (Multilingual Reasoning Gym)"**이라는 새로운 도구를 소개합니다. 쉽게 말해, 이는 인공지능 (AI) 이 논리 문제와 수학 문제를 풀며 두뇌를 단련할 수 있는 전 세계 14 개 언어로 된 거대한 운동장입니다.

기존의 운동장 (Reasoning Gym) 은 영어로만 되어 있어, 영어를 모르는 AI 는 운동할 수 없었습니다. 이 연구팀은 그 운동장을 전 세계 모든 언어로 확장했습니다.

---

1. 왜 이 운동장이 필요할까요? (기존의 문제점)

지금까지 AI 가 논리력을 기르기 위해 사용했던 문제들은 대부분 영어로만 만들어졌습니다.

• 비유: 마치 전 세계 모든 아이들이 축구 실력을 기르기 위해 오직 영국식 축구 규칙과 영어 해설만 있는 구장에서만 연습해야 한다면, 다른 나라 아이들은 불리할 수밖에 없습니다.
• 한계: 기존의 문제집 (데이터) 은 정해져 있어서 문제가 다 떨어지면 끝입니다. 또한, 문제가 너무 쉬우거나 너무 어려울 수 있어 AI 의 수준에 맞춰 조절하기 어렵습니다.

2. 이 체육관의 비밀 무기: "무한한 문제 생성기"

이 연구의 핵심은 **프로시저 (Procedural Generation, 절차적 생성)**라는 기술입니다.

• 비유: 기존 데이터는 이미 찍힌 사진 100 장입니다. 하지만 이 체육관은 사진 찍는 카메라를 제공합니다.
• 원리: 연구팀은 문제의 '틀 (Template)'을 14 개 언어로 번역했습니다. AI 는 이 틀을 바탕으로 필요할 때마다 무한히 새로운 문제를 만들어낼 수 있습니다.
  • "1+1=?"이라는 틀이 있다면, AI 는 "2+2=?", "100+100=?"을 순식간에 만들어냅니다.
  • 이 방식 덕분에 데이터가 부족하다는 걱정을 할 필요가 없습니다.

3. 어떻게 14 개 언어로 만들었나요? (단순 번역이 아닙니다!)

단순히 영어 문장을 다른 언어로 바꾸는 것만으로는 부족했습니다. 언어마다 규칙이 다르기 때문입니다.

• 비유: 영어는 "사과 (Apple) 들"이라고 할 때 뒤에 's'를 붙이면 되지만, 한국어는 "사과들"이라고 하거나 문맥에 따라 다릅니다. 일본어는 쉼표와 물음표 모양이 다르고, 독일어는 단어 길이가 길어집니다.
• 해결책: 연구팀은 현지 원어민들과 협력했습니다.
  • 자연스러운 표현: "최대공약수" 같은 수학 용어를 각 나라에서 실제로 쓰는 말로 바꿨습니다.
  • 문법 수정: 복수형이나 시제 문제가 생기는 부분은 문제의 틀을 다시 짜서, 어떤 언어에서도 자연스럽게 보이도록 고쳤습니다.
  • 검증: AI 가 만든 문제가 자연스러운지, 논리적으로 맞는지 원어민들이 직접 확인했습니다.

4. 이 체육관에서 무엇을 할 수 있나요?

이 도구는 AI 연구자들에게 다음과 같은 혜택을 줍니다.

1. RLVR (검증 가능한 보상을 통한 강화학습): AI 가 문제를 풀고 정답을 맞히면 "잘했다!"는 점수를 줍니다. 이 체육관은 정답을 자동으로 확인해 줄 수 있는 시스템이 갖춰져 있어, AI 가 스스로 학습할 수 있습니다.
2. 난이도 조절: AI 가 초보일 때는 쉬운 문제를, 고수일 때는 어려운 문제를 자동으로 만들어줍니다.
3. 비교 실험: 같은 문제의 영어 버전과 한국어, 일본어 버전을 동시에 만들어 AI 가 언어에 따라 얼마나 다르게 생각하는지 연구할 수 있습니다.

5. 결론: AI 의 두뇌를 세계화하다

이 연구는 "영어만 잘하는 AI"에서 "전 세계 언어를 이해하고 논리적으로 생각하는 AI"로 가는 중요한 디딤돌입니다.

• 핵심 메시지: 이제 AI 는 영어라는 울타리에 갇히지 않고, 전 세계 14 개 언어의 문제를 풀며 두뇌를 단련할 수 있게 되었습니다. 이는 앞으로 더 똑똑하고 공정한 AI 를 만드는 데 큰 도움이 될 것입니다.

요약하자면:

이 논문은 AI 를 위한 전 세계 공용 두뇌 운동장을 만들었습니다. 여기서 AI 는 무한히 만들어지는 문제를 풀며, 각 나라의 언어와 문화에 맞춰 자연스럽게 논리력을 키워나갈 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

최신 대규모 언어 모델 (LLM) 은 수학적, 논리적, 알고리즘적 추론 능력을 강화하기 위해 **검증 가능한 보상을 통한 강화 학습 (RLVR, Reinforcement Learning with Verifiable Rewards)**을 효과적으로 활용하고 있습니다. 기존에 제안된 'Reasoning Gym'은 절차적 생성 (Procedural Generation) 방식을 통해 무한한 양의 검증 가능한 추론 문제를 생성할 수 있는 강력한 프레임워크를 제공하지만, 오직 영어 (English) 만 지원한다는 한계가 있습니다.

기존의 다국어 추론 벤치마크는 고정된 데이터셋을 번역하는 방식에 의존하는데, 이는 다음과 같은 문제점을 가집니다:

• 데이터 양의 한계: 고정된 데이터셋은 크기가 제한되어 있어 RLVR 훈련에 필요한 방대한 양의 데이터를 제공하기 어렵습니다.
• 과적합 (Overfitting) 및 오염 (Contamination): 모델이 훈련 데이터에 과적합되거나 테스트 데이터가 오염될 위험이 있습니다.
• 적응형 난이도 부재: 모델의 능력에 따라 난이도를 조절하는 커리큘럼 러닝 (Curriculum Learning) 이 어렵습니다.
• 단순 번역의 한계: 템플릿을 단순히 번역하는 것만으로는 언어별 문법, 표기법, 관습적 표현의 자연스러움을 보장하기 어렵습니다.

2. 방법론 (Methodology)

이 논문은 'Reasoning Gym'을 확장하여 14 개 언어를 지원하는 Multilingual Reasoning Gym을 제안합니다. 핵심 접근 방식은 개별 데이터 샘플을 번역하는 것이 아니라, 문제 생성 로직의 템플릿 (Templates) 을 번역하고 적응화하는 것입니다.

가. 템플릿 기반 절차적 생성 확장

• 하드코딩된 영어 문자열 제거: 기존 Reasoning Gym 의 코드에서 하드코딩된 영어 문자열을 모두 추출하여 JSON 템플릿 파일로 분리했습니다. 이를 통해 새로운 언어를 추가할 때 코드 수정 없이 번역된 JSON 파일만 추가하면 됩니다.
• 언어적 특성 반영:
  • 문장 부호 및 표기법: 일본어의 전각 기호 (, -> 、, ? -> ？) 나 독일어의 약어 (GCD -> ggT) 등 언어별 관습에 맞춰 표기법을 자동화했습니다.
  • 문법적 적응: 영어의 복수형 규칙 (예: 's' 추가) 이 적용되지 않는 언어 (복합어, 비로마자 문자 등) 를 위해 프롬프트 구조를 변경했습니다 (예: "tiger{suffix}"를 "tiger: {number}"로 변경).
  • 용어 번역: 수학 및 기술 용어 (예: 'Binary' -> '2 진수') 를 해당 언어의 표준 용어로 정확히 번역했습니다.

나. 하이브리드 번역 및 검증 워크플로우

높은 품질의 번역을 위해 LLM 기반 번역 + 인간 원어민 검증 + 수동 품질 관리의 3 단계 프로세스를 도입했습니다.

1. LLM 기반 초기 번역: Claude Sonnet 4 를 사용하여 템플릿을 번역하고, 사전 정의된 평가 기준 (Rubrics) 을 통해 초기 번역을 정제했습니다.
2. 원어민 검증: 중국어, 독일어, 프랑스어, 스페인어, 이탈리아어, 러시아어, 태국어, 일본어, 한국어, 브라질 포르투갈어 등 10 개 언어의 원어민 어휘자가 생성된 샘플을 평가했습니다. 논리적 오류, 단어 선택, 자연스러움을 확인했습니다.
   • 참고: 벵골어, 텔루구어, 스와힐리어는 원어민 검증이 없었으나, 소외된 언어의 커버리지를 높이기 위해 포함되었습니다.
3. 반복적 정제: 인간 평가자의 피드백을 바탕으로 LLM 정제 프로세스를 반복하고, 최종적으로 템플릿과 생성된 샘플을 수동으로 검수했습니다.

다. 태스크 필터링 및 적응

• 제거된 태스크: 영어 단어의 철자나 발음에 의존하는 태스크 (예: Word Ladder) 는 다른 언어로 변환이 불가능하거나 난이도가 급변하므로 10 개 태스크를 제외했습니다.
• 부분적 유지: 영어 텍스트를 입력으로 받는 태스크 (예: 영어 문장 뒤집기) 는 번역되지만, 입력 데이터는 영어로 유지되도록 명시했습니다.

3. 주요 기여 (Key Contributions)

1. 14 개 언어 지원 다국어 추론 환경: 영어, 중국어, 독일어, 스페인어, 프랑스어, 일본어, 브라질 포르투갈어, 러시아어, 한국어, 이탈리아어, 태국어, 벵골어, 텔루구어, 스와힐리어 등 14 개 언어를 지원하는 94 개의 태스크를 제공합니다.
2. 무한한 병렬 데이터 생성: 절차적 생성 방식을 유지함으로써, 동일한 시드 (Seed) 를 사용하여 모든 언어에서 병렬적인 (Parallel) 데이터 세트를 대규모로 생성할 수 있습니다. 이는 다국어 모델의 교차 언어 비교 연구에 필수적입니다.
3. 가변적 난이도 및 RLVR 호환성: 원본 Reasoning Gym 의 장점인 무한한 문제 생성과 난이도 조절 기능을 유지하며, 검증 가능한 보상 (Verifiable Rewards) 을 통한 RLVR 훈련 및 평가에 즉시 사용할 수 있습니다.
4. 오픈 소스 릴리스: 코드와 데이터 (GitHub) 를 공개하여 다국어 추론 모델 연구 커뮤니티에 기여합니다.

4. 실험 결과 (Results)

저자는 Gemma, Qwen, SmolLM, gpt-oss 등 다양한 오픈 가중치 모델을 대상으로 14 개 언어에서 실험을 수행했습니다.

• 모델 규모에 따른 성능: 모든 언어에서 모델의 파라미터 수가 증가할수록 성능이 향상되었습니다. 이는 번역된 문제들이 충분히 강력한 모델이라면 해결 가능함을 의미합니다.
• 언어별 성능 편차: 영어 (en) 가 일관되게 가장 높은 점수를 기록했으며, 다른 언어들은 모델에 따라 성능 편차가 있었습니다. 특히 소규모 모델이나 저자원 언어 (예: Swahili) 에서 성능 저하가 관찰되었습니다.
• 난이도 영향:
  • 쉬운 난이도 (25 백분위수): 대부분의 모델이 해결 가능한 수준.
  • 어려운 난이도 (75 백분위수): 모든 모델과 언어에서 성능이 최대 15% 포인트 감소했습니다.
  • 난이도 간 차이: 가장 쉬운 설정과 가장 어려운 설정 사이에서 평균 성능 차이가 최대 31% 포인트까지 발생하여, 이 환경이 광범위한 난이도 스펙트럼을 커버함을 입증했습니다.
• 다국어 혼란 (Multilingual Confusion): 일부 모델 (Qwen 시리즈 등) 은 영어가 아닌 언어로 질문을 받았을 때, 추론 과정은 영어로 수행하거나 정답을 영어로만 출력하여 검증 실패를 겪는 경우가 관찰되었습니다. 이는 다국어 추론 모델의 중요한 개선 과제를 제시합니다.

5. 의의 및 결론 (Significance)

이 연구는 다국어 LLM 의 추론 능력을 평가하고 훈련시키기 위한 표준화된 대규모 인프라를 제공합니다.

• 데이터 오염 방지: 고정된 벤치마크가 아닌 절차적 생성 방식을 통해 데이터 오염과 과적합 문제를 근본적으로 해결합니다.
• 커리큘럼 러닝 지원: 언어별 모델 능력 차이를 고려하여 난이도를 동적으로 조절할 수 있어, 효율적인 다국어 RLVR 훈련이 가능합니다.
• 연구 확장: 기존에 영어 중심이었던 RLVR 연구의 지평을 넓혀, 전 세계 다양한 언어권의 추론 능력 향상을 위한 기반을 마련했습니다.

결론적으로, Multilingual Reasoning Gym은 다국어 추론 모델 개발을 위한 필수적인 도구로, 무한한 데이터 생성 가능성과 엄격한 언어적 검증을 통해 차세대 다국어 LLM 연구의 표준이 될 것으로 기대됩니다.