mAceReason-Math: A Dataset of High-Quality Multilingual Math Problems Ready For RLVR

이 논문은 현재 RLVR(검증 가능한 보상을 통한 강화 학습) 연구에서 영어 중심의 한계를 극복하기 위해, 14 개 언어로 번역되고 정제된 10,000 개 이상의 고품질 수학 문제 데이터셋인 'mAceReason-Math'를 제안하고 공개합니다.

핵심

이 논문은 **"mAceReason-Math"**라는 새로운 데이터셋을 소개하는 연구입니다. 쉽게 말해, **"수학 문제를 해결하는 AI 를 여러 언어로 가르치기 위해 만든, 아주 정성 좋은 문제집"**이라고 보시면 됩니다.

이 내용을 일상적인 언어와 비유로 설명해 드릴게요.

1. 왜 이 연구가 필요했을까요? (현재의 문제점)

지금까지 AI 가 수학이나 논리 문제를 잘 풀도록 훈련시키는 방법 (RLVR) 은 영어로만 이루어졌습니다. 마치 "세계 최고의 요리 학교가 있지만, 모든 수업이 영어로만 진행된다"고 상상해 보세요. 영어를 모르는 사람들은 아무리 재능이 있어도 그 학교에서 배울 수 없죠.

또한, 기존에 있던 다른 언어의 수학 문제들은 너무 쉬워서 최신 AI 를 가르치기엔 부족했습니다. 마치 "유아용 그림책"을 가지고 "대학생 수학 경시대회"를 준비하려는 것과 비슷하죠.

2. 이 연구가 무엇을 했나요? (해결책)

연구팀은 14 개 언어 (독일어, 중국어, 일본어, 러시아어, 스페인어 등) 로 된 고난도 수학 문제 14 만 개 이상을 만들었습니다.

• 원본: 이미 영어로 된 아주 어려운 수학 문제집 (AceReason-Math) 이 있었습니다.
• 번역: 이 문제들을 다른 언어로 옮겼습니다.
• 품질 관리: 단순히 기계 번역을 끝낸 게 아닙니다. "이 문제는 번역이 잘못됐어", "수학 기호가 깨졌어" 같은 문제를 찾아서 원어민들이 직접 검수하고, AI 가 다시 다듬는 과정을 반복했습니다. 마치 요리사가 재료를 다듬고, 셰프가 맛을 보고, 미식가가 최종 검사를 하는 과정과 비슷합니다.

3. 어떻게 만들었나요? (작업 과정)

이 작업은 크게 세 단계로 나뉩니다.

1. 쓰레기 분리 (청소): 원본 영어 문제 중 그림이 없거나, 답이 문제에 이미 적혀있거나, 문장이 엉망인 '쓰레기' 같은 문제들을 걸러냈습니다. (약 4% 제거)
2. 수선 (고치기): 문제 번호가 붙어있거나, 문법 오류가 있는 등 고칠 수 있는 문제들은 AI 가 자동으로 수정했습니다. (약 11% 수정)
3. 번역과 검증: 깨끗해진 문제를 14 개 언어로 번역했습니다. 이때 AI 가 번역을 하고, **해당 언어를 모국어로 쓰는 사람 (Native Speaker)**들이 "이게 자연스러운가?", "수학 용어가 정확한가?"를 확인했습니다. 특히 수식 (LaTeX) 이 깨지지 않도록 아주 세심하게 관리했습니다.

4. 이 데이터셋의 특징은?

• 동일한 문제, 다양한 언어: 같은 7,620 개의 문제를 14 개 언어로 모두 번역했습니다. 이는 "영어 AI 와 독일어 AI 가 똑같은 문제를 풀어서 실력을 비교할 수 있다"는 뜻입니다.
• 엄격한 검증: 190 개의 문제를 원어민들이 직접 다시 한번 꼼꼼히 검사하여 '시험 문제'로 만들었습니다.

5. 결과는 어땠나요? (평가)

이 새로운 문제집으로 다양한 AI 모델들을 시험해 보았습니다.

• 큰 모델이 잘함: 당연히 더 똑똑한 (큰) AI 일수록 문제를 잘 풀었습니다.
• 언어별 차이: 같은 AI 라도 언어에 따라 실력이 달랐습니다. 예를 들어, 영어나 중국어는 잘 풀지만, 스와힐리어나 텔루구어 같은 언어는 아직 실력이 부족했습니다. 이는 AI 가 특정 언어의 수학 개념을 아직 충분히 배우지 못했음을 보여줍니다.
• Qwen 모델의 활약: 중국의 'Qwen'이라는 AI 모델이 여러 언어에서 매우 뛰어난 성적을 냈는데, 이는 이 AI 가 이미 비슷한 데이터를 학습했을 가능성이 높다는 것을 시사합니다.

6. 결론: 왜 이 연구가 중요할까요?

이 연구는 **"수학 AI 의 세계를 영어 중심에서 벗어나 전 세계로 확장하는 첫걸음"**입니다.

앞으로 이 데이터셋을 통해:

• 영어를 모르는 나라의 학생들도 AI 튜터를 통해 고난도 수학을 배울 수 있게 됩니다.
• 연구자들은 AI 가 언어가 달라도 수학 논리를 어떻게 이해하는지 연구할 수 있습니다.
• 더 공정하고 다양한 AI 를 만들 수 있는 토대가 됩니다.

한 줄 요약:

"영어만 할 줄 아는 천재 AI 를, 전 세계 14 개 언어를 구사하는 천재로 키우기 위해, 원어민들이 직접 검수한 '고급 수학 문제집'을 만들어 공개했습니다."

기술 요약

mAceReason-Math: 고품질 다국어 수학 문제 데이터셋에 대한 기술적 요약

이 논문은 강화 학습 (RL) 을 통해 대형 언어 모델 (LLM) 의 추론 능력을 향상시키는 최신 연구 트렌드인 **검증 가능한 보상 강화 학습 (RLVR)**의 다국어 적용을 위한 핵심 인프라인 mAceReason-Math 데이터셋을 소개합니다.

1. 문제 정의 (Problem)

최근 RLVR (특히 GRPO 알고리즘) 은 수학 및 논리 추론 분야에서 LLM 의 성능을 획기적으로 향상시켰습니다. 그러나 기존 연구와 훈련 데이터셋은 영어에 집중되어 있어 다국어 환경에서의 RLVR 연구에 심각한 장벽이 존재했습니다.

• 기존 데이터의 한계: 기존 다국어 데이터셋 (예: GSM8K 기반) 은 난이도가 낮아 최신 모델 훈련에 적합한 '골디락스 존 (Goldilocks zone)'을 제공하지 못했습니다.
• 난이도 높은 데이터의 부재: AceReason-Math 와 같이 난이도 높은 영어 데이터셋은 존재하지만, 이를 다국어로 번역하여 RLVR 훈련에 사용할 수 있는 고품질 데이터는 부족했습니다.
• 규모의 문제: 수천 개의 샘플을 인간이 직접 번역하고 검증하는 것은 비용과 시간 측면에서 비현실적입니다.

2. 방법론 (Methodology)

저자들은 AceReason-Math 코퍼스를 기반으로 14 개 언어로 10 만 개 이상의 고품질 수학 문제를 생성하기 위해 하이브리드 자동화 파이프라인을 구축했습니다.

2.1 데이터 정제 (Cleaning)

원본 영어 데이터 (AceReason-Math) 에서 약 15% 의 샘플을 제거하거나 수정했습니다.

• 치명적 오류 (Critical Issues, ~4% 제거): 이미지 링크 누락, 외부 자료 의존성, 문제 내에 해답이 포함된 경우 (Answer Leakage), 비영어권 언어 혼입, 논리적 결함 등을 필터링했습니다.
• 수정 가능 오류 (Salvageable Issues, ~11% 수정): 작업 태스크 번호 (Task 5.4 등), 잘못된 LaTeX 포맷팅, 데이터 생성 시의 지시어 잔여물 등을 LLM 을 통해 자동 수정했습니다.

2.2 번역 및 검증 파이프라인 (Translation Pipeline)

인간 번역 비용의 한계를 극복하기 위해 Claude Sonnet 4를 활용한 반복적 LLM 기반 번역 및 정제 프로세스를 도입했습니다.

1. 초기 번역: 개선된 프롬프트를 사용하여 초기 번역 생성.
2. LLM 기반 평가 및 정제: 번역된 내용을 수학 정확성, LaTeX 일관성, 자연어 유창성, 숫자 포맷팅 (예: 독일어의 쉼표와 점 사용 규칙) 등을 기준으로 평가. 문제가 발견되면 개선 프롬프트를 통해 5 회까지 반복 수정.
3. 네이티브 스피커 검증: 독일어, 프랑스어, 중국어 등 주요 언어에 대해 원어민 어노테이터를 투입하여 번역 품질을 최종 검증했습니다. (스와힐리, 텔루구, 벵골어는 검증자 부재로 인해 자동화 단계만 거침).

2.3 데이터셋 구성

• 병렬 학습 분할 (Parallel Train Split): 14 개 언어 모두에 대해 번역이 완료된 7,620 개의 샘플로 구성된 정렬된 데이터셋.
• 풀 학습 분할 (Full Train Split): 각 언어별로 최대 12,245 개의 샘플을 포함하는 비병렬 데이터셋.
• 검증된 테스트 세트: 14 개 언어 모두에 대해 원어민이 검증한 190 개의 샘플.

3. 주요 기여 (Key Contributions)

1. mAceReason-Math 데이터셋 공개: 14 개 언어 (영어, 중국어, 독일어, 스페인어, 프랑스어, 이탈리아어, 포르투갈어, 러시아어, 일본어, 한국어, 태국어, 방글라데시어, 텔루구어, 스와힐리어) 로 구성된 14 만 개 이상의 고품질 수학 문제.
2. 고난이도 다국어 RLVR 인프라: 기존 다국어 데이터셋보다 훨씬 높은 난이도를 제공하여 최신 LLM 의 RLVR 훈련에 적합한 데이터셋을 최초로 제공.
3. 효율적인 번역 파이프라인: LLM 기반 자동 번역과 인간 검증을 결합하여 대규모 고품질 다국어 데이터 생성을 가능하게 하는 방법론 제시.
4. 오픈 소스 및 벤치마크: GitHub 를 통해 데이터셋과 평가 코드를 공개하여 다국어 RLVR 연구 커뮤니티의 발전을 촉진.

4. 평가 결과 (Results)

190 개의 병렬 테스트 세트를 사용하여 다양한 폐쇄형 (Closed) 및 오픈 가중치 (Open-weight) 모델에 대한 평가를 수행했습니다.

• 모델 성능: 큰 모델일수록 성능이 우수하며, Qwen3 시리즈와 같은 최신 추론 모델이 Claude Sonnet 4.5 등 기존 최상위 모델보다 우수한 성능을 보였습니다.
• 언어별 편차: 오픈 가중치 모델의 경우 언어 간 성능 편차가 크지만, 폐쇄형 모델은 상대적으로 일관된 성능을 보였습니다.
• 교차 언어 전이: Qwen3 모델이 비영어권 언어에서도 높은 성능을 보인 것은 수학 문제 해결 능력이 문제 인스턴스 수준에서 강력한 언어 간 전이 (Cross-lingual Transferability) 를 가짐을 시사합니다.

5. 의의 및 결론 (Significance)

• 다국어 RLVR 연구의 가속화: 영어 중심이었던 RLVR 연구의 지평을 넓혀, 전 세계 다양한 언어권에서의 모델 훈련 및 벤치마킹을 가능하게 함.
• 고품질 데이터의 중요성: 단순히 번역된 데이터가 아닌, 난이도와 논리적 정확성이 검증된 고품질 데이터가 모델의 추론 능력 향상에 필수적임을 입증.
• 미래 연구 방향: 본 데이터셋은 다국어 환경에서의 GRPO 및 RLVR 알고리즘 최적화, 그리고 언어 간 추론 능력 전이 메커니즘 연구에 중요한 기준점 (Benchmark) 으로 활용될 것입니다.

이 논문은 다국어 LLM 의 추론 능력을 한 단계 끌어올리기 위한 필수적인 자원을 제공하며, 향후 다국어 AI 연구의 중요한 이정표가 될 것으로 기대됩니다.