💬 NLP

AdaMame: A Training Recipe for Adaptive Multilingual Reasoning

이 논문은 대규모 추론 모델(Large Reasoning Models)이 정확도나 토큰 효율성을 희생하지 않으면서도 언어 붕괴 현상을 극복하고 질의의 언어로 추론할 수 있도록, 지도 미세 조정(supervised fine-tuning)과 새로운 적응형 GRPO 알고리즘(AdaMame-GRPO)을 결합한 2단계 학습 레시피인 AdaMame을 소개한다.

원저자: Dayeon Ki, Kevin Duh, Marine Carpuat

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dayeon Ki, Kevin Duh, Marine Carpuat

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게는 **아다(Ada)**라는 아주 똑똑하고 다국어를 구사하는 학생이 있다고 상상해 보세요. 아다는 수학 문제를 푸는 데 매우 뛰어나지만, 나쁜 습 습관이 하나 있습니다. 어떤 언어(프랑스어, 텔루구어, 태국어 등)로 질문을 하더라도, 아다는 반드시 영어로 생각하고 답변하려고 고집을 피웁니다.

이것은 **"언어 붕괴(language collapse)"**라고 불리는 문제입니다. 심지어 "한 다스에 달걀이 몇 개 들어 있나요?"라고 프랑스어로 물어도, 아다는 *"좋아, 영어로 계산해 보자... 12개"*라고 생각한 뒤, 그 답을 번역해서 내놓을 뿐입니다. 그녀는 질문받은 언어로 실제로 '생각'하는 것이 아닙니다.

기존의 해결 시도들은 마치 "프랑스어로 말하지 않으면 0점이야!"라고 외치는 엄격한 선생님과 같습니다. 이는 아다가 프랑스어를 말하도록 강요하지만, 종종 그녀를 긴장하게 만듭니다. 이 때문에 아다는 말을 더듬거나(프랑스어와 영어를 문장 중간에 섞어서 사용함), 언어 규칙에 너무 집중한 나머지 오답을 내거나, 자신이 노력하고 있다는 것을 증명하기 위해 너무 길게 말하기도 합니다.

**아다메이메(AdaMame)**는 아다의 이런 나쁜 습관을 그녀를 긴장시키거나 느리게 만들지 않고 해결하기 위해 설계된 더 스마트한 훈련 레시피입니다. 작동 방식은 다음과 같습니다.

2단계 훈련 레시피

저자들은 아다를 코치가 올림픽 선수를 준비시키는 것처럼 2단계 과정으로 훈련시켰습니다.

1단계: "몰입 캠프" (SFT)
먼저, 아다를 5가지 다른 언어(프랑스어, 포르투갈어, 일본어, 한국어, 태국어)의 원어민들과만 상호작용하는 캠프에 넣었습니다.

수행 내용: 그녀에게 사고 과정(즉, "생각")이 이미 해당 현지 언어로 완벽하게 작성된 수천 개의 수학 문제를 보여주었습니다.
결과: 아다는 이 언어들로 수학 문제를 푸는 것이 가능하다는 것을 배웠습니다. 그녀는 즉시 영어로 기본 설정하는 습관을 멈췄습니다. 하지만 연습하지 않은 언어(예: 스와힐리어 또는 벵골어)를 접했을 때는 여전히 다소 불안정한 모습을 보였습니다.

2단계: "스마트 코치" (AdaMame-GRPO)
이 부분이 마법 같은 부분입니다. 두 번째 단계에서 그들은 AdaMame-GRPO라고 불리는 특별한 훈련 방법을 사용했습니다.

기존 코치의 문제점: 이전의 방법들은 아다가 정답을 맞히면서 동시에 올바른 언어를 사용했을 때만 보상을 주었습니다. 이것은 마치 "전부 아니면 전무(all-or-nothing)" 식의 스위치와 같았습니다. 만약 아다가 답은 맞혔지만 영어로 말했다면, 보상을 전혀 받지 못했습니다. 이로 인해 아다는 실험적인 시도를 하는 것을 두려워하게 되었습니다.
AdaMame의 해결책: 새로운 코치는 점진적 성장 전략을 사용합니다.
- 훈련 초기: 코치는 관대합니다. "헤이, 일단 문제를 풀어봐! 지금은 네가 영어로 생각하든 프랑스어로 생각하든 상관없어. 그냥 수학 문제를 맞히는 게 중요해." 이를 통해 아다는 탐색하며 문제를 푸는 최선의 방법을 찾을 수 있습니다.
- 훈련 후기: 훈련이 진행됨에 따라, 코치는 언어 규칙의 볼륨을 서서히 높입니다. "좋아, 이제 수학은 잘하는구나. 이제 너는 사용자가 요청한 언어로 반드시 생각해야 해."
- 비유: 아이에게 자전거 타기를 가르치는 것을 상상해 보세요. 처음에는 아이가 비틀거리고 넘어지도록 내버려 둡니다(탐색). 일단 아이가 안정되면, 자전거 도로 안에 머물도록 부드럽게 안내합니다(정렬). 처음부터 "도로 안에 있어!"라고 소리치면 아이는 사고가 날 것입니다.

이것이 왜 중요한가

논문은 이 새로운 방법이 기존 방법들과 비교하여 세 가지 주요 승리를 거두었다고 테스트 결과를 밝혔습니다.

"코드 스위칭(언어 교체)" 제거: 아다는 문장 중간에 언어를 바꾸는 짜증 나는 습관(예: 프랑스어로 생각을 시작했다가 영어로 끝내는 것)을 멈췄습니다. 이제 그녀는 일관성을 유지합니다.
"과잉 사고" 방지: 기존 방법들은 아다가 노력하고 있다는 것을 증명하기 위해 말을 길게 늘어지게 만들었습니다. AdaMame은 그녀를 효율적으로 만들었습니다. 그녀는 동일한 결과를 얻기 위해 더 적은 단어(토큰)를 사용합니다.
"언더독(Underdog)" 효과: 가장 큰 개선은 저자원 언어(텔루구어나 스와힐리어처럼 데이터가 적은 언어)에서 나타났습니다. 다른 방법들이 어려움을 겪는 동안, AdaMame은 아다가 놀라울 정도로 잘 수행하도록 도와주어, 주요 언어뿐만 아니라 모두에게 기술이 더 공정하게 작용하도록 만들었습니다.

핵심 요약

논문은 AdaMame이 다음과 같은 모델을 만든다고 주장합니다:

정확함: 수학 문제를 정확히 맞힙니다.
충실함: 요청한 언어로 생각합니다.
효율적임: 시간이나 단어를 낭비하지 않습니다.

이 모델은 저자들이 **"파레토 최적 성능(Pareto-optimal performance)"**이라고 부르는 것을 달 achieves 하는데, 이는 "하나를 희생하면서 다른 것을 얻는 것이 아니라, 세 가지 목표 사이의 최적의 균형을 찾았다"는 뜻의 전문 용어입니다. 이는 마치 빠르면서도 안전하고, 연료 효율까지 좋은 자동차를 얻는 것과 같습니다. 반면 기존 모델들은 대개 빠르지만 안전하지 않거나, 안전하지만 느렸습니다.

저자들은 다른 사람들이 영어에 의존하는 기본 사고 언어 없이도, 특히 수학적 추론을 위한 더 나은 다국어 AI를 구축할 수 있도록 이 "훈련 레시 recipe"와 데이터를 공개했습니다.

기술 요약: AdaMame – 적응형 다국어 추론을 위한 학습 레시피

문제 정의

대규모 추론 모델(LRMs)은 영어에서는 강력한 성능을 보이지만, 사용자의 질의 언어로 추론하는 데에는 자주 실패하는데, 이를 언어 붕괴(language collapse) 현상이라 부른다. 모델은 질의 언어로 추론 과정(Chain-of-Thought)을 생성하는 대신, 영어로 회귀하거나 추론 도중 언어를 혼용(code-switching)하는 경향을 보인다.

이를 교정하기 위한 기존의 강화 학습(RL) 시도들은 일반적으로 정확도 목적 함수에 수동으로 조정된 가중치 비율을 사용하여 이진 언어 충실도 보상을 추가한다. 그러나 본 논문은 이러한 접근 방식에서 세 가지 지속적인 한계를 식별했다:

정확도 트레이드오프: 언어 충실도를 높이는 것이 종종 추론 정확도의 희생을 초래한다.
코드 스위칭(Code-Switching): 모델이 단일 추론 과정 내에서 언어를 빈번하게 교체한다.
과잉 사고(Overthinking): 모델이 정답률의 비례적인 이득 없이 과도하게 토큰을 소비한다.
또한, 많은 기존 방법들은 감독을 위해 영어 참조 추론 과정을 필요로 하며 고정된 가중치 체계에 의존하므로 확장성과 견고함이 제한된다.

방법론: AdaMame

저자들은 추론 언어를 질의 언어에 적응적으로 정렬하는 동시에 정확도와 토큰 효율성을 공동으로 최적화하도록 설계된 2단계 학습 레시피인 AdaMame을 제안한다.

1단계: 지도 미세 조정 (SFT)

목표: 기초적인 다국어 추론 능력과 언어별 패턴에 대한 민감도를 구축한다.
데이터: 5개 언어(프랑스어, 포르투갈어, 일본어, 한국어, 태국어)에 걸쳐 자연스럽게 발생하는 3만 개의 추론 과정 데이터셋을 사용한다. 결정적으로, 이 과정들은 영어에서 기계 번역된 것이 아니라, 대상 언어로 유창하게 생성되고 검증된 것들이다.
기술: 파괴적 망각을 방방지하고 효율성을 높이기 위해 저차원 적응(LoRA)을 사용하여 모델을 미세 조정한다. 프롬프트는 질의 언어로 추론하도록 명시적으로 권장한다.

2단계: 강화 학습 (AdaMame-GRPO)

목표: 도메인 외 언어로 추론 능력을 일반화하고, 정확도를 희생하지 않으면서 언어 정렬을 강제한다.
핵리 혁신: AdaMame-GRPO라고 불리는 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**의 변형이다.
메커니즘: 고정된 보상 가중치 대신, 훈련 과정 중에 점진적으로 증가하는 **질의 조건부 정렬 계수( $\alpha_i(t)$ $α_{i} (t)$ )**를 도입한다.
- 탐색 단계 (Exploration Phase): 훈련 초기에는 정렬 계수가 약하여, 모델이 정확도를 극대화하기 위해 다양한 추론 언어를 탐색할 수 있도록 한다.
- 활용 단계 (Exploitation Phase): 훈련이 진행됨에 따라 계수가 증가하여, 추론 언어가 질의 언어와 일치하는 결과물(rollout)에 대한 보상을 증폭시킨다.
- 수학적 공식: 보상은 $r'(q, o_i, g) = \alpha_i(t) \cdot r(q, o_i, g)$ 로 스케일링되며, 여기서 $\alpha_i(t)$ 는 0.1에서 1.0까지 코사인 성장 스케줄을 따른다.
장점: 이 방식은 영어 참조 추론 과정이 필요 없으며, 수동적인 보상 가중치 튜닝을 피하고 대신 커리큘럼 기반의 "탐색 후 활용(explore-then-exploit)" 전략을 사용한다.

주요 기여

AdaMame 레시피: 추론 언어를 질의에 적응적으로 정렬하여 정확도와 언어 충실도 간의 트레이드오프를 해결하는 2단계(SFT + RL) 사후 학습 프레임워크를 제공한다.
데이터셋 공개: 영어 데이터에 의존하지 않고 다국어 추론 연구를 지원하는, 5개 언어에 걸친 3만 개의 고품질 자연 발생 추론 과정 데이터셋을 공개한다.
AdaMame-GRPO 알고리즘: 추론 정확도, 언어 충실도, 토큰 효율성 전반에 걸쳐 파레토 최적(Pareto-optimal) 성능을 달하는 새로운 RL 변형을 제시한다.

실험 결과

본 방법은 두 가지 백본 모델(DISTILL-QWEN 1.5B 및 QWEN3 4B)을 사용하여 두 가지 벤치마크(MGSM-Rev2 및 MSVAMP)에서 12개 언어(5개 인도메인, 7개 외 도메인)로 평가되었다.

파레토 최적성: AdaMame-GRPO는 Vanilla, Prompt, SFT, 표준 GRPO, M-Thinker를 포함한 모든 베이스라인과 비교했을 때 정확도, 언어 충실도(LCPR로 측정), 토큰 효율성(TTC) 사이에서 최상의 균형을 달성했다.
도메인 외 일반화: SFT는 인도 도메인 성능을 향상시켰으나 도메인 외 언어에는 일반화가 잘 되지 않았다. 반면 RL 단계는 특히 AdaMame-GRPO가 베이스라인 대비 가장 큰 폭의 개선을 보인 저자원 언어(예: 벵골어, 스와힐리어, 텔루구어)에서 일반화 성능을 크게 향提升시켰다.
토큰 효율성: "과잉 사고"를 유발하는 다른 방법들과 달리, AdaMame-GRPO는 테스트된 모든 변형 중 가장 낮은 토큰 소비량을 기록했다.
커리큘럼 효과: 분석 결과 "탐색 후 활용" 역학이 확인되었다. 모델은 처음에 다양한 언어를 생성하다가, 정렬 계수가 커짐에 따라 점진적으로 질의 언어로 수렴하였다.

의의 및 주장

본 논문은 AdaMame가 영어 참조 추론 과정과 고정된 보상 가중치를 제거함으로써 현재의 다국어 추론 방식의 핵심 한계를 해결한다고 주장한다. 적응형 커리큘럼을 구현함으로써, 이 방법은 정확도를 유지하거나 개선하면서 언어 붕괴와 코드 스위칭을 성공적으로 완화한다.

저자들은 이 연구가 더 공평한 다국어 추론을 향한 단계임을 강조하며, 고성능이 고자원 언어뿐만 아니라 저자원 및 도메인 외 설정에서도 달성 가능하다는 것을 입증했다. 그들은 영어 중심의 보상 설계를 넘어가는 것이 전 세계 사용자의 언어 다양성을 지원하는 모델을 훈련하는 데 필수적이라고 주장한다.

인정된 한계점:

실험은 계산 예산에 의해 제한되어 특정 모델 크기와 수학적 추론 작업으로 범위가 한정된다.
이 방법은 LINGUA 언어 탐지기에 의존하며, 이는 심하게 코드가 혼용된 추론 과정이나 매우 낮은 자원의 언어에서 신뢰성 문제가 있을 수 있다.
훈련 코퍼스는 GPT-5 NANO에 의해 생성된 추론 과정에 의존하므로, 해당 모델의 특정 언어 편향을 상속받을 가능성이 있다.