💬 NLP

RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer

이 논문은 표면적인 텍스트보다 "추론 피벗(reasoning pivots)"을 우선시하도록 온폴리시 자기 증류(on-policy self-distillation)를 유도함으로써 다국어 추론 전이를 향상시키는 새로운 방법론인 RP-OPSD를 제안하며, 이를 통해 17개 언어에 걸쳐 기존 베이스라인들을 능가하는 성능을 보여준다.

원저자: Xinye Wang, Junxiao Liu, Shujian Huang

게시일 2026-08-07

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xinye Wang, Junxiao Liu, Shujian Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 다재다능하지만 다국어를 사용하는 로봇에게 까다로운 수학 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 당신은 영어를 사용하지만, 로봇은 스와힐리어, 프랑스어 또는 일본어로 생각하는 법을 배워야 합니다. 큰 과제는 단순히 단어를 번역하는 것이 아니라, '생각'을 번서하는 것입니다. 만약 로봇이 영어로는 수학 문제를 잘 풀지만, 다른 언어로 그 단계를 설명할 때 버벅거린다면, 이는 답은 알지만 에세이를 쓸 줄 모르는 학생과 같습니다. 이것이 바로 과학자들이 대규모 언어 모델(LLM)이 영어만큼 잘 알지 못하는 언어에서도 똑똑한 논리 기술을 사용할 수 있도록 돕고자 하는 "다국어 추론(multilingual reasoning)"의 세계입니다.

이를 위해 연구자들은 흔히 "자기 증류(self-distillation)"라고 불리는 기술을 사용합니다. 이것은 로봇이 혼자 연습하는 것과 같습니다. 로봇은 문제를 풀려고 시도하고, 그러면 "교사" 버전의 자기 자신(비밀 영어 참조 시트를 가지고 있는)이 작업 내용을 확인하고 "잘했어!" 또는 "다시 해봐!"라고 말해줍니다. 로봇은 이러한 교정을 통해 학습합니다. 하지만 이 방법의 공통적인 문제는 교사가 로봇이 쓰는 모든 단어 하나하나에 대해 너무 까다로울 수 있다는 점입니다. 만약 로봇이 "따라서(therefore)"나 "같다(equals)"를 약간 다른 방식으로 표현한다고 해서, 수학적 논리는 완벽함에도 불구하고 교사가 짜증을 낸다면 문제가 됩니다. 이는 로봇을 혼란스럽게 하여 올바르게 생각하기보다 유창하게 들리는 데만 집중하게 만들 수 있습니다.

이 논문은 로봇을 가르치는 더 똑똑하고 새로운 방법인 RP-OPSD를 소개합니다. 저자인 난징 대학교의 Xinye Wang, Junxiao Liu, Shujian Huang은 우리가 추론 체인의 모든 단어를 동일하게 취급해서는 안 된다고 제안합니다. 대신, 우리는 로봇이 더하기 대신 곱하기를 선택하거나 변수를 변경해야 함을 깨닫는 것처럼, 결정적인 순간, 즉 "피벗(pivots)"을 식별해야 합니다. 이것들은 추론의 "아하!(aha!)" 모먼트입니다. 나머지 단어들은 문법이나 "케이크가 잘렸다"라고 말하는 구체적인 방식과 같은 "표면적(surface)" 세부 사항일 뿐입니다.

연구진은 "게이트(gate)"를 사용하여 어떤 단어에 교사의 엄격한 주의가 필요한지, 그리고 어떤 단어는 로봇의 자연스러운 언어 흐름에 맡겨두어야 하는지를 결정함으로써 로봇이 훨씬 더 빠르게 학습한다는 것을 발견했습니다. 그들은 아프리카 언어들을 포함하여 많은 언어에 대해 17개의 서로 다른 언어로 테스트를 진행했습니다. 결과는 RP-OPSD가 이전 방식보다 수학 문제를 더 잘 풀도록 도왔으며, 특히 더 어려운 언어들에서 두드로웠습니다. 이는 로봇에게 하이라이트 펜을 쥐여주는 것과 같습니다. 교사가 확인해야 할 가장 중요한 논리 단계만을 강조하고, 나머지는 로봇이 자신의 목소리로 이야기를 써 내려갈 수 있게 해주는 것입니다. 이는 로봇에게 새로운 언어로 생각하는 법을 가르치기 위해서 모든 문장을 미세 관리할 필요는 없으며, 단지 핵심적인 사고 단계가 견고한지만 확인하면 된다는 것을 시사합니다나.

핵심 아이디어: "피벗(Pivots)" 찾기

이 논문은 모델이 새로운 언어로 추론할 때 두 가지 일을 동시에 수행한다고 주장합니다.

표면 실현(Surface Realization): 올바른 언어로 단어를 쓰는 것 (예: 영어의 "multiply" 대신 프랑스어로 "multiplie"라고 말하는 것).
추론 피벗(Reasoning Pivots): 실제 논리적 결정을 내리는 것 (예: 4에 3을 곱하기로 결정하는 것).

저자들은 이전 방식들이 이 두 가지를 동일하게 취급했다는 점을 지적했습니다. 그들은 로봇이 교사의 영어 논리와 영어 단어 선택을 완벽하게 복사하도록 강요하려고 했습니다. 하지만 이것은 음악 선생님이 학생의 손가락 위치를 교정하면서 동시에 학생의 억양에 대해 소리를 지르는 것과 같습니다. 너무 과한 압박입니다.

논문은 표면 변이(surface variants)(같은 것을 말하는 다양한 방식)는 괜찮지만, 피벗 드리프트(pivot drift)(논리가 변하는 것)는 위험하다고 제안합니다. 만약 로봇이 곱하기 대신 더하기를 하기로 결정한다면, 프랑스어가 아무리 유창하더라도 전체 답은 틀리게 됩니다.

RP-OPSD의 작동 방식: "게이트(Gate)"

이를 해결하기 위해 저자들은 RP-OPSD(Reasoning-Pivot-Guided On-Policy Self-Distillation)라고 불리는 시스템을 만들었습니다. 여기에는 다음과 같은 비유가 있습니다.

로봇이 수학 문제를 푸는 이야기를 쓰고 있다고 상상해 보세요.

교사의 관점 1 (참조 시트): 교사는 문제, 영어 해설, 그리고 로봇의 현재 문장을 봅니다.
교사의 관점 2 (참조 시트 없음): 교사는 문제와 로봇의 문장을 보지만, 영어 해설은 보지 못합니다.

시스템은 이 두 관점을 비교합니다.

만약 교사가 영어 해설 때문에 다음에 할 말을 바꾼다면, 그 단어는 **피벗(Pivot)**입니다. 즉, 여기서 영어의 논리가 중요하다는 뜻입니다. 이때 "게이트"가 활짝 열리고, 로봇은 강력한 레슨을 받습니다: "여기서는 논리를 복사해!"
만 만약 교사가 영어 해설이 있든 없든 똑같은 말을 한다면, 그 단어는 그냥 **표면(Surface)**입니다. 그것은 아마도 문법이나 흔한 구절일 것입니다. 이때 "게이트"는 닫힌 상태를 유지하며, 로봇은 영어 스타일을 억지로 복사하지 않고도 목표 언어로 자연스럽게 글을 쓸 수 있습니다.

이 "게이트"는 수학적 필터로서, 로봇이 생성하는 모든 단어에 대해 영어의 논리가 집중적으로 필요한지, 아니면 목표 언어로 자연스럽게 흘러가도록 부드럽게 유도하기만 하면 되는지를 결정합니다.

연구 결과

팀은 고자원 언어인 프랑스어와 스페인어부터 저자원 언어인 스와힐리어와 요루바어 같은 아프리카 언어에 이르기까지 17개 언어를 대상으로 테스트를 진행했습니다. 그들은 두 가지 주요 수학 벤치마크인 AfriMGSM(아프리카 언어용)과 PolyMath(더 어려운 다중 난이도 수학 테스트)를 사용했습니다.

결과는 명확했습니다:

더 높은 점수: RP-OPSD는 표준 "자기 증류" 및 기타 고급 추론 기법을 포함하여 비교 대상이었던 모든 방법보다 우수한 성적을 거두었습니다. 예를 들어, Qwen3-1.7B 모델의 경우, 아프리카 언어에서의 평균 점수를 약 16.7%에서 **19.07%**로 높였으며, 더 어려운 PolyMath 테스트에서는 **17.97%**의 정확도에 도달했습니다.
더 똑똑한 학습: 분석 결과, "게이트"가 중요한 순간을 정확히 식별했음을 보여주었습니다. 게이트는 "따라서(therefore)", "그래서(so)", "하지만(but)"과 같은 단어와 특정 수학 연산(예: "제곱근(square root)" 또는 "사다리꼴(trapezoid)")에 집중했습니다. 반면 변수 이름( $x, y$ )이나 흔한 접속사 같은 지루한 부분은 무시했습니다.
"언어 누출(Language Leakage)" 없음: 이 분야의 큰 우려 중 하나는 로봇이 영어로 생각하고 마지막 답만 번역하게 될 것이라는 점입니다. 논문은 RP-OPSD가 실제로 로봇이 목표 언어로 생각하도록 유지한다는 것을 보여줍니다. RP-OPSD는 로봇의 영어 스타일을 닮게 만들지 않으면서도 목표 언어로 추론하는 능력을 향상시켰습니다. 사실, 로봇의 "언어 일관성"(목표 언어를 얼마나 잘 유지하는지)은 수학 점수가 올라가는 동안 함께 높아졌습니다.

배제된 내용

이 논문은 몇 가지 일반적인 생각에 대해 명시적으로 반박합니다:

균등 가중치(Uniform Weighting): 연구진은 모든 단어를 동일하게 취급하는 것(모든 단어에 동일한 중요성을 부여하는 것)이 실수임을 보여줍니다. 이는 중요한 논리 신호를 표면 수준의 단어들로부터 오는 너무 많은 노이즈로 희석시킵니 다.
단순한 "불일치(Disagreement)": 그들은 단순히 교사와 학생이 서로 의견이 다른 지점을 찾는 것만으로는 부족하다는 것을 발견했습니다. 때때로 그들은 논리적 오류 때문이 아니라 오타나 문법 선택 때문에 의견이 다를 수 있기 때문입니다. "피벗" 방식이 더 나은 이유는 영어 해설이 결과(outcome)를 어떻게 바꾸는지 구체적으로 살펴보기 때문입니다.
번역 아티팩트(Translation Artifacts): 그들은 영어 추론을 다른 언어로 단순히 번역하는 것(지도 학습 미세 조정, SFT)은 충분하지 않다고 주장합니다. 왜냐นั้น 번역이 로봇이 해당 언어에서 자연스럽게 생각하는 방식과 일치하지 않을 수 있기 때문입니다.

결론

이 논문은 로봇에게 새로운 언어로 추론하는 법을 가르치기 위해 영어 화자처럼 말하도록 강요할 필요는 없다고 제안합니다. 단지 영어 해설의 논리가 중요한 바로 그 순간에 그 논리를 이해하도록 만들면 됩니다. "생각하는" 단어와 "말하는" 단어를 구분하는 "게이트"를 사용함으로써, 로봇은 자신의 자연스러운 목소리를 잃지 않으면서도 새로운 언어로 깊이 있게 생각하는 법을 배웁니다.

저자들은 17개 언어와 다양한 모델 크기에 걸친 실험을 바탕으로 이러한 결과에 자신감을 보입니다. 그들은 이 접근 방식이 AI를 진정으로 다국어화하여, 데이터가 많은 언어뿐만 아니라 어떤 언어로도 복잡한 문제를 해결할 수 있게 만드는 핵심 단계가 될 수 있다고 제안합니다.

기술 요약: RP-OPSD

문제 정의

다국어 추론 전이(Multilingual reasoning transfer)는 대규모 언어 모델(LLM)의 추론 능력을 고자원 언어(예: 영어)에서 저자원 언어로 확장하는 것을 목표로 한다. 온-폴리시 자기 증류(On-Policy Self-Distillation, OPSD)는 학생 모델이 생성한 롤아웃(rollout)에 대해 조밀한 토큰 수준의 감독을 제공함으로써 유망한 패러다임으로 부상했으나, 기존 변형 모델들은 생성된 모든 토큰에 동일한 가중치를 부여한다는 결정적인 한계를 가지고 있다. 이러한 방식은 표면 실현 토큰(언어 특유의 구문 및 유창성)과 추론 피벗(추론 과정을 진전시키거나 방향을 전환하는 결정)을 구분하지 못한다.

저자들은 다국어 환경에서 표면적 변형은 동일한 추론 상태를 유지할 수 있는 반면, "피벗 드리프트(pivot drift)"—즉, 핵심 결정 토큰에서의 오류—는 후속 과정이 유창하게 유지되더라도 하위 추론 과정을 오염시킬 수 있다고 주장한다. 기존 방법들은 교사 모델의 신뢰도(이는 교차 언어적 추론 관련성을 반영하지 못할 수 있음)에 의존하거나, 핵심 구간에 대한 획득하기 어려운 주석(annotation)을 요구한다. 또한, 단순한 교사-학생 불일치(KL 발산)는 추론에 결정적인 위치보다는 형식이나 어휘적 차이를 강조하는 모호한 신호인 경우가 많다.

방법론: RP-OPSD

본 논문은 추론에 민감한 토큰에는 특권적 증류(privileged distillation)를 선택적으로 라우팅하고, 표면 토큰은 대상 언어에 고정(anchoring)하는 방법인 RP-OPSD(Reasoning-Pivot-Guided On-Policy Self-Distillation)를 제안한다.

1. 교사의 관점과 특권적 추론 민감도 (PRS)

RP-OPSD는 단일한 교사 관점을 사용하는 대신, 서로 다른 정보 상태 하에 있는 동일한 정책( $\pi_\theta$ )의 두 가지 관점을 대조한다:

솔루션 조건부 관점 ( $q^+_t$ ): 저자원 질문, 해당 질문의 영어 번역, 롤아웃 접두사(prefix), 그리고 **영어 참조 추론 궤적(English reference reasoning trace)**이 조건화된 정책.
절제된 관점 ( $q^-_t$ ): 동일한 입력 조건이지만 영어 참조 궤적이 없는 정책.

특권적 추론 민감도(Privileged Reasoning Sensitivity, PRS) 점수 $a_t$ 는 이 두 관점 사이의 KL 발산으로 계산된다:
$a_t = D_{KL}(q^+_t \parallel q^-_t)$
높은 $a_t$ 는 영어 솔루션의 존재가 모델의 다음 토큰 예측을 유의미하게 변화시킨다는 것을 나타내며, 이는 해당 토큰이 특권적 증거가 중요한 추론 피벗임을 시사한다. 반대로 낮은 $a_t$ 는 해당 토큰이 대상 언어의 실현이나 일반적인 사전 지식(prior)에 의해 제어됨을 의미한다.

2. 추론-피벗 전이(RPT) 게이트

PRS 점수는 정규화된 후 시그모이드 함수를 통과하여 연속적인 게이트 $g_t \in [0, 1]$ 를 생성한다:
$g_t = \text{sg}[g_{min} + (1 - g_{min})\sigma(\beta(\tilde{a}_t - \tau))]$
이 게이트는 라우팅 계수 역할을 한다:

높은 $g_t$ : 해당 토큰은 추론 피벗으로 취급된다.
낮은 $g_t$ : 해당 토큰은 표면 실현으로 취급된다.

3. 라우팅된 학습 목적 함수

학습 목적 함수는 게이트에 의해 라우팅된 두 개의 전체 어휘 전방-KL(forward-KL) 항을 결합한다:

피벗 전이 항 ( $L_{pivot}$ ): 게이트 값이 높은 위치에서 학생 분포( $p_t$ )를 솔루션 조건부 교사( $q^+_t$ )와 정렬한다. 이는 특권적 추론 로직을 전이시킨다.
$L_{pivot} = \frac{1}{N} \sum_{t=1}^T m_t g_t D_{KL}(q^+_t \parallel p_t)$
앵커링 항 ( $L_{anchor}$ ): 게이트 값이 낮은 위치에서 학생을 동결된 참조 정책( $\pi_{ref}$ )과 정렬한다. 이는 대상 언어의 표면 실현을 보존하고 모델이 영어 솔루션의 구문에 과적합되는 것을 방지한다.
$L_{anchor} = \frac{1}{N} \sum_{t=1}^T m_t (1 - g_t) D_{KL}(r_t \parallel p_t)$

최종 손실 함수는 $L_{RP-OPSD} = L_{pivot} + \lambda L_{anchor}$ 이다.

주요 기여

추론 피벗 식별: 본 논문은 다국어 추론을 표면 텍스트와 추론 피벗의 교차적 구성으로 규정하며, 전이 효율은 후자를 격리하는 데 달려 있다고 주장한다.
분포 변화 프록시: 특권적 추론 증거가 있는 경우와 없는 경우의 교사 관점 간의 분포 변화를 측정함으로써, 주석 없이도 피벗을 식별할 수 있는 새로운 메커니즘을 도입했다. 이는 원시 교사-학생 불일치를 사용하는 문제점을 피한다.
이중 목적 라우팅: 추론에 결정적인 토큰에는 특권적 증류를 수행하고, 표면 토큰에는 참조 앵커링을 수행함으로써, 추론 전이와 언어 충실도 사이의 균형을 동시에 달성한다.

실험 결과

이 방법은 17개 언어(12개 아프리카 언어 포함)에 대해 두 가지 수학적 추론 벤치마크인 AfriMGSM과 PolyMath에서 평가되었다.

성능: RP-OPSD는 SFT, GRPO, MAPO-DPO, M-Thinker 및 기존 OPSD 변형 모델(COPSD, EGRSD)을 포함한 강력한 베이스라인들을 능가했다.
- AfriMGSM (Qwen3-1.7B)에서 RP-OPSD는 평균 pass@12 **19.07%**를 달성하여 COPSD(16.70%)와 M-Thinker(14.87%)를 앞질렀다.
- PolyMath (Qwen3-4B)에서 RP-RP-OPSD는 난이도 가중 정확도(DW-ACC) **31.87%**를 달성하여 COPSD(29.94%)와 M-Thinker(29.74%)를 능가했다.
절제 연구(Ablation Studies):
- 게이트 국소화: RPT 게이트를 기준으로 상위 20%의 토큰을 선택(TG)했을 때 무작위(RG) 또는 하위 게이트(BG) 선택보다 성능이 현저히 높았으며, 이는 게이트가 전이 가능한 추론 신호를 올바르게 식s별하고 있음을 확인시켜 준다.
- 앵커링: 참조 앵커링 항을 제거하면 특히 기본 능력이 강한 언어(예: 프랑스어)에서 성능이 저하되었는데, 이는 앵커링이 대상 언어의 유창성을 보존하는 데 중요하다는 것을 나타낸다.
분석:
- 토큰 유형: 높은 게이트 값을 가진 토큰은 추론 제어 전이(예: "therefore", "but") 및 문제 조건부 상태 업데이트(예: 특정 변수, 연산자)에 해당하는 것으로 나타났으며, 낮은 게이트 값을 가진 토큰은 주로 표면 실현(변수, 구문)이었다.
- 도달 가능성(Reachability): RP-OPSD는 영어로 도달 가능한 솔루션뿐만 아니라, 영어 도달 범위를 넘어선 추론 능력까지 확장했으며, "영어 너머(beyond-English)" 솔루션에 대해 다른 베이스라인보다 두 배 높은 이득을 보였다.
- 언어 일관성: 영어 추론 패턴으로 표면적으로 흐르는 방식으로 정확도를 높이는 다른 방법들과 달리, RP-OPSD는 언어 일관성 점수를 유지하거나 오히려 높이면서 추론 정확도를 개선했다.

의의 및 주장

본 논문은 RP-OPSD가 중요한 곳에 특권적 감독을 집중함으로써 다국어 추론 전이를 위한 더 효율적이고 효과적인 패러다임을 제공한다고 주장한다. CoT 생성의 "무엇(표면 실현)"과 "어떻게(추론 로직)"를 구분함으로써, 유창하지만 비결정적인 토큰에 추론 신호가 희석되는 것을 방지한다.

저자들은 이 방법이 모델이 영어 추론을 단순히 번역하는 것이 아니라, 대상 언어의 제약 조건에 맞춰 근본적인 추론 로직을 적응시키도록 하여, 번역된 추론 궤적이나 복잡한 보상 엔지니어링 없이도 우수한 성능을 달ів할 수 있게 한다고 단언한다.