컴퓨터가 도서관의 모든 책을 읽었지만 여전히 까다로운 수학 문제는 풀지 못해 쩔쩔매는, 아주 똑똑하지만 다국어에 능통한 학생과 같은 세상을 상상해 보십시오. 이들이 더 똑똑해지도록 돕기 위해 과학자들은 '훈련(training)'이라는 기술을 사용하는데, 이는 마치 코치가 연습 문제를 통해 학생을 지도하는 것과 비슷합니다. 오랫동안 이러한 AI 학생들을 훈련시키는 가장 좋은 방법은 강화 학습(Reinforcement Learning, RL)이었습니다. 이는 에세이 전체에 대해 어떤 문장이 좋고 나쁜지 알려주지 않은 채, 결과물 전체에 대해 단 하나의 성적(예: 'A' 또는 'F')만 매기는 방식입니다. 그러나 훨씬 더 효율적인 새로운 방법인 **온폴리시 증류(On-Policy Distillation, OPD)**가 등장했습니다. OPD는 결과가 나올 때까지 기다리는 대신, 마치 마스터 교사가 학생이 답을 쓰는 동안 단어 하나하나를 읽으며 수정 사항과 제안을 속삭여 주는 것과 같습니다. 이 '토큰 수준(token-level)'의 피드백은 훨씬 더 정밀합니다. 하지만 여기에는 함정이 있습니다. 대부분의 이러한 연구는 영어로만 진행되었습니다. 우리는 이 '속삭이는 선생님' 기법이 한국어나 일본어 같은 다른 언어를 사용하는 학생들에게도 똑같이 잘 작동하는지, 혹은 AI가 영어를 구사하는 능력과 다른 언어를 구사하는 능력 사이의 격차를 줄이는 데 도움이 될 수 있는지 알지 못했습니다.

이 논문은 바로 그 질문을 파고들며, **온폴리시 델타 증류(On-Policy Delta Distillation, OPD²)**라고 불리는 초강력 버전의 기술을 영어, 한국어, 일본어 수학적 추론에 테스트합니다. 연구진은 이 새로운 방법이 게임 체인저라는 것을 발견했습니다. 어떤 언어로든 레시피를 가르칠 수 있는 마스터 셰프처럼, OPD²는 AI 모델이 세 언어 모두에서 수학 문제를 훨씬 더 잘 풀 수 있도록 도왔으며, 특히 한국어와 일본어에서 엄청난 도약을 보여주었습니다. 이 연구는 이 방법이 '델타(delta)'—즉, 선생님이 알고 있는 것과 학생의 기본 모델이 이미 알고 있는 것 사이의 구체적인 차이—에 집중함으로써, 가르치고자 하는 새로운 추론 기술을 효과적으로 분리해 내기 때문에 기존 버전보다 더 우수하다고 주장합니다.

하지만 이 논문은 또한 흥미롭고 약간 까다로운 부작용을 밝혀냈습니다. 연구진이 영어 수학 문제만을 사용하여 AI를 가르치려 했을 때, 모델은 놀랍게도 한국어와 일본어 수학 문제도 더 잘 풀게 되었습니다. 마치 학생이 영어로 수학 논리를 배웠고, 이를 다른 언어에도 적용할 수 있게 된 것과 같습니다. 그러나 반전이 있었습니다. 답은 맞았지만, 모델은 질문이 한국어나 일본어로 되어 있음에도 불구하고 종종 설명을 영어로 쓰기 시작했습니다. 이는 '추론 근육'은 한 언어에서 훈련되어 다른 언어로 전이될 수 있지만, 답변의 '목소리'를 대상 언어로 유지하려면 해당 언어의 데이터로 연습하는 과정이 필요함을 시사합니다. 궁극적으로 이 논문은 OPD²가 여러 언어에 걸쳐 AI를 더 똑똑하게 만드는 강력한 도구임을 보여주지만, 언어를 진정으로 마스터하려면 연습할 때 그 언어로 말해야 한다는 점도 보여줍니다.

핵심 발견: 더 나은 속삭이는 선생님

연구진은 OPD²(발전된 형태의 속삭이는 선생님)가 다국어를 다룰 때 기존의 OPD보다 더 뛰어난 성능을 보일 수 있는지 확인하고자 했습니다. 연구진은 Qwen3(구체적으로 1.7B 및 8B 버전)라는 AI 모델 제품군과 거대한 교사 모델을 사용하여 이들을 가이드했습니다. 결과는 명확하고 일관되었습니다: OPD²는 모든 분야에서 기존의 OPD를 지속적으로 압도했습니다.

이렇게 생각해 보십시오. 만약 기존의 OPD가 좋은 튜터였다면, OPD²는 학생에게 부족한 점이 무엇인지 정확히 아는 천재 튜터였습니다. 실험에서 이 차이는 비영어권 언어에서 매우 컸습니다. 작은 모델(Qwen3-1.7B)의 경우, OPD²는 한국어 수학 점수를 40.9에서 51.9로, 일본어 점수를 37.2에서 52.0으로 향상시켰습니다. 기존 OPD도 도움이 되었지만, OPD²는 그 수치들을 훨씬 더 높이 끌어올렸습니다. 더 크고 똑똑한 모델(Qwen3-8B)에서도 개선 효과는 강력했습니다. 한국어는 57.0에서 64.4로, 일본어는 57.1에서 65.0으로 급증했습니다.

논문은 이것이 단순히 선생님의 스타일을 복제하는 것이 아니라고 명시적으로 주장합니다. '델타 신호'(선생님과 선생님 자신의 기본 모델 사이의 격차)를 사용함으로써, OPD²는 단순히 선생님의 일반적인 출력을 흉내 내는 것이 아니라 추론 능력을 학생에게 성공적으로 전이시켰습니다. 이는 이 방법이 언어나 모델의 크기에 관계없이 견고하게 작동함을 시사합니다.

언어 격차 해소

이 연구의 가장 큰 목표 중 하나는 이러한 훈련 방법이 영어와 다른 언어 사이의 성능 격차를 줄일 수 있는지 확인하는 것이었습니다. 흔히 AI 모델은 한국어나 일본어보다 영어에 훨씬 더 능숙합니다. 연구 결과, 다국어 OPD²는 일반적으로 이 격차를 좁히는 데 도움을 주는 것으로 나타났습니다.

"영어-한국어 정확도 격차"를 자세히 살펴보면, 기본 모델이 영어 쪽으로 큰 편향을 보였으나(특정 테스트에서 13점 이상의 차이), OPD 훈련은 이 격차를 줄였습니다. 예를 들어, Global-MGSM 벤치마크에서 격차는 표준 OPD를 통해 13.4점에서 8.6점으로 줄어들었고, OPD²를 통해서는 9.3점까지 더 낮아졌습니다. HRM8K 벤치마크에서는 격차가 12.1에서 9.2점으로 떨어졌습니다.

논문은 이것이 다국어 훈련이 영어보다 비영어권 언어에 더 많은 혜ç을 주어, 강한 모델을 끌어내리지 않으면서 약한 모델의 성능을 끌어올리기 때문이라고 설명합니다. 그러나 저자들은 이 효과가 모든 테스트에서 완벽하게 균일하지는 않았다는 점을 주의 깊게 언급했습니다. 예를 들어 M-M,MMLU와 같은 특정 벤치마크에서는 격차가 오히려 약간 넓어지기도 했습니다. 따라서 추세는 긍정적이지만, 모든 지표를 즉각적으로 해결하는 마법의 지팡이는 아닙니다.

"영어 전용"의 놀라움과 언어의 함정

이 논문에서 가장 놀라운 발견 중 하나는 영어 데이터만을 사용하여 모델을 훈련했을 때 일어난 일입니다. 만약 학생에게 영어 수학만 가르친다면, 그 학생은 한국어 수학에서 실패할 것이라고 생각할 수 있습니다. 하지만 논문은 영어 전용 OPD²가 한국어와 일본어 점수를 상당히 향상시켰다는 사실을 발견했습니다.

비사고 모드(non-thinking mode)에서 영어 전용 훈련은 한국어 평균을 40.9에서 52.6으로, 일본어 평균을 37.2에서 53.4로 높였습니다. 이 수치들은 다국어 훈련 점수(한국어 51.9, 일본어 52.0)와 거의 맞먹는 수준이었습니다. 이는 수학적 추론의 논리가 매우 보편적이어서, 단 하나의 한국어 수학 문제도 보지 않고도 영어로 학습하여 한국어나 일본어 문제에 적용할 수 있음을 시사합니다.

하지만 큰 함정이 있습니다. 논문은 이것이 모델이 진정으로 언어를 마스터했다는 의미는 아니라고 명시적으로 선을 긋습니다. 연구진이 모델이 실제로 어떤 언어로 답하는지를 확인했을 때, 결과는 극명했습니다.

• 다국어 훈련: 혼합 언어로 훈련되었을 때, 모델은 (비사고 모드에서) 한국어로 90.5%, 일본어로 **90.9%**의 비율로 답변했습니다.
• 영어 전용 훈련: 영어로만 훈련되었을 때, 모델의 "한국어" 답변 비율은 48.3%(즉, 절반 정도는 영어로 답변함)로 떨어졌고, "일본어" 답변은 **29.6%**로 급락했습니다.

"사고 모드(thinking mode)"(모델이 답변하기 전에 숨겨진 추론 단계를 거치는 모드)에서도 이러한 경향은 유지되었습니다. 영어 전용 모델은 수학 문제는 올바르게 풀었지만, 질문이 한국어나 일본어로 되어 있음에도 불구하고 최종 답변을 영어로 작성하는 경우가 많았습니다. 논문은 결론적으로, 영어 전용 훈련이 추론 능력을 전이할 수는 있지만, 대상 언어로 응답하는 습관을 유지하는 데는 실패한다고 말합니다. 모델이 원하는 언어로 말하게 하려면, 반드시 그 언어로 된 데이터를 제공해야 합니다.

연구 결과 요약

이 논문은 OPD²가 여러 언어에 걸쳐 AI의 수학적 추론을 가르치는 데 있어 기존의 OPD보다 우수한 방법임을 입증하며, 일관되게 기존 OPD를 능가한다는 것을 보여줍니다. 또한 다국어 OPD²가 영어와 한국어, 일본어 사이의 성능 격차를 성공적으로 좁힘으로써, 다국어 사후 훈련(multilingual post-training)이 더 균형 잡힌 AI를 만드는 실행 가능한 경로임을 시사합니다. 그러나 본 연구는 "추론 능력"과 "언어 생성" 사이의 명확한 경계선을 그려냅니다. 추론 기술은 한 언어에서 배워 다른 언어에 적용될 수 있지만, 대상 언어로의 데이터 훈련이 없다면 모델은 자연스럽게 영어 쪽으로 치우치게 됩니다. 저자들은 진정한 다국어 AI 역량을 이해하기 위해서는 답변의 정확도뿐만 아니라 응답의 언어까지 함께 평가해야 한다고 제안합니다.