Native Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian Languages

당신이 가장 좋아하는 비디오 게임 캐릭터가 당신이 어떤 언어로 말을 걸더라도 오직 영어로만 말할 수 있는 세상을 상상해 보세요. 만약 당신이 스페인어로 질문을 한다면, 그들은 단어의 뜻은 이해하겠지만, 답변을 설명하기 시작할 때 어려운 사고 과정 부분에서 갑자기 영어로 돌아가 버릴 것입니다. 이것은 단순한 오류가 아니라, 인공지능, 특히 "거대 언어 모델(LLM)"의 세계에서 마주한 커다란 장벽입니다. LLM은 이야기를 쓰고, 수학 문제를 풀고, 우리와 대화할 수 있는 초지능적인 컴퓨터 두뇌입니다. 정말 어려운 퍼즐을 잘 풀기 위해 이들은 "사고의 사슬(Chain-of-Thought)"이라는 기술을 사용하는데, 이는 최종 답을 내놓기 전에 자신에게 단계별 사고 과정을 속삭이는 것과 같습니다. 문제는 전 세계의 많은 언어, 특히 동남아시아의 언어들처럼 디지털 자원이 적은 언어들의 경우, 이 AI 두뇌들이 태국어, 베트남어, 또는 인도네시아어로 생각하라고 요청해도 사고 과정에서 영어로 "붕괴"되어 버리는 경향이 있다는 점입니다. 이로 인해 AI는 도움이 되는 현지 친구라기보다 멀리 떨어져 있는 영어 전용 튜터처럼 느껴지게 되며, 이는 교육과 공정성 측면에서 매우 중요한 문제입니다.

여기서 연구자 션 깁 림(Sean Gip Lim), 윌리엄 찬드라 치(William Chandra Tjhi), 하이 렁 치우(Hai Leong Chieu)가 이 AI 두뇌들을 위한 다리를 놓기로 결심하며 등장한 새로운 연구가 있습니다. 그들은 OSCD(Onramp-Sequence Cross-Distillation)라는 영리한 훈련법을 만들어냈습니다. 이것은 단순히 최종 답변을 번역하는 것을 넘어, 정답을 유지하면서도 AI의 내부적인 "생각 노트"를 현지 언어로 실제로 다시 쓰는 이중 언어 코치와 같습니다. 보통 AI에게 새로운 언어를 가르치려 하면, AI는 혼란을 느껴 원래 언어로 가진 지능을 잊어버리곤 합니다(이를 "파멸적 망각"이라고 합니다). 하지만 이 새로운 방식은 사고 단계를 교체하는 특별한 "번역 에이전트"와, AI의 두뇌가 논리는 그대로 유지한 채 언어만 바꿀 수 있도록 만드는 "의미론적 접착제(semantic glue)"를 사용합니다.

연구진은 이 기술을 AIME25와 HMMT25 대회처럼 수학 문제의 올림픽이라 불리는 매우 어려운 수학 퍼즐들에 테스트했습니다. 그들은 영어 수학에는 뛰어나지만 동남아시아 언어로 사고하는 데는 서툴렀던 강력한 AI 모델들을 가져와서, 단 7만 개의 예시만을 사용하여 짧고 집중적인 훈련을 시켰습니다(보통 필요한 수백만 개에 비하면 매우 적은 양입니다). 결과는 인상적이었습니다. 모델들은 단순히 질문에 답하는 능력이 좋아진 것을 넘어, 실제로 현지 언어로 생각하기 시작했습니다. 사실, 모델들은 목표 언어를 유지하며 수학 문제를 푸는 능력을 최대 3.2배까지 향 향상시켰습니다. 더욱 흥-미로운 점은, 이 과정에서 기존의 영어 지능을 잃지 않고도 이를 해냈다는 것입니다. 이 연구는 "번역 에이전트"와 "의미론적 접착제"를 사용함으로써, 우리가 마침내 소외되었던 언어들로도 자연스럽게 추론할 수 있는 능력을 AI에게 부여할 수 있으며, 이를 통해 고급 기술을 영어 사용자뿐만 아니라 모두가 접근 가능하게 만들 수 있음을 시사합니다.