Reasoning Before Translation: Enhancing Legal Machine Translation with Structured Reasoning

당신이 로봇에게 복잡한 법률 계약서를 한 언어에서 다른 언어로 번역하는 법을 가르치고 있다고 상상해 보십시오. 이것은 쿠키 레시피를 번역하는 것과는 다릅니다. 이는 마치 단어 하나하나가 게임의 규칙을 바꾸는 고도의 긴장감이 흐르는 비디오 게임의 규칙서를 번역하는 것과 같습니다. 인공지능의 세계에서 이것은 **신경망 기계 번역(NMT)**의 영역입니다. NMT를 수백만 권의 책을 읽고 문장에서 다음에 올 단어를 추측하는 법을 배운 초스마트 로봇의 두뇌라고 생각하십시오. 최근 과학자들은 이 로봇들에게 말을 하기 전에 "생각하는" 단계, 즉 문제를 해결하기 위해 잠시 멈추고 추론하도록 요청하면 까다로운 작업들을 훨씬 더 잘 수행한다는 사실을 발견했습니다. 이것이 바로 **추론 모델(Reasoning Models)**의 시대입니다. 하지만 여기에는 함정이 있습니다. 가장 크고 똑똑한 로봇들은 운영 비용이 엄청나게 비쌉니다. 마치 단 하나의 배터리로 도시 전체에 전력을 공급하려는 것과 같습니다. 그래서 연구자들은 질문을 던지고 있습니다. 단순히 더 많은 메모리를 주는 대신, 로봇에게 '생각하는 법'을 가르침으로써 더 작고 저렴한 로봇을 똑같이 똑똑하게 만들 수 있을까?

이 논문은 바로 그 질문, 특히 네 개의 공식 언어가 있고 법률이 매우 엄격하고 복잡한 방식으로 작성되어 번역가들에게 악몽과도 같은 스위스 법률 시스템을 구체적으로 다룹니다. 연구진은 작은 규모의 저렴한 AI 모델을 사용하여 두 가지 서로 다른 학습 방법을 통해 법률 번역 능력을 높일 수 있는지 확인하고자 했습니다. 하나는 **지도 미세 조정(SFT)**으로, 이는 학생에게 정답과 그 정답에 도달하는 단계별 노트를 보여주는 것과 같습니다. 다른 하나는 **강화 학습(RL)**으로, 이는 로봇이 좋은 번역에는 점수를 얻고 나쁜 번역에는 점수를 잃으며 시행착오를 통해 배우는 비디오 게임과 같습니다. 또한 그들은 로봇에게 "소리 내어 생각하기"(추론 단계를 생성하기)를 강제하는 것이 실제로 도움이 되는지, 아니면 그 불쌍한 존재를 혼란스럽게 만들기만 하는지 테스트했습니다.

연구팀은 40,000개의 법률 문장 데이터셋을 사용하여 대규모 실험을 설정했습니다. 그들은 먼저 작은 모델들(Qwen3.5 4B, Qwen3.5 9B, Gemma 3 12B와 같은)이 거대하고 초스마트한 AI의 추론 단계를 모방하도록 훈련시키는 "소리 내어 생각하기" 방법을 시도했습니다. 놀랍게도, 이 방법은 기대만큼 작동하지 않았습니다. 실제로 가장 작은 모델들의 경우, 추론 단계를 쓰도록 강제하는 것이 최종 정답만을 가지고 훈련했을 때보다 오히려 번역 성능을 떨어뜨렸습니다. 이는 마치 긴장한 학생에게 "답을 하기 전에 네가 하는 모든 생각을 적어라"라고 말하는 것이 그 학생을 과하게 생각하게 만들어 시험을 망치게 만드는 것과 같습니다.

하지만 그들이 (GRPO라고 불리는 특정 방법인) 강화 학습을 사용하는 "비디오 게임" 방식으로 전환했을 때, 결과는 환상적이었습니다. 모델에게 고품질의 번역에 보상을 주고 나쁜 번역에 벌점을 줌으로써, 작은 모델들은 스위스 법률을 놀라운 정밀도로 번역하는 법을 배웠습니다. 최고의 성과를 낸 120억 개의 파라미터를 가진 Gemma 3 모델은 사용 비용이 수천 달러에 달하는 가장 비싼 프런티어 모델들과 근접할 정도로 뛰어난 번-역 품질을 보여주었습니다. 그럼에도 불구하고 여전히 약간은 열등한 상태였습니다. 연구진은 "보상 기반" 학습이 "노트 복사" 방식보다 일관되게 더 나았다는 것을 발견했습니다. 그들은 또한 모델이 커질수록 이러한 화려한 학습 방법으로부터 얻는 추가적인 이득은 줄어든다는 것을 발견했습니다. 아주 작은 모델들이 가장 큰 효과를 얻은 반면, 더 큰 모델들은 아주 조금만 개선되었습니다.

결론적으로, 이 논문은 거대한, 비싼 AI 모델들이 여전히 챔피언이긴 하지만, 우리가 모든 것에 그들을 필요로 하지는 않을 수도 있다는 점을 시사합니다. 강화 학습과 같은 스마트한 학습 기술을 사용함으로써, 우리는 저렴하게 운영할 수 있으면서도 복잡한 법률 번역을 놀라울 정도로 잘 처리하는 오픈 소스 기반의 작은 모델들을 만들 수 있습니다. 이 연구는 단순히 거대 AI의 "추론 단계"를 복사하는 것이 작은 모델들에게 도움이 된다는 아이디어를 명시적으로 부정했습니다. 대신, 보상을 통해 배우게 하는 것이 비결임을 시사합니다. 작은 모델들이 거물들을 완전히 이기지는 못했지만, 그 격차를 상당히 좁혔으며, 적절한 훈련이 있다면 작은 로봇도 법률이라는 고도의 긴장감이 흐르는 세계에서 큰 일을 해낼 수 있음을 증명했습니다.