컴퓨터가 인간처럼 대화하고, 이야기를 쓰고, 퍼즐을 풀 수 있는 세상을 상상해 보세요. 이것이 바로 인공지능, 구체적으로는 거대 언어 모델(LLM)의 영역입니다. 이 모델들을 도서관의 거의 모든 책을 암기한 매우 박식한 학생이라고 생각해보세요. 이들은 문장에서 다음에 올 단어를 예측하는 데는 뛰어나지만, 까다로운 수학 문제에 직면하면 가끔 자기 발에 걸려 넘어지곤 합니다. 만약 초반에 작은 실수를 하면, 마치 블록 탑을 쌓을 때 층이 더해질수록 점점 더 흔들리다가 결국 무너지는 것처럼 그 오류를 바탕으로 계속해서 문제를 키워나갑니다. 과학자들은 이 AI 학생들에게 숙제를 제출하기 전에 자신의 실수를 스스로 찾아내고 수정하도록 가르치기 위해 노력해 왔습니다. 이것을 "자기 수정(self-correction)"이라고 부릅니다. 이는 학생에게 빨간 펜을 주며 스스로 시험지를 채점하라고 요청하는 것과 비슷하지만, 핵심은 단순히 무작정 바꾸는 것이 아니라 실제로 오류를 찾아내는 법을 가르치는 것입니다.

여러분이 읽게 될 이 논문은 이 "빨간 펜" 아이디어의 특정 문제를 다룹니다. AI에게 자기 수정을 가르치려는 이전의 시도들은 AI가 모든 것을 당황하며 다 바꿔버리거나, 혹은 엉뚱한 것을 고치는 등의 이유로 실패하곤 했습니다. 이 연구를 진행한 싱가포르와 베트남 대학 팀은 훈련 전략을 바꾸기로 했습니다. AI에게 단순히 "이 답 전체가 틀렸다"라고 말하는 대신, 문제를 아주 작은 단계별로 살펴보도록 가르친 것입니다. 그들은 **SFS-DPO(Self-Fix Step-DPO)**라는 새로운 방법을 만들어냈습니다. 이는 단순히 "너 틀렸어"라고 말하는 것이 아니라, 특정 계산 줄을 가리키며 "잠깐, 이 단계가 불안정한데?"라고 말한 뒤, 다음 단계로 넘어가기 전에 정확히 그 줄을 어떻게 고쳐야 하는지 보여주는 수학 튜터를 상상하는 것과 같습니다. 연구진은 AI가 먼저 각 개별 단계를 통해 추론하는 능력을 강화하고, 그 후 그 단계들의 오류를 구체적으로 겨냥하여 수리하도록 가르침으로써, AI가 복잡한 수학 문제를 훨씬 더 잘 풀게 된다는 것을 발견했습니다. 그들은 심지어 매우 똑똑한 AI가 왜 단계가 틀렸는지 설명해 주는 "교사 보조(teacher-assisted)" 버전도 테스트했는데, 이는 학생 AI가 훨씬 더 빠르게 학습하도록 도왔습니다. 결과는 이러한 단계별 접근 방식이 AI 모델이 단순히 더 잘 추측하는 것이 아니라, 진행 과정에서 자신의 실수를 포착하고 수정하는 법을 배움으로써 더 신뢰할 수 있고 정확해지도록 돕는다는 것을 시사합니다.

2단계 훈련 캠프

연구진이 AI에게 어떻게 스스로 최고의 편집자가 되는 법을 가르쳤는지 이해하기 위해, 젊은 견습생을 위한 2단계 훈련 캠프를 상상해 보세요.

1단계: 기초 구축하기
먼저, AI는 새 지붕을 고치는 법을 배우기 전에 튼튼한 집을 짓는 법을 배워야 합니다. 과거의 일부 훈련 방식은 AI에게 즉시 오류를 고치도록 가르치려 했지만, 연구진은 이것이 벽이 아직 모래로 만들어진 상태에서 지붕을 덧대는 것과 같다는 것을 발견했습니다. 그래서 그들의 첫 번째 단계는 **단계별 선호도 최적화(Step-Level Preference Optimization)**에 집중합니다.

이것은 수학 문제의 특정 지점에서 AI에게 두 가지 경로를 제시하는 "당신의 선택은?" 게임과 같습니다. 한 경로는 올바른 다음 단계이고, 다른 하나는 틀린 단계입니다. AI는 올바른 경로를 선택했을 때 보상을 받습니다. 이것은 아직 실수를 고치는 과정이 아닙니다. 단지 무엇이 좋은 다음 단계인지를 인식하는 법을 배우는 것입니다. 연구진은 이를 "초기화 단계(Initialization Stage)"라고 부릅니다. 이는 체스 선수에게 실수를 만회하는 법을 가르치기 전에, 좋은 수를 인식하는 법을 먼저 가르치는 것과 같습니다. 이를 통해 AI는 매 단계마다 "올바른 추론"이 어떤 느낌인지에 대한 강력한 내부 나침반을 구축합니다.

2단계: 자기 수정 드릴(Drill)
AI가 탄탄한 기초를 갖추면 두 번째 단계인 **단계별 자기 수정(Step-wise Self-Correction)**에 들어갑니다. 이제 AI는 이미 실수를 저지른 문제가 주어집니다. 목표는 다음과 같습니다:

1. 오류 포착: "잠깐, 방금 그 단계는 말이 안 돼."
2. 수정: "그 틀린 단계를 올바른 단계로 교체하자."
3. 계속 진행: 수정된 경로를 따라 솔루션을 계속 이어간다.

연구진은 AI가 오류가 남겨진 버전보다 "자기 수정된" 버전의 솔루션을 선호하도록 훈련했습니다. 이는 학생에게 빨간 펜을 주며 "실수가 보이면 동그라미를 치고, 수정을 적은 다음, 문제를 끝까지 풀어라"라고 말하는 것과 같습니다.

"선생님의 총아" 변형 모델

연구팀은 또한 SFS-DPO-R이라는 특별한 버전의 방법론을 만들었습니다. 여기서 "R"은 "추론(Reasoning)"을 의미합니다. 이 버전에서는 AI가 오류를 어떻게 고칠지 단순히 추측하게 두지 않았습니다. 대신, 매우 똑똑한 "선생님" AI를 사용하여 학생 AI가 오류를 고치기 전에 그 단계가 왜 틀렸는지에 대한 짧은 설명을 작성하게 했습니다.

수학 문제를 틀린 학생을 상상해 보세요.

• 표준 방식: 선생님이 "이건 틀렸어. 고쳐봐."라고 말합니다. 학생은 어떻게 고칠지 추측합니다.
• SFS-DPO-R 방식: 선생님이 "이것은 네가 잘못된 숫자로 나누었기 때문에 틀린 거야. 네가 놓친 규칙은 이것이야. 자, 이제 고쳐보렴."이라고 말합니다.

연구진은 이 추가적인 설명이 강력한 신호 역할을 하여, 학생 AI가 오류의 본질을 훨씬 더 잘 이해하도록 돕는다는 것을 발견했습니다. 비록 이를 위해 "선생님"(더 강력한 AI 모델)이 설명을 생성해야 하는 과정이 필요했지만, 이는 문제 해결 능력에서 더 나은 결과를 가져왔습니다.

발견한 점 (그리고 발견하지 못한 점)

연구진은 70억 개의 파라미터를 가진 작은 모델부터 140억 개의 파라미터를 가진 큰 모델에 이르기까지 7가지 서로 다른 AI 모델을 테스트했습니다. 그들은 GSM8K 및 MATH와 같은 표준 테스트뿐만 아니라, 중국 대입 시험(GK2023)이나 대학 수준의 과학 문제와 같이 더 어렵고 독창적인 테스트로 모델들에게 도전했습니다.

결과:
논문은 이 새로운 방법이 AI의 성능을 일관되게 향상시켰음을 보여줍니다.

• 더 높은 점수: SFS-DPO와 SFS-DPO-R로 훈련된 AI 모델들은 기존 방식으로 훈련된 모델들보다 더 많은 문제를 정확히 해결했습니다. 예를 들어, Qwen2-7B-Instruct 모델의 경우, 새로운 방법은 MATH 데이터셋에 대한 정확도를 3.4% 향상시켰습니다.
• 일반화: AI는 연습했던 특정 문제에 대해서만 잘하게 된 것이 아니라, 한 번도 본 적 없는 새로운 유형의 문제들도 더 잘 풀게 되었습니다. 이는 AI가 정답을 암기한 것이 아니라, 실수를 고치는 일반적인 기술을 배웠음을 시사합니다.
• "선생님"의 효과: 선생님의 도움을 받은 버전(SFS-DPO-R)이 선생님이 없는 버전보다 일반적으로 약간 더 높은 성능을 보였으며, 이는 오류가 왜 발생했는지 이해하는 것이 강력한 도구임을 보여주었습니다.

연구진이 반박한 내용:
논문은 이 분야의 몇 가지 흔한 생각들에 대해 명시적으로 반박합니다:

• 더 많은 수정 ≠ 더 나은 결과: 연구진은 단순히 AI가 자신을 더 자주 수정하게 만드는 것이 지능을 높여주지 않는다는 것을 발견했습니다. 사실, 일부 기존 방식은 AI가 너무 자주 스스로를 수정하게 만들어, 정답을 오답으로 바꾸게 만들기도 했습니다. 이들의 방법은 AI가 확신이 있을 때만 수정하도록, 즉 선택적으로 수정하도록 가르칩니다.
• 기초 생략: 연구진은 단계별 추론을 먼저 강화하지 않고(1단계를 건너뛰고) 자기 수정을 가르치려고 시도하는 것은 좋지 않은 결과를 초래한다는 것을 보여주었습니다. 문장을 쓰는 법을 모르는 학생에게 에세이를 편집하는 법을 가르칠 수는 없습니다.
• 일률적인 적용 불가: 단순히 마지막 단계(최종 결과)에서 "더 나은 답"을 위해 최적화하는 것만으로는 부족하다는 것을 발견했습니다. 그 사이의 단계들의 품질을 최적화해야 합니다.

결론

이 논문은 AI를 더 똑똑하게 만드는 비결이 단순히 더 많은 데이터를 먹이거나 크기를 키우는 것이 아니라는 점을 시사합니다. 그것은 AI에게 특정한 습관을 가르치는 것입니다: 멈추고, 검토하고, 잘못된 특정 단계를 고쳐라.

과정을 "단계별로 추론하는 법 배우기"와 "그 단계들을 고치는 법 배우기"로 나눔으로써, 연구진은 AI 모델이 더 신뢰할 수 있게 되는 프레임워크를 만들었습니다. 여러 데이터셋과 모델에 걸쳐 측정된 결과는, 이 접근 방식이 AI가 똑같은 어처구니없는 실수를 반복하지 않도록 돕는 유망한 방법임을 보여줍니다. 이 논문이 모든 AI 문제를 해결한다고 주장하는 것은 아니지만, 모델에게 단계별로 스스로를 꼼꼼하게 편집하는 법을 가르치는 것이 더 견고하고 신뢰할 수 있는 추론을 끌어내는 핵심 열쇠라는 강력한 증거를 제공합니다.