당신은 아주 까다로운 수학 퍼즐, 즉 긴 논리의 사슬을 깨뜨려야 하는 수수께끼를 풀려고 노력 중이라고 상상해 보세요. 당신에게는 대화가 가능한 아주 똑똑한 친구(대규모 언어 모델, 또는 LLM)가 있습니다. 보통 이 친구에게 질문을 하면, 그들은 즉시 하나의 답을 내놓습니다. 하지만 때때로 그들은 첫 단계에서 막혀서 끝까지 똑같은 실수를 반복하기도 합니다.

이를 해결하기 위해 과학자들은 두 가지 주요 기술을 시도했습니다. 첫 번째는 "재샘플링(resampling)"입니다. 친구에게 퍼즐을 열 번 풀어보라고 요청한 뒤 가장 자주 등장하는 답을 고르는 것입니다. 이는 열 명의 서로 다른 사람에게 같은 수수께끼를 풀게 하고 누가 동의하는지 확인하는 것과 같습니다. 두 번째 기술은 "검증기(verifier)"를 사용하는 것입니다. 별도의 매우 엄격한 선생님을 두어 모든 답을 채점하고 어떤 것이 최선인지 판단하게 하는 것이죠. 하지만 여기에는 함정이 있습니다. 열 번을 묻는다고 해도 종종 열 개의 서로 다른 버전의 '동일한 틀린 생각'을 얻게 될 뿐이며, 선생님에게 의존한다는 것은 그 선생님이 혼란에 빠지거나 편향되지 않았음을 믿어야 한다는 것을 의미합니다.

"Refining Over Resampling"이라는 제목의 이 논문은 세 번째 방법을 제안합니다. AI에게 단순히 더 많은 추측을 요구하거나 선생님을 고용하는 대신, AI가 스스로의 편집자가 되도록 가르치는 것입니다. 연구진은 AI가 몇 가지 다른 시작 아이디어를 생성하게 한 다음, 각 아이디어에 대해 AI가 잠시 멈추고, 자신의 작업을 비판하고, 자신의 실수를 찾아내고, 최종 답을 내놓기 전에 그 부분을 수정하도록 합니다. 이것은 친구에게 처음부터 다시 시작하라고 말하는 것이 아니라, "잠깐, 너 3단계에서 작은 실수를 했어. 이걸 고치고 계속 가보자"라고 말하며 두 번째 기회를 주는 것과 같습니다.

문제점: "에코 체임버(Echo Chamber)"와 "환각의 바닥(Hallucination Floor)"

연구진은 AI 모델에게 단순히 더 많은 답을 생성하게 할 때 발생하는 이상한 현상을 발견했습니다. 그들은 이를 "다양성 포화(diversity saturation)"라고 불렀습니다. 당신이 친구들에게 유리병 안에 든 젤리빈의 개수를 맞혀보라고 한다고 상상해 보세요. 열 명에게 물으면 열 개의 서로 다른 추측을 얻을 수 있을 것입니다. 하지만 백 명에게 물으면, 그들 중 90명은 모두 동일한 (하지만 틀린) "명백한" 단서에 매몰되어 매우 비슷한 숫자를 추측하고 있다는 것을 알게 될 것입니다. AI도 마찬가지였습니다. AI는 잘못된 경로의 변형된 버전들을 계속해서 생성하며, 새로운 해결책을 찾는 대신 반복 작업에 뇌 용량을 낭비하고 있었습니다.

게다가 "환각의 바닥(hallucination floor)" 문제도 있었습니다. AI가 마음속 깊은 곳에서는 정답을 알고 있더라도, 글을 쓰는 과정에서 실수로 작은 산술 오류나 논리적 실수를 저지를 수 있습니다. 모든 추측이 독립적으로 이루어지기 때문에, 모든 추측은 똑같이 그런 종류의 실수에 걸려 넘어질 가능성이 있었습니다. 더 많은 추측을 요구하는 것은 도움이 되지 않았는데, 왜냐하면 그것은 실수를 고치는 것이 아니라 그저 더 많은 '넘어짐'을 제공할 뿐이었기 때문입니다.

해결책: 너비와 깊이

저자들은 "너비-깊이 정제(Breadth-Depth Refinement)"라고 부르는 전략을 고안했습니다. 이것은 미로를 탐험하는 것과 같습니다.

**너비(Breadth)**는 넓은 그물을 던지는 것에 관한 것입니다. 단 하나의 경로만 걷는 대신, AI는 여러 가지 다른 시작 경로(이를 "롤아웃(rollouts)"이라 부릅니다)를 생성합니다. 이는 그들이 모두 잘못된 생각의 "에코 체임버"에 갇히지 않도록 보장합니다.

**깊이(Depth)**가 진짜 마법입니다. 이 경로들을 확보한 후, 그들은 즉시 가장 좋은 것을 고르지 않습니다. 대신, 각 경로를 가져가서 자기 개선의 루프(loop)로 보냅니다.

1. 생성기(The Generator): AI가 솔루션의 다음 부분을 작성합니다.
2. 비평가(The Critic): AI가 멈춰서 엄격한 편집자처럼 행동하며, 방금 쓴 내용을 읽고 "잠깐, 이 수학 계산이 맞지 않아"라거나 "이 논리는 말이 안 돼"라고 말합니다.
3. 교정기(The Corrector): AI는 비평가의 말을 듣고 그 특정 부분을 수정하여 오류를 바로잡습니다.

그들은 이 루프를 모든 경로에 대해 몇 번 수행합니다(이를 "깊이"라고 합니다). 마지막으로, 이제 모두 다듬어지고 스스로 교정된 답변들을 모아 투표를 진행합니다. 투표에서 이긴 답이 최종 답이 됩니다.

연구 결과

연구팀은 이 아이디어를 AIME(미국 정보 올림피아드) 및 MATH500 데이터셋과 같은 매우 어려운 수학 경시대회에서 테스트했습니다. 그들은 이 방법을 기존 방식들과 비교했습니다: 단순히 한 번 추측하기(Greedy), 여덟 번 추측하고 투표하기(Majority Voting), 또는 여덟 번 추측하고 "선생님" AI가 승자를 고르게 하기(Verifier-based Best-of-N).

결과는 매우 유망했습니다. 그들의 방법은 일관되게 다른 방식들을 이겼습니다. 예를 들어, Qwen2.5-1.5B라는 작고 덜 강력한 AI 모델을 사용했을 때, 기존의 "선생님" 방식은 MATH500 문제의 약 **29.6%**를 맞혔습니다. 하지만 이 새로운 "자기 편집" 방식을 사용하자, 동일한 모델의 정확도가 **58.0%**로 뛰어올랐습니다. 이는 거의 두 배에 달하는 수치입니다! AMC(미국 수학 경시대회) 테스트에서도, 동일한 작은 모델이 **25.0%**에서 **32.5%**로 향상되었습니다.

더 크고 똑똑한 모델들을 사용했을 때도 그들의 방법은 점수를 개선했지만, 똑똑한 모델들은 이미 스스로 어느 정도 잘 해내고 있었기 때문에 향상 폭은 다소 작았습니다.

왜 작동하는가 (그리고 무엇이 다른가)

핵심 통찰은 AI에게 외부의 선생님이 무엇이 틀렸는지 알려줄 필요가 없다는 것입니다. 적절한 구조만 제공한다면 AI는 자신의 실수를 찾아낼 수 있습니다. 논문은 "비평(critic)" 단계가 결정적이라고 제안합니다. AI가 자신의 작업을 명시적으로 비판하는 부분을 제거했을 때 점수가 떨어졌기 때문입니다. 단순히 AI에게 "다시 시도해 봐"라고 말하는 것만으로는 충분하지 않으며, 무엇을 고쳐야 할지 알려주어야 한다는 것이 밝혀졌습니다.

또한, 이 방법은 "훈련이 필요 없는(training-free)" 방식입니다. 그들은 AI에게 새로운 것을 가르치거나 스스로를 교정하는 수천 개의 예시를 보여줄 필요가 없었습니다. 그들은 단지 테스트 중에 AI의 기존 지능을 더 똑똑한 방식으로 사용했을 뿐입니다.

트레이드오프 (Trade-off)

물론 비용은 따릅니다. 이 방법은 더 많은 컴퓨터 연산 능력과 시간을 소모합니다. AI가 각 문제에 대해 생성, 비평, 재작성을 여러 번 반복해야 하므로, 단순히 한 번 추측할 때보다 더 많은 "컴퓨트(compute, 컴퓨터의 뇌 용량)"를 사용합니다. 그러나 저자들은 추가적인 작업량에 비해 정확도 향상이 매우 가치 있다고 계산했습니다. 특히 첫 시도에 정답을 맞히기 어려워하는 작은 모델들에게 더욱 그렇습니다.

결론적으로, 이 논문은 우리가 AI를 더 똑똑하게 만들고 싶을 때, 단순히 더 열심히 노력하라고 하거나 더 많은 추측을 요구해서는 안 된다고 제안합니다. 우리는 AI에게 최종 답을 건네주기 전에 생각하고, 검토하고, 자신의 실수를 고칠 수 있는 시간과 구조를 주어야 합니다. 이것은 "다다익선(more is better)"에서 "최선이 최선이다(better is better)"로의 전환입니다.