Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility

당신이 아주 어려운 수수께끼, 예를 들어 복잡한 수학 문제나 까다로운 논리 퍼즐을 풀려고 노력하고 있다고 상상해 보세요. 당신에게는 많은 사실을 알고 있지만, 너무 빨리 생각하다 보면 막히거나 바보 같은 실수를 하기도 하는 아주 똑똑한 친구(대규모 언어 모델, 즉 LLM)가 있습니다. 인공지능의 세계에서는 "테스트 시간 스케일링(test-time scaling)"이라고 불리는 성장하는 아이디어가 있습니다. 이것은 당신의 친구에게 더 많은 시간, 더 많은 종이, 또는 정답을 내놓기 전에 더 많은 생각할 기회를 주는 것과 같습니다. 질문을 한 번 던지고 바로 떠오른 첫 번째 답을 받는 대신, 당신은 그에게 생각을 소리 내어 말하게 하거나, 문제를 세 가지 다른 방식으로 시도하게 하거나, 혹은 자신의 작업 내용을 스스로 검토하게 할 수 있습니다. 여기서 연구자들이 던지는 핵심 질문은, 컴퓨터에게 더 많은 "생각할 시간"을 주는 것이 실제로 그것을 더 똑똑하게 만드는가, 아니면 단지 말을 더 많이 하게 만드는 것뿐인가 하는 점입니다.

오랫동안 과학자들은 AI 모델이 여러 개의 답을 생성하게 한 뒤 그중 최고를 고르게 하거나, 해결책을 향한 다양한 경로를 탐색하게 함으로써 이를 테스트해 왔습니다. 하지만 여기에는 함정이 있습니다. 모두가 조금씩 다른 규칙을 따르고 있다는 것입니다. 어떤 연구자들은 AI가 100개의 서로 다른 답을 내놓게 한 뒤 승자를 뽑게 하고, 어떤 이들은 AI가 문장 중간에 생각을 바꾸게 하며, 또 다른 이들은 탐정이 단서를 찾는 것처럼 탐색하게 합니다. 모두가 서로 다른 "플레이북(전략 지침서)"을 사용하고 있기 때문에, 누가 실제로 가장 잘하고 있는지 비교하기가 매우 어려웠습니다. 이는 마치 레이스카, 자전거, 그리고 로켓의 속도를 비교하면서, 그들이 얼마나 많은 연료를 사용했는지 또는 어떤 트랙 위에 있었는지는 고려하지 않은 채 단순히 얼마나 멀리 갔는지만 보고 비교하려는 것과 같습니다. 이 논문은 바로 이 지점에서 나서서 이렇게 말합니다. "잠깐만요, 이런 것들을 혼동해서는 안 됩니다. 제대로 측정해야 합니다."

Case Western Reserve University의 연구진인 이 논문의 저자들은 이러한 사고하는 기계들을 테스트하기 위한 새로운 규칙을 만들고 있습니다. 그들은 "테스트 시간 스키일링"이 단 하나의 개념이 아니라, 실제로는 세 가지 매우 다른 전략이며 이를 별개로 취급해야 한다고 주장합니다. 첫째, "싱글 트랙(Single-Track)" 방식이 있습니다. 이는 AI가 하나의 긴 경로를 따라 생각하는 것으로, 예를 들어 길을 잘못 들었을 때 멈춰서 수정하며 계속 나아가는 등서히 경로를 고쳐나가는 등산객과 같습니다. 둘째, "리프 레벨(Leaf-Level)" 방식입니다. 이는 AI가 완전히 다른 완성된 답들을 대량으로 생성하게 한 뒤(마치 제빵사가 100개의 빵을 만드는 것처럼), 마지막에 가장 좋은 것을 고르는 방식입니다. 셋째, "프리픽스 레벨(Prefix-Level)" 방식입니다. 이는 나무 탐험가와 비슷합니다. AI는 여러 방향으로 가지를 뻗어 나가며, 어떤 가지가 유망해 보이는지 확인하고, 여정을 끝내기도 전에 막다른 길을 잘라냅니다.

이 논문은 이 방법들을 모두 동일한 것으로 취급하는 것이 실수라고 밝히고 있습니다. 단순히 "더 많은 컴퓨팅 파워를 사용했다"라고 말한다면, 그 파워가 어떻게 사용되었는지는 알 수 없습니다. 저자들은 우리가 이 "비용(예산)"을 계산하는 방식과 최종 답을 선택하는 방식이 모델 자체만큼이나 중요하다고 보여줍니다. 예를 들어, 어떤 AI가 더 많은 답을 생성한다고 해서 반드시 당신이 고르는 최종 답이 더 좋아지는 것은 아니라는 사실을 발견했습니다. 실제로 만약 승자를 뽑는 방법이 결함이 있다면, 더 많은 답을 추가하는 것이 오히려 최종 결과를 더 나쁘게 만들 수도 있습니다. 이는 마치 백 명의 사람이 영화에 대해 투표하지만, 최악의 영화를 뽑도록 설계된 고장 난 투표기를 사용하는 것과 같습니다.

이 혼란을 해결하기 위해 연구팀은 단순히 말만 한 것이 아니라 직접 실행에 옮겼습니다. 그들은 수학, 과학, 논리 퍼즐을 아우르는 200만 개 이상의 추론 흔적(AI가 문제를 해결하는 동안 거친 모든 단계를 기록한 거대한 도서관이라고 생각하면 됩니다)이 담긴 방대한 새로운 라이브러리를 구축했습니다. 그들은 이 라이브러리를 사용하여 27개의 서로 다른 오픈 소스 AI 모델을 테스트했습니다. 그들의 결과는 AI에게 더 많은 생각할 시간을 주는 것이 정답을 찾는 데 도움을 줄 수는 있지만(이를 "발견(discovery)"이라 부릅니다), 그 더미 속에서 올바른 답을 골라내는 능력(이를 "선택(selection)"이라 부릅니다)까지 보장하는 것은 아니라는 점을 시사합니다. 그들은 어떤 모델의 경우, 더 많이 시도하게 함으로써 정답을 찾는 확률이 약 56%에서 82%로 높아졌지만, 그 시도들 중 하나하나가 모두 정답일 확률은 크게 떨어졌다는 것을 발견했습니다. 이는 AI가 보물을 찾는 데는 점점 더 능숙해지고 있지만, 어떤 지도가 진짜인지 구별하는 것은 점점 더 어려워지고 있음을 의미합니다.

또한 이 논문은 최종 점수만 보고 결론을 내려서는 안 된다는 점을 강조합니다. AI가 정말로 똑똑해지고 있는지 이해하려면, 어떤 프롬프트가 사용되었는지, 몇 번이나 시도했는지, 최종 답이 어떻게 선택되었는지, 심지어 컴퓨터가 실행되는 아주 미세한 세부 사항까지 정확히 알아야 합니다. 그들은 이러한 세부 사항 없이 서로 다른 AI 모델을 비교하는 것은 사과와 오렌지를 비교하는 것과 같다고 주장합니다. 이러한 "생각 예산"을 측정하기 위한 명확한 프레임워크를 제공하고 방대한 데이터셋을 공개함으로써, 그들은 이 혼란을 멈추고 명확하고 공정하며 재현 가능한 결과를 통해 분야 전체가 앞으로 나아갈 수 있도록 돕고자 합니다. 요컨대, 그들은 진정으로 똑똑한 AI를 만들기 위해서는 그들이 어떻게 생각하는지 추측하는 것을 멈추고, 추측이 아닌 자를 가지고 측정해야 한다고 말하고 있습니다.