Rethinking Inference-Time Scaling: Efficiency Limits and Linguistic Signals

당신은 정말 까다로운 퍼즐, 예를 들어 복잡한 수학 문제나 깊은 사고를 요구하는 수수께께를 풀려고 노력하고 있다고 상상해 보세요. 당신에게는 답을 얻을 수 있는 두 가지 주요 방법이 있습니다. 첫 번째 방법은 수년간 그 퍼즐을 연구해 온 초천재를 고용하는 것입니다. 그들은 머릿속에 이미 답을 가지고 있기 때문에 즉시 문제를 해결할 수도 있습니다. 두 번째 방법은 평범한 사람에게 엄청난 양의 시간과 종이를 주는 것입니다. 당신은 그들에게 이렇게 말합니다. "계속해서 다른 추측들을 해보고, 그것들을 모두 적고, 확인하고, 다시 쓰는 과정을 반복하며 정답을 찾아내 봐." 이 두 번째 접근 방식은 **추론 시간 연산(Inference-Time Compute, ITC)**이라고 불립니다. 이는 질문을 던지는 그 순간에 충분한 컴퓨팅 파워와 시간을 쏟아부음으로써, "멍청한" 모델을 "똑똑한" 모델처럼 작동하게 만들 수 있다는 아이디어입니다.

한동안 연구자들은 이 "무차별 대입(brute force)" 방식이 초천재적인 모델을 훈련시키는 것을 대체할 수 있기를 희망했습니다. 그들은 "왜 굳이 천재를 훈련시키려 하는가, 그냥 일반인에게 아주 열심히 생각할 시간만 주면 되는데"라고 생각했습니다. 하지만 여기에는 함정이 있습니다. 열심히 생각하는 데는 시간과 에너지가 듭가기 때문입니다. 핵심적인 질문은 이것입니다: 생각을 더 많이 하는 것이 도움이 되는 데에도 한계가 있을까요? 평범한 사람이 아무리 많은 시간을 주어진다 해도, 태어날 때부터 지식을 갖춘 천재의 수준에 진정으로 도달할 수 있을까요? 이 논문은 바로 이 질문을 탐구하며, 우리가 단순히 "연산"을 통해 더 나은 추론에 도달할 수 있는지, 아니면 어떤 것들은 사전에 반드시 학습되어야만 하는지를 살펴봅니다.

---

"추론의 바닥(Reasoning Floor)": 왜 더 많이 생각해도 한계가 있는가

이 논문의 저자들은 이 "더 많이 생각하기" 전략의 한계를 테스트하고자 했습니다. 그들은 두 종류의 AI 모델을 비교했습니다: 범용 모델(다양한 일을 잘하지만 깊은 논리만을 위해 특별히 훈련되지는 않은 "일반인")과 추론 최적화 모델(강화 학습 등을 통해 어려운 문제를 풀도록 특별히 훈련된 "천재")입니다.

그들은 이 모델들을 MATH 500(도전적인 고등학교 수학 문제 데이터셋)과 AIME(권위 있는 수학 경시 대회)와 같은 가장 어려운 수학 및 과학 퍼즐로 시험대에 올렸습니다. 또한 다음과 같은 다양한 "사고 전략"을 사용하여 성능을 높이려 시도했습니다:

• 다수결 투표(Majority Voting): 모델에게 100개의 서로 다른 답을 생성하게 한 뒤, 가장 많이 등장하는 답을 선택함.
• Best of N: 여러 개의 답을 생성한 뒤, 그중 단 하나의 가장 좋은 답을 선택함.
• 순차적 수정(Sequential Revisions): 답을 생성하고, 비판하고, 다시 쓰고, 이 과정을 계속 반복함.
• 에이전트 혼합(Mixture of Agents): 여러 명의 "가상 에이전트"가 함께 협력하여 문제를 풀게 함.

여기서 중대한 발견이 있었습니다: "추론의 바닥(Reasoning Floor)"이 존재한다는 것입니다.

평범한 사람이 수학 문제를 풀려고 노력하는 상황을 상中使用해 봅시다. 아무리 여러 번 시도하고, 아무리 많은 초안을 작성하며, 아무리 많은 친구에게 도움을 구한다 해도, 그들은 벽에 부딪히게 됩니다. 실력을 향상할 수는 있겠지만, 수학을 위해 특별히 훈련받은 천재의 수준에는 결코 도달할 수 없습니다. 논문에 따르면, 범용 모델에게 추론 최적화 모델보다 10배 더 많은 컴퓨팅 파워(한 자릿수 차이)를 제공하더라도 여전히 그 격차를 따라잡을 수 없었습니다. "천재" 모델(DeepSeek-R1 등)은 생각하는 법의 논리를 내면화한 반면, "일반" 모델은 그저 추측하고 확인하는 과정에 불과했기 때문입니다.

저자들은 추론 프로토콜을 내면화하는 것(모델의 뇌 안에 생각하는 법을 학습시키는 것)이 효과적인 스케일링을 위한 전제 조건이라고 제안합니다. 기초가 갖춰져 있지 않다면, 단순히 "연산"을 쏟아붓는 것만으로는 새로운 차원의 지능에 도달할 수 없습니다.

놀라운 승자: 적을수록 좋다

연구진이 추론 최적화 모델(천재들)을 관찰했을 때, 그들은 직관과는 반대되는 사실을 발견했습니다. 그들은 사고 전략이 더 복잡할수록 결과가 더 좋아질 것이라고 예상했습니다. 즉, 모델이 자신의 작업을 수정하고, 논리를 점검하고, 스스로와 대화하며 시간을 보낼수록 더 뛰어난 성과를 낼 것이라 생각했습니다.

하지만 데이터는 달랐습니다. **단순 다수결 투표(Simple Majority Voting)**가 훨씬 더 복잡하고 화려한 방법들을 일관되게 이겼습니다.

교실 상황을 생각해 보세요. 똑똑한 학생에게 문제를 풀라고 하면, 그 학생은 처음부터 맞출 수도 있습니다. 하지만 그 학생에게 문제를 풀고, 다시 쓰고, 또 다시 쓰라고 요구하면, 학생은 오히려 자기 자신을 의심하게 되고 실수를 저지를 수도 있습니다. 순차적 수정이나 에이전트 혼합 같은 "화려한" 방법들은 모델이 스스로의 과도한 생각에 빠져들어 올바른 경로에서 벗어나게 만드는 "추론 표류(reasoning drift)" 현상을 자주 유발했습니다.

추론 최적화 모델의 경우, 가장 효율적인 전략은 단순히 여러 개의 답을 생성한 뒤 가장 흔한 답을 선택하는 것이었습니다. 이는 마치 똑똑한 사람들의 무리에게 답을 묻는 것과 같았습니다. 다수가 말하는 답이 거의 항상 옳았으며, 그들에게 "토론"하거나 답을 "수정"하도록 시키는 것은 시간과 에너지 낭비일 뿐이었습니다.

비밀스러운 단서: 수학을 검증하지 않고도 거짓말을 알아내는 법

이 논문의 가장 흥답하면서도 유용한 발견은 **"언어적 정확성 신호(Linguistic Signal of Correctness)"**입니다.

연구진은 추론 모델이 생성한 텍스트에서 이상한 패턴을 발견했습니다. 모델이 정답을 맞혔을 때, 응답은 종종 더 짧고 직접적이었습니다. 곧바로 결론으로 들어갔습니다. 하지만 모델이 오답을 냈을 때는, 응답이 더 길고, 장황하며, "생각하는 표식"들로 가득 차는 경향이 있었습니다.

이러한 표식은 "하지만(however)", "대안적으로(alternally)", "아마도(maybe)", "고려해 보자(let's consider)", 또는 "반면에(on the other hand)"와 같은 단어들입니다. 논문에서는 이를 헤징(hedging, 확신 회피) 및 생각하는(thinking) 토큰이라고 부릅니다.

시험을 치르는 학생을 상상해 보세요.

• 정답을 맞힌 학생: 명료하고 간결한 풀이를 씁니다. "답은 42입니다. 이유는 다음과 같습니다."
• 혼란에 빠진 학생: "제 생각에는", "아마도", "하지만 만약 ~라면", "이 다른 방법도 고려해 봅시다"와 같은 말들로 가득 찬 긴 문단을 씁니다. 확신이 없기 때문에 과하게 설명하는 것입니다.

논문은 추론 최적화 모델의 경우, 장황함(verbosity)이 실패의 징후라는 것을 발견했습니다. 모델이 지저식하게 "헤징"을 하거나 "생각을 겉으로 드러내며" 말할수록, 틀릴 확률이 더 높았습니다. 이는 매우 중요한데, 수학을 검증하거나 별도의 프로그램을 실행하지 않고도 텍스트의 스타일만 읽음으로써 잘못된 답을 식별할 수 있다는 것을 의미하기 때문입니다.

저자들은 단순한 분류기(작은 컴퓨터 프로그램)를 훈련시켜 이러한 언어적 표식들을 살펴보았습니다. 그 결과, 응답에 포함된 "생각하는" 단어의 개수를 세는 것만으로도 정답 여부를 높은 정확도로 예측할 수 있음을 발견했습니다 (한 모델의 F1 점수는 0.7469, 다른 모델은 0.8637이었습니다). 이는 "제로 컴퓨트(zero-compute)" 신호로 작용하며, 즉 추가적인 비용이나 시간을 들이지 않고도 답의 품질을 즉각적으로 진단할 수 있음을 뜻합니다.

이것이 미래에 의미하는 바

이 논문은 AI에게 생각할 시간을 더 많이 주는 것으로 모델을 더 똑똑하게 만들 수는 있지만, 거기에는 명확한 한계가 있다고 결론짓습니다.

1. 훈련을 생각하기만으로 대체할 수 없다: 범용 모델은 아무리 많은 연산을 쏟아부어도 돌파할 수 없는 "추론의 바닥"에 부딪히게 됩니다.
2. 단순한 것이 종종 더 낫다: 똑똑한 모델의 경우, 가장 좋은 방법은 단순히 여러 번 물어보고 가장 흔한 답을 선택하는 것이지, 끊임없이 수정하고 다시 쓰게 만드는 것이 아닙니다.
3. 스타일이 진실을 말한다: 모델이 쓰는 방식(짧고 직접적인지, 혹은 길고 망설이는지)을 통해, 추가적인 계산 없이도 무료로 즉각적인 정답 확인이 가능합니다.

이 연구는 AI의 미래가 단순히 모델을 더 크게 만들거나 생각할 시간을 더 많이 주는 것에 달려 있지 않다는 것을 시사합니다. 그것은 시작부터 올바른 "내적 논리"를 갖춘 모델을 구축하고, 그 후 간단하고 효율적인 기술을 사용하여 최선의 결과를 얻는 것에 관한 것입니다. 이는 때때로 가장 똑똑한 방법은 과도한 생각을 멈추고 자신의 직관을 따르는 것임을 상기시켜 줍니다.