💬 NLP

Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning

이 논문은 오프더셸(off-the-shelf) 거대 언어 모델을 프로세스 스코어러로 활용하여 작은 모델로부터 고정 길이의 추론 청크를 선택함으로써 오류 전파를 효과적으로 방지하고, 다수결 투표(majority voting) 및 학습된 프로세스 보상 모델(Process Reward Model)보다 수학적 벤치마크에서 더 우수한 성능을 보이는 학습 불필요(training-free) 프레임워크인 청크 수준 가이드 생성(Chunk-Level Guided Generation)을 제안한다.

원저자: Atoosa Chegini, Soheil Feizi

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Atoosa Chegini, Soheil Feizi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 어려운 수학 문제를 풀려고 노력 중이라고 상상해 보세요. 당신에게는 두 명의 조력자가 있습니다: 주니어 어시스턴트(작고 빠르지만 가끔 혼란을 겪는 AI)와 시니어 전문가(거대하고 느리지만 천재적인 AI)입니다.

목표는 모든 단계마다 시니어 전문가를 사용하여 너무 많은 비용이나 시간을 소비하지 않으면서도 정확한 정답을 얻는 것입니다.

과거의 방식 (그리고 그것들이 실패한 이유)

1. "주사위 굴리기" 방식 (사후 선택):
과거에는 주니어 어시스턴트에게 처음부터 끝까지 다섯 개 또는 열 개의 완전한 풀이 과정을 작성하도록 시켰습니다. 그런 다음, 시니어 전문가에게 완성된 답변들을 모두 검토하게 하여 그중 가장 좋은 것을 고르게 했습니다.

문제점: 시니어 전문가가 답변을 검토할 때쯤이면, 주니어 어시스턴트는 이미 중간 과정에서 실수를 저지른 상태입니다. 만약 주니어 어시스턴트가 초기에 잘못된 길로 들어섰다면, 시니어 전문가는 이를 바로잡을 수 없습니다. 그들은 단지 "가장 덜 틀린" 완성된 이야기를 고를 수 있을 뿐입니다. 이는 마치 요리사가 케이크가 이미 타버린 후에 케이크를 고치려고 하는 것과 같습니다.

2. "단계별 코칭" 방식 (프로세스 보상 모델 - PRM):
더 새로운 방법은 시니어 전문가가 주니어 어시스턴트가 글을 쓰는 도중에 작업 내용을 확인하는 것입니다. 주니어가 한 문장을 쓰면 시니어가 이를 확인하고, 내용이 좋으면 계속 진행하도록 허락합니다. 그렇지 않으면 다시 시도하게 합니다.

문제점: 이 방식은 매우 훌륭하지만, 시니어 전문가가 특별히 훈련되어야 합니다(마치 수학적 오류를 연구하는 데 수년을 보낸 코치처럼 말이죠). 이 코치를 훈련시키는 것은 비용이 많이 들고 어렵습니다.

새로운 아이디어: "청크 단위 가이드 생성" (Chunk-Level Guided Generation)

이 논문의 저자들은 새로운 코치를 훈련시킬 필요가 없는 영리하고 무료인 대안을 제안합니다. 그들은 이를 **"청크 단위 가이드 생성"**이라고 부릅니다.

작동 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다:

"고정 길이 퍼즐" 비유
주니어 어시스턴트가 블록으로 탑을 쌓고 있다고 상상해 보세요.

규칙: 주니어 어시스턴트가 문장 전체나 단락 전체를 한 번에 만드는 대신, 한 번에 정확히 20개의 블록(하나의 "청크")만을 쌓을 수 있도록 제한합니다.
옵션: 각 단계에서 주니어 어시스턴트는 저 20개의 블록으로 된 서로 다른 32가지 버전을 빠르게 만듭니다.
점수: 시니어 전문가는 이 짧은 블록 더미들을 살펴봅니다. 전문가는 새로운 것을 쓰지는 않으며, 단지 이 블록들이 올바른 수학 풀이에 포함될 가능성이 얼마나 높은지에 따라 "점수"를 매깁니다.
선택: 주니어 어시스턴트는 가장 높은 점수를 받은 블록 더미를 선택하여 고정시킨 후, 다음 20개의 블록을 쌓기 시작합니다.

"고정 길이"가 중요한 이유 ("길이 편향"의 함정)
연구진은 거대 AI 모델이 생각하는 방식에서 재미있는 특이점을 발견했습니다. 만약 당신이 큰 AI에게 짧은 수학 단계와 긴 수학 단계를 비교해 달라고 요청하면, 큰 AI는 종종 내용이 엉터리일지라도 더 긴 쪽이 더 좋다고 판단하는 경usia가 있습니다. 이는 마치 학생이 쓴 1페이지 요약본보다 10페이지짜리 에세이를 쓴 학생이 더 많이 알고 있다고 생각하는 교사와 같습니다.

주니어 어시스턴트가 정확히 같은 길이의 청크를 쓰도록 강제함으로써, 시니어 전문가는 공정하게 비교할 수 있습니다. 이는 "길이 편향"을 제거하고, AI가 단순히 텍스트의 길이가 아닌 수학의 질을 판단할 수 있게 해줍니다.

두 가지 스코어링 전략

논문은 시니어 전문가가 청크를 채점하는 두 가지 방법을 테스트합니다:

가능도 가이드 선택 (Likelihood-Guided Selection, LGS): 시니어 전문가는 단순히 해당 청크가 자신에게 얼마나 "수학적인 것"처럼 보이는지를 기준으로 선택합니다.
대조 가이드 선택 (Contrastive-Guided Selection, CGS): 이것이 더 영리한 방법입니다. 시니어 전문가는 다음과 같이 질문합니다: "이 청크가 주니어 어시스턴트가 느끼는 것보다 나에게 더 좋아 보이는가?"
- 만약 주니어 어시스턴트는 이 청크가 괜찮다고 생각하는데, 시니어 전문가는 이것이 환상적이라고 생각한다면, 이는 큰 승리입니다.
- 이 방법은 시니어 전문가의 "전문가적 직관"이 주니어 어시스턴트의 사각지대를 교정하며 가장 큰 가치를 더하는 지점을 찾아냅니다.

결과: 무엇을 발견했는가?

연구진은 까다로운 수학 테스트(고등학교 및 대학교 경시대회 수준)를 통해 이를 테스트했습니다.

"주사위 굴리기" 방식 압도: 이 새로운 방식은 주니어 어시스턴트가 끝날 때까지 기다렸다가 가장 좋은 것을 고르는 것보다 훨씬 뛰어났습니다. 이는 오류가 발생하기 전에 이를 바로잡았습니다.
훈련된 코치 능가: 많은 경우, 이 "무료" 방식(기존의 시니어 전문가를 사용하는 방식)은 값비싼 "프로세스 보상 모델" 코치와 비슷하거나 오히려 더 나은 성능을 보였습니다.
더 짧고 똑똑한 답변: 놀랍게도, 이 새로운 방식은 훈련된 코치 방식보다 더 짧은 답변을 만들어냈습니다. 훈련된 코치는 주니어가 안전하게 가기 위해 길고 장황한 설명을 늘어놓도록 만들곤 했습니다. 반면, 이 새로운 방식은 주니어 어시스턴트를 직접적이고 간결하며 정확한 경로로 안내했습니다.
규모의 확장성: 연구진이 더 똑똑한 주니어 어시스턴트(70억 파라미터 모델)를 사용했을 때도, 이 방식은 여전히 잘 작동하여 거대한 720억 파라미터 모델의 성능에 매우 근접했습니다.

핵심 요약

이 논문은 훌륭한 결과를 얻기 위해 특별한 "수학 코치" AI를 훈련시킬 필요가 없다는 것을 보여줍니다. 그저 작은 AI가 작업하는 동안, 크고 똑똑한 AI를 사용하여 작업물을 작고 고정된 크기로 빠르게 채점하게 하면 됩니다. 이는 작은 AI 모델이 거대하고 가장 비싼 모델들만큼 어려운 수학 문제를 풀 수 있게 만드는, 훈련이 필요 없는 비용 효율적인 방법입니다.

기술 요약: 오프더쉘프(Off-the-Shelf) LLM을 활용한 프로세스 스코어링

문제 정의

수학적 추론 능력을 향상시키기 위한 현재의 전략들은 비용과 효과 사이의 트레이드오프(trade-off) 문제에 직면해 있습니다. 모든 추론 쿼리에 거대 모델을 사용하는 것은 계산 비용이 매우 높습니다. 일반적인 대안은 더 작고 저렴한 모델로부터 여러 솔루션을 샘플링한 뒤, 다수결 투표(Majority Voting)나 Best-of-N과 같은 방법을 통해 생성 완료 후(post-hoc) 최적의 해를 선택하는 것입니다. 그러나 본 논문은 사후 선택 방식이 근본적인 한계가 있다고 주장합니다. 만약 작은 모델이 생성 초기 단계에서 잘못된 추론 경로로 이탈한다면, 어떤 스코어러(scorer)도 오류가 전파된 이후에는 그 궤적을 바로잡을 수 없기 때문입니다.

반대로, 프로세스 보상 모델(Process Reward Model, PRM) 기반 탐색은 생성 과정 중에 후보 추론 단계를 점수화함으로써 이러한 타이밍 문제를 해결합니다. 하지만 PRM은 단계별 레이블(예: Qwen2.5-Math-PRM-72B)로 학습된 보상 모델을 필요로 하며, 이는 상당한 학습 오버헤드와 자원 비용을 발생시킵니다.

본 논문이 다루는 핵심 문제는 다음과 같습니다: 전용 보상 모델을 학습시키지 않고도, 생성 시점의 가이드(생성 중 오류가 전파되기 전에 궤적을 수정하는 것)를 통한 이점을 얻을 수 있는가?

방법론: 청크 단위 가이드 생성 (Chunk-Level Guided Generation)

저자들은 오프더쉘프 대형 언어 모델(LLM)을 생성기가 아닌 오직 스코어러로만 사용하는 청크 단위 가이드 생성 방식을 제안합니다.

프레임워크

생성(Generation): 작은 모델( $\pi_s$ )이 솔루션을 생성합니다. 각 단계에서 작은 모델은 단일 토큰이나 가변 길이의 추론 단계를 생성하는 대신, 고정된 길이 $L$ 을 가진 $k$ 개의 후보 연속 문구(chunks)를 샘플링합니다.
스코어링(Scoring): 더 큰 사전 학습된 LLM( $\pi_l$ )이 이 $k$ 개의 후보를 점수화합니다. 결정적으로, 대형 모델은 텍스트를 직접 생성하지 않습니다. 대신 작은 모델이 제공한 후보 청크들에 대한 가능도(likelihood, log-probabilities)만을 계산합니다.
선택(Selection): 가장 높은 점수를 받은 청크를 컨텍스트에 추가하고, 문장 종료(end-of-sequence) 토큰에 도달할 때까지 이 과정을 반복합니다.

스코어링 규칙

본 논문은 대형 모델의 가능도를 기반으로 하는 두 가지 선택 규칙을 도입합니다.

가능도 가이드 선택 (Likelihood-Guided Selection, LGS): 대형 모델 하에서의 길이 정규화된 로그 가능도가 가장 높은 청크를 선택합니다:
$S_{LGS}(c_i) = \ell_{\pi_l}(c_i | h)$
대조 가이드 선택 (Contrastive-Guided Selection, CGS): 대형 모델의 선호도가 작은 모델의 선호도와 가장 크게 벌어지는 청크를 선택합니다. 즉, 대형 모델의 로그 가능도에서 작은 모델의 로그 가능도를 뺍니다:
$S_{CGS}(c_i) = \ell_{\pi_l}(c_i | h) - \ell_{\pi_s}(c_i | h)$
이 규칙은 대형 모델이 타당하다고 느끼지만 작은 모델은 그렇지 않은 연속 문구를 선호함으로써, 대형 모델의 "추가적인 지식"을 효과적으로 활용합니다.

핵심 설계 선택: 고정 길이 청크 (Fixed-Length Chunks)

방법론의 핵심적인 기여는 자연스러운 구분점이 있는 추론 단계 대신 고정 길이 청크를 사용했다는 점입니다. 저자들은 대형 모델의 로그 가능도가 체계적인 **길이 편향(length bias)**을 보인다는 점을 입증했습니다. 즉, 길이를 정규화하더라도 대형 모델은 더 긴 추론 단계에 더 높은 확률을 부여하는 경향이 있습니다. 따라서 모든 결정 지점에서 모든 후보의 길이를 $L$ 로 고정함으로써, 점수를 직접 비교 가능하게 만들어 이러한 혼란 변수를 제거했습니다.

주요 기여

학습이 필요 없는 프로세스 스코어링: 오프더쉘프 LLM을 오직 가능도 스코어러로만 사용하는 것이 생성 시점의 탐색을 가이드하는 데 있어 훈련된 PRM의 효과적인 대체제가 될 수 있음을 입증했습니다.
길이 편향의 해결: 대형 모델의 가능도에서 나타나는 체계적인 길이 편향을 식별하고 해결하였으며, 신뢰할 수 있는 스코어링을 위해서는 가변 길이 단계가 아닌 고정 길이 청크가 필수적임을 보여주었습니다.
대조 선택 (Contrastive Selection): 단순한 가능도 극대화를 넘어, 두 모델 간의 선호도 차이를 활용하는 CGS를 도입하여 일관된 성능 향상을 이끌어냈습니다.
효율성: 본 방법론은 PRM 기반 탐색보다 실질적으로 짧은 추론 궤적을 생성하면서도 대등하거나 더 우수한 정확도를 달행합니다.

실험 결과

본 프레임워크는 다섯 가지 수학적 추론 벤치마크인 GSM8K, MATH, Minerva Math, AMC23, AIME24에서 평가되었습니다. 실험에는 세 가지 모델 쌍이 사용되었습니다:

Qwen2.5-32B에 의해 가이드되는 Qwen2.5-1.5B
Llama-3.1-70B에 의해 가이드되는 Llama-3.2-1B
Qwen2.5-72B에 의해 가이드되는 Qwen2.5-7B

베이스라인 대비 성능

사후 선택(Post-Hoc Selection) 대비: 청크 단위 가이드 생성(특히 CGS)은 다수결 투표, Self-Certainty, Best-of-N과 같은 사후 방식보다 실질적으로 뛰어난 성능을 보였습니다. 예를 들어, Llama 쌍( $k=32$ )의 GSM8K 테스트에서 CGS는 **83.9%**의 정확도를 기록하여, Majority Voting의 56.0% 대비 27.9%포인트의 높은 격차를 보였습니다.
PRM 기반 탐색 대비: 동일한 가이드 예산(개입 횟수 기준) 하에서, CGS는 대부분의 벤치마크에서 Qwen2.5-Math-PRM-72B를 사용한 PRM 기반 탐색과 대등하거나 이를 능가하는 성능을 보였습니다(별도의 보상 모델 학습 없이).
- Minerva Math (Qwen 쌍, $k=32$ )에서 CGS는 **39.0%**를 기록하여 PRM의 **32.4%**를 앞질렀습니다.
- GSM8K (Llama 쌍, $k=32$ )에서 CGS는 **83.9%**를 기록하여 PRM의 **77.3%**를 앞질렀습니다.
스케일링(Scaling): 생성기를 Qwen2.5-7B(72B에 의해 가이드됨)로 확장했을 때, CGS는 MATH에서 81.8%, Minerva Math에서 **63.6%**에 도달하여, Majority Voting보다 4~6%포인트 높았으며 PRM-72B 가이드 탐색 평균값에 1.5%포인트 이내로 근접했습니다.

추론 궤적 길이

더 나은 성능을 위해 더 긴 추론이 필요하다는 일반적인 가정과 달리, 본 논문은 CGS가 PRM 기반 탐색보다 실질적으로 짧은 추론 궤적을 생성한다는 것을 발견했습니다. GSM8K에서 PRM 응답은 CGS 응답보다 최대 80% 더 많은 토큰을 포함했습니다. 이는 대형 모델의 가능도 가이드가 작은 모델을 더 간결하고 직접적인 추론 경로로 유도함을 시사합니다.

의의 및 주장

본 논문은 청크 단위 가이드 생성이 PRM 기반 탐색을 대체할 수 있는 실용적이고 학습이 필요 없는 대안임을 주장합니다. 본 연구의 의의는 다음과 같습니다:

접근성: 단계별 보상 모델을 학습시켜야 하는 장벽을 제거하여, 실무자들이 기존의 오프더설프 대형 모델을 사용하여 작은 모델의 성능을 높일 수 있게 합니다.
타이밍: 생성 과정 중에 개입하여 오류 전파를 방지하는 능력을 성공적으로 보여주었으며, 이는 기존에 특화된 학습이 필요하다고 여겨졌던 기능입니다.
효율성: 높은 정확도를 달성하면서도 더 짧은 추론 궤적을 생성하여, PRM 방식에 비해 추론 비용을 절감합니다.

저자들은 실험이 현재 수학적 추론과 특정 모델 패밀리 내의 조합(예: Qwen-to-Qwen, Llama-to-Llama)에 국한되어 있다는 점을 언급하며, 일반화 가능성에 대해 신중한 태도를 유지했습니다. 즉, 추가적인 조사가 없이는 본 방법론이 코딩이나 상식 추론에도 일반화될 것이라고 주장하지 않습니다.