💬 NLP

Optimal Aggregation of LLM and PRM Signals for Efficient Test-Time Scaling

이 논문은 LLM 과 PRM 신호를 이론적으로 최적화하여 가중치를 조정하는 새로운 집계 전략을 제안함으로써, 단순한 계산량 증가보다 지능적인 신호 통합을 통해 테스트 시간 확장 (TTS) 의 효율성을 획기적으로 높인다는 것을 보여줍니다.

원저자: Peng Kuang, Yanli Wang, Xiaoyu Han, Yaowenqi Liu, Kaidi Xu, Haohan Wang

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peng Kuang, Yanli Wang, Xiaoyu Han, Yaowenqi Liu, Kaidi Xu, Haohan Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"인공지능 (LLM) 이 문제를 풀 때, 어떻게 하면 더 적은 노력으로 더 정확한 답을 찾을 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 방식은 인공지능이 여러 번 답을 내고, 그중에서 가장 점수가 높은 답을 고르는 방식이었죠. 하지만 이 논문은 **"그냥 점수만 믿고 고르면 안 돼! 오히려 점수가 낮은 답을 '감점' 처리해야 더 똑똑해진다"**라고 주장하며, 이를 위한 새로운 방법을 소개합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🎒 비유: "수학 시험을 보는 학생과 선생님"

상상해 보세요. 여러분이 아주 어려운 수학 문제를 풀고 있습니다.

학생 (LLM, 생성 모델): 문제를 풀어서 답안지 10 장을 냅니다. (A, B, C... 등 다양한 풀이)
선생님 (PRM, 검증 모델): 그 답안지들을 하나씩 검토해서 "이 풀이는 훌륭해 (점수 90)", "이건 엉망이야 (점수 20)"라고 점수를 매겨줍니다.

❌ 기존의 방식 (Best-of-N)

기존의 방법은 **"선생님이 1 등으로 평가한 답안지 하나만 뽑아서 제출"**하는 방식입니다.

문제: 만약 선생님이 실수를 하거나, 1 등이라고 평가한 답이 사실은 틀렸을 수도 있습니다. 게다가 다른 9 장의 답안지가 왜 틀렸는지에 대한 정보는 아예 무시해버립니다.

❌ 또 다른 방식 (다수결)

반대로, **"선생님의 점수는 무시하고, 가장 많이 나온 답 (다수결) 을 제출"**하는 방식도 있습니다.

문제: 학생이 10 번 중 9 번이나 같은 틀린 답을 썼다면, 다수결은 틀린 답을 고르게 됩니다.

✅ 이 논문이 제안하는 새로운 방식: "똑똑한 점수 계산기"

이 논문은 **"선생님의 점수를 그대로 쓰는 게 아니라, 학생과 선생님의 관계를 분석해서 '가중치 (Weight)'를 조정하자"**고 말합니다.

핵심 아이디어 1: "나쁜 답은 '감점'해야 한다!" (Negative Weights)
가장 중요한 발견은 이것입니다.

만약 선생님이 어떤 답을 **"점수 10 점 (매우 나쁨)"**이라고 평가했다면, 그 답은 단순히 '고려 대상에서 제외'되는 게 아니라, 오히려 그 답이 맞을 확률을 '마이너스'로 만들어야 한다는 것입니다.
비유: 시험에서 한 학생이 엉뚱한 답을 썼을 때, 단순히 "이건 틀렸으니 제외"하는 게 아니라, "이 학생이 이런 엉뚱한 답을 썼다면, 이 학생이 맞을 확률은 0% 가 아니라 -50% 일지도 모른다"고 생각해야 합니다. 나쁜 증거는 '없음'이 아니라 '반대 증거'로 작용해야 합니다.

핵심 아이디어 2: "학생과 선생님마다 관계가 다르다" (Model-Dependent)

어떤 학생은 선생님이 점수를 잘 매겨주지만, 어떤 학생은 선생님이 점수를 잘못 매길 수도 있습니다.
따라서 모든 학생에게 똑같은 점수 계산법을 적용하면 안 됩니다. 각 학생 (LLM) 과 각 선생님 (PRM) 의 조합에 맞춰서 "어떤 점수가 진짜 좋은 점수인지"를 미리 계산해두는 보정 (Calibration) 과정이 필요합니다.

🚀 이 방법이 왜 대단한가요?

이 논문은 이 복잡한 계산을 위해 미리 작은 시험 (보정 데이터) 을 한 번만 치르고 나면, 실제 시험 (테스트) 에서 엄청난 효율을 낸다고 말합니다.

기존 방식: 100 점 만점을 받기 위해 100 번의 문제를 풀고, 그중 하나를 고르려면 엄청난 계산 비용이 듭니다.
이 논문의 방식: 미리 "어떤 학생이 어떤 점수를 받을 때 믿을 수 있는지"를 계산해두면, 기존 방식보다 3~~4 배 적은 계산량 (약 20~~30%) 으로도 더 높은 점수를 받을 수 있습니다.

📝 한 줄 요약

"인공지능이 문제를 풀 때, 단순히 '가장 좋은 답'만 고르는 게 아니라, '나쁜 답'을 적극적으로 감점하고, 학생과 선생님의 관계를 미리 분석해서 점수를 재조정하면, 훨씬 적은 노력으로 더 똑똑한 답을 얻을 수 있다."

이 연구는 단순히 컴퓨터를 더 많이 돌리는 것 (스케일링) 보다, 어떻게 정보를 모으고 합칠지 (지능적 집계) 를 smarter 하게 만드는 것이 더 중요함을 보여줍니다.

논문 기술 요약: 최적의 LLM 및 PRM 신호 집계로 효율적인 테스트 시간 확장 달성

이 논문은 **테스트 시간 확장 (Test-Time Scaling, TTS)**의 핵심 요소인 프로세스 보상 모델 (Process Reward Model, PRM) 의 신호를 어떻게 효과적으로 활용할 것인지에 대한 문제를 제기하고, 이론적 프레임워크와 실증적 방법을 통해 이를 해결하는 새로운 접근법을 제시합니다.

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 '생성 - 선택 (Generate-and-Select)' 프레임워크가 널리 사용되고 있습니다. 이 방식은 여러 후보 답변을 생성한 후, 가장 좋은 답변을 선택하는 과정으로, 보통 PRM을 사용하여 각 추론 단계의 품질을 평가하고 점수가 가장 높은 답변 (Best-of-N, BoN) 을 선택합니다.

그러나 최근 벤치마크에서 흥미로운 역설이 발견되었습니다. 값비싸고 복잡한 PRM 신호를 무시하고, LLM 이 생성한 답변들 간의 **단순 다수결 (Majority Voting)**이 PRM 기반 BoN 보다 더 좋은 성능을 보이는 경우가 종종 발생했습니다. 이는 PRM 의 정교한 피드백이 단순히 '최고 점수'를 선택하는 방식으로는 제대로 활용되지 못하고 있음을 시사하며, PRM 신호와 LLM 생성 신호를 어떻게 최적의 방식으로 결합할 것인지에 대한 근본적인 질문을 던집니다.

2. 방법론 (Methodology)

2.1 이론적 분석: 최적 집계 전략의 유도

저자들은 LLM 과 PRM 의 신호를 결합하는 문제를 최대 사후 확률 (Maximum a Posteriori, MAP) 추정 문제로 공식화했습니다.

가정: LLM 이 생성한 답변과 PRM 의 점수는 조건부 독립이며, PRM 점수는 정답 여부에 따라 분포가 달라진다고 가정합니다.
결과: 이 프레임워크 하에서 최적의 선택 전략은 단순히 최고 점수를 고르는 것이 아니라, **가중치 투표 (Weighted Majority Vote)**임을 증명했습니다.
가중치 공식: 각 답변의 가중치 ( $w_i$ $w_{i}$ ) 는 두 가지 요소의 합으로 구성됩니다.
1. PRM 신호 항: PRM 점수가 정답일 때와 오답일 때 발생할 확률의 로그 비율 (Likelihood Ratio).
2. LLM 신호 항: LLM 의 고유 신뢰도 (정답을 낼 확률 $q_M$ ) 와 문제의 난이도에 기반한 항.

2.2 실증적 분석 및 통찰

이론적 가중치 함수를 분석한 결과 두 가지 중요한 통찰을 얻었습니다.

모델 의존성 (Model-Dependence): 최적의 가중치 함수 형태는 사용하는 LLM 과 PRM 의 조합에 따라 크게 달라집니다. 즉, 모든 모델에 적용 가능한 단일 고정 함수는 부optimal 합니다.
음수 가중치의 존재: 낮은 PRM 점수를 가진 답변은 **음수 가중치 (Negative Weights)**를 받아야 합니다. 이는 PRM 이 '잘못된' 것으로 판단한 답변은 단순히 무시하는 것이 아니라, 해당 답변이 정답일 확률을 낮추는 강력한 증거로 작용해야 함을 의미합니다. 기존 방법 (BoN, 단순 다수결) 은 이 음수 신호를 활용하지 못합니다.

2.3 실용적 보정 방법 (Practical Calibration)

이론적 가중치 함수를 테스트 시간에 적용하기 위해, 저자들은 **사전 계산 (Pre-computation)**을 통한 보정 방법을 제안했습니다.

비모수적 방법 (Non-parametric): 커널 밀도 추정 (KDE) 을 사용하여 PRM 점수의 분포를 로그 공간 (logit space) 에서 추정하고, 이를 통해 최적의 가중치 함수를 학습합니다.
모수적 방법 (Parametric): 가중치 함수를 간단한 선형 또는 로그-로짓 (Logit) 형태로 모델링하고, 작은 보정 데이터셋을 통해 오프셋 (Offset, $b$ ) 파라미터를 그리드 서치로 학습합니다. 이 오프셋은 '0 교차점'을 결정하여 낮은 점수에는 음수 가중치를 부여하는 역할을 합니다.

3. 주요 기여 (Key Contributions)

이론적 프레임워크: LLM 생성물과 PRM 점수를 최적화하는 가중치 투표 전략을 MAP 추정을 통해 수학적으로 유도했습니다.
음수 가중치의 중요성 발견: 최적의 전략이 낮은 품질의 답변에 대해 음수 가중치를 부여해야 함을 실증적으로 규명했습니다.
효율적인 보정 기법: 모델 쌍 (LLM-PRM) 에 특화된 가중치 함수를 작은 데이터셋으로 학습하는 실용적인 방법을 제안했습니다.
성능 및 효율성 입증: 다양한 실험을 통해 제안된 방법이 기존 방법보다 훨씬 적은 계산 비용으로 더 높은 정확도를 달성함을 보였습니다.

4. 실험 결과 (Results)

데이터셋 및 설정: 5 개의 LLM (Mistral, Qwen, DeepSeek 등) 과 7 개의 PRM 을 사용하여 MATH 및 MATH500 데이터셋에서 35 가지 조합으로 실험을 수행했습니다.
성능 향상: 제안된 Logit 가중 투표 (Logit WV) 및 Linear 가중 투표 방법은 기존 Vanilla Weighted Voting보다 평균적으로 37.1% (MATH) 및 **21.3% (MATH500)**의 테스트 시간 계산 비용만 사용하면서도 더 높은 정확도를 달성했습니다.
기존 방법 대비 우위: Best-of-N (BoN) 및 단순 다수결 (Majority Vote) 을 포함한 모든 베이스라인을 능가했습니다. 특히, BoN 보다 3 포인트 이상 높은 정확도를 기록한 사례도 있었습니다.
범용성: 수학 (MATH) 영역뿐만 아니라 MMLU-Pro-CoT-Eval(의학, 컴퓨터 과학, 경제 등) 과 같은 다른 도메인에서도 일관되게 우수한 성능을 보였습니다.
음수 가중치 검증: 그리드 서치 결과, 모든 LLM 에서 음수 가중치를 부여하는 오프셋 ( $b > 0$ ) 이 최적임을 확인하여 이론적 통찰을 뒷받침했습니다.

5. 의의 및 결론 (Significance)

이 논문은 단순히 테스트 시간의 계산 자원을 늘리는 것 (Scaling Compute) 이 아니라, **지능적인 집계 전략 (Intelligent Aggregation)**에 투자하는 것이 성능 향상의 더 효율적인 길임을 입증했습니다.

PRM 은 비용이 많이 들지만, 단순히 최고 점수만 선택하는 방식으로는 그 잠재력을 충분히 발휘하지 못합니다. 대신, PRM 이 제공하는 '부정적 신호 (Negative Signal)'를 적극적으로 활용하고, LLM 과 PRM 의 상호작용을 모델별로 보정하여 가중치를 조정하는 것이 핵심입니다. 제안된 방법은 이러한 원리를 구현하여, 적은 계산 비용으로 LLM 의 추론 능력을 극대화하는 새로운 표준을 제시합니다.