🤖 machine learning

LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning

이 논문은 독립적으로 학습된 모델들 사이의 교차 모델 합의를 활용하여 오류 비상관성을 이용함으로써 자기 일관성(self-consistency) 및 학습된 보상 모델보다 더 뛰어난 정답 추론 체인 선택 성능을 보여주는 파라미터 프리 테스트 타임 스케일링 방법론인 "LLM-jury"를 소개하며, 동시에 그 정확도를 예측하고 실패 상한선을 식별할 수 있는 폐쇄형 법칙(closed-form law)을 제공한다.

원저자: Ning Liu

게시일 2026-07-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ning Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 정말 까다로운 수학 문제나 과학 수수께끼를 풀려고 노력 중이라고 상상해 보세요. 당신은 아주 똑똑한 AI에게 정답을 묻습니다. 하지만 때때로, 아무리 똑똑한 AI라도 자신의 논리에 너무 자신감이 넘친 나머지 똑같은 실수를 반복하며 스스로의 생각에 갇혀버릴 때가 있습니다.

이 논문은 정답을 확인하는 새로운 방법인 **LLM-Jury(LLM 배심원단)**를 소개합니다.

문제점: "에코 체임버(Echo Chamber)" 함정

보통 AI가 맞는지 확인하고 싶을 때, 우리는 같은 질문을 여러 번 던지고 가장 많이 나온 답을 선택합니다. 이것을 **자기 일관성(Self-Consistency)**이라고 합니다.

이것은 마치 당신의 절친한 친구에게 조언을 구하는 것과 같습니다. 그런데 그 친구에게 똑같은 질문을 12번 연속으로 하는 것이죠. 만약 그 친구가 운이 나쁜 날이라서 오답을 냈다면, 그 친구는 12번 모두 틀린 답을 낼 것입니다. 그 친구는 틀린 답에 대해 자신 있게 투표할 것이고, 당신은 그 한 명에게만 물어봤기 때문에 그 "다수결"은 틀린 답이 됩니다. 논문은 이 방식이 모델의 사각지대를 그대로 물려받는다는 점을 보여줍니다.

이를 해결하기 위해 사람들은 답변에 점수를 매기는 특수한 "판사 AI(Judge AI)"를 훈련시키기도 합니다. 하지만 이 판사는 채점을 배우기 위해 많은 숙제(레이블이 지정된 데이터)가 필요하며, 공부하지 않은 주제에 대해 질문하면 종종 실패합니다.

해결책: "LLM-Jury"

저자들은 다른 아이디어인 **교차 모델 합의(Cross-Model Consensus)**를 제안합니다. 한 명의 친구에게 12번 묻는 대신, 서로 다른 집에서 자라고, 서로 다른 학교를 다니며, 사고방식이 완전히 다른 네 명의 서로 다른 친구에게 묻는 것입니다.

설정: "생성기(Generator)" AI가 가능한 답변 목록을 만듭니다. 그다음, 세 명의 다른 AI(예: Qwen, DeepSeek, Claude)로 구성된 "배심원단(Jury)"이 각자 문제를 한 번씩 독립적으로 풉니다. 이들은 서로의 작업 내용을 절대 보지 않습니다.
판결: 네 명의 배심원 중 세 명이 특정 답에 동의한다면, 그것을 최종 답으로 선택합니다.

왜 작동하는가: "분산(Scatter)" 효과

논문은 이 현상을 영리한 비유로 설명합니다.

동일한 모델의 오답은 한 무리의 친구들이 모두 똑같은 돌부리에 걸려 넘어지는 것과 같습니다. 그들은 모두 같은 지점에서 넘어집니다.
서로 다른 모델의 오답은 친구들이 각기 다른 것에 걸려 넘어지는 것과 같습니다. 한 명은 바나나 껍질에, 다른 한 명은 느슨한 돌에, 또 다른 한 명은 물웅덩이에 걸려 넘어집니다. 이들의 실수는 사방으로 "분산"됩니다.

서로 다른 모델의 오답은 이처럼 흩어지기 때문에 서로 상쇄됩니다. 반면, 정답은 모두에게 말이 되는 유일한 것이므로 모든 표를 모으게 됩니다. 논문은 이를 측정하여, 어려운 수학 경시대회 문제에서 이 배심원 방식이 기존의 "한 명의 친구에게 여러 번 묻는" 방식보다 얻을 수 있는 개선 사항의 **100%**를 포착해 내는 반면, 단일 모델이 스스로의 작업을 채점하려고 할 때는 거의 **0%**에 불과하다는 것을 발견했습니다.

"마법의 법칙"과 "천장(Ceiling)"

연구진은 단순히 이 방법이 작동할 것이라고 추측한 것이 아니라, 숨겨진 설정 없이도 결과가 얼마나 잘 나올지 정확히 예측하는 수학적 법칙(공식)을 작성했습니다. 그들은 초등 수학부터 대학원 수준의 과학까지 7개의 서로 다른 벤치마크에서 이 법칙을 테스트했으며, 평균 오차가 단 0.03에 불과할 정도로 놀라운 예측력을 보여주었습니다.

하지만 논문은 이 방법이 도달할 수 있는 한계인 천장(Ceiling) 또한 발견했습니다.

공유된 오류의 바닥(Shared-Error Floor): 때때로 네 명의 배심원이 모두 동일한 오개념을 공유할 수도 있습니다. 예를 들어, 만약 그들이 모두 훈련 과정에서 특정 과학 사실을 잘못 배웠다면, 그들은 만장일치로 틀린 답에 동의할 수 있습니다.
논문은 이 "바닥"을 측정했습니다. 수학 문제의 경우 이는 거의 0에 가깝습니다(그들이 같은 수학적 실수를 공유하는 경우가 드뭅니다). 하지만 과학 문제(GPQA 벤치마크 등)의 경우, 이 바닥은 약 0.03입니다. 즉, 그들이 공유하는 사각지대 때문에 모두가 자신 있게 틀린 답에 동의할 작은 가능성이 있다는 뜻입니다.

결과: 전문가를 이기다

논문은 이 무료이며 별도의 훈련이 필요 없는 Jury 방식을 네 가지 유형의 "훈련된 판사(특정 답변을 채점하도록 설계된 특수 AI 모델)"와 비교했습니다.

훈련 영역 내부: 수학 문제에서 Jury는 최고의 훈련된 판사들과 대등하거나 그들을 앞질렀습니다.
훈련 영역 외부: 훈련된 판사들이 본 적 없는 데이터가 포함된 과학 문제에서, Jury는 최고의 성능을 보인 반면 훈련된 판사들은 고전했습니다.

Jury는 추가 훈련이나 레이블이 지정된 데이터 없이 이 일을 해냅니다. 그저 우리가 이미 가지고 있는 모델들을 활용할 뿐입니다.

"합의 폭포(Agreement Cascade)": 비용 절감

논문은 컴퓨터 자원을 아낄 수 있는 스마트한 방법도 제안합니다. 항상 네 명의 배심원에게 모두 물어볼 필요는 없습니다.

먼저 두 명의 배심원에게만 묻습니다. 만약 두 사람이 동의한다면, 거기서 끝냅니다(저렴합니다!).
만약 의견이 갈린다면, 그때 나머지 두 명을 불러 파티에 참여시킵니다(더 비싸지만, 어려운 문제에만 적용합니다).
이 "폭포(Cascade)" 방식은 네 명 모두에게 매번 묻는 것과 같은 높은 정확도를 유지하면서도 컴퓨팅 자원을 크게 절약해 줍니다.

이것이 '아닌' 것

논문은 이 방법이 무엇이 아닌지도 명확히 밝히고 있습니다.

이것은 모든 것을 해결해 주는 마법 지팡이가 아닙. 만약 모든 모델이 특정 화학 단위 변환과 같은 특정한 잘못된 개념을 공유하고 있다면, 배심원단은 자신 있게 틀린 답을 낼 것이며, 어떤 투표로도 이를 바로잡을 수 없습니다.
이것은 단순히 "모델이 많을수록 좋다"는 뜻이 아닙. 논문은 한 모델에게 32번 묻는 것이 네 개의 서로 다른 모델에게 각각 한 번씩 묻는 것보다 나쁘다는 것을 증명했습니다. 마법은 단순히 투표수의 숫자가 아니라, 모델 간의 차이에서 옵니다.
이것은 이미 완벽한 가장 똑똑한 단일 모델을 대체하는 것이 아닙. 하지만 어떤 모델도 완벽하지 않기에, Jury는 여러 추측 중에서 올바른 답을 골라내는 데 있어 우리가 가진 최고의 도구입니다.

요약하자면, 논문은 AI가 맞는지 알고 싶다면 AI에게 스스로를 채점하게 하지 말고, 서로 다른 AI들로 구성된 패널에게 투표하게 하라고 말합니다. 그들이 동의한다면 믿어도 좋습니다. 만약 의견이 갈린다면, 더 깊이 파고들어야 한다는 신호입니다. 그리고 무엇보다도, 시작하기도 전에 그들을 얼마나 신뢰할 수 있는지 정확히 예측할 수 있습니다.

기술 요약: 배심원으로서의 LLM (LLMs as a Jury)

문제 정의

현대적인 추론 시스템은 많은 후보 해법을 샘플링하고 그중 최적의 것을 선택하는 데 연산량을 투입하는 **테스트 시간 스케일링(test-time scaling)**에 점점 더 의존하고 있습니다. 샘플 수가 증가함에 따라, 정답은 거의 항상 후보군 안에 존재하게 되며, 이로 인해 병목 현상은 생성(generation)에서 **선택(selection)**으로 이동합니다. 본 논문은 기존의 선택 검증기들이 다음과 같은 구조적 한계를 가지고 있음을 지적합니다:

자기 일관성(Self-consistency) (단일 모델의 반복된 샘플에 대한 다수결 투표): 이는 해당 단일 모델의 체계적인 오류를 그대로 상속받습니다. 자신만만하게 틀린 모델은 동일한 오류를 반복적으로 생성하며, 자신의 실수를 다수결을 통해 정답으로 확정해 버립니다.
학습된 보상 모델(Trained reward models) (Outcome Reward Models 및 Process Reward Models): 이들은 주석이 달린 학습 데이터가 필요하며, 특정 학습 분포 외부에서는 전이 성능이 떨어집니다.
단일 모델 LLM 검증기(모델이 자신의 후보들을 점수 매기는 방식): 모델은 자신의 사각지대를 스스로 판결할 수 없으므로 성능이 약합니다.

본 논문은 단일 모델이 인지하지 못하는 오류를 탐지할 수 있는 레이블이 필요 없고(label-free), 일반적이며(general), 학습이 필요 없는(training-free) 검증기를 찾고자 합니다.

방법론: LLM 배심원 (The LLM-Jury)

저자들은 **교차 모델 합의(Cross-Model Consensus)**를 제안하며, 이를 LLM 배심원이라는 개념으로 설명합니다.

메커니즘: 독립적으로 훈련된 $M$ 개의 모델(배심원들)이 각각 문제를 한 번씩 풉니다. 이들은 별도의 생성기가 만든 후보들을 보지 못하며, 서로의 작업 내용도 보지 못합니다.
선택 신호: 선택은 **합의의 구조(structure of agreement)**를 기반으로 합니다. 최빈값 클래스(가장 빈번한 답변)에 해당하는 답이 선택됩니다. 모델들이 동의하는 비율( $g$ )은 신뢰도 신호 역할을 합니다.
핵심 가설: 이 메커니즘은 **오류 비상관성(error decorrelation)**에 의존합니다. 독립적으로 훈련된 모델들은 서로 다른 실수를 저지릅니다. 오류가 발생했을 때, 그들의 오답은 흩어지는 반면, 정답일 때는 수렴합니다. 이와 대조적으로, 단일 모델을 재샘플링하는 것(자기 일관성)은 상관관계가 있는 오류를 반복하여, 확신에 차 있지만 틀린 다수결을 만들어냅니다.

이론적 프레임워크: 파라미터가 없는 법칙 (A Parameter-Free Law)

본 논문은 세 가지 측정 가능한 패널 통계량을 바탕으로 배심원의 행동을 예측하는 폐쇄형(closed-form)의 파라미터 프리 법칙을 도출합니다:

$a$ : 평균 구성원 정확도.
$\rho$ : 평균 쌍별 오류 상관관계.
$s$ : 공유된 오개념 비율 (모델이 틀렸을 때, 다른 오답 모델들과 공유하는 특정 "끌개(attractor)" 오답에 빠질 확률).

주요 이론적 통찰:

합의 정확도(Consensus Accuracy): 법칙에 의해 예측되며, 오류 상관관계( $\rho$ )가 낮아질수록 높아집니다.
공유 오류 하한선(Shared-Error Floor): 법칙은 줄일 수 없는 오류 하한선을 정의합니다: 패널 전체가 단 하나의 오답에 만장일치로 동의할 확률입니다. 이는 모델들이 오개념을 공유할 때 발생합니다. 법칙은 수학 분야(오류가 흩어짐)에서는 이 하한선이 0에 가깝지만, 과학 분야(모델들이 특정 오개념을 공유함)에서는 0이 아닌 값을 가짐을 예측합니다.
예측력: 이 법칙은 예측 대상에 대한 파라미터를 피팅하지 않고도, 평균 절대 오차(MAE) 0.03 내에서 합의 정확도와 전체 선택적 예측 곡선(정확도 대비 커버리지)을 예측합니다.

주요 기여

검증기로서의 합의(Agreement as a Verifier): LLM 배심원은 7개의 벤치마크에서 자기 일관성 및 단일 모델 LLM 검증기보다 더 나은 선택 성능을 보여줍니다. 경시대회 수학(AIME)에서 자기 일관성 대비 달성 가능한 선택 이득의 100%를 포착하는 반면, 자신의 후보를 점수 매기는 모델은 약 0%만을 포착합니다.
예측 법칙과 천장(Ceiling): 폐쇄형 법칙은 패널 통계량으로부터 합의 행동과 실패 모드(공유 오류 하한선)를 예측합니다. 이 방법의 천장은 모델들이 얼마나 닮았는지가 아니라, 모델들의 오류가 얼마나 유사한지에 의해 결정됨을 정량화합니다.
학습된 검증기와의 성능 비교: LLM 배심원은 학습 데이터나 비용 없이도 훈련된 도메인 내부 및 외부 모두에서 최첨단 훈련된 검증기(판별적 PRM, 결과 RM, 생성형 검증기)와 대등하거나 이를 능가합니다.
메커니즘 격리: 크기가 같고 정확도가 매칭된 실험을 통해, 저자들은 이 이득의 원인이 단순한 다중 모델 결합이 아니라 오류 비상관성임을 격리하여 입증했습니다. 4개의 비상관 모델 패널은 단일 모델을 32번 재샘플링한 것보다 뛰어난 성능을 보입니다.

실험 결과

본 연구는 7개의 벤치마크(AIME-2024/2025, MATH-500, OlympiadBench, GSM8K, GPQA, MMLU-Pro, HumanEval+)에서 LLM 배심원을 자기 일관성, 단일 모델 검증기, 그리고 4가지 훈련된 검증기와 비교 평가합니다.

선택 정확도: 고정된 후보 풀 $N=12$ $N = 12$ 에서, LLM 배심원은 모든 미포화(unsaturated) 벤치마크에서 가장 강력한 비-오라클(non-oracle) 선택기입니다.
- AIME-2024: 배심원은 **56.7%**의 정확도를 달성하여 오라클(56.7%)과의 간극을 완전히 메웠습니다. 자기 일관성은 36.7%를 기록했습니다. 단일 모델 검증기는 30.0%를 기록했습니다.
- GPQA (과학): 배심원(35.9%)은 단일 모델 검증기(26.3%)와 훈련된 PRM을 유의미하게 능가하지만, 과학 분야의 높은 공유 오류 하한선 때문에 자기 일관성 대비 이득은 상대적으로 작습니다.
일반화: 배심원은 훈련된 보상 모델이 성능이 저하되는 도메인 외(out-of-domain) 설정(예: GPQA)에서 훈련된 검증기보다 우수한 성능을 보입니다.
코드 도메인: HumanEval+에서 행동적 합의(실행 출력값에 대한 합의)는 실행 결과의 정확도를 예측하는 데 AUROC 0.748을 기록하며, 텍스트 매칭 이상의 신호 적용 가능성을 입증했습니다.
비용 효율성: "합의 게이트형 캐스케이드(agreement-gated cascade)"(저렴한 2개 모델 패널을 먼저 실행하고, 불일치 시에만 4개로 확대)는 저렴한 비용(예: MATH-500에서 문제당 2.2회 호출)으로 전체 패널 수준의 정확도를 달성하여, 동일 예산의 자기 일관성보다 훨씬 뛰어난 성능을 보였습니다.

의의 및 주장

본 논문은 교차 모델 합의가 학습 데이터나 레이블을 요구하지 않는 근본적이고 예측 가능한 검증 프리미티브(primitive)라고 주장합니다.

예측 가능성: 이 방법은 실무자가 (측정된 패널 통계량을 통해) 언제 이를 신뢰할 수 있는지, 그리고 어디에서 실패하는지(공유 오류 하한선)를 알려주는 법칙에 의해 특징지어집니다.
도메인 불가지론(Domain Agnosticism): 도메인 특화된 훈련된 보상 모델과 달리, 배심원은 독립적 훈련에 내재된 신호(비상관 오류)를 활용하기 때문에 일반화 능력이 뛰어납니다.
효율성: 별도의 보상 모델을 훈련하는 비용을 피하면서, 이미 보유한 모델만을 사용하여 테스트 시간 스케일링을 위한 강력한 기본 도구(default)를 제공합니다.
한계: 이 방법은 공유 오류 하한선에 의해 결정되는 명확한 한계가 있습니다. 독립적으로 훈련된 모델들이 오개념을 공유할 경우(과학 분야에서 흔함), 배심원은 만장일치로 오답에 동의하게 되며, 어떤 합의 기반 신호도 이를 탐지할 수 없습니다. 논문은 이 하한선이 수학에서는 0에 가깝지만 과학에서는 0이 아님을 명시합니다.

저자들은 생성(generation)보다 선택(selection) 과정이 엔드 투 엔드 정확도를 결정짓는 경계가 되어감에 따라, 비상관 패널이 훈련된 검증기에 필적하거나 때로는 이를 능가하는 강력하고 레이블이 필요 없는 솔루션이라고 결론짓습니다.