기술 요약: 증거 기반 잠금 및 비보상적 선택 경계가 추론 파이프라인 내 LLM 심사위원의 실패를 방지함

1. 문제 정의

본 논문은 추론 파이프라인 내에서 대규모 언어 모델(LLM) 심사위원(Judge)을 배치할 때 발생하는 치명적인 결함을 다룬다. 심사위원은 후보 답변을 게이팅하거나, 선호 데이터를 필터링하거나, 강화 학습(RL)을 위한 보상을 제공하는 데 점점 더 많이 사용되고 있지만, 그 출력은 단순한 '측정치'가 아닌 직접적인 '결정'으로 취급되는 경우가 많다. 저자들은 심사위원의 결정 비용이 심사위원의 내재적 정확도보다는 그 권위를 규정하는 **결정 규칙(decision rule)**에 더 크게 좌듭된다고 주장한다.

단일한 "품질" 점수를 출력하는 스칼라 심사위원은 결합(conflation) 문제를 겪는다. 즉, 추론의 서로 다른 차원(예: 논리적 타당성 vs. 사실적 근거)을 하나의 숫자로 붕괴시킨다. 이로 인해 논리적 구조는 탄탄하지만 사실적으로 틀린 경우(예: 국가를 올바르게 식별했으나 수도를 잘못 언급한 경우)에도 높은 점수를 받을 수 있으며, 이 과정에서 사실적 오류는 묵인된다. 본 논문은 제약 조건이 없다면, 심사위원이 정답인 합의(consensus)를 논리적으로 타당하지만 고득점을 받은 오답으로 일방적으로 덮어써 버려 심각한 정확도 저하를 초래할 수 있다고 상정한다.

2. 방법론

연구는 네 가지 GRPO 정책에 의해 생성된 **동결된 후보 풀(frozen candidate pools)**에 대해 결정 규칙을 평가한다. 후보군, 프롬프트, 계산 예산을 고정함으로써, 저자들은 규칙 자체의 영향을 격리하여 분석한다.

2.1 진단적 분해 (RA-MSD)

저자들은 먼저 검색 증강 다중 신호 결정(RA-MSD) 보상 모델을 구현하였다. 이는 심사위원의 평가를 단계별로 계산되는 7가지 명시적 채널로 분해한다:

1. 논리적 타당성 ($R_{logic}$): 이전 단계와의 추론적 연결성을 확인한다.
2. 사실적 근거 ($R_{fact}$): 검색된 증거에 대한 지지 여부를 확인한다.
3. 인식론적 교정 ($R_{epist}$): 확신도와 증거 강도를 측정한다.
4. 정보 획득 ($R_{info}$): 장황함이나 시간 끌기를 페널티 처리한다.
5. 출처 삼각 측량 ($R_{triang}$): 여러 개의 상호 보완적인 출처를 요구한다.
6. 적대적 강건성 ($R_{adv}$): 어휘적 변화 대 의미적 변화에 대한 민감도를 테스트한다.
7. 최소 충분성 ($R_{min}$): 검증 불가능한 주장을 덧붙이는 것에 페널티를 부여한다.

단계별 게이팅 (실패한 변형): 초기에는 이 채널들을 가중 합산하여 논리와 사실성을 페이절리티 제약 조건(임계값 $\tau=0.5$)으로 결합하였다. 이를 GRPO 훈련용 보상으로 사용했으나, 이 방식은 일반 GRPO보다 성능을 개선하지 못했다. 이는 채널들을 다시 스칼라로 합쳐 최적화기에 전달하는 것이 결합 문제를 재도입한다는 것을 시사한다.

2.2 증거 잠금 유도-게이트-수리 (EL-DGR)

성공적인 접근법은 이 분해를 훈련 신호로 사용하는 것이 아니라, 심사위원을 증거 인증서(evidence certificates)에 종속시키는 **사후 훈련 선택 규칙(post-training selection rule)**으로 적용하는 것이다. EL-DGR는 후보를 다음과 같은 실행 가능 계층(feasibility strata)으로 나눈다:

1. 인증서 정의:

   • 검색 QA: 추출적 인증서 $c(a, E)$는 답변 $a$가 검색된 증거 $E$에 그대로 존재하는 경우에만 1로 설정된다.
   • 산술: 도출된 수치적 답변은 독립적인 일관성 검사를 거쳐야 한다.

2. 결정 로직 (비보상적):
   선택기는 다음의 엄격한 계층 구조에 따라 최종 답변 $a_{EL-DGR}$를 선택한다:

   • 기본(Default): 심사위원에 의해 대체되지 않는 한 다수결 답변($m$)을 반환한다.
   • 덮어쓰기(Override): 심사위원이 선호하는 답변($s$)은 해당 답변이 인증되었고($c(s, E)=1$) 동시에 다수결 결과가 인증되지 않은 경우에만 수용된다.
   • 수리(Repair): 검증된 수리 답변($r$)은 다수결($m$)과 심사위원 선호($s$) 모두 인증되지 않았지만, $r$은 인증된 경우에만 수용된다.

결정적으로, 심사위의 스칼라 선호도는 인증되지 않은 후보를 계층 위로 승격시킬 수 없다. 심사위원은 오직 특정 계층 내에서만 후보 순위를 매길 수 있을 뿐이다. 이는 심사위원의 "폭발 반경(blast radius)"을 제한하여, 증거 자체에 오류가 있지 않는 한 심사위원이 올바른 합의를 틀린 답으로 바꾸는 것을 방지한다.

3. 주요 기여

1. 심사위원 권한의 측정: 본 논문은 동결된 풀에서 제약 없는 스칼라 심사위원이 다수결보다 미미한 개선(+1.0 pp on GSM8K, +0.34 EM on HotpotQA)만을 제공하며, 오히려 고정된 규칙 확인 분할(frozen-rule confirmation split)에서는 다수결보다 현저히 낮은 성능(−10.0 pp)을 보임을 입증한다.
2. EL-DGR 규칙: 심사위원을 증거 인증서에 종속시키는 작업 적응형 비보상적 결정 규칙을 도입하였다. 이 규칙은 새로운 후보를 생성하거나 예산을 크게 늘리지 않고도 모든 매칭된 선택기(첫 번째 후보, 다수결, 스칼라 심사위원)보다 우수한 성능을 보인다.
3. 결정 감사 및 부정적 결과:
   • 감사(Audit): 30개 질문에 대한 파일럿 테스트에서 EL-DGR는 8개 질문에서만 합의를 뒤집었으며, 결코 올바른 합의를 틀린 답변으로 전환하지 않았다.
   • 부정적 결과: 7개 채널 분해를 (스칼라로 합산하여) 훈련 보상으로 사용했을 때 효과가 없음을 확인하였는데, 이는 혜택이 점수의 세밀함 자체가 아니라 분할(partitioning) 로직에서 온다는 것을 확인시켜 준다.

4. 결과

실험은 Qwen2.5-3B 정책의 동결된 후보 풀을 사용하여 GSM8K(500개 질문) 및 HotpotQA(300개 질문)에서 수행되었다.

• GSM8K (산술):

  • 첫 번째 후보: 55.4%
  • 다수결: 55.8%
  • 스칼라 심사위원: 56.8%
  • EL-DGR: 58.2% (첫 번째 후보 대비 +2.8 pp, $p=0.0026$).
  • 참고: 여기서의 이득은 GSM8K가 추출을 위한 외부 사실이 없으므로 실행 가능한 "도출-수리(derive-repair)" 분기에 의해 주도된다.

• HotpotQA (검색):

  • 첫 번째 후보: 15.33 EM / 22.97 F1
  • 다수결: 15.33 EM / 23.19 F1
  • 스칼라 심사위원: 15.67 EM / 23.49 F1
  • EL-DGR: 17.33 EM / 25.46 F1 (첫 번째 후보 대비 +2.00 EM, $p=0.0703$; 다수결 대비 +1.67 EM, $p=0.0625$).
  • 참고: 이 개선은 증거에 의해 뒷받침되는 합의를 심사위원이 무력화하지 못하도록 하는 증거 잠금 제약에 의해 주도된다.

• 고정 규칙 확인 (HotpotQA, n=30):

  • 제약 없는 스칼라 심사위원은 10.0 EM을 기록하여 다수결(20.0)보다 10포인트 낮았고, 첫 번째 후보(13.3)보다도 3.3포인트 낮았다.
  • EL-DGR 하에서 동일한 심사위원은 26.7 EM을 달성하여 이 분할에서 다른 모든 선택기보다 우수한 성능을 보였다.

5. 의의 및 주장

본 논문의 핵심 주장은 심사위원을 더 정확하게 만드는 것이 아니라, 심사위원의 권한을 제한하는 것이다.

• 정확도보다 허용 가능성(Admissibility over Accuracy): 본 연구는 운영 루프에서 결정 규칙(허용 가능성 제약)이 심사위원의 쌍별 일치율보다 시스템 신뢰성에 더 중요하다는 것을 시사한다. 60%의 일치율을 가진 심사위원이라도 허용 가능한 답변들 사이에서 동점만 가릴 수 있다면 무해하지만, 올바른 합의를 일방적으로 덮어쓸 수 있다면 위험하다.
• "무효한" 분해: 논문은 추론을 여러 신호로 분해하더라도 이 신호들이 단일 스칼라로 재결합되어 훈련에 사용된다면 도움이 되지 않는다고 명시한다. 분해는 차원 간의 보상을 방지하는 구조적 제약(분할)으로 사용될 때만 효과적이다.
• 실무자 가이드: 저자들은 실무자들이 심사위원이 이겨야 하는 "기본값(default)"을 정의하고, 그 기본값을 대체하기 위해 필요한 "인증(certificate)"을 정의하며, 덮어쓰기 비율을 측정할 것을 권고한다. 심사위원이 무엇을 번복할 수 있는지 제한하는 것이 심사위원을 미세 조정하는 것보다 더 저렴하고 효과적인 안전 장치라고 주장한다.

한계점: 저자들은 결과가 단일 훈련 시드, 3B 정책, 7B 심사위원에 기반하고 있음을 인정한다. 절대적인 점수는 제한된 예산과 후보 풀의 레거시 아티팩트로 인해 최첨단 모델(SOTA)과 직접 비교하기 어렵다. 일부 비교(HotpotQA 첫 번째 후보 대비)의 통계적 유의성은 경계선에 있다.