기술 요약: RECURSE – LLM 루브릭 판사(Rubric Judges)를 위한 유계 재귀적 자기 평가(Bounded Recursive Self-Evaluation)

1. 문제 정의

"LLM-as-judge" 패러다임은 개방형 텍스트를 평가하고 사후 학습(post-training)을 유도하는 데 매우 중요하지만, 판사 모델 자체를 개선하는 작업은 대개 값비싼 외부 자원인 인간의 주석, 보조 보상 모델, 또는 더 강력한 교사 모델로부터의 증류(distillation)에 의존합니다. 이러한 의존성은 비용이 많이 들 뿐만 아니라 순환 논리 문제를 야기합니다. 또한, 수학과 같이 난이도가 쿼리의 복잡성에 의해서만 결정되는 도메인과 달리, 판사를 개선하려면 두 가지 결합된 변수인 '판별적 루브릭(discriminative rubric)'과 '경계선에 있는 후보 응답(borderline candidate response)'을 함께 교정해야 합니다. 정적인 교사 증류(Static teacher distillation)는 고정된 훈련 인스턴스가 빠르게 사소한 샘플(명백히 옳거나 틀린 것)로 퇴화하여 유의미한 교정 그래디언트를 생성하지 못하기 때문에 여기서 실패하는 경우가 많습니다.

본 논문은 **유계 재귀적 자기 개선(Bounded Recursive Self-Improvement, RSI)**의 과제를 다룹니다. 즉, 판사 모델이 강화 학습(RL)의 보상에서 외부의 골드 라벨(gold labels)이나 교사 모델 없이도 자신의 평가 능력을 최적화하기 위해 스스로 학습 신호를 생성할 수 있는가 하는 점입니다. 저자들은 이 폐쇄 루프(closed-loop) 체제에서 두 가지 핵심 질문을 식별했습니다:

1. 언제 자기 개선이 일어날 수 있는가? (모델이 성능 개선 없이 스스로의 보상을 부풀리는 퇴보적 지름길을 방지하는 방법)
2. 언제 자기 개선을 멈춰야 하는가? (재귀적 최적화가 분포 외(out-of-distribution) 성능을 저하시키기 시작하는 시점을 감지하는 방법)

2. 방법론: RECURSE

저자들은 LLM 루브릭 판사를 위한 유계 RSI를 공식화하는 프레임워크인 RECURSE(Recursive Self-Evaluation)를 제안합니다. 이 방법은 단일 공유 정책 $\pi_\theta$ 위에서 작동하며 세 가지 핵심 구성 요소로 이루어집니다.

A. 판사-검사기 재귀 (Judge–Checker Recurrence, 폐쇄 루프)

이 프레임워크는 단일 정책에 대해 두 단계의 패스(pass) 메커니즘을 사용합니다:

• Pass 1 (Judge): 훈련 가능한 정책 $\pi_\theta$는 $K$개의 사전 정의된 루브릭에 따라 후보 응답 $y$를 평가하며, 각 규칙에 대한 단계별 추론과 이진 판결(YES/NO)을 출력합니다.
• Pass 2 (Checker): 정책의 동기화된 복사본인 $C_{\bar{\theta}}$ ($\bar{\theta} \leftarrow \theta$인 경우)는 메타 루브릭을 사용하여 판사의 추론 과정을 감사(audit)합니다. 결정적으로, 이 검사기는 판사의 판결을 그대로 복제하는 대신 스칼라 프로세스 보상(scalar process reward, $s_i \in \{0, 1, 2, 3, 4\}$)을 출력합니다.
• 최적화: 이 스칼라 점수는 그룹 상대적 RL(GSPO)을 위한 유일한 보상으로 사용됩니다. 검사기 파라미터는 매 단계마다 판사와 동기화되므로($\bar{\theta}_{t+1} \leftarrow \theta_{t+1}$), 외부 감독 없이도 공동 진화(co-evolution)가 가능합니다.

B. 인터페이스 디커플링 (Interface Decoupling, "언제 시작할 것인가"의 해결책)

저자들은 판사와 검사 사이에 동일한 YES/NO 출력 템플릿을 공유함으로써, 모델이 실제 추론 품질을 개선하는 대신 YES 토큰을 최대화하여 스스로의 보상을 부풀리는 퇴보적 루프를 악용하는 "표면 결합 지름길(surface-coupling shortcut)"을 식별했습니다.

• 해결책: RECURSE는 인터페이스 디커플링을 구현합니다. 판사는 규칙별 구조화된 판결(YES/NO)을 출력하는 반면, 검사기는 독립적인 5단계 스칼라 점수를 출력합니다. 이러한 구조적 격리는 직접적인 토큰 복사 그래디언트 경로를 차단하여, 모델이 표면적인 토큰 편향($B$)이 아닌 진정한 추론 검증($U$)을 개선하도록 강제합니다.

C. 쌍별 우위 타당성 (Pairwise Advantage Validity, PAV) ("언제 멈출 것인가"의 해결책)

기준점이 없는 재귀적 학습은 본질적으로 유계되어 있습니다. 스스로 생성한 보상은 결국 포화 상태에 도달하여 분포 외 성능 저하를 초래합니다. 외부 전이 벤치마크를 미리 보지 않고도 최적의 중단 시점을 식별하기 위해, 저자들은 PAV를 도입했습니다.

• 메커니즘: PAV는 골드 라벨이 RL 보상에 절대 들어가지 않는, 인간이 검증한 소규모 홀드아웃 세트(SV-HARD)에서 계산되는 합성 모니터입니다.
• 공식: $V_t = \frac{A_t + 2(1 - e_{C,t})}{3}$ 이며, 여기서 $A_t$는 판사의 규칙 정확도이고 $e_{C,t}$는 검사기 오류(검사기의 점수와 골드 기반 타겟 사이의 평균 절대 오차)의 정규화된 값입니다.
• 이론적 근거: 검사기 오류에 부여된 가중치 2는 쌍별 점수 차이에 대한 이론적 경계에서 유도되었으며, 이는 모니터가 RL에 필요한 순위 신호(ranking signal)의 충실도를 우선시하도록 보장합니다. PAV는 검증 데이터 내의 정확도는 상승하지만 전이 성능은 떨어지는 "검증 기만(validation deception)" 현상이 발생하기 전, 최적의 유효성 창(validity window)을 안정적으로 찾아냅니다.

3. 주요 기여

1. 유계 RSI의 공식화: 본 논문은 외부 RL 보상 없이도 온-정책(on-policy) 프로세스 체크를 통해 LLM 판사를 최적화할 수 있음을 입증하였으며, 이를 위해서는 스스로 생성한 보상의 유효성을 명시적으로 디커플링하고 모니터링해야 함을 밝혔습니다.
2. 인터페이스 디커플링: 저자들은 자기 평가에서의 표면 결합 지름길을 발견하고, 폐쇄 루프 학습을 가능하게 하기 위해 스칼라 인터페이스(5단계 점수 vs 이진 판결)를 설계했습니다.
3. 이론적 중단 모니터: 외부 감독 없이도 최적의 조기 종료 영역을 신뢰성 있게 식별하기 위해, 판사의 정확도와 검사기의 충실도를 균형 있게 추적하는 PAV 모니터를 도출했습니다.
4. 실증적 검증: 다양한 모델 제품군(Qwen3.5-9B, Gemma-4-E4B-it, Qwen3.6-27B)에 걸쳐, 이 방법은 일관된 일반화 이득과 효과적인 다운스트림 정책 정렬을 보여주었습니다.

4. 실험 결과

저자들은 의료, 쌍체 비교(pairwise), 요약 및 전문 분야의 홀드아웃 벤치마크를 사용하여 다섯 가지 연구 질문(RQ1–RQ5)에 대해 RECURSE를 평가했습니다.

• RQ1 (실행 가능성): RECURSE는 일관된 일반화 이득을 달anim했습니다. Qwen3.5-9B에서 SV-HARD 규칙 정확도를 12.9 포인트 향상시켰으며, 네 가지 분포 외 전이 벤치마크(HealthBench, RubricBench, CheckEval-Summ, ProfBench) 모두에서 상승을 보였습니다. Gemma-4-E4B-it와 Qwen3.6-27B에서도 유사한 긍정적 궤적이 관찰되었습니다.
• RQ2 (디커플링): 실험을 통해 공유된 YES/NO 체크가 정확도 향상 없이 보상 부풀리기로 이어진다는 것을 확인했습니다. 인터페이스 디커플링(스칼라 점수)은 토큰 교정을 유지하고 보상 성장을 진정한 검증 정확도로 전환했습니다.
• RQ3 (PAV 위치 식별): PAV는 최적의 중단 시점(예: Qwen-9B의 경우 130단계)을 성공적으로 식별했습니다. 검증 세트에서의 판사 정확도는 200단계까지 계속 상승했지만, 검사기 충실도는 저하되었고 전이 성능은 떨어졌습니다. PAV는 이러한 "검증 기만"을 방지했습니다.
• RQ4 (공동 진화): 동기화된 판사-검사기 공동 진화는 고정된 검사기, 외부 메타 판사(27B), 자기 일관성(self-consistency), 그리고 스케일링된 교사 증류(최대 17k 트레이스)보다 우수한 성능을 보였습니다. 저자들은 고정된 코퍼스가 정보가 풍부한 그래디언트를 생성하는 데 필요한 "이중 변수 난이도 결합(dual-variable difficulty coupling: 판별적 루브릭 + 경계선 응답)"을 유지하지 못하기 때문에 정적 교사 증류가 실패한다고 분석했습니다.
• RQ5 (다운스트림 전이): RECURSE 판사가 선별한 선호 쌍(preference pairs)은 다운스트림 정책 정렬을 효과적으로 향상시켰습니다. RECURSE 라벨을 사용하여 Qwen-27B를 DPO로 학습했을 때, RE-CURSE 라벨은 GPQA, GuideBench, SOP-Maze에서 기본 판사 라벨보다 뛰어난 성능을 보였습니다.

5. 의의 및 주장

본 논문은 다음 두 가지 조건이 충족될 때 LLM-as-judge를 위한 유계 재귀적 자기 개선이 가능하다고 주장합니다:

1. 명시적 디커플링: 판사의 판결과 검사기의 보상 사이의 인터페이스는 퇴보적인 토큰 복사 지름길을 방지하기 위해 구조적으로 격리되어야 합니다.
2. 명시적 모니터링: 분포 외 전이가 저하되기 전에 최적화를 멈추기 위해, 이론적으로 근거 있는 모니터(PAV)가 스스로 생성한 보상의 유효성을 추적해야 합니다.

저자들은 이 접근 방식이 RL 루프에서 값비싼 인간 주석이나 외부 교사 모델의 필요성을 제거하여, 평가 능력을 향상시키기 위한 확장 가능한 패러다임을 제공한다고 강조합니다. 이 연구는 응답을 평가하는 기능과 추론을 감사하는 기능이 공통된 기초를 공유하고 있으므로, 시스템을 주의 깊게 제한하여 보상 해킹(reward hacking)을 방지한다면 이 두 역할이 폐쇄 루프 내에서 서로를 상호 강화할 수 있음을 시사합니다.