기술 요약: RLVR에서 RLSVR로

1. 문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 수학 및 코딩과 같이 결정론적인 결과를 가진 도메인에서 추론 중심의 대규모 언어 모델(LLM)을 발전시키는 데 크게 기여해 왔습니다. 이러한 환경에서는 입력 $x$가 주어졌을 때 출력 $y$가 정답인지 여부를 결정론적으로 확인할 수 있는 검증기 $V(x, y)$를 통해 편향되지 않고 무제한적이며 비용이 들지 않는 감독을 제공할 수 있습니다.

그러나 RLVR은 정답이 주관적이고 결정론적인 지상 참치(ground truth)가 결여된 개방형 작업(예: 창의적 글쓰기, 텍스트 요약, 일반적 추론)에는 적용하기 어렵습니다. 이 간극을 메우기 위한 현재의 접근 방식들은 다음과 같은 한계를 가집니다:

• 학습된 선호도 신호(예: RLHF, DPO): 값비싼 인간의 주석(annotation)을 필요로 합니다.
• 모델 기반 프록시(예: LLM-as-a-Judge, 자기 보상 메커니즘): 평가의 편향을 유발하고, 판사(judge)의 능력에 의해 제한되며, 상당한 추론 비용을 발생시킵니다.

핵심 과제는 이러한 방법들이 데이터 자체로부터 검증 가능한 신호를 구축하는 대신, 검증 불가능한 품질 목적 함수 $Q(x, y)$를 직접 근사하려고 시도한다는 점입니다.

2. 방법론: RLSVR 및 SpyRL

본 논문은 RLSVR(Reinforcement Learning with Self-Verifiable Rewards)을 제안하며, 이는 자기 지도 학습(자동 생성된 라벨을 통해 사전 과제를 구성하는 방식)의 원리를 RLVR 영역으로 확장하여, 개방형 작업을 내부 규칙과 상호작용 결과로부터 파생되는 자기 검증 가능한(self-verifiable) 보상이 존재하는 프록시 환경으로 변환합니다.

2.1 RLSVR 프레임워크

RLSVR은 타겟 작업 $(D, \tau)$를 프록시 환경 $E$로 매핑하는 작업 변환 $\Phi$를 통해 작동합니다:

1. 잠재 변수 주입(Latent-Variable Injection): 환경은 입력 $x$와 잠재 변수 $z$(예: 숨겨진 정체성 또는 섭동된 상태)를 샘플링하고, $z$를 지상 참치로 기록합니다.
2. 조건부 작업 수행: 에이전트는 $(x, z)$로부터 유도된 관찰을 바탕으로 타겟 작업을 수행합니다.
3. 검증 가능한 상호작용: 환경은 작업 출력물을 사용하여 답변해야 하는 $z$에 대한 질문을 던집니다. 결정적으로, 올바른 답변은 출력물의 품질에 달려 있습니다.
4. 규칙 기반 보상: 기록된 $z$와 상호작용 결과를 대조하여 보상을 계산하며, 이때 외부 검증기는 필요하지 않습니다.

2.2 SpyRL: 정보 비대칭 자기 대전(Self-Play)을 통한 구체화

저자들은 사회적 추론 게임인 '스파이를 찾아라(Who Is the Spy?)'에서 영감을 얻은 다중 에이전트 프레임워크인 SpyRL(Self-PlaY Reinforcement Learning)을 통해 RLSVR을 구현합니다.

게임 메커니즘:

• 에이전트: $n$명의 에이전트로 구성된 그룹은 $n-1$명의 "시민(Civilians)"과 1명의 "스파이(Spy)"로 구성됩니다.
• 정보 비대칭성:
  • 시민: 전체 작업 입력 $x$를 받습니다.
  • 스파이: $x$의 저하된 버전 $g(x)$(예: 연속적인 텍스트 구간이 마스킹되거나 제거됨)를 받아 정보 결핍 상태가 됩니다.
• 수행 단계(Performing Stage): 모든 에이전트는 각자의 관찰을 바탕으로 타겟 작업(예: 요약, 창의적 글쓰기, 수학적 추론)에 대한 출력 $y_i$를 생성합니다.
• 탐지 단계(Detection Stage): 에이전트들은 모든 출력을 분석하고 스파이를 식별하기 위해 투표합니다.
• 보상 신호:
  • 탐지 보상($R_D$): 결정론적으로 검증 가능합니다. 에이전트가 올바른 스파이 인덱스 $u$를 선택하면 양의 보상을 받고, 그렇지 않으면 0을 받습니다.
  • 수행 보상($R_P$): 투표 결과로부터 유도됩니다. 스파이는 자신이 받은 투표 수(의심)에 비례하여 음의 보상을 받으며, 시민들은 그룹 평균에 대한 제로섬 제약 조건에 따라 보상을 받습니다.
  • 정렬(Alignment): 정보 결핍을 숨기지 못한(즉, 품질이 낮은) 출력물은 더 많은 표를 끌어모아 낮은 보상을 받게 됩니다. 따라서 검증 불가능한 "품질"이 검증 가능한 "정체성 인식" 문제로 전환됩니다.

최적화 전략:
SpyRL은 수행 정책($\pi^P_\theta$)과 탐지 정책($\pi^D_\phi$) 사이의 **교대 최적화(alternating optimization)**를 채택합니다.

• 역할-이점 추정(Role-Advantage Estimation, RAE): 스파이가 본질적으로 더 어려운 과제에 직면하는 구조적 불균형을 해결하기 위해, RAE는 역할별 베이스라인을 차감함으로써 보상을 교정합니다. 이를 통해 그래디언트 신호가 절대적인 보상 크기가 아닌 역할의 난이도 대비 성능을 반영하도록 합니다.
• 교대 업데이트: 시스템은 수행자(더 나은, 더 기만적인 출력을 생성하기 위함)와 탐지자(약점을 더 잘 식별하기 위함)를 번갈아 최적화합니다. 이는 고정된 자기 대전에서 흔히 발생하는 정책 정체 및 국소 최적해(local equilibria)를 방지합니다.

3. 주요 기여

1. RLSVR 패러다임: 외부 검증자 없이도 개방형 작업을 위한 확장 가능한 학습을 가능하게 하기 위해, 자기 지도 학습의 원리를 RLVR에 통합한 '자기 검증 가능한 보상을 활용한 강화 학습'을 제안했습니다.
2. SpyRL 프레임워크: 개방형 생성을 규칙 기반의 정체성 추론을 통한 검증 가능한 보상을 생성하는 다중 에이전트 사회적 추론 게임으로 재구성한 정보 비대칭 자기 대전 방식인 SpyRL을 도입했습니다.
3. 실증적 검증: 텍스트 요약, 창의적 글쓰기, 수학적 추론에 걸친 포괄적인 평가를 통해, SpyRL이 비검증 작업에서 기존 자기 개선 방법(R-Zero, Absolute Zero)보다 우수한 성능을 보이면서도 검증 가능한 추론 작업에서의 성능을 유지하거나 향상시킴을 입증했습니다.
4. 일반화: 해당 접근 방식이 특정 도메인 요약(과학 논문)에 일반화될 수 있으며, 작업 간 능력 전이(예: 요약 학습 모델이 창의적 글쓰기 능력을 향상시킴)가 가능함을 보여주었습니다.

4. 실험 결과

저자들은 Qwen3-4B 및 Qwen3-8B 모델을 사용하여 세 가지 도메인에서 SpyRL을 평가했습니다.

• 비검증 작업 (요약 및 창의적 글쓰기):

  • 요약: SpyRL은 5개 벤치마크(GovReport, Multi-News 등)에서 가장 높은 ROUGE-L 점수를 달성했습니다. 예를 들어, Qwen3-4B를 사용한 GovReport에서 SpyRL은 ROUGE-L을 33.2(Absolute Zero)에서 36.7로 향상시켰습니다. 베이스라인과의 쌍체 A/B 테스트에서 SpyRL은 대다수의 비교에서 승리했습니다(예: GovReport에서 74.6% 승률).
  • 창의적 글쓰기: SpyRL은 Novelty, Emotion, Coherence와 같은 차원에서 GPT-4o 쌍체 평가를 통해 베이스라인을 크게 앞질렀습니다. WritingPrompts에서 SpyRL은 학습되지 않은 백본 모델 대비 84.3%, R-Zero 대비 78.9%의 승률을 기록했습니다.
  • 상관관계: 분석 결과, 받은 의심 투표 수와 GPT-4o가 평가한 출력 품질 간에 강한 양의 상관관계가 나타났으며, 이는 투표 기반 보상이 실제 작업 성능과 일치함을 검증합니다.

• 검증 가능 작업 (수학적 추론):

  • SpyRL은 7개 벤치마크(GSM8K, Math500, AIME 24/25, Minerva, MMLU-Pro, GPQA-D)에서 일관되게 베이스라인을 능가했습니다.
  • Qwen3-8B의 경우, SpyRL은 Math500 정확도를 81.2%(R-Zero의 78.4% 대비)로, AIME 25를 23.3%(R-Zero의 14.2% 대비)로 향상시켰습니다.

• 비용 효율성:

  • 실험당 약 $200~$900의 검증 비용이 발생하는 RaR(Rubric-as-Reward) 베이스라인과 달리, SpyRL은 게임의 내부 규칙에만 의존하므로 외부 검증자가 필요 없습니다.

• 절제 연구 (Ablation Studies):

  • 교대 최적화: 성능에 필수적입니다. 공동 학습(joint training)은 성능 저하를 초래했습니다(예: Math500 정확도가 68.2%에서 53.1%로 하락).
  • 그룹 크기: 플레이어를 3명에서 5명으로 늘렸을 때 가장 큰 이득을 얻었으며, 그 이상의 확장은 수확 체감의 법칙을 보였습니다.
  • RAE: 역할-이점 추정(RAE)을 제거하면 성능이 크게 하락하여, 정보 비대칭성을 교정하는 것의 필요성을 확인했습니다.

5. 의의 및 주장

본 논문은 작업의 특성이 반드시 내재적인 것이 아니라, 작업 변환을 통해 설계될 수 있음을 주장합니다. 개방형 품질 평가를 검증 가능한 정체성 인식 문제로 변환함으로써, SpyRL은 일반적인 개방형 역량을 위한 확장 가능한 검증기 없는 자기 개선을 가능하게 합니다.

저자들은 이 접근 방식이 RLVR의 비결정론적 도메인에서의 근본적인 병목 현상을 해결한다고 주장합니다:

• 편향된 인간 선호도나 값비싼 LLM 판사에 대한 의존을 제거합니다.
• 환경 자체에서 유도되는 안정적인 규칙 기반 보상 신호를 제공합니다.
• 자기 대전(self-play)이 수학/코드와 같은 본질적으로 검증 가능한 도메인에 국한되지 않고, 적절한 환경 설계를 통해 창의적 및 생성적 작업으로 확장될 수 있음을 입을 증명합니다.

결과는 작업 변환이 현재의 한계를 넘어 확장 가능한 RLVR 기반 자기 개선을 가능하게 하여, 인간의 감독 없이도 개방형 LLM 역량을 훈련할 수 있는 경로를 제시함을 시사합니다.