기술 요약: 검증기 탈출하기: 데모를 통한 추론 학습 (Escaping the Verifier: Learning to Reason via Demonstrations)

문제 정의

대규모 언어 모델(LLM)을 추론하도록 학습시키는 작업은 주로 검증 가능한 보상(Verifiable Rewards, RLVR)을 가진 강화 학습에 의존해 왔습니다(예: 수학 또는 경쟁 프로그래밍). 그러나 분석적 글쓰기, 개방형 연구, 금융 분석과 같이 기준이 모호하거나 정답의 범위가 매우 넓은 고부가가치 추론 작업들은 이러한 검증기가 존재하지 않습니다. 이러한 작업들을 위한 전문가 데모(Expert Demonstrations)는 풍부하지만, 추론 중심의 학습에는 여전히 충분히 활용되지 못하고 있습니다. 이러한 데모를 이용한 표준적인 지도 미세 조정(SFT)은 RLVR에서 볼 수 있는 자기 수정(Self-correction) 및 탐색(Search) 행동을 유도하는 데 실패하는 경우가 많으며, 인간 선호도 데이터 수집이 필요한 RLHF와 같은 방법은 비용이 지나치게 많이 듭니다.

방법론: RARO

저자들은 태스크별 검증기나 인간의 선호도 없이, 오직 전문가 데모만을 사용하여 강력한 추론 능력을 학습하는 프레임워크인 **RARO (Relativistic Adversarial Reasoning Optimization)**를 제안합니다. 이 방법은 문제를 정책(Policy)과 비평가(Critic) 사이의 적대적 게임으로 프레이밍하는 **역강화 학습(Inverse Reinforcement Learning, IRL)**에 기반을 두고 있습니다.

핵심 구성 요소

1. 적대적 설정 (Adversarial Setup):

   • 정책 ($\pi_\theta$): 질문을 조건으로 하여 답변(사고의 사슬, CoT 포함)을 생성합니다.
   • 상대적 비평가 ($c_\phi$): 질문과 한 쌍의 답변(전문가 답변 하나, 정책 답변 하나)을 입력받아 어느 쪽이 더 나은지 예측하거나, **무승부(Tie)**를 선언하는 모델입니다.
   • 목표: 정책은 비평가를 속이기 위해(즉, 자신의 답변이 '전문가'로 분류되도록) 보상을 받으며, 비평가는 출처(전문가 vs 정책)를 정확히 식별하여 보상을 받습니다.

2. 상대적 비평가 및 무승부 옵션 (Relativistic Critic & Tie Option):

   • 표준적인 이진 분류와 달리, 비평가는 **쌍별 비교(Pairwise Comparison)**를 수행합니다. 이는 최적의 정책이 비평가에게 불가능한 분류 작업(무작위 추측 수준)을 만들어내는 "퇴화(Degeneracy)" 문제를 방지합니다.
   • 결정적으로, 비평가는 무승부를 선언할 수 있습니다. 이는 정책이 전문가 수준에 도달했을 때도 안정적이고 0이 아닌 보상 신호를 제공하여 학습의 불안정성을 방지합니다.

3. 학습 알고리즘:

   • 결합 최적화 (Joint Optimization): 정책과 비평가는 모두 **그룹 상대적 정책 최적화(GRPO)**를 사용하여 공동으로 학습됩니다.
   • 가중치 공유 (Shared Weights): 메모리 사용량을 줄이고 일반화 성능을 높이기 위해 동일한 LLM 백본을 두 역할 모두에 사용합니다.
   • 리플레이 버퍼 (Replay Buffer): 망각(Catastrophic Forgetting)이나 모드 붕괴(Mode Collapse, 정책이 비평가를 속이기 위해 고정된 전략을 반복하는 현상)를 방지하기 위해, 비평가는 현재의 롤아웃(Rollout)과 과거의 전문가 및 정책 답변이 담긴 리플레이 버퍼를 혼합하여 학습됩니다.
   • 안정화 기법: 저자들은 견고한 학습을 보장하기 위해 과도한 길이 필터링(Over-length filtering)을 포함하고 이점/길이 정규화(Advantage/Length Normalization)를 제거했습니다.

주요 기여

1. 새로운 IRL 관점: 본 논문은 검증기나 선호도 주석 없이 데모 데이터만을 사용하여 추론 모델을 학습시키는 원칙적인 방법을 도입했습니다.
2. 상대적 적대적 프레임워크: 비검증 영역에서의 학습 안정성을 위해 "상대적" 비평가와 무승부 옵션을 갖춘 특정 적대적 설정을 제안했습니다.
3. 실증적 검증: 세 가지 서로 다른 도메인에서 검증되었습니다:
   • Countdown (제어된 환경): 검증이 용이한 토이 수학 작업.
   • DeepMath (일반 수학): 검증이 생성만큼 어려운 복잡한 추론 도메인.
   • 시 쓰기 (비검증 환경): 객관적인 정답이 없는 개방형 창의적 작업.

실험 결과

저자들은 RARO를 강력한 베이스라인(SFT, Rationalization, Iterative DPO, RL-Logit) 및 적용 가능한 경우 상한선인 RLVR과 비교 평가했습니다.

• Countdown (1.5B 모델): RARO는 **54.4%**의 정확도를 달연하여, 가장 우수한 검증기 없는 베이스라인(SFT 40.7%)보다 13.7%p 높은 성능을 보였습니다. 이는 RLVR(57.7%)의 성능에 근접한 수치입니다.
• DeepMath (7B 모델): RARO는 **57.5%**의 정확도를 달성하여, 가장 우수한 검증기 없는 베이스라인(RL-Logit 49.3%)을 8.2%p 차이로 앞질렀습니다. 이 방법은 모델 크기가 커짐에 따라 RLVR과 유사한 스케일링 경향을 보입니다.
• 시 쓰기 (7B 모델): 이 비검증 도메인에서 RARO는 전문가 시(Poem) 대비 **25.0%**의 승률을 기록하며, 가장 우수한 베이스라인(SFT 5.9%) 대비 19.1%p의 거대한 향상을 보여주었습니다.
• 스케일링 동작: RARO는 추론 토큰 예산(테스트 타임 스케일링) 및 모델 크기 모두에서 효과적인 스케일링을 입증했습니다. 특히, SFT 베이스라인에는 없는 명시적 탐색 및 자기 수정(예: Countdown에서의 백트래킹) 행동을 학습합니다.

의의 및 주장

본 논문은 RARO가 전문가 데모로부터 강력한 추론 성능을 효과적으로 이끌어낼 수 있으며, 이를 통해 특정 검증기를 사용할 수 없는 상황에서도 견고한 추론 학습이 가능함을 주장합니다. 역강화 학습(IRL)을 통해 문제를 공식화하고 상대적 적대적 설정을 활용함으로써, 저자들은 RLHF의 비용이 많이 드는 데이터 수집 요구사항이나 RLVR의 엄격한 제약 없이도 추론 모델을 학습시킬 수 있음을 입증했습니다.

이 결과는 RARO가 자동 검증이 불가능한 실제 도메인(창의적 글쓰기 및 복잡한 분석 등)에서 추론 능력을 개발할 수 있는 실질적인 경로임을 시사합니다. 이는 강화 학습의 이점(테스트 타임 스케일링 및 자기 수정 등)을 유지하면서도, 비용이 많이 드는 인간 선호도 수집에 대한 의존도를 낮출 수 있는 잠재력을 보여줍니다.