기술 요약: SCOPE – 개방형 과업을 위한 공진화 정책 기반 셀프 플레이(Self-Play)

문제 정의

개방형 과업(예: 심층 연구, 복잡한 질의응답, 창의적 글쓰기)에 대한 대규모 언어 모델(LLM) 학습을 위한 현재의 강화 학습(RL) 방식은 근본적인 병목 현상에 직면해 있다: 바로 외부 감독에 의존한다는 점이다. 이러한 감독은 일반적으로 인간이 큐레이션한 프롬프트, 참조 답변, 또는 "프런티어 모델"(출력을 평가하기 위해 사용되는 더 강력한 LLM) 형태의 검증자를 필요로 한다. 이러한 의존성은 모델의 성능을 인간 수준의 데이터 품질에 묶어두며 확장성을 제한한다.

기존의 LLM 셀프 플레이 방식은 과업 생성기와 해결사를 함께 진화시킴으로써 이를 우회하려고 시도한다. 그러나 이러한 기존 방식들(예: SPICE, Dr. Zero, R-Zero)은 검증 가능한 정답(문자열 일치, 수치적 동일성, 코드 실행)이 존재하는 도메인으로 제한된다. 개방형 과업은 유일한 정답이 없으므로 규칙 기반의 검증이 불가능하다. 루브릭(rubric) 기반 평가가 하나의 경로를 제시하지만, 기존의 루브릭 기반 RL 방식들(예: RaR, DR Tulu, RPG)은 여전히 큐레이션된 프롬프트나 외부 프런티어 모델 검증자에 의존하며, 진정한 데이터 프리(data-free) 자가 감독 루프를 달성하지 못한다.

방법론: SCOPE

저자들은 개방형 과업을 위해 데이터 프리 셀프 플레이를 확장한 첫 번째 프레임워크인 SCOPE(Self-play via Co-Evolving Policies for Open-Ended tasks)를 소개한다. 이 시스템은 큐레이션된 데이터나 외부 검증자 없이, 베이스 모델 자체에서 유도된 "셀프 저지(self-judge)"에 의존하여 작동한다.

핵심 아키텍처

SCOPE는 동일한 베이스 모델 $M_0$로부터 초기화된 두 개의 정책과 고정된 세 번째 역할을 함께 공진화시킨다:

1. 챌린저 (Challenger, $C_t$): 문서에 근거한(document-grounded) 개방형 과업을 생성하도록 훈련되는 진화하는 정책이다. 이는 라벨이 없는 코퍼스에 대해 멀티 턴 검색(multi-turn retrieval)을 수행하여, 현재 솔버(Solver)의 능력 한계선 근처에 위치하는 과업을 구성한다.
2. 솔버 (Solver, $S_t$): 챌린저의 과업에 답하도록 훈련되는 진화하는 정책이다. 이는 멀티 턴 검색 증강 생성(RAG)을 활용하여 증거를 수집하고 답변을 합성한다.
3. 저지 (Judge, $J = M_0$): 초기 베이스 모델의 동결된(frozen) 복사본이다. 이는 두 가지 핵심 기능을 수행한다:
   • 루브릭 생성: 각 과업 $q$와 소스 문서 $d$에 대해, 저지는 소스 문서에 근거한 과업별 평가 루브릭(기준)을 생성한다.
   • 채점: 저지는 루브릭에 따라 솔버의 응답을 점수화한다.

훈련 루프

훈련 과정은 Group Relative Policy Optimization (GRPO)을 사용하여 최적화되는 두 단계로 교차 진행된다:

1단계: 챌린저 훈련

• 챌린저가 소스 문서 $d$를 바탕으로 과업 $q$를 생성한다.
• 품질 게이트 (Quality Gates): 저지는 과업이 식별 가능한 엔티티를 참조하는지, 그리고 소스 문서에 근거하고 있는지에 대한 이진 검사를 적용한다. 이 게이트를 통과하지 못한 과업은 폐기되어, 챌린저가 일반적인 형태의 보상 해킹용 프롬프트를 생성하는 것을 방지한다.
• 난이도 보상: 이전 솔버($S_{t-1}$)가 해당 과업을 시도한다. 저지는 응답을 채점한다. 챌린저는 솔버의 평균 점수가 목표 난이도 $\tau = 0.5$ 근처에 머물도록 과업을 생성하는 것에 대해 보상을 받는다. 이는 과업이 도전적이면서도 해결 가능하도록 보장하여 피드백의 분산을 극대화한다.

2단계: 솔버 훈련

• 챌린저가 과업 풀(pool)을 생성한다.
• 필터링: 과업은 품질 게이트와 난이도에 따라 필터링된다(솔버의 평균 점수가 $[0.2, 0.8]$ 범위 내에 있는 과업만 유지).
• 솔버 보상: 솔버는 필터링된 과업들을 통해 훈련된다. 보상 함수는 다음을 결합한다:
  • 루브릭 점수: 특정 기준에 대한 이진 판정의 가중 평균.
  • 포맷 및 검색 보상: 적절한 도구 사용과 구조를 장려함.
  • 길이 패널티: 코사인 기반 패널티를 통해, 솔버가 지나치게 장황한 응답을 생성함으로써 긴 텍스트를 선호하는 저지의 경향을 악용하는 것을 방지한다.

이론적 정당성

본 논문은 지속적인 자기 개선을 위해서는 **학습 가능한 정보(learnable information)**가 필요하다고 주장한다. SCOPE는 다음과 같은 방식으로 이를 달성한다:

1. 과업 근거화 (Task Grounding): 챌린저와 저지는 소스 문서 $d$를 관찰하지만, 솔버는 오직 과업 $q$만을 본다. 솔버는 $d$를 답변하기 위해 반드시 검색해야 하며, 이로 인해 정보 격차가 발생한다.
2. 숨겨진 루브릭 격차 (Hidden-Rubric Gap): 루브릭 $G$에는 과업 $q$에 의해 완전히 드러나지 않는 문서 특유의 기준들이 포함되어 있다. 솔버는 루브릭을 충족하기 위해 $d$ 내의 구체적인 세부 사항을 찾아내야 한다.
   솔버가 개선됨에 따라 현재의 과업에 대한 격차를 좁혀간다. 챌린저는 격차가 여전히 열려 있는 새로운 과업을 제안하기 위해 공진화해야 하며, 이를 통해 학습 신호가 포화되는 것을 방지한다.

주요 기여

1. 개방형 과업을 위한 최초의 데이터 프리 셀프 플레이: SCOPE는 큐레이션된 프롬프트나 외부 프런티어 모델 검증자에 의존하지 않고 개방형 과업에 셀프 플레이를 성공적으로 적용한 첫 번째 프레임워크이다.
2. 루브릭 기반 셀프 저징: 베이스 모델의 동결된 복사본이 효과적으로 과업별 루브릭을 생성하고 응답을 채점할 수 있음을 입증하여 외부 감독을 대체하였다.
3. 공진화의 필요성: 본 논문은 정적인 챌린저가 지속적인 개선을 달성하는 데 실패한다는 실증적 증거를 제공한다. 즉, "난이도 경계선"을 유지하기 위해서는 챌린저가 솔버와 함께 공진화해야 한다.
4. 일반화: 문서 근거 기반의 개방형 과업으로만 훈련되었음에도 불구하고, 단문 QA 및 창의적 글쓰기 성능이 향상되었으며, 이는 검색 및 합성 기술의 전이 가능한 이득을 시사한다.

실험 결과

저자들은 Qwen2.5-7B, Qwen3-8B, OLMo-3-7B의 세 가지 인스트럭션 튜닝 모델을 대상으로 8개의 개방형 벤치마크와 7개의 단문 QA 벤치마크에서 SCOPE를 평가했다.

• 개방형 성능: SCOPE는 모델 전반에 걸쳐 개방형 성능을 +5.4에서 +10.4 포인트 향상시켰다. 특히 Qwen2.5-7B의 경우, 평균 점수가 24.4에서 34.8로 상승(+10.4)했다.
• 큐레이션 데이터와의 비교: SCOPE는 약 9,000개의 인간 큐레이션 프롬프트와 프런티어 모델 루브릭으로 훈련된 베이스라인인 GRPOdata와 대등하거나 이를 능가했다. 예를 들어, Qwen3-8B에서 SCOPE는 43.1을 기록하여 GRPOdata의 41.5를 앞질렀다.
• 단문 QA 전이: 개방형 과업으로만 훈련되었음에도 불구하고, SCOPE는 단문 QA 점수를 +7.8에서 +13.8 포인트 높였으며, 세 모델 모두에서 GRPOdata를 능가했다.
• 창의적 글쓰기: SCOPE는 창의적 글쓰기 영역에서 상당한 이득(최대 +7.4)을 보였다. 이는 GRPOdata가 종종 베이스 모델보다 퇴보하는 양상을 보인 것과 대조적이며, 코퍼스 근거 기반의 셀프 플레이가 견고한 합성 기술을 구축함을 나타낸다.
• 절제 연구 (Ablation Studies):
  • 공진화: 챌린저를 동결했을 때 미미한 이득(+0.8 vs. 전체 SCOPE의 +3.4)만을 보였는데, 이는 과업이 너무 쉬워졌기 때문이다.
  • 보상 설계: 품질 게이트나 길이 패널티를 제거하면 "보상 해킹"(일반적인 과업 생성 또는 텍스트 팽창)이 발생하여 성능이 베이스 모델 아래로 급락했다.
  • 루브릭 품질: 루브릭 생성 능력(채점 능력이 아닌)이 병목 지점으로 확인되었다. 작은 모델(4B)의 루브릭은 구체적인 문서 사실이 부족한 경우가 많았으나, 8B 이상의 모델은 근거 있고 변별력 있는 기준을 생성했다.

의의 및 주장

본 논문은 SCOPE가 LLM을 위한 확장 가능한 데이터 프리 자가 개선을 향한 중요한 진전이라고 주장한다. 인간이 큐레이션한 데이터와 프런티어 모델 검증자에 대한 의존성을, 공진화하는 정책과 루브릭 기반의 셀프 저징을 갖춘 독립적인 루프로 대체함으로써, SCOLE는 셀프 플레이의 범위를 검증 가능한 도메인(수학, 코드)을 넘어 복잡한 개방형 추론 과업으로 확장한다.

저자들은 다단계 파이프라인이 단일 단계 GRPO보다 더 많은 컴퓨팅 자원을 요구한다는 점을 인정하며, 현재 실험을 7~8B 모델로 제한하고 있다. 그러나 큐레이션된 감독이 고갈되는 "포스트 데이터 시대(post-data regime)"에는, 지속적인 자가 개선을 위해 컴퓨팅 자원을 교환하는 것이 정당하고 필요한 경로라고 주장한다. 결과적으로 개방형 과업은 과업 생성기와 솔버 사이에 역동적인 정보 비대칭을 유지할 수 있다면, 스스로 생성된 신호를 통해 마스터될 수 있음을 보여준다.