기술 요약: 배우기는 하되 유지하기는 잊는다: RLVR에서의 정답 집합 회전(Correct-Set Turnover)

1. 문제 정의: 정답 집합 회전 (Correct-Set Turnover)

본 논문은 대규모 언어 모델(LLM)을 위한 검증 가능한 보상 기반 강화학습(RLVR)에서 나타나는 체계적인 한계를 식별한다. GRPO 및 DAPO와 같은 RLVR 방법론들이 헤드라인 수준의 정확도 향상을 달성함에도 불구하고, 이들은 종종 숨겨진 비용인 **정답 집합 회전(correct-set turnover)**을 은폐한다.

이 현상은 획득(새롭게 해결된 문제들)과 퇴행(이전에 해결되었던 문제가 다시 해결 불가능해지는 것)의 결합된 역학으로 정의된다. 저자들은 표준 RLVR 파이프라인이 망각을 단순히 최소화해야 할 부수적인 효과로 취급한다고 주장한다. 그러나 이들은 이를 대칭적으로 바라볼 것을 제안한다. 즉, 훈련이 진행됨에 따라 정책 업데이트가 새로 강화된 솔루션에 확률 질량을 집중시키며, 이로 인해 이전에 숙달되었던 프롬프트의 성공 확률이 그래디언트 간섭(gradient interference)으로 인해 하향 드리프트하게 된다는 것이다.

주요 관찰 사항은 다음과 같다:

• 복구 비용의 비대칭성: 에빙하우스(Ebbinghaus, 1885)의 간격 반복 연구를 인용하여, 본 논문은 퇴행된 프롬프트를 복구하는 비용이 개입의 지연 시간에 따라 급격히 증가함을 입증한다. 프롬프트가 여전히 부분적으로 숙달되어 있는 "복구 창(repair window)"이 존재하며, 이때 검토하는 것이 비용이 저렴하다. 일단 프롬프트가 완전히 퇴행하면, 이를 다시 학습하는 데는 처음 학습할 때와 맞먹는 노력이 필요하다.
• 기존 방법론의 한계: 기존 파이프라인은 숙달 상태를 추적하지 않고 에포크(epoch) 전반에 걸쳐 수동적으로 프롬프트를 재방문한다. 기존의 리플레이 방법(예: ExGRPO, RLEP)은 고정된 과거 궤적을 재사용하지만, 이전에 숙달된 샘플이 퇴행했는지 여부를 감지할 수 없으므로 이러한 특정 유형의 작업 내 망각(intra-task forgetting)에 효과적이지 못하다.

2. 방법론: ReMind

정답 집합 회전을 해결하기 위해, 저자들은 추가적인 롤아웃 오버헤드 없이 표준 RLVR 훈련 루프 내에서 작동하도록 설계된 숙달 인지형 검토 메커니즘인 ReMind를 제안한다.

핵심 구성 요소

1. 등급화된 숙달 지표 (Graded Mastery Metric): 이진적인 "정답/오답" 신호와 달리, ReMind는 $K$번의 롤아웃으로부터 도출된(GRPO의 어드밴티지 추정을 위해 이미 계산된) 프롬프트당 성공률($\hat{q}_t(p)$)을 활용한다. 샘플은 $\hat{q}_t(p) = 1$일 때 "숙달(mastered)"된 것으로 간주된다.
2. 검토 큐 (Review Queue, FIFO):
   • 표준 훈련 스트림의 샘플이 숙달 상태에 도달하면, 확률 $p_{add}$로 FIFO 검토 큐에 추가된다.
   • 큐는 샘플 식별자만을 저장하며, 검토 시에는 현재 정책으로부터 신선한 롤아웃을 생성함으로써 오래된 궤적을 저장하는 것을 방지한다.
3. 사전 롤아웃 배치 교체 (Pre-Rollout Batch Replacement):
   • 지정된 검토 단계(매 $f$ 스텝마다)에서, 훈련 배치의 일부 $r$이 검토 큐에서 추출된 샘플로 교체된다.
   • 이는 모델이 저비용 복구 창을 벗어나기 전에 이전의 솔루션들을 상기하도록 보장한다.
   • 검토 샘플이 배치를 증강하는 대신 교체하기 때문에, 총 롤아웃 예산은 베이스라인과 동일하게 유지된다.
4. 자기 교정 업데이트 규칙 (Self-Correcting Update Rule):
   • 새로 숙달됨: 큐에 추가됨.
   • 유지됨: 검토된 샘플이 여전히 완전히 정답이면 큐에서 제거됨 (숙달 확인).
   • 퇴행함: 검토된 샘플이 실패하면($\hat{q}_t(p) < 1$), 미래의 복구를 위해 큐의 꼬리에 다시 삽입됨.

3. 주요 기여

본 논문은 세 가지 주요 기여를 한다:

1. 정답 집합 회전의 공식화: 저자들은 RLVR에서의 획득과 퇴행의 결합된 역학을 정의하고 **복구 창 원리(repair-window principle)**를 확립한다: 즉, 퇴행된 프롬프를 복구하는 비용은 개입 지연에 따라 비선형적으로 증가한다.
2. ReMind 알고리즘: 숙달 기반의 검토 메모리를 유지하고, 롤아웃 예산을 늘리지 않고도 퇴행을 감지 및 복구하기 위해 사전 롤아웃 교체를 사용하는 경량화된 제로-오버헤드 메커니즘이다.
3. 실증적 검증: 이미지-텍스트, 비디오, 텍스트 전용 추론을 아우르는 20개의 벤치마크에서 ReMind가 표준 RLVR 베이스라인(GRPO, DAPO) 및 리플레이 방법들보다 우수한 성능을 보임을 입증한다.

4. 실험 결과

저자들은 Qwen3-VL-8B-Instruct(멀티모달)와 Qwen2.5-7B-Math(텍스트 전용)를 사용하여 20개의 벤치마크에서 ReMind를 평가하였다.

• 성능 향상: ReMind는 GRPO, DAPO 및 리플레이 베이스라인(ExGRPO, RLEP, RePO)을 일관되게 능가한다.
  • 이미지-텍스트 추론에서 ReMind는 GRPO 대비 평균 정확도를 +3.81%, DAPO 대비 +3.44% 향상시켰다.
  • 이득은 수학 중심 벤치마크(예: 수학 추론 평균 +5.67%)에서 가장 두드러졌으며, 이는 더 긴 추론 체인이 정책 드리프트에 더 취약하다는 가설을 뒷받침한다.
• 개선 메커니즘: 훈련 역학 분석(그림 5)에 따르면, ReMind는 새로운 솔루션의 획득을 가속화하지 않는다(GRPO와 ReMind 모두 유사한 속도로 새로운 샘플을 해결한다). 대신, 개선은 전적으로 망각 감소에 의해 주도된다. ReMind는 표준 GRPO와 비교하여 잊혀진 샘플의 누적을 약 35개 정도 줄였다.
• 엔트로피 안정성: ReMind는 정책이 더 적은 생성 경로에 확률 질량을 집중시키는 표준 GRPO에서 관찰되는 엔트로피 붕괴를 완화한다. 주기적인 검토는 정책 엔트로피를 유지하여 다양한 솔루션 전략을 보존한다.
• 예산 민감도: 이 방법은 광범위한 검토 예산 범위에서 견고하다. 심지어 1%의 검토 예산만으로도 획득-퇴행의 교착 상태를 깨뜨리기에 충분하며, 매우 높은 예산(>4%)에서는 신선한 훈련 신호의 치환으로 인해 성능이 약간 하락한다.
• 교차 모달 일반화: 이점은 비디오 이해 및 순수 텍스트 수학 추론으로 확장되어, 이 메커니즘이 모달리티에 구애받지 않는 실패 모드를 다룬다는 점을 확인시켜 준다.

5. 의의 및 주장

본 논문은 RLVR의 잠재력 중 상당 부분이 단순히 "더 많이 배우는 것"이 아니라 "덜 잃는 것"에 있다고 결론짓는다.

• 정체기의 체계적 원인: 저자들은 정답 집합 회전을 지속 학습(continual learning)에서의 교차 작업 파괴적 망각(cross-task catastrophic forgetting)과는 구별되는, RLVR의 정확도 정체의 체계적인 원인으로 식별한다.
• 설계 패러다임의 전환: 이 연구는 보상 설계 및 탐색과 더불어 **샘플 수준의 유지(sample-level retention)**를 추론 RL의 주요 설계 축으로 다룰 것을 주장한다.
• 효율성: ReMind는 무시할 만한 계산 오버헤드(실제 시간 기준 약 3%만 사용)로 이러한 이득을 달성하며, 추가적인 모델 복제본이나 복잡한 버퍼를 요구하지 않는다.
• 퇴행의 본질적 특성: 저자들은 ReMind가 퇴행을 줄이기는 하지만 완전히 제거하지는 못한다는 점을 겸허히 언급한다. 어느 정도의 정답 집합 회전은 RLVR 최적화 과정에 내재된 것으로 보이며, 이는 잔여 퇴행이 방법론의 일시적인 부산물이 아니라 근본적인 특성임을 시사한다.

본 논문은 모든 망각 문제를 해결하거나 신중한 보상 설계의 필요성을 없애겠다고 주장하는 것이 아니라, 훈련 중 "정답 집합"을 안정화하기 위한 타겟팅된 저비용 메커니즘을 제공하는 데 목적이 있다.