기술 요약: 하나가 아닌 둘이 더 낫다: 붕괴 없는 다중 보상 RLIF 훈련 프레임워크

1. 문제 제기

검증 가능한 보상을 활용한 강화학습 (RLVR) 은 대규모 언어 모델 (LLM) 의 추론 능력을 크게 향상시켰으나, 외부 감독 (예: 인간 주석, 골드 스탠다드 솔루션) 에 크게 의존하여 확장성에 한계가 있습니다. 내부 피드백을 활용한 강화학습 (RLIF) 은 모델 자체에서 보상 신호를 도출함으로써 (예: 자기 확신성 (엔트로피 최소화) 또는 합의 기반 측정 (다수결)) 비지도 대안을 제공합니다.

그러나 기존 RLIF 방법은 보상 해킹과 모델 붕괴라는 반복되는 실패 모드에 시달립니다. 이 논문은 이러한 실패가 단일 내부 보상 신호에 대한 의존에서 비롯된다고 주장합니다.

• 자기 확신성 보상은 높은 확신의 토큰 분포를 선호하여, 입력의 질과 관계없이 모델이 짧고 결정적이며 템플릿과 같은 출력을 생성하는 "토큰 모드 붕괴"를 초래하는 경향이 있습니다.
• 클러스터 투표 보상(합의 기반) 은 모델이 추론 공간에서 편향되어 단일 지배적인 (하지만 잠재적으로 잘못된) 답 클러스터로 수렴하는 긴 엔트로피가 높은 완결을 생성하는 "답 모드 붕괴"를 초래할 수 있습니다.

이러한 행동은 고드하트의 법칙을 예시합니다. 단일 대리 지표가 최적화 목표가 되면, 정책은 근본적인 추론 능력을 향상시키기보다 그 지표를 악용하게 되어 초기 개선 이후 악화로 이어지는 궤적을 보입니다.

2. 방법론

저자들은 다중 보상 RLIF 프레임워크를 제안하여 훈련 신호를 두 개의 상호 보완적인 구성 요소로 분해하고 붕괴를 방지하기 위한 표적 정규화를 도입합니다. 이 프레임워크는 GRPO 스타일 (그룹 상대 정책 최적화) 목적 함수 내에서 작동합니다.

2.1 이중 보상 메커니즘

주어진 프롬프트에 대해 모델은 $G$개의 완결을 샘플링합니다. 각 완결에 대해 두 가지 내재적 보상이 계산됩니다.

1. 답 수준 보상 (클러스터 투표): 최종 답을 추출하여 동등성에 따라 클러스터링합니다. 완결은 해당 답 클러스터의 크기에 비례하는 보상을 받습니다. 이는 이진 다수결보다 더 밀도 있는 신호를 제공하며, 소수 클러스터에도 0 이 아닌 값을 부여하여 다양성을 장려하면서도 여전히 합의를 선호합니다.
2. 완결 수준 보상 (자기 확신성): 모델의 다음 토큰 분포와 균일 분포 간의 평균 KL 발산에 기반합니다. 이는 추론 과정에서 확신 있고 엔트로피가 낮은 토큰 생성에 보상을 부여합니다.

2.2 GDPO 기반 정규화

스케일 차이로 인해 (예: 어휘 크기에 의존하는 자기 확신성 값 대 $[0, 1]$ 범위의 클러스터 보상) 하나의 보상 신호가 다른 신호를 지배하는 것을 방지하기 위해, 프레임워크는 GDPO 에서 영감을 받은 그룹별 다중 보상 정규화를 적용합니다. 각 보상 채널은 $G$개의 완결 그룹 내에서 z-점수화를 통해 독립적으로 정규화된 후, 단일 롤아웃 수준 이점 (advantage) 으로 결합됩니다.
$$A_g = \alpha \cdot \hat{R}_{cluster}(a_g) + \beta \cdot \hat{R}_{cert}(c_g)$$
이를 통해 답의 질 대 추론 확신의 상대적 중요성은 신호의 원시 분산이 아닌 가중치 $\alpha$와 $\beta$에 의해 제어됩니다.

2.3 KL-Cov 정규화

엔트로피 붕괴의 잔여 위험을 해결하기 위해 저자들은 KL-Cov라는 표적 정규화 전략을 도입합니다.

• 메커니즘: 이 방법은 로그 확률과 롤아웃 이점 간의 공분산이 가장 높은 상위 $k$개 (예: 2%) 의 토큰을 식별합니다. 이러한 "고공분산 토큰"이 엔트로피 붕괴의 주요 동인입니다.
• 페널티: 전역 KL 페널티를 적용하는 대신, 프레임워크는 이러한 고공분산 토큰에만 표적 $L_1$ 페널티 (절대 로그 중요도 비율) 를 적용합니다. 나머지 약 98% 의 토큰은 표준 클리핑된 GRPO 업데이트를 받습니다.
• 목표: 이는 불균형한 엔트로피 감소를 유발하는 특정 토큰을 억제하면서도 토큰 분포의 나머지 부분에서 탐색과 다양성을 유지합니다.

3. 주요 기여

1. 다중 보상 RLIF 프레임워크: 단일 대리 지표 최적화와 관련된 실패 모드를 완화하는, 답 수준 합의와 완결 수준 자기 확신성을 공동으로 최적화하는 새로운 아키텍처.
2. GDPO 정규화: 한 신호가 다른 신호를 스케일로 지배하는 것을 방지하기 위해 비지도 다중 보상 설정에 그룹별 정규화를 적용한 것.
3. KL-Cov 정규화: 엔트로피 붕괴를 방지하면서도 일반적인 탐색을 억누르지 않도록 고공분산 토큰을 구체적으로 페널티화하는 표적 정책 제약.
4. 실증적 검증: 외부 정답 감독 없이도 표적 정규화와 결합된 상호 보완적 내부 보상이 안정적인 장기 추론을 지원할 수 있음을 입증.

4. 실험 결과

이 프레임워크는 Qwen2.5-1.5B 및 Qwen2.5-3B 기본 모델을 사용하여 다섯 가지 수학 추론 벤치마크 (GSM8K, MATH500, MMLU-Pro, AIME 2024/2025) 와 두 가지 코드 생성 벤치마크 (LiveCodeBench v6, CRUXEval-O) 에서 평가되었습니다.

• 안정성 대 붕괴: 단일 보상 기반선 (예: 자기 확신성만 사용하는 INTUITOR) 은 초기 성과 이후 (예: 160200 단계) 정확도가 거의 0 으로 떨어지는 치명적인 붕괴를 보였습니다. KL-Cov 가 없는 다중 보상 접근법은 이 붕괴를 지연시켰으나 결국 악화되었습니다. 전체 다중 보상 + KL-Cov 방법은 전체 훈련 기간 (340 단계) 동안 안정적으로 유지되며 피크 성능의 8999% 를 유지했습니다.
• 성능: 제안된 방법은 완전히 비지도 상태이면서도 감독된 RLVR 기반선 (정답 보상을 사용한 GRPO) 과 유사한 성능을 달성했습니다.
  • Qwen2.5-3B 에서 이 방법은 여러 지표에서 감독된 기반선과 일치하거나 초과했습니다 (예: LiveCodeBench 에서 pass@1 7.7% 대 감독된 GRPO 의 6.4%).
  • 단일 보상 비지도 기반선보다 훨씬 우수한 성능을 보였습니다 (예: 1.5B 모델의 GSM8K 에서 INTUITOR 대비 45.9 퍼센트 포인트 향상).
• 일반화: 수학 작업에서 학습된 추론 구조는 분포 외 (out-of-distribution) 인 코드 생성 작업으로 효과적으로 전이되었으며, 이 방법은 단일 보상 기반선보다 우수한 성과를 거두었습니다.

5. 중요성 및 주장

이 논문은 이전 비지도 RL 방법에서 관찰된 불안정성이 RLIF 의 고유한 결함이 아니라 단일 내부 대리 지표를 최적화하는 결과라고 주장합니다. 보상 신호를 구조적으로 상호 보완적인 구성 요소 (답 일치 및 토큰 확신) 로 분해하고 붕괴를 주도하는 특정 토큰에 대한 표적 정규화를 적용함으로써, 이 프레임워크는 외부 감독 없이 안정적인 장기 추론을 달성합니다.

저자들은 이 작업을 외부 감독을 받는 RLVR 의 확장 가능한 대안으로 위치시키며, 향후 연구가 복잡한 추론 궤적을 더욱 지원하기 위해 추가적인 내부 신호를 탐구할 수 있음을 시사합니다. 결과는 "둘이 하나보다 낫다"는 것을 나타냅니다. 상호 보완적인 내부 보상이 적절하게 정규화되고 정규화될 때, 모델이 좁은 보상 추구 패턴으로 붕괴하는 것을 방지하여 복잡한 문제 해결에 필요한 탐색을 보존할 수 있습니다.