Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

"Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent" 논문의 상세한 기술적 요약은 다음과 같습니다.

문제 제기

검증 가능한 보상 (Verifiable Rewards) 을 활용한 온라인 강화학습 (RLVR) 은 수학 증명이나 코드 단위 테스트와 같이 검증 가능한 결과를 확장 가능한 학습 신호로 변환합니다. 그러나 표준 온라인 방법 (PPO 나 GRPO 등) 은 롤아웃 생성, 검증자 점수 매기기, 참조 정책 평가를 최적화의 핵심 경로에 유지하여 높은 계산 비용과 메모리 사용량을 초래합니다.

자연스러운 대안은 생성과 최적화를 분리하는 것입니다: 검증된 롤아웃을 한 번 샘플링하고 가중치를 부여한 후 정적 지도 미세 조정 (SFT) 을 통해 학습하는 것입니다. 그러나 이 논문은 이 접근법에 근본적인 모호성이 있음을 지적합니다: 가중치 부여 SFT 는 단일 목적 함수가 아닙니다. 가중치 부여 SFT 로 유도된 정책은 롤아웃을 생성한 샘플러와 그들에 할당된 가중치에 공동으로 의존합니다. 단순히 사전 계산된 데이터에 가중치를 부착하는 것만으로는 결과 정책이 원래 온라인 KL 정규화 RLVR 목적 함수의 최적해와 일치한다는 보장이 없습니다. 특정 타겟 매칭 조건이 없다면, 정적 가중치 부여 SFT 는 무한한 데이터와 정확한 최적화가 있더라도 의도된 RLVR 솔루션이 아닌 다른 정책에 적합할 수 있습니다.

방법론: 볼츠만 투영 이론

이 논문은 정적 가중치 부여 SFT 와 고정 참조 KL 정규화 RLVR 간의 정확한 정책 수준 매칭을 식별하기 위한 이론적 프레임워크를 개발합니다.

1. 타겟 정책 (고정 참조 볼츠만 타겟)
논문은 KL 정규화 RLVR 목적 함수 (참조 정책 $\pi_{ref}$로부터의 KL 발산 뺀 보상 최대화) 의 최적해가 특정 조건부 정책인 볼츠만 타겟 $\pi^*$임을 확립합니다:
$$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$$
여기서 $r(x, y)$는 검증자 보상이고 $\beta$는 온도입니다. 이 타겟은 참조 정책의 지수적 기울기 (exponential tilt) 입니다.

2. 유도된 타겟 항등식
명제 1 을 사용하여 저자들은 임의의 가중치 부여 SFT 목적 함수가 샘플러 $q$와 가중치 $w$의 곱에 비례하는 타겟 정책 $\tilde{\pi}_w$를 유도함을 보여줍니다: $\tilde{\pi}_w \propto q(y|x)w(x,y)$.
온라인 RLVR 을 충실히 대체하기 위해서는 유도된 정책 $\tilde{\pi}_w$가 볼츠만 타겟 $\pi^*$와 같아야 합니다.

3. 타겟 매칭 법칙
논문은 이 매칭을 위한 필요 조건 (정리 4) 을 유도합니다. 고정된 샘플러 $q$에 대해, 가중치는 밀도 비율 $\pi^*/q$에 비례해야 합니다.
중요하게도, 롤아웃이 참조 정책에서 생성되는 참조 샘플링 하위 클래스 ($q = \pi_{ref}$) 에서는 조건이 유일하게 프롬프트 정규화 볼츠만 가중치로 단순화됩니다:
$$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$$
여기서 $Z(x)$는 분할 함수 (정규화 인자) 입니다. 이 가중치는 참조 롤아웃을 타겟 롤아웃으로 변환하는 라돈 - 니코딤 도함수와 정확히 일치합니다.

4. BOLT 알고리즘
이 이론에 기반하여 저자들은 BOLT(볼츠만 타겟 SFT) 를 제안합니다. 이는 두 단계로 작동합니다:

• 1 단계 (사전 계산): 참조 정책에서 롤아웃을 샘플링하고 검증자로 평가한 후, $Z(x)$의 몬테카를로 추정을 사용하여 경험적 프롬프트 정규화 볼츠만 가중치를 계산합니다.
• 2 단계 (최적화): 이 고정된 가중치 데이터셋에 대해 표준 멀티 에포크 SFT 를 사용하여 모델을 학습합니다.
  무거운 작업 (샘플링, 점수 매기기, 정규화) 이 사전 계산되므로, 최적화 단계에서는 참조 모델의 순전파가 필요하지 않아 온라인 RLVR 에 비해 메모리와 계산 비용을 크게 절감합니다.

유한한 원샷 분석 및 한계

논문은 정적 대체의 오차를 서로 다른 구성 요소로 분해하는 엄격한 유한 표본 분석 (5 절과 6 절) 을 제공합니다:

• 지지 제한 간격 (Support-Restricted Gap): 참조 정책 $\pi_{ref}$가 높은 보상을 주는 완결을 결코 샘플링하지 않는다면, 가중치 부여나 최적화의 양과 상관없이 이를 복구할 수 없습니다. 논문은 가치 손실에 대한 정확한 하한을 증명합니다: $\beta \log(1/\pi^*(S_N | x))$. 여기서 $S_N$은 저장된 지지 집합입니다. 이는 왜 추가적인 SFT 에포크가 누락된 커버리지를 복구할 수 없는지 설명합니다.
• 온도 - 커버리지 - 분산 프론티어: $\beta$를 낮추어 (타겟을 날카롭게 하여) 유효 표본 크기 (ESS) 비용과 정규화 인자의 분산을 증가시키는 트레이드오프가 존재하며, 참조 통과 확률이 낮으면 추정이 더 어려워집니다.
• KL 정책 미러 디센트로서의 반복적 갱신: 커버리지가 약하지만 0 이 아닌 경우, 논문은 반복적 BOLT(업데이트된 정책이 다음 라운드의 새로운 참조가 되는 방식) 가 수학적으로 KL 정책 미러 디센트 (KL-PMD) 와 동등함을 보여줍니다. 이 과정은 보상 기울기를 누적하고 미래 롤아웃 커버리지를 개선하는 반면, 정적 원샷 재사용은 이를 할 수 없습니다.

주요 결과 및 경험적 증거

저자들은 Qwen 모델을 GSM8K(수학) 와 HumanEval(코드) 벤치마크에 적용하여 이론을 검증했습니다. 실험은 리더보드 우위를 주장하기보다는 특정 이론적 메커니즘을 분리하도록 설계되었습니다.

• 타겟 매칭: 동일한 참조 롤아웃에서 "Refit"(원시 보상 가중치) 과 BOLT(볼츠만 가중치) 를 비교한 결과, BOLT 가 훨씬 높은 정확도를 달성했습니다 (예: GSM8K 에서 +1.44, MATH 에서 +3.60). 이는 데이터 소스뿐만 아니라 구체적인 밀도 비율 가중치가 유도된 타겟을 결정함을 확인시켜 줍니다.
• 효율성: BOLT 는 온라인 GRPO 와 동등하거나 약간 더 나은 정확도를 달성하면서, 온라인 루프를 제거함으로써 학습 시간을 약 7585% 줄이고 피크 메모리를 약 1831% 감소시켰습니다.
• 원샷 포화 vs 갱신: 실험에 따르면 참조 지원이 제한된 경우 원샷 BOLT 는 몇 에포크 후에 종종 포화 상태에 도달합니다. 그러나 반복적 BOLT(샘플러 갱신) 는 성능을 계속 향상시켜 KL-PMD 해석을 검증합니다.
• 유지: 참조 롤아웃을 사용하는 방법 (BOLT, Refit) 은 증례만 있는 SFT 에 비해 일반 벤치마크 (PIQA, HellaSwag) 에서 덜 심각한 망각을 보여주어, 참조 롤아웃이 분포를 고정하는 데 도움이 됨을 시사합니다.

중요성과 주장

이 논문은 훈련 손실의 휴리스틱 비교를 넘어 정적 RLVR 대체에 대한 메커니즘 수준의 이해를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 타겟 식별: 정적 가중치 부여 SFT 가 고정 참조 RLVR 의 충실한 대체물이 되려면 샘플러 - 가중치 곱이 특정 볼츠만 타겟을 유도해야 함을 확립합니다. 그리고 참조 샘플링 데이터에 대한 고유한 가중치로서 프롬프트 정규화 볼츠만 밀도 비율을 식별합니다.
2. 유한 간격 분해: 복구 불가능한 "지지 가격"(누락된 커버리지) 을 유한 추정 오차 (정규화 인자 분산, 최적화 드리프트) 로부터 분리합니다. 이는 정적 방법이 참조 정책이 샘플링하지 못한 커버리지 간격을 해결할 수 없음을 명확히 합니다.
3. 반복적 해석: 반복적 샘플링과 가중치 부여를 단순히 "더 많은 최적화"가 아닌, 커버리지를 능동적으로 개선하는 KL 정책 미러 디센트의 한 형태로 재해석합니다.
4. 실용적 효율성: 타겟을 정의하는 양 (가중치) 을 사전 계산하면 온라인 RLVR 의 이론적 타겟과 일치하면서도 계산 오버헤드가 크게 감소한 정적 SFT 절차를 가능하게 함을 보여줍니다.

저자들은 결과가 단일 실행 실험과 특정 모델 크기에 기반함을 겸손하게 언급합니다. 그들은 이론이 정적 대체가 유효한 경우 (커버리지 regimes) 와 실패하는 이유 (지지 간격) 를 식별할 뿐, 모든 온라인 방법보다 보편적으로 우월하다고 주장하지는 않는다고 강조합니다. 이 작업은 KL 정규화 RL 의 기하학과 정적 가중치 부여 지도 학습의 실제 구현 사이의 이론적 가교 역할을 합니다.