기술 요약: 훈련 정책 최적화의 신기루 (MIPU)

1. 문제 정의: LLM RL에서의 목적 함수 불일치 (Objective Misalignment)

강화 학습(RL)은 특히 추론 및 지시 이행 능력을 향상시키기 위해 대규모 언어 모델(LLM)의 사후 훈련(post-training) 과정에서 핵심적인 패러다임이 되었습니다. 그러나 현대의 LLM RL 파이프라인은 종-종 훈련-추론 미스매치(training-inference mismatch) 문제를 겪습니다. 실제로 LLM은 생성(추론, 예: vLLM, SGLang)을 위한 엔진과 그래디언트 계산(훈련, 예: FSDP, Megatron)을 위한 엔진을 별도로 사용합니다. 모델 파라미터가 동기화되어 있더라도, 정밀도(예: FP8 vs. FP16), 디코딩 구현 방식, 서빙 백엔드의 차이로 인해 훈련 정책($\pi$)과 추론 정책($\mu$)은 동일한 궤적(trajectory)에 대해 서로 다른 확률을 할당하게 됩니다.

기존 연구들은 샘플러 측의 비율을 교정하거나, 불안정한 샘플을 필터링하거나, 학습률을 감쇠시키는 방식으로 이 미스매치를 완화하려고 시도합니다. 하지만 저자들은 이러한 접근 방식이 근본 원인이 아닌 증상만을 다루고 있다고 주장합니다. 즉, 목적 함수 불일치(objective misalignment) 문제입니다. 표준 RL 알고리즘은 훈련 정책의 개선($J(\pi_{k+1}) - J(\pi_k) \ge 0$)이 배포된 추론 정책의 개선을 보장한다는 가정하에 훈련 정책($\pi$)을 최적화합니다. 본 논문은 미스매치 조건 하에서는 이 함의가 성립하지 않음을 보여줍니다:
$$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$$
결과적으로, 훈련 측면에서는 유익해 보이는 동기화된 업데이트가 실제 배포 시 사용되는 추론 정책의 성능을 오히려 저하시킬 수 있습니다.

2. 방법론: 단조 추론 정책 업데이트 (Monotonic Inference Policy Update, MIPU)

이를 해결하기 위해 저자들은 새로운 최적화 원칙인 **단조 추의 정책 개선(Monotonic Inference Policy Improvement, MIPI)**을 제안합니다. 이는 최적화의 목표를 훈련 정책의 개선에서 추론 정책의 단조로운 개선($J(\mu_{k+1}) - J(\mu_k) \ge 0$)을 보장하는 것으로 전환합니다. 저자들은 이를 **단조 추론 정책 업데이트(MIPU)**라고 불리는 2단계 프레임워크를 통해 실현합니다.

MIPU의 핵심은 추론 정책의 개선을 세 가지 항으로 분해하는 것입니다:
$$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{항 1: 업데이트 후 추론 격차 (Post-update Inference Gap)}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{항 2: 훈련 측 업데이트 (Training-side Update)}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{항 3: 업데이트 전 추론 격차 (Pre-update Inference Gap)}}$$

1단계: 샘플러 참조 정책 업데이트 (Sampler-Referenced Policy Update)

이 단계는 항 2와 항 3을 결합하여 최적화합니다 ($J(\pi_{k+1}) - J(\mu_k)$).

• 메커니즘: 표준 GRPO/PPO와 같이 대리 목적 함수(surrogate objective)의 참조점으로 표준 훈련 정책 $\pi_k$를 사용하는 대신, MIPU는 추론 정책 $\mu_k$(샘플러)를 참조점으로 사용합니다.
• 구현: 저자들은 절단된 중요도 샘플링(Truncated Importance Sampling, TIS) 방식을 채택합니다. 업데이트 전의 미스매치를 보정하기 위해 교정 가중치 $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$를 계산합니다. 높은 분산을 방지하기 위해 이 가중치는 절단(truncation)됩니다. 이후 클리핑 제약(clipping constraint)은 현재 업데이트 비율인 $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$에만 적용됩니다.
• 목표: 이를 통해 이론적으로 샘플러 $\mu_k$와 정렬된 후보 훈련 정책 $\pi_{k+1}$을 생성하여, "중간 단계"의 단조성 $J(\pi_{k+1}) - J(\mu_k) \ge 0$을 보장합니다.

2단계: 추론 격차 인지 업데이트 수락 (Inference-Gap-Aware Update Acceptance)

이 단계는 후보 훈련 정책과 그와 동기화된 추론 구현체 사이의 격차를 나타내는 항 1($J(\mu_{k+1}) - J(\pi_{k+1})$)을 검증합니다.

• 메커니즘: $\pi_{k+1}$을 추론 엔진으로 동기화하여 $\mu_{k+1}$을 생성한 후, 시스템은 업데이트 후 추론 격차를 평가합니다.
• 대리 추정 (Proxy Estimation): $\pi_{k+1}$ 하에서의 정확한 어드밴티지(advantage)를 알 수 없으므로, MIPU는 역관계 식(reverse identity)을 사용하여 $\mu_{k+1}$로부터의 검증 롤아웃을 통해 격차를 추정합니다. 구체적으로 $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$를 계산하며, 여기서 $\rho_i$는 $\mu_{k+1}$에서 $\pi_{k+1}$로의 분포 변화를 보정하는 길이 정규화된 중요도 가중치입니다.
• 수락 기준: 업데이트는 $\hat{T}_{post} \ge -c$ (여기서 $c$는 허용 오차 매개변수)를 만족할 때만 수락됩니다. 만약 격차가 너무 음수라면(즉, 추론 정책이 훈련 후보보다 성능이 낮음을 의미하면), 업데이트는 거부되고 시스템은 이전 체크포인트로 롤백됩니다.

3. 주요 기여

1. MIPI 원칙: 본 논문은 LLM RL에서의 목적 함수 불일치를 식별하고 공식화하였으며, 최적화 대상이 훈련 대리 함수가 아니라 추론 정책의 궤적이어야 함을 제안합니다.
2. MIPU 프레임워크: 후보 생성(1단계)과 추론 격차 검증(2단계)을 분리한 새로운 2단계 RL 프레임워크를 제시합니다. 이는 샘플러 참조 업데이트와 추론 인지 수락을 유연하게 구현할 수 있게 합니다.
3. 실증적 검증: 고도의 미스매치 환경(특히 FP8 양자화 롤아웃)에서 MIPU가 표준 GRPO 및 기타 안정화 베이스라인 모델보다 추론 성능과 훈련 안정성을 모두 향상시킨다는 것을 입증했습니다.

4. 실험 결과

저자들은 상당한 훈련-추론 미스매치를 유도하기 위해 FP8 양자화 롤아웃을 사용하여 Qwen3-1.7B 및 Qwen3-4B 모델에 대해 MIPU를 평가했습니다. 훈련은 수학적 추론 데이터셋(DAPO-Math-17, DeepMath-103K)에서 수행되었으며, 5개의 벤치마크(MATH-500, AIME24, AMC23, Minerva, OlympiadBench)로 평가되었습니다.

• 성능: MIPU는 두 모델 규모 모두에서 가장 높은 평균 정확도(Qwen3-4B에서 66.71%, Qwen3-1.7B에서 53.97%)를 달성하여, 표준 GRPO, MIS(미스매치 필터링), LR-decay와 같은 베이스라인을 능가했습니다.
• 안정성: 베이스라인 모델들이 중간 정점에 도달한 후 급격한 성능 저하나 붕괴를 보이는 경우가 많은 반면, MIPU는 훈련 과정 내내 안정적인 훈련 역학을 유지했습니다.
• 절제 연구 (Ablation Studies):
  • 1단계만 적용 시: 후보의 품질은 개선되었으나 미스매치 오류의 누적을 막지 못해 불안정성이 발생했습니다.
  • 2단계만 적용 시: 나쁜 업데이트를 거부함으로써 붕괴는 방지했으나, 기반이 되는 베이스라인 후보 자체가 편향되어 있을 경우 성능을 높이지는 못했습니다.
  • 전체 MIPU 적용 시: 두 단계의 결합이 필수적이었습니다. 1단계는 업데이트 방향을 교정했고, 2단계는 신뢰할 수 없는 후보를 필터링하여 더 높은 피크 성능과 장기적 안정성을 모두 가져왔습니다.
• 2단계 분석: 저자들은 2단계의 성공이 단순히 더 많은 업데이트를 거부하기 때문이 아님을 검증했습니다("무작위 롤백" 대조군 역시 더 많은 업데이트를 거부했음에도 실패함). 대신, 그 효과는 추론 격차 신호를 사용하여 해로운 업데이트와 유익한 동기화 후보를 구분하는 데서 기인합니다.

5. 의의 및 주장

본 논문은 훈련-추론 미스매치를 단순히 최소화해야 할 저수준의 시스템적 차이가 아니라, **정책 개선의 목적(objective of policy improvement)**에 대한 근본적인 변화로 보아야 한다고 주장합니다. 훈련 정책에서 추론 정책으로 초점을 전환함으로써, MIPU는 훈련 측의 개선이 배포 시의 이득으로 이어지지 않는 "신기루" 문제를 해결합니다.

저자들은 현재 계산상의 제약으로 인해 실험이 중규모 모델에 국한되어 있으며, 2단계는 고정된 구현이라기보다 유연한 설계 공간임을 겸허히 밝힙니다. 향-후 연구에서는 업데이트 후 격차를 위한 더 효율적인 추정기를 탐색하고, 이러한 원칙을 더 큰 모델과 다양한 RL 시스템에 적용할 수 있을 것이라고 제안합니다. 핵심적인 기여는 패러다임의 전환입니다. 즉, 훈련 측의 최적화만으로 충분하다고 가정하는 대신, 배포에 사용되는 정책 자체가 최적화되고 있음을 보장하는 것입니다.