기술 요약: 좋은 SFT 는 SFT 를 최적화하고, 더 나은 SFT 는 강화 학습을 준비한다

1. 문제 제기

추론용 대규모 언어 모델 (LLM) 의 사후 학습 (post-training) 은 일반적으로 두 단계의 패러다임을 따릅니다. 초기 체크포인트를 생성하기 위한 오프라인 감독 미세 조정 (SFT) 단계와 그 다음 성능을 더욱 향상시키기 위한 온라인 강화 학습 (RL) 단계입니다. 현재 파이프라인에서 지배적인 가정은, SFT 단계를 최대 오프라인 정확도 (예: 훈련 분포에서의 다음 토큰 가능성 최대화 또는 손실 최소화) 를 위해 최적화하면 후속 RL 을 위한 더 강력한 초기화가 자연스럽게 도출된다는 것입니다.

그러나 저자들은 이 가정이 잘못되었음을 증명합니다. 그들은 "더 강력한"SFT 체크포인트 (우수한 오프라인 성능을 보이는) 에서 초기화된 모델이 동일한 RL 학습을 거친 후 "더 약한"체크포인트에서 초기화된 모델보다 현저히 낮은 성능을 보일 수 있음을 관찰했습니다. 이 현상은 오프라인 단계와 온라인 단계 간의 분포 불일치로 귀결됩니다.

• 오프라인 SFT: 모델은 행동 정책 ($\pi_\beta$) 에서 샘플링된 데이터 (종종 다른 모델이나 정적 데이터셋) 로 학습합니다.
• 온라인 RL: 모델은 진화하는 목표 정책 ($\pi_\theta$) 이 생성한 롤아웃 (rollouts) 으로 학습합니다.

표준 SFT 는 행동 정책의 분포에 기반한 균일한 토큰 수준의 감독을 적용합니다. 장기적 추론 작업에서 이는 행동 정책 하에서는 매우 확률이 높지만 목표 정책 하에서는 비합리적인 전이 패턴 (예: 막다른 길로 이어지는 연속) 을 강화할 수 있습니다. 결과적으로 모델은 온라인 RL 중 거의 다시 방문하지 않을 접두사와 연속을 연관 짓게 되어, 하류 학습을 방해하는 비최적의 초기화를 초래합니다.

2. 방법론: PEAR

이러한 불일치를 해결하기 위해 저자들은 PEAR(Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting, 정책 평가에 영감을 받은 오프라인 학습 손실 재가중 알고리즘) 를 제안합니다. PEAR 는 오프라인 목적을 목표 정책의 분포와 더 잘 정렬되도록 훈련 손실을 재가중하는 SFT 단계 방법론으로, 모델을 온라인 RL 단계에 효과적으로 준비시킵니다.

핵심 메커니즘

PEAR 는 행동 정책 ($\pi_\beta$) 과 목표 정책 ($\pi_\theta$) 간의 분포 이동을 수정하기 위해 **중요도 샘플링 (importance sampling)**을 활용합니다. 오프라인 데이터셋의 모든 토큰을 동등하게 취급하는 대신, PEAR 는 목표 정책과 행동 정책 간의 확률 비율에 기반하여 각 토큰의 손실을 재가중합니다.

목적 함수는 다음과 같이 수정됩니다:
$$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$$
여기서:

• $\ell_\theta$는 표준 토큰 단위 손실 (예: NLL 또는 KL 발산) 입니다.
• $\text{sg}[\cdot]$는 가중치를 고정된 계수로 취급하는 그라디언트 정지 (stop-gradient) 연산자를 나타냅니다.
• $\hat{G}_t$는 토큰 $t$에 대한 수치적으로 안정화된 중요도 가중치입니다.

가중치 변형

PEAR 는 $\hat{G}_t$를 계산하기 위한 세 가지 세분성 (granularities) 을 제공합니다:

1. 시퀀스 수준 가중치: 궤적의 모든 토큰에 단일 전역 중요도 비율 ($w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$) 을 적용합니다. 이는 목표 정책 하에서 전체 시퀀스의 합리성이 균일하다고 가정합니다.
2. 토큰 수준 가중치 (접미사 기반): 접미사 중요도 비율을 기반으로 가중치를 계산합니다. 토큰 $y_t$에 대해 가중치는 목표 정책 대비 행동 정책 하에서의 남은 연속 ($y_{>t}$) 의 가능성에 의해 결정됩니다:
   $$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$$
   이는 목표 정책이 생성할 가능성이 낮은 연속으로 이어지는 토큰의 가중치를 낮추어, 목표 정책의 미래 행동과 호환되는 접두사에 학습을 집중시킵니다.
3. 블록 수준 가중치: 장기적 곱셈 중요도 가중치에 내재된 높은 분산을 완화하기 위해 시퀀스를 블록으로 분할합니다. 가중치는 각 블록 내에서 균일하게 계산 및 적용되어 일부 세분성을 희생하여 안정성을 확보합니다.

추가 기능

• 부정적 예시: PEAR 는 검증된 실패 궤적을 포함하여 반발 항 (repulsive term) 을 적용함으로써 모델이 부정적 연속에서 멀어지도록 하면서 정책 일관성을 유지할 수 있습니다.
• 블랙박스 적응: 정확한 행동 정책 $\pi_\beta$를 사용할 수 없는 경우 (예: 폐쇄형 소스 데이터), PEAR 는 프록시 모델이나 프록시 앙상블을 활용하여 행동 정책의 로그 확률을 근사할 수 있습니다.
• 수치적 안정화: 이 방법은 긴 곱셈 시퀀스 계산 중 수치적 불안정성을 방지하기 위해 로그 공간 계산과 로그 비율의 클리핑을 사용합니다.

3. 주요 기여

• 오프라인 - 온라인 분리의 경험적 증명: 이 논문은 통제된 실험을 통해 오프라인 성능이 사후 RL 성능의 신뢰할 수 있는 대리 지표가 아님을 보여줍니다. 더 강력한 SFT 목적은 분포 불일치로 인해 더 약한 최종 RL 결과로 이어질 수 있습니다.
• PEAR 알고리즘: 오프 - 정책 평가 (OPE) 원칙을 사용하여 오프라인 SFT 를 온라인 RL 목표와 정렬하는 실용적인 플러그인 재가중 체계의 도입.
• 포괄적 평가: 검증 가능한 추론 작업 (논리 게임, 수학 벤치마크) 에서 여러 모델 계열 (Qwen2.5, Qwen3, DeepSeek-distilled) 과 크기 (0.6B~8B) 에 대한 광범위한 테스트.
• 매개변수 드리프트 분석: 저자들은 PEAR 로 초기화된 모델이 후속 RL 학습 중 더 적은 매개변수 드리프트를 겪음을 보여주며, 이는 PEAR 가 RL 단계에서 오프라인 - 온라인 불일치를 수정할 필요성을 줄인다고 시사합니다.

4. 실험 결과

저자들은 합성 논리 퍼즐 (SynLogic, Enigmata) 과 수학 추론 벤치마크 (AIME-2024/2025, AMC-2023, MATH-500) 에서 실험을 수행했습니다.

• 성능 향상: PEAR 는 RL 후 표준 SFT 및 기타 베이스라인 (KL 정규화 SFT, TALR, 다양한 확률 기반 목적 함수 포함) 을 일관되게 능가합니다.
  • AIME-2025에서 PEAR 로 초기화된 모델은 표준 SFT 대비 Pass@8 에서 최대 30 퍼센트 포인트의 개선을 달성했습니다 (예: DeepSeek-Distill-Qwen-1.5B 에서 5% 에서 35% 로 증가).
  • SynLogic 논리 게임에서 PEAR 는 Pass@1 에서 최대 +25 퍼센트 포인트의 개선을 보였습니다 (예: Qwen3-1.7B-Base 에서 13.1% 에서 38.3% 로 증가).
• 일반화: PEAR 의 이점은 다른 RL 작업 분포 (예: SynLogic 에서 학습하고 Enigmata 에서 RL 수행) 와 다른 RL 알고리즘 (GRPO 및 DAPO) 으로도 전이됩니다.
• 블랙박스 견고성: 행동 정책을 근사하기 위해 프록시 모델을 사용할 때조차 PEAR 는 표준 SFT 를 현저히 능가하며, 강력한 프록시는 화이트박스 성능과 맞먹습니다.
• 안정성: PEAR 로 초기화된 모델은 표준 SFT 로 초기화된 모델에 비해 온라인 RL 단계 중 더 작은 매개변수 드리프트 (정규화 스펙트럼 이동으로 측정) 를 보여 더 효율적인 학습 궤적을 나타냅니다.

5. 중요성 및 주장

이 논문은 오프라인 SFT 단계의 목표가 단순히 오프라인 정확도를 최대화하는 것이 아니라 후속 온라인 RL 을 위한 정책을 준비하는 것이어야 한다고 주장합니다.

• 전체적 사후 학습: 저자들은 하류 RL 을 염두에 두고 SFT 목적을 설계하는 것이 중요하다고 주장합니다. 오프라인 지표를 고립되어 최적화하는 것은 역효과를 낼 수 있으며, 이는 목표 정책의 탐색 및 최적화 역동성과 양립할 수 없는 행동을 강화할 수 있기 때문입니다.
• 불일치 수정: PEAR 는 오프라인 학습이 행동 - 목표 점유 불일치를 수정해야 한다는 원칙의 구체적인 구현체 역할을 합니다. 비합리적인 연속의 가중치를 낮추고 목표 정책과 호환되는 연속의 가중치를 높임으로써 PEAR 는 더 효과적인 초기화를 생성합니다.
• 실질적 영향: 결과는 행동 정책 확률에 접근할 수 있거나 (또는 근사될 수 있다면) 복잡한 아키텍처 변경이나 추가 데이터 수집 없이 오프 - 정책 평가에 기반한 간단한 재가중 전략이 추론 능력에서 상당한 개선을 가져올 수 있음을 시사합니다.

저자들은 "좋은 오프라인 단계는 오프라인 정확도를 최적화하는 것이 아니라 뒤따르는 RL 을 위한 정책을 준비해야 한다"고 결론지으며, PEAR 를 더 전체적인 LLM 사후 학습 파이프라인을 향한 한 걸음으로 위치시킵니다.