기술 요약: 자기 진화형 LLM 을 위한 일방향 정책 최적화

1. 문제 제기

본 논문은 대규모 언어 모델 (LLM) 의 추론 능력을 확장하는 데 있어 **검증 가능한 보상을 활용한 강화 학습 (RLVR)**의 한계를 다룹니다. RLVR 은 수학, 코드 등 검증 가능한 결과가 있는 작업에 유망한 패러다임을 제시하지만, 두 가지 주요 과제를 안고 있습니다:

1. 희소하고 이진적인 신호: 검증자 보상은 일반적으로 시퀀스 수준에서만 제공되므로, 높은 분산, 낮은 샘플 효율성, 불안정한 최적화를 초래합니다.
2. 참고 기반 방법론의 '힘 반전' 충돌: 학습을 안정화하기 위해 기존 방법론 (예: KL 정규화 RL, 온-정책 증류) 은 참조 정책 ($\pi_{ref}$) 을 도입하여 조밀한 토큰 수준의 제약을 부여합니다. 그러나 이러한 방법은 참조 정책으로부터의 어떤 이탈이든 보상 개선을 이루는지 여부와 상관없이 대칭적인 제약을 부과합니다.
   • 핵심 문제: 정책이 참조 정책을 능가하려는 시도 (우월한 이탈) 가 발생할 때, 대칭적인 KL 패널티나 증류 손실은 참조 정책으로 되돌리는 '당김' 힘을 작용합니다. 이 힘이 충분히 강하면 최적화 방향이 반전되어, 보상을 개선하는 단계가 역행하는 단계로 변모합니다. 이는 성능 상한선을 만들어 모델이 초기 사전 지식 이상으로 진화하는 것을 방해합니다.

2. 방법론: 일방향 정책 최적화 (OWPO)

저자들은 최적화 방향과 업데이트 크기를 분리하도록 설계된 일방향 정책 최적화 (OWPO) 프레임워크를 제안합니다.

핵심 원리

• 방향: 검증자 (이득 신호 $A_t$를 통해) 에 의해 독점적으로 결정됩니다. 검증자는 토큰이 맞는지 틀린지를 판단합니다.
• 크기: 참조 정책 ($\pi_{ref}$) 에 의해 조절됩니다. 참조 정책은 방향을 반전시키는 것이 아니라 단계 크기만 조정하는 역할을 합니다.

메커니즘: 비대칭 재가중

OWPO 는 표준 PPO/DAPO 목적 함수에 적용되는 동적 스칼라 가중치 $w_t$를 도입합니다. 이 가중치는 방향성 이탈 ($\delta_t$) 에 의해 결정되며, 이는 다음과 같이 정의됩니다:
$$\delta_t(\theta) \triangleq \text{sgn}(A_t) \cdot \log \frac{\pi_\theta(y_t | s_t)}{\pi_{ref}(y_t | s_t)}$$
$\delta_t$에 기반하여 OWPO 는 두 가지 구별된 체제를 적용합니다:

1. 가속 정렬 (열등한 이탈, $\delta_t < 0$):

   • 상황: 현재 정책 $\pi_\theta$가 올바른 방향에서 참조 정책보다 뒤처진 경우 (예: 올바른 토큰에 대한 신뢰도가 낮거나 잘못된 토큰에 대한 신뢰도가 높은 경우).
   • 조치: 가중치 $w_t > 1$이 됩니다.
   • 효과: 그라디언트가 증폭되어 이러한 뒤처짐을 빠르게 수정하며, 오류를 신속히 해결하기 위해 참조 사전 지식을 활용합니다.

2. 이득 잠금 (우월한 이탈, $\delta_t > 0$):

   • 상황: 현재 정책 $\pi_\theta$가 올바른 방향에서 참조 정책을 능가하는 경우 (예: 올바른 토큰에 대한 신뢰도가 높은 경우).
   • 조치: 가중치 $w_t < 1$이 됩니다 (구체적으로 $\epsilon_{low}$로 제한됨).
   • 효과: 업데이트 단계 크기가 감소합니다. 이는 희소하고 고가치인 이득을 '잠금'하여 분산을 줄이고, 고분산 노이즈가 이러한 유익한 이탈을 불안정하게 하거나 반전시키는 것을 방지합니다.

반복적 자기 진화 (라쳇 효과)

고정된 참조 정책의 병목 현상을 극복하기 위해 OWPO 는 반복적인 부트스트래핑 과정을 통합합니다:

• 각 학습 단계가 끝날 때, 참조 정책은 '하드 스왑'을 통해 업데이트됩니다: $\pi_{ref}^{(k+1)} \leftarrow \pi_\theta^{(k)}$.
• 이는 라쳇 효과를 생성하여, 각 반복이 최근의 이득을 새로운 기준선으로 통합함으로써 모델이 원래 사전 지식의 제약 없이 더 높은 보상을 향해 지속적으로 상승할 수 있게 합니다.

3. 주요 기여

1. 방향 충돌 식별: 본 논문은 기존 RLVR 방법론의 대칭적 제약이 '힘 반전'을 유발하여 참조 정책이 사전 지식에서 이탈하는 개선을 부당하게 억제한다는 점을 규명했습니다.
2. 방향과 크기의 분리: OWPO 는 검증자가 그라디언트 부호 (방향) 를 결정하고 참조 정책은 그라디언트 크기만 스케일링하는 새로운 목적 함수를 도입합니다.
3. 비대칭 신뢰 영역: 표준 대칭 KL 정규화와 달리, OWPO 는 열등한 이탈에 대한 수정을 가속화하고 분산 감소를 통해 우월한 이탈을 보호하는 방향 인지형 신뢰 영역을 구축합니다.
4. 반복적 자기 진화 프레임워크: 일방향 메커니즘과 주기적인 참조 업데이트를 결합함으로써 OWPO 는 외부 교사 모델에 의존하지 않고 지속적인 자기 개선을 가능하게 합니다.

4. 실험 결과

저자들은 DAPO-Math-17k 데이터셋과 AIME24/25 벤치마크를 사용하여 Qwen-2.5-Math-7B 및 Qwen-3-8B 기본 모델에 OWPO 를 평가했습니다.

• 기선 대비 성능: OWPO 는 순수 RLVR 방법론 (GRPO, DAPO) 과 참조 기반 방법론 (OPD, MOPD, Sym-DAPO) 을 포함한 강력한 기선 모델들을 일관되게 능가했습니다.
  • Qwen-3-8B 에서 OWPO 는 AIME24 에서 Pass@1 51.90% (최고) 및 50.74% (수렴) 를 달성하여 MOPD(46.40%) 와 DAPO(45.31%) 를 크게 앞섰습니다.
  • OWPO 는 MOPD 와 OPD 에서 관찰된 '성능 상한선'을 돌파했는데, 이 방법들은 참조 정책의 성능 근처에서 정체되는 경향이 있었습니다.
• 자기 진화 효율성: 약한 사전 지식 (~30% Pass@1) 에서 시작하는 반복적 설정에서 OWPO 는 4 회 반복 만에 약 40% 정확도에 도달한 반면, MOPD 는 더 낮은 약 37% 에서 포화되는데 6 회 반복이 필요했습니다.
• 일반화: 수학 데이터로만 엄격하게 학습했음에도 불구하고, OWPO 는 다른 방법론들에 비해 일반 과학 벤치마크 (GPQA 및 MMLU-Pro) 에서 우수한 전이 능력을 보여주었습니다.
• 절대 실험: 비대칭성을 제거 (대칭적 재가중) 하면 심각한 성능 후퇴가 발생하여, 대칭적 패널티가 힘 반전을 유발함을 확인했습니다. '가속 정렬'과 '이득 잠금' 구성 요소 모두 필수불가결한 것으로 밝혀졌습니다.

5. 의의 및 주장

본 논문은 OWPO 가 RLVR 의 근본적인 안정성 - 탐색 충돌을 해결한다고 주장합니다. 대칭적 정규화에 내재된 '힘 반전' 효과를 방지함으로써 OWPO 는 모델이 다음을 가능하게 합니다:

• 비최적 사전 지식을 안정적으로 초월: 모델이 붕괴 없이 초기 참조 정책의 능력을 넘어 진화할 수 있습니다.
• 지속적인 자기 진화 가능: 반복적인 '라쳇 효과'는 외부 교사 모델 없이도 지속적인 성능 향상을 가능하게 합니다.
• 검증자 안내 우선: 이 프레임워크는 검증 가능한 추론 작업에서 검증자의 신호가 최적화 방향의 주된 동력이 되어야 하며, 참조 정책은 크기 안정화를 위한 보조 수단으로만 기능해야 함을 확립합니다.

저자들은 OWPO 를 확장 가능한 자기 진화형 추론 모델로의 근본적인 단계로 위치시키며, 현재는 수학 및 검증 가능한 추론에 초점을 맞추고 있지만, 방향 인지형 최적화의 원칙은 RLVR 전반에 광범위하게 적용 가능하다고 지적합니다.