기술 요약: LamPO – 추론 언어 모델을 위한 람다 스타일 정책 최적화

문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 수학, 코딩, 과학적 질문 답변과 같은 작업에서 대형 언어 모델 (LLM) 의 추론 능력을 향상시키는 주된 패러다임으로 부상했습니다. 그룹 상대 정책 최적화 (GRPO) 는 샘플링된 그룹 내에서 보상을 정규화하여 PPO 에 대한 크리터 (critic) 가 없는 표준 대안으로 자리 잡았으나, 정보 압축이라는 치명적인 한계를 안고 있습니다.

GRPO 는 각 그룹의 샘플링된 응답들을 스칼라 통계량 (평균 및 표준 편차) 으로 요약하여 이점을 계산합니다. 이러한 접근법은 후보 응답 간의 세밀한 관계 정보를 폐기합니다. 해답의 품질이 미묘하게만 다를 수 있는 (예: 부분적으로 정답인 경우 대 거의 정답인 경우) 추론 작업에서, 스칼라 기준선은 응답이 그룹 평균보다 높은지 낮은지 여부만 나타낼 수 있을 뿐입니다. 이는 특정 응답이 어떤 다른 응답들을 얼마나 더 잘 수행했는지를 명시적으로 보존하지 못합니다. 이 한계는 많은 잘못된 경로가 동일한 피드백을 받는 희소 이진 보상 하에서 특히 심각하며, 이로 인해 약한 신용 할당이 발생합니다.

방법론

저자들은 응답 그룹 내에서 손실된 관계 구조를 회복하면서도 크리터 없는 최적화의 효율성을 유지하도록 설계된 LamPO(람다 스타일 정책 최적화) 를 제안합니다.

1. 쌍별 분해 이점 (Pairwise Decomposed Advantage, PDA)

그룹 통계량을 기반으로 한 스칼라 이점을 계산하는 대신, LamPO 는 그룹 상대 이점을 쌍별 분해 이점으로 대체합니다. 크기 $G$인 그룹 내의 응답 $o_i$에 대해, 이점 $A_\lambda(o_i)$는 신뢰도 인자로 가중치를 둔 쌍별 보상 격차의 평균으로 계산됩니다:

$$A_\lambda(o_i) = \frac{1}{G - 1} \sum_{j \neq i} (R(o_i) - R(o_j)) \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$$

여기서:

• $R(o_i) - R(o_j)$는 학습 방향을 제공하는 쌍별 보상 격차를 나타냅니다.
• $\Delta s_{ij} = \log \pi_{\theta_{old}}(o_i | q) - \log \pi_{\theta_{old}}(o_j | q)$는 이전 정책 하에서의 시퀀스 로그 확률 차이입니다.
• $\sigma(\cdot)$는 신뢰도 인식 가중치로 작용하는 로지스틱 시그모이드 함수입니다.
• $\tau$는 로그 확률 차이에 대한 가중치의 민감도를 조절하는 온도 매개변수입니다.

이 공식은 쌍별 비교를 집계하여 그룹 내 순위 정보를 보존합니다. 가중치는 정책이 더 확신하는 경우 (더 큰 로그 확률 차이) 에 해당 비교가 업데이트에 더 크게 기여하도록 보장합니다.

2. 정책 목적 함수

LamPO 는 PPO 스타일의 클립된 대리 목적 함수와 GRPO 의 크리터 없는 구조를 유지합니다. 표준 이점 $\hat{A}_i$는 클립된 목적 함수에서 계산된 PDA $A_\lambda(o_i)$로 단순히 대체됩니다. 전체 목적 함수에는 참조 정책 $\pi_{ref}$에 대한 KL 정규화 항이 포함됩니다.

3. 밀집 참조 중첩 보상

참조 해답이 사용 가능한 경우의 보상 희소성을 해결하기 위해, LamPO 는 ROUGE-L에 기반한 경량 보조 보상을 도입합니다.

• 최종 보상은 선형 결합입니다: $R(o_i) = R_{ext}(o_i) + \lambda_{sem} R_{sem}(o_i)$.
• $R_{ext}$는 희소 검증 가능 정답성 보상 (0 또는 1) 입니다.
• $R_{sem}$은 생성된 추론 경로와 참조 해답 간의 ROUGE-L F1 점수입니다.
• $\lambda_{sem}$은 이 밀집 신호의 강도를 조절합니다.

이 보조 보상은 희소 정답성 신호를 대체하지 않고 보완하는 시퀀스 인식 중첩 신호를 제공합니다.

주요 기여

1. 한계 식별: 본 논문은 추론 작업을 위한 RLVR 의 주요 병목 현상으로 스칼라 기준선 그룹 상대 최적화에서의 그룹 내 관계 정보 손실을 식별합니다.
2. LamPO 알고리즘: 샘플링된 그룹 내 순위 정보를 보존하기 위해 신뢰도 인식 가중치를 적용한 쌍별 분해 이점을 활용하는 새로운 크리터 없는 정책 최적화 방법입니다.
3. 보조 보상 통합: 참조 추론 경로가 사용 가능한 경우 ROUGE-L 기반 중첩을 활용하여 보상 희소성을 줄이는 간단하고 효과적인 메커니즘입니다.
4. 실증적 검증: 여러 벤치마크 및 모델 계열에 걸쳐 GRPO 및 최근 RLVR 변형 (DAPO, GSPO, SAPO) 보다 일관된 개선을 입증했습니다.

실험 결과

저자들은 Qwen3-1.7B, Qwen3-4B, Phi-4-mini라는 세 가지 모델 백본을 사용하여 네 가지 추론 벤치마크 (AIME24, AIME25, MATH-500, GPQA-Diamond) 에서 LamPO 를 평가했습니다.

• 성능: LamPO 는 모든 모델 크기에서 GRPO 및 기타 기준선 (CoT, SimpleRL-Zoo, PRIME, RLPR, DAPO, GSPO) 보다 일관적으로 우수한 성과를 거두었습니다.
  • Qwen3-1.7B에서 LamPO 는 최고 평균 점수 (53.60) 를 달성했으며, 경쟁식 수학 작업 (AIME24: GRPO 의 42.08 대비 46.67) 에서 주목할 만한 향상을 보였습니다.
  • Qwen3-4B에서 LamPO 는 GRPO 대비 평균 점수를 1.69 점 향상시켰습니다 (77.09 대 75.40).
  • Phi-4-mini에서 LamPO 는 유사한 향상을 보였으며, 이는 이 방법이 특정 모델 계열에 종속되지 않음을 시사합니다.
• 학습 역학: 학습 곡선은 LamPO 가 GRPO 에 비해 더 매끄러운 보상 개선과 더 안정적인 완료 길이를 생성함을 보여주었습니다. 이 안정성은 특히 작은 모델에서 고분산 스칼라 정규화로 인한 진동적 업데이트를 줄여주는 쌍별 격차가 제공하는 구조화된 신호에 기인합니다.
• 결손 연구:
  • 온도 ($\tau$): $\tau=1.5$가 최상의 결과를 보였습니다. 더 낮은 값 ($\tau=0.5$) 은 가중치를 너무 민감하게 만들었고, 더 높은 값 ($\tau=5.0, 7.0$) 은 가중치를 너무 많이 평활화하여 쌍별 구별력을 약화시켰습니다.
  • 의미적 보상: 밀집 보조 보상을 제거 ($\lambda_{sem}=0.0$) 하면 성능이 저하되어, 희소 보상 하에서 참조 중첩 형성이 샘플 효율성을 향상시킨다는 것이 확인되었습니다.

중요성 및 주장

본 논문은 LamPO 가 해답 품질이 미묘하게 변하는 추론 작업에 대해 더 효과적인 신용 할당 메커니즘을 제공한다고 주장합니다. 스칼라 그룹 통계에서 쌍별 분해 이점으로 전환함으로써, LamPO 는 후보 응답의 상대적 순서를 명시적으로 활용하는 더 풍부한 학습 신호를 제공합니다.

저자들은 LamPO 가 (크리터가 없고 클립된 업데이트를 사용함으로써) GRPO 프레임워크의 계산 효율성과 안정성을 유지하면서, 그룹 상대 방법의 정보 손실이라는 특정 약점을 해결한다고 강조합니다. 경량 ROUGE-L 보상의 통합은 검증 가능한 정답성에 대한 의존성을 훼손하지 않으면서 참조 데이터가 사용 가능한 경우 학습 효율성을 더욱 향상시킵니다.

인정된 한계:

• 계산 비용: 쌍별 비교는 그룹 크기 $G$에 대해 $O(G^2)$의 복잡도를 도입하지만, 이는 일반적인 RLVR 그룹 크기에서는 무시할 수 있는 수준으로 간주됩니다.
• 보상 신뢰성: 이 방법은 신뢰할 수 있는 보상 신호에 의존합니다. 노이즈가 있거나 주관적인 보상은 쌍별 격차의 오류를 증폭시킬 수 있습니다.
• 보조 보상의 범위: ROUGE-L 보상은 전체 추론 정답성이 아닌 어휘적 중첩을 포착하며, 참조 해답이 필요하므로 모든 작업에 존재하지 않을 수 있습니다.
• 일반화: 실험은 현재 수학적 및 과학적 추론으로 제한되어 있으며, 개방형 대화 또는 멀티모달 작업으로의 일반화는 여전히 열린 질문으로 남아 있습니다.