기술 요약: f-GRPO 및 그 이상: 일반 LLM 정렬을 위한 발산 기반 강화 학습 알고리즘

1. 문제 제기

대형 언어 모델 (LLM) 정렬은 일반적으로 두 가지 뚜렷한 영역에서 발생합니다:

1. 검증 가능한 보상을 통한 강화 학습 (RLVR): 피드백은 스칼라 보상 $r(x, y)$ (예: 수학 또는 코드의 정확성) 을 통해 제공됩니다. 여기서 정렬된 응답과 정렬되지 않은 응답은 명시적으로 쌍으로 관찰되지 않으며, 대신 보상 신호로부터 추론되어야 합니다. 그룹 상대 정책 최적화 (GRPO) 와 같은 표준 접근 방식은 온-정책 샘플링과 표준화된 이점을 사용합니다.
2. 선호도 정렬: 피드백은 인간 선호도 (선택된 응답 대 거부된 응답) 를 통해 제공됩니다. 직접 선호도 최적화 (DPO) 나 f-발산 최적화기 (FDO) 와 같은 방법들은 이를 정렬된 분포 $D_+$ 와 정렬되지 않은 분포 $D_-$ 를 분리하는 문제로 간주합니다.

최근 연구 (Haldar et al., 2025) 는 선호도 정렬이 $D_+$ 와 $D_-$ 간의 통계적 발산을 추정하는 것으로 해석될 수 있음을 입증했습니다. 그러나 이러한 발산 기반 관점은 선호도 데이터로만 제한되어 왔습니다. 명시적인 $D_+$ 와 $D_-$ 분포가 존재하지 않는 RLVR 에서 발산 추정이 통일된 이론적 기반을 제공할 수 있는지 여부는 여전히 열린 질문으로 남아 있습니다. 또한, 학습된 보상 모델을 사용하는 온-정책 안전 정렬은 정책이 실제 안전 제약 조건을 학습하는 대신 모델의 약점을 악용할 수 있어 "보상 해킹 (reward hacking)"으로 종종 고통받습니다.

2. 방법론

저자들은 스칼라 보상으로부터 직접 정렬된 및 정렬되지 않은 분포를 유도함으로써 발산 기반 프레임워크를 일반 LLM 정렬로 확장하는 것을 제안합니다.

2.1 보상으로부터 분포 유도

RLVR 에서 주어진 프롬프트 $x$에 대해 저자들은 현재 정책 $\pi_\theta$에 기반하여 보상 정렬된 ($D_{(r,\theta)}^+$) 및 보상 정렬되지 않은 ($D_{(r,\theta)}^-$) 분포를 정의합니다:

• $D_{(r,\theta)}^+$: 평균 보상 $\mu_\theta^r(x)$ 이상인 응답에 질량을 배치합니다.
• $D_{(r,\theta)}^-$: 평균 미만인 응답에 질량을 배치합니다.

이를 통해 명시적인 선호도 쌍 없이 고보상 응답과 저보상 응답을 분리하는 온-정책 발산 추정 문제를 공식화할 수 있습니다.

2.2 f-GRPO (f-그룹 상대 정책 최적화)

저자들은 $f$-발산의 변분 표현에 기반한 온-정책 목적 함수 클래스인 f-GRPO를 유도합니다.

• 메커니즘: GRPO 와 같이 표준화된 이점만으로 샘플을 재가중치하는 대신, f-GRPO 는 유도된 보상 정렬 분포와 보상 정렬되지 않은 분포 간의 발산을 추정합니다.
• 중요도 샘플링: 목적 함수는 $G$개의 샘플링된 응답 그룹을 사용합니다. 이는 샘플링 정책 확률로 보정된 보상에 대한 소프트맥스를 사용하여 중요도 가중치를 구성하며, 정렬된 항에는 평균 이상 응답만, 정렬되지 않은 항에는 평균 미만 응답만 포함되도록 업데이트를 잘라냅니다.
• 손실 함수: 손실은 암시적 정책 보상 $r_\theta$와 이러한 보상 유도 가중치를 결합하여, 두 유도된 분포 간의 변분 $f$-발산을 효과적으로 최적화합니다.

2.3 f-HAL (f-하이브리드 정렬 손실)

학습된 보상 모델이 불완전한 안전 정렬에서 순수 온-정책 방법의 한계를 해결하기 위해 저자들은 f-HAL을 도입합니다.

• 하이브리드 목적 함수: f-HAL 은 온-정책 보상 최적화 (f-GRPO) 와 오프-정책 선호도 감독 (FDO) 사이를 보간합니다.
• 공식: $L_{f-HAL} = \lambda L_{FDO} + (1-\lambda) L_{f-GRPO}$.
• 기능: 이는 보상 해킹을 방지하기 위해 오프-정책 선호도 데이터로 정책을 고정하면서 온-정책 보상을 탐색에 사용합니다. 이론적으로 이는 보상 유도 분포와 선호도 유도 분포의 혼합물 간의 발산을 추정합니다.

3. 주요 이론적 기여

본 논문은 제안된 목적 함수에 대한 엄격한 이론적 보장을 제공합니다:

• 발산 추정: 저자들은 f-GRPO 와 f-HAL 이 단순한 휴리스틱이 아니라 잘 정의된 정렬 및 정렬되지 않은 분포 간의 $f$-발산을 일관되게 추정함을 증명합니다 (정리 4.3).
• 정렬 일관성: 고정점 정책 업데이트가 정렬 일관성을 갖는 것으로 나타났습니다. 구체적으로, 정렬되지 않은 분포에 비해 정렬된 분포에서 밀도가 더 높은 응답은 상향 가중됩니다.
• 보상 개선: 표준 링크 함수 (여기서 $g^{-1}(f'_\infty) = \infty$) 하에서 저자들은 단조 기대 보상 개선을 증명합니다. 평균 미만 응답에 0 이 아닌 확률을 할당할 수 있는 표준 GRPO 와 달리, 표준 링크를 사용하는 f-GRPO 는 극한에서 확률 질량을 평균 이상 응답에 엄격하게 집중시켜 최대 보상 정책으로의 수렴을 보장합니다.
• GRPO 와의 비교: 논문은 클리핑되지 않은 GRPO 의 고정점을 특징짓는데, 이는 표준화된 보상의 지수로 참조 정책을 재가중치함을 보여줍니다. 그러나 f-GRPO 는 특정 조건 하에서 평균 미만 응답에 0 질량을 할당하는 "더 날카로운" 분리를 제공하여 더 강력한 이론적 개선 보장을 이끌어냅니다.

4. 실험 결과

저자들은 f-GRPO 와 f-HAL 을 두 가지 주요 작업에서 평가했습니다:

4.1 수학 추론 (RLVR 작업)

• 설정: 검증 가능한 보상을 사용하여 GSM8K, LIMR, OpenRS 데이터셋에서 Qwen2.5-Math 모델 (1.5B 및 7B) 을 파인튜닝했습니다.
• 결과: f-GRPO 는 다양한 $f$-발산 선택 (예: 피어슨, KL, 헬링거) 에서 표준 GRPO 보다 일관되게 우수한 성능을 보였습니다.
  • 까다로운 LIMR 데이터셋에서 f-GRPO 변형들은 GRPO 에 비해 더 높은 Pass@1 점수와 더 나은 집계 순위를 달성했습니다.
  • 가장 큰 개선은 더 어려운 데이터셋 (LIMR, OpenRS) 에서 관찰되어 더 날카로운 분포 분리의 이론적 이점을 검증했습니다.

4.2 안전 정렬 (학습된 보상을 가진 선호도 작업)

• 설정: 온-정책 방법을 위해 학습된 보상 모델 (DeBERTa-v3-large) 을 사용하여 준수 - 거절 데이터셋에서 모델을 정렬하고, 오프-정책 직접 정렬기 (DPO, KTO, BCO) 와 비교했습니다.
• 결과:
  • 보상 해킹: 순수 온-정책 방법 (GRPO) 은 학습된 보상 모델을 악용하여 "포괄적 거부" 행동 (안전한 프롬프트 거부) 을 보이며 성능이 저조했습니다.
  • 하이브리드 완화: 하이브리드 f-HAL ($\lambda=0.5$) 은 보상 해킹을 성공적으로 완화했습니다. 온-정책 탐색과 오프-정책 선호도 감독을 결합함으로써 안전한 프롬프트에 올바르게 응답하는 컨텍스트 인식을 유지하면서 유해한 것은 거부했습니다.
  • 성능: 하이브리드 f-HAL 은 종종 더 큰 모델 (7B) 에서 순수 직접 정렬보다 우수한 성능을 보였으며, 모델 용량이 충분할 때 온-정책 탐색이 유익함을 시사합니다. 더 작은 모델 (1.5B) 에서는 직접 정렬기가 여전히 약간 더 강력했으나, f-HAL 은 여전히 순수 온-정책 RL 보다 훨씬 더 우수한 성능을 보였습니다.

5. 중요성 및 주장

본 논문은 LLM 정렬 알고리즘을 위한 통일되고 실용적인 기반을 제공한다고 주장합니다:

• 통합: 이는 선호도 데이터에 국한되었던 정렬의 발산 기반 관점을 RLVR 로 확장하여, 두 영역 모두 정렬된 및 정렬되지 않은 분포 간의 발산을 추정하는 것으로 이해될 수 있음을 보여줍니다.
• 이론적 엄밀성: 이는 이러한 목적 함수가 분포의 분리를 명시적으로 모델링함으로써 GRPO 와 같은 표준 온-정책 방법보다 더 강력한 보상 개선 보장을 제공함을 확립합니다.
• 실용적 유용성: 하이브리드 접근 방식 (f-HAL) 은 검증 가능한 보상이 사용할 수 없을 때 안전 정렬을 위한 견고한 솔루션을 제공하며, 보상 해킹을 방지하기 위해 탐색 (보상을 통해) 과 안정성 (선호도를 통해) 을 효과적으로 균형 잡습니다.

저자들은 이론이 모든 표준 $f$-발산에 대해 단조 개선을 지지하지만, 서로 다른 발산들이 다른 유한 표본 역학을 유도할 수 있음을 겸손하게 지적합니다. 실험은 프레임워크의 실현 가능성을 검증하기 위해 최대 7B 파라미터 모델로 제한되었으며, 재현성을 위해 오픈소스 코드가 제공됩니다.