기술 요약: RSPO: 대규모 언어 모델의 정규화된 셀프 플레이 정렬 (Regularized Self-Play Alignment of Large Language Models)

1. 문제 정의

셀프 플레이 정렬(Self-play alignment)은 선호도 최적화를 2인 게임(two-player game)으로 공식화함으로써 대규모 언어 모델(LLM)을 미세 조정하는 강력한 반복적 접근 방식으로 부상했습니다. 이 프레임워크의 목표는 LLM 정책이 일반적인 선호도 모델을 기반으로 경쟁 정책보다 선호되는 응답을 생성하는 내쉬 균형(Nash Equilibrium, NE)을 찾는 것입니다. 효과적이긴 하지만, 기존의 셀프 플레이 방법(예: SPPO)은 참조 정책(reference policy)에 대한 명시적인 정규화가 부족한 경우가 많습니다.

이러한 정규화의 부재는 특히 선호도 모델이 부정확하거나, 잘못 지정되었거나, 표현력이 제한적인 경우(예: 소규모 reward model인 PairRM) **과최적화(over-optimization)**를 초래합니다. 제약 조건이 없으면 정책이 참조 모델에서 크게 벗어나 성능 저하, 응답 분포의 붕괴, 다양성 감소를 일으킬 수 있습니다. 최근의 일부 방법(예: Nash-MD)은 정규화를 포함하지만, 일반적으로 **역 KL 발산(Reverse KL divergence)**에 국한되어 있으며, 다른 발산 척도로 일반화하기 어려운 특수한 샘플링 절차(기하학적 혼합 정책)를 요구합니다. 유연한 정규화 전략을 지원하면서도 이론적인 수렴 보장을 유지할 수 있는 통합된 프레임워크가 부족한 실정입니다.

2. 방법론: 정규화된 셀프 플레이 정책 최적화 (RSPO)

저자들은 다양한 정규화 전략의 "플러그 앤 플레이(plug-and-play)" 통합을 가능하게 하고 기존 셀프 플레이 방법들을 통합하는 새로운 프레임워크인 RSPO를 제안합니다.

핵심 프레임워크

RSPO는 평균 제곱 셀프 플레이 손실과 가중치가 부여된 정규화 항을 결합한 손실 함수 $L_{RSPO}$를 정의합니다:
$$L_{RSPO} = \mathbb{E}_{y \sim \pi_t} \left[ \left( \log \frac{\pi_\theta(y)}{\pi_t(y)} - \eta \left( G(y, \pi_t, \mu) - B(\pi_t, \mu) \right) \right)^2 \right] + \lambda R(\pi_\theta, \mu)$$

여기서:

• $G(y, \pi_t, \mu)$: 업데이트 방향으로, 일반적으로 선호도 그래디언트 $P(y \succ \pi_t)$로 설정됩니다.
• $B(\pi_t, \mu)$: 분산 감소를 위한 베이스라인 함수 (1/2로 설정).
• $R(\pi_\theta, \mu)$: 현재 정책 $\pi_\theta$와 참조 정책 $\mu$ 사이의 거리를 측정하는 일반적인 볼록 정규화 함수입니다.
• $\lambda$: 정규화 온도(regularization temperature)입니다.

주요 메커니즘

1. 통합 및 단순성: RSPO는 손실 함수에 $\lambda R(\pi_\theta, \mu)$ 항을 단순히 추가함으로써 기존의 비정규화 방법(SPPO 등)을 일반화합니다. 또한, Nash-MD가 특수한 업데이트 방향을 가진 역 KL 정규화 하에서의 RSPO의 특정 사례임을 보여줌으로써 Nash-MD를 일반화합니다.
2. 유연한 정규화: 기하학적 혼합 정책으로부터 샘플링을 필요로 하며 역 KL에 본질적으로 묶여 있는 Nash-MD와 달리, RSPO는 임의의 정규화 함수 $R$을 허용합니다. 저자들은 다음을 실험했습니다:
   • 역 KL 발산 ($D_{KL}(\pi \parallel \mu)$)
   • 순방향 KL 발산 ($D_{KL}(\mu \parallel \pi)$), 중요도 샘플링(IS) 또는 직접 재샘플링을 통해 추정.
   • 카이제곱 발산 ($\chi^2$).
   • 선형 결합 (예: 순방향 + 역 KL).
3. 이론적 보장: 저자들은 RSPO 손실을 최적화하는 것이 일반화된 자기적 미러 디센트(Generalized Magnetic Mirror Descent, GMMD) 프레임워크 내에서 강화 학습을 수행하는 것과 동일함을 입증했습니다. 정규화 함수 $R$이 엔트로피 함수에 대해 1-강볼록(1-strongly convex)이라는 가정하에, RSPO는 해당 정규화된 선호도 최적화 게임의 내쉬 균형으로 **최종 반복 수렴(last-iterate convergence)**을 달성함이 증명되었습니다.

3. 주요 기여

• 프레임워크 제안: 다양한 발산 척도의 간단한 통합을 허용하며 셀프 플레이 최적화 목적 함수와 특정 정규화 선택을 분리하는 모듈형 프레임워크인 RSPO를 도입했습니다.
• 이론적 확장: 역 KL 정규화 게임에서 일반 정규화 게임으로 수렴 보장을 확장하여, RSPO가 정규화된 게임의 NE로 수렴함을 증명했습니다.
• 정규화의 경험적 분석: 서로 다른 정규화 도구의 뚜렷한 효과를 밝히는 체계적인 연구를 수행했습니다:
  • 역 KL: 원시 승률(raw win rates)을 크게 향상시키고 과최적화를 완화하는 데 도움을 줍니다.
  • 순방향 KL: 응답 길이를 줄이는 경향이 있지만(길이 편향 해결), 상대적 볼록성 가정을 위반할 경우 단독 사용 시 승률을 낮출 수 있습니다.
  • 결합 전략: 순방향과 역 KL의 선형 결합은 길이 제어 승률(LCWR)을 높이면서 다양성을 유지하는 최적의 균형을 달 achieves 합니다.
• 파라미터 효율성: RSPO가 훨씬 더 큰 선호도 모델을 사용하는 방법들과 대등한 성능을 달성할 수 있음을 입증하며, 훨씬 적은 수의 파라미터를 활용합니다.

4. 실험 결과

저자들은 Mistral-7B, LLaMA-8B, Gemma-2B를 대상으로 AlpacaEval-2, Arena-Hard, MT-Bench, ArmoRM 벤치마크를 사용하여 RSPO를 평가했습니다.

• 성능 향상: 튜닝된 정규화 도구(특히 순방향 및 역 KL의 결합)를 사용한 RSPO는 비정규화된 SPPO 베이스라인을 실질적으로 능가했습니다.
  • Mistral-7B: AlpacaEval-2에서의 LCWR이 28.5%(SPPO)에서 **35.4%**로 향상되었습니다.
  • LLaMA-8B: LCWR이 **38.77%**에서 **43.66%**로 향상되었습니다.
  • Gemma-2B: LCWR이 **50.54%**에서 **51.83%**로 향상되었습니다.
• 강건성: 과최적화로 인해 후기 반복에서 성능 저하를 보였던 비정규화된 SPPO와 달리, RSPO는 반복 과정 전반에 걸쳐 성능을 유지하거나 개선했습니다.
• 다양성: 역 KL 정규화를 적용한 RSPO는 특정 맥락에서 응답 다양성(낮은 Self-BLEU 점수)을 증가시키는 것으로 관찰되었으며, 이는 정규화가 다양성을 감소시킨다는 직관에 반하는 결과입니다. 이는 참조 정책의 다중 모드(multi-modal) 분포 덕분인 것으로 분석됩니다.
• 효율성: LLaMA-8B에 대해 0.5B 선호도 모델(PairRM)로 훈련된 RSPO는 8B 선호도 모델(GPM-8B)로 훈련된 SPPO와 유사한 성능을 달성하였으며, 이는 총 파라미터의 47% 감소를 의미합니다.

5. 의의 및 주장

본 논문은 RSPO가 정규화된 셀프 플레이 정렬을 탐구하기 위한 강력한 토대를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 과최적화 문제 해결: 명시적으로 정규화를 포함함으로써, 실제 LLM 정렬에서 중요한 문제인 부정확한 선호도 모델과 관련된 위험을 완화합니다.
2. 유연성 및 일반성: 역 KL 발산에 대한 의존성을 깨뜨려, 연구자들이 단일한 이론적 프레임워크 내에서 서로 다른 발산 척치의 구체적인 이점(예: 순방향 KL의 길이 제어, 역 KL의 성능 향상)을 활용할 수 있게 합니다.
3. 실질적 영향: 복잡한 아키텍처 변경이나 특수한 샘플링 절차 없이도 여러 베이스 모델과 벤치마크에서 상당한 경험적 개선을 제공하며, 기존 셀프 플레이 파이프라인에 대한 "플러그 앤 플레이" 솔루션이 됩니다.

저자들은 정규화가 단순한 기술적 세부 사항이 아니라, 모델이 더 높은 품질, 더 높은 다양성, 더 강력한 응답을 달성할 수 있게 하는 핵적인 구성 요소라고 결론짓습니다.