기술 요약: RLHF 를 넘어선 정렬을 위한 통합 이론적 프레임워크

문제 제기

인간 피드백을 통한 강화학습 (RLHF) 은 대규모 언어 모델 (LLM) 을 인간의 선호도와 정렬시키는 데 있어 지배적인 패러다임이 되었습니다. 그러나 본 논문은 현재 RLHF 및 관련 정렬 방법에 대한 이해에서 중요한 이론적 간극을 식별합니다:

1. 정당성 부재: 기존 이론들은 종종 RLHF 목적 함수를 타우톨로지 (목적 함수 자체의 인구 버전으로 수렴) 로 취급할 뿐, 왜 그것이 목표 언어 모델로 수렴하는지에 대한 학습 이론적 정당성을 제공하지 못합니다.
2. 호환되지 않는 프레임워크: 서로 다른 방법들 (예: DPO, RLHF, REBEL) 이 상이한 이론적 프레임워크 하에서 분석되어, 그들의 수렴 보장을 직접적으로 비교할 수 없습니다.
3. RLHF 딜레마: 표준 RLHF 목적 함수는 정규화 강도 $\beta$에 관한 점근적 딜레마에 직면합니다. $\beta$가 고정되면 모델은 과소적합됩니다 (참조 정책과 너무 가깝게 머무름); 데이터가 증가함에 따라 $\beta$가 0 으로 감소하면 해가 퇴화할 수 있습니다.
4. 경험적 vs 이론적 간극: 경험적으로, RLHF 와 같은 온-폴리시 (on-policy) 목적 함수는 직접 선호도 최적화 (DPO) 와 같은 가능도 기반 방법보다 종종 우수한 성능을 보이지만, 기존 이론들은 각 방법에 대해 개별적인 임시방편적 보장만 제공하므로 이러한 우월성을 설명하지 못합니다.

저자들은 정렬을 보상 최대화가 아닌 쌍별 선호도로부터의 분포 학습으로 재정의할 것을 제안합니다. 핵심 질문은 다음과 같습니다: 어떤 가정 하에서 목표 언어 모델 ($\pi^*$) 로 확실히 수렴하는 학습 목적 함수를 유도할 수 있는가?

방법론

본 논문은 목표 (오라클) 언어 모델 $\pi^*$의 존재를 가정하고, 선호도 피드백이 $\pi^*$에 대한 정보를 어떻게 드러내는지 명시적으로 모델링합니다.

1. 선호도 모델

저자들은 브래들리 - 테리 (Bradley-Terry, BT) 모델을 가정합니다. 여기서 프롬프트 $x$가 주어졌을 때 응답 $a$를 $b$보다 선호할 확률은 외부 보상 함수가 아닌 목표 모델의 확률에 의해 직접 결정됩니다:
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
여기서 $\gamma > 0$는 하이퍼파라미터입니다. 이 가정은 선호도 모델이 명시적으로 언어 모델임을 의미하며, 보상과 언어 모델 (LM) 간의 관계를 유도하기 위해 '모든 정책 (all-policy)' 가정에 의존하는 DPO 와 대조됩니다.

2. 제안된 목적 함수

이 분포 학습 관점을 바탕으로 저자들은 세 가지 원칙적인 정렬 목적 함수를 유도합니다:

• 선호도 최대 가능도 추정 (PMLE):
  이 목적 함수는 BT 가정 하에서 관찰된 쌍별 선호도의 가능도를 최대화하며, 참조 정책 $\pi_0$에 대한 KL 발산으로 정규화됩니다.
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  명시적인 정규화 없이 가능도 비율을 최소화하여 (잠재적으로 퇴화된 분포로 이어질 수 있음) DPO 와는 달리, PMLE 는 안정성을 보장하기 위해 명시적인 KL 항을 포함합니다.

• 선호도 증류 (Preference Distillation):
  이 접근법은 먼저 보상 모델 $\hat{R}$을 학습합니다 (선호도 시뮬레이터 학습과 동일). 그런 다음 이 선호도 분포를 언어 모델로 증류합니다. REBEL 에서와 같이 제곱 손실을 사용하는 대신, 학습된 시뮬레이터와 목표 정책의 이진 선호도 분포 간의 KL 발산을 최소화합니다:
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  이 공식은 BT 모델에서 명시적으로 유도되었으며, 제곱 손실의 통계적 정당성 문제를 회피합니다.

• 역 KL (RKL) 최소화:
  목표가 분포 학습임을 인식하여, 저자들은 역 KL 발산 $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$을 최소화할 것을 제안합니다. $\pi^*$는 알 수 없으므로, 보상 모델에서 유도된 추정치 $\hat{\pi}$를 대입합니다.
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  이 목적 함수는 RLHF 와 유사하지만 추가적인 엔트로피 항 ($-\gamma H(\pi(x))$) 을 포함합니다. 저자들은 이것이 RLHF 에 대한 보정 역할을 하여, $n \to \infty$일 때 표준 RLHF 가 진정한 $\pi^*$로 수렴하지 못하는 점근적 딜레마를 해결한다고 주장합니다.

3. 이론적 보장

본 논문은 세 가지 방법 모두에 대해 비점근적 $O(1/n)$ 수렴 보장을 제공합니다. 구체적으로, 전방 KL 오차 $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$가 데이터셋 크기 $n$에 대해 $O(1/n)$ 비율로 0 으로 수렴함을 증명합니다.

• PMLE 및 선호도 증류: 정책 클래스 $\Pi$의 커버리지 계수에 의존하는 상한을 달성합니다.
• 역 KL: 종종 $\Pi$보다 작은 보상 유도 모델 클래스 $\mathcal{P}_\gamma(\mathcal{R})$의 커버리지 계수에 의존하는 더 엄격한 상한을 달성합니다. 이는 이론적으로 온-폴리시 방법 (RKL/RLHF 등) 이 가능도 기반 방법 (PMLE/DPO 등) 보다 종종 경험적으로 우수한 성능을 보이는 이유를 설명합니다.

주요 결과

이론적 발견

• RLHF 의 정당화: RKL 목적 함수는 엔트로피 보정이 적용된 경우 일관된 분포 학습 목적 함수의 특수한 경우 ($\gamma \to 0$) 임을 보여 RLHF 목적 함수에 대한 강력한 이론적 정당성을 제공합니다.
• 딜레마의 해결: 이론적 분석과 토이 실험 (그림 1) 은 정규화 딜레마로 인해 $n \to \infty$일 때 표준 RLHF 가 비영 (non-zero) 오차에서 포화되는 불일치를 겪는 반면, 제안된 RKL 방법은 진정한 목표 모델로 수렴함을 보여줍니다.
• 온-폴리시 방법의 우월성: 이 이론은 역 KL (RLHF 와 유사) 이 전체 정책 클래스 대신 보상 모델 클래스의 더 작은 복잡성을 활용하기 때문에 PMLE(DPO 와 유사) 보다 우수한 수렴 보장을 누린다는 것을 확인합니다.

경험적 발견

두 가지 작업에 대해 실험이 수행되었습니다:

1. TL;DR 요약: Pythia-2.8B 및 Pythia-6.9B 모델을 사용.
   • 승률: 제안된 방법들 (PMLE, 선호도 증류, 역 KL) 은 DPO, REBEL, RLHF 와 같은 베이스라인에 비해 일관되게 더 높은 GPT-4 승률을 달성했습니다.
   • KL 발산: PMLE 는 DPO 에 비해 참조 모델에 대한 KL 발산을 현저히 낮게 달성하여 명시적 정규화기의 이점을 검증했습니다.
2. 일반 채팅 (UltraFeedback): LLaMA-3-8B-Instruct 를 사용.
   • MT-Bench, AlpacaEval 2.0, Arena Hard 에서 평가.
   • PMLE 와 선호도 증류는 대부분의 벤치마크에서 DPO 와 REBEL 을 능가했으며, 특히 AlpacaEval 2.0 과 Arena Hard 에서 강력한 향상을 보였습니다.

중요성 및 주장

본 논문은 정렬 문제를 쌍별 선호도로부터의 분포 학습으로 간주하는 최초의 통합 이론적 프레임워크를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 통합적 관점: 기존 방법들 (DPO, RLHF, REBEL) 을 단일 확률적 가정 하에 통합하여 그들의 숨겨진 가정을 명시화합니다.
2. 이론적 기반: 쌍별 피드백으로부터 목표 분포를 학습하는 데 대한 엄격한 비점근적 $O(1/n)$ 수렴 보장을 제공하며, 이는 이전까지 이 설정에서 사용 가능하지 않았습니다.
3. 경험적 경향에 대한 설명: 온-폴리시 목적 함수 (RLHF) 가 가능도 기반 목적 함수 (DPO) 보다 종종 우수한 성능을 보인다는 경험적 관찰에 대한 최초의 이론적 확인을 제공하며, 이를 보상 모델 클래스와 정책 클래스의 커버리지 특성 차이로 귀인합니다.
4. RLHF 의 보정: 표준 RLHF 목적 함수의 특정 결함 (일관성 부재로 이어지는 엔트로피 항의 부재) 을 식별하고, RLHF 의 실용적 이점을 유지하면서 이론적 일관성을 보장하는 보정된 목적 함수 (RKL) 를 제안합니다.

저자들은 그들의 방법이 강력한 베이스라인과 경쟁력을 갖지만, 주요 가치는 이러한 방법들이 왜 작동하는지 그리고 어떻게 개선될 수 있는지를 설명하는 이론적 프레임워크에 있다고 결론지었습니다. 향후 작업으로는 모드 추구 (mode-seeking) 대 모드 커버링 (mode-covering) 목적 함수의 탐구와 대안적 발산으로의 프레임워크 확장이 제안됩니다.