Relative Density Ratio Optimization for Stable and Statistically Consistent Model Alignment

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 을 인간의 선호도에 정렬 (Alignment) 하는 것은 모델의 안전성과 신뢰성을 보장하는 데 필수적입니다. 기존 방법론들은 주로 Bradley-Terry 모델과 같은 특정 인간 선호도 모델을 가정합니다 (예: RLHF, DPO, KTO).

• 한계점 1 (통계적 불일치): 실제 인간의 선호도는 복잡하고 일관성이 없을 수 있어 (예: A>B, B>C 이지만 C>A 인 순환적 선호도), Bradley-Terry 모델과 같은 단순한 가정이 실제 선호도를 정확히 포착하지 못합니다. 이로 인해 샘플 수가 증가하더라도 모델이 진정한 인간 선호도로 수렴한다는 통계적 일관성 (Statistical Consistency) 이 보장되지 않습니다.
• 한계점 2 (안정성 문제): 통계적 일관성을 보장하기 위해 제안된 직접 밀도비 최적화 (DDRO, Direct Density Ratio Optimization) 는 인간 선호도 모델을 가정하지 않고 밀도비 추정 (Density Ratio Estimation) 을 기반으로 합니다. 그러나 DDRO 는 밀도비 (Density Ratio) 가 두 분포의 지지대 (Support) 가 다를 경우 발산 (Diverge) 할 수 있어, 학습 과정에서 불안정성 (Instability) 과 기울기 폭발 (Gradient Spikes) 이 발생하는 문제가 있습니다.

2. 제안 방법: RDRO (Relative Density Ratio Optimization)

저자들은 DDRO 의 불안정성을 해결하면서도 통계적 일관성을 유지하는 새로운 정렬 방법인 상대 밀도비 최적화 (RDRO) 를 제안합니다.

• 핵심 아이디어:
  • 기존 DDRO 가 '선호 데이터 분포 ($p_+$)'와 '비선호 데이터 분포 ($p_-$)'의 비율인 $p_-/p_+$를 모델링하는 대신, RDRO 는 상대 밀도비 (Relative Density Ratio) 를 정의합니다.
  • 정의: $r^*(y|x) = \frac{p_+(y|x)}{\alpha p_+(y|x) + (1-\alpha)p_-(y|x)}$
  • 여기서 분모는 선호와 비선호 데이터의 혼합 분포 (Reference Policy, $p_{ref}$) 입니다.
• 안정성 보장:
  • 일반 밀도비 ($p_-/p_+$) 는 $p_+ \to 0$일 때 무한대로 발산할 수 있지만, RDRO 의 상대 밀도비는 상한 ($1/\alpha$) 이 존재하여 발산하지 않습니다.
  • 이로 인해 학습 중 기울기 폭발이 억제되어 학습 안정성이 크게 향상됩니다.
• 손실 함수 (Loss Function):
  • Bregman 발산을 최소화하는 프레임워크를 사용하며, 로지스틱 회귀 형태로 유도됩니다.
  • $L_{RDRO}(\theta) = \sum_{(x,y) \in D_+} [(1+\alpha)\phi(T_\theta) - T_\theta] + \sum_{(x,y) \in D_-} [(1-\alpha)\phi(T_\theta)]$
  • 여기서 $T_\theta = \log p_\theta - \log p_{ref}$이며, $\phi(t) = \log(1+e^t)$는 softplus 함수입니다.
  • DDRO 에서 필요했던 별도의 KL 발산 정규화 항이 $\alpha$ 하이퍼파라미터를 통해 자연스럽게 통합되어 불필요해집니다.

3. 주요 기여 (Key Contributions)

1. 새로운 정렬 방법론 제안: 밀도비 추정을 기반으로 하되, 발산 문제를 해결한 RDRO를 제안했습니다.
2. 이론적 증명:
   • 안정성: 상대 밀도비가 유계 (Bounded) 이므로 DDRO 보다 학습이 안정적임을 증명했습니다.
   • 통계적 일관성: 샘플 수가 증가함에 따라 모델이 진정한 인간 선호도로 수렴함을 보장합니다.
   • 수렴 속도: DDRO 와 비교하여 훨씬 더 엄격한 (Tighter) 수렴 보장을 제공합니다. 특히 DDRO 의 오차 상한에 포함되던 $1/m_+$ (최소 확률 역수) 와 같은 불안정성 요인이 제거되어 이론적 오차 범위가 크게 줄어듭니다.
3. 실험적 검증: Qwen 2.5 와 Llama 3 시리즈를 사용하여 다양한 데이터셋 (UF-G, MIX-14K) 에서 KTO 및 DDRO 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: UltraFeedback GPT-3.5-Turbo Helpfulness (UF-G) 와 KTO Mix 14K (MIX-14K) 사용.
• 모델: Qwen 2.5 (1.5B, 3B), Llama 3 (3B, 8B).
• 평가 지표: AlpacaEval 길이 제어 (LC) 승률 (Win Rate).
• 성과:
  • UF-G (실제적 난이도): 모든 모델에서 RDRO 가 KTO 와 DDRO 보다 동등하거나 우수한 성능을 보였습니다. 특히 Llama-3B 와 Llama-8B 에서 통계적으로 유의미한 개선을 달성했습니다.
  • MIX-14K (쉬운 데이터셋): 모든 방법이 경쟁력 있는 성능을 보였으나, RDRO 역시 최상위권을 유지했습니다.
  • 하이퍼파라미터 민감도: $\alpha$ 값에 대해 성능 변화가 미미하여 모델이 강건 (Robust) 함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 정렬 분야에서 이론적 엄밀성 (통계적 일관성) 과 실용적 안정성 (학습 안정성) 을 동시에 달성한 중요한 진전을 보여줍니다.

• 기존 방법론들이 가진 '가정 오류'와 '학습 불안정성'이라는 두 가지 큰 걸림돌을 상대 밀도비라는 개념 하나로 해결했습니다.
• DDRO 의 이론적 장점을 유지하면서 발산 문제를 방지함으로써, 실제 산업 환경에서 더 안정적이고 신뢰할 수 있는 정렬 모델을 구축할 수 있는 기반을 마련했습니다.
• 특히, 복잡한 인간 선호도 (순환적 선호 등) 를 가정하지 않고도 데이터에 기반하여 모델이 수렴할 수 있음을 이론적으로 증명했다는 점이 학술적으로 큰 의의가 있습니다.