기술 요약: 자기회귀적 직접 선호 최적화 (Autoregressive Direct Preference Optimization, ADPO)

문제 정의

직접 선호 최적화(Direct Preference Optimization, DPO)는 명시적인 보상 모델링 없이 브래들리-테리(Bradley-Terry, BT) 모델로부터 최적의 정책을 분석적으로 도출함으로써 대규모 언어 모델(LLM)을 인간의 선호도에 정렬시키는 표준적인 방법이 되었습니다. 그러나 저자들은 표준 DPO 공식에서 이론적 한계를 식별했습니다. LLM은 본질적으로 자기회귀적(순차적으로 토큰을 생성)이지만, 표준 DPO 목적 함수는 정책의 자기회귀적 특성을 가정한 후, 전체 응답 수준에서 BT 모델을 적용합니다.

구체적으로, 표준 DPO는 출력 공간 $\mathcal{Y}$에 대한 BT 모델을 사용하여 목적 함수를 도출한 다음, 그 후에 로그 확률을 토큰 수준 항들의 합으로 확장합니다. 이는 결과적으로 로그-시그모이드(log-sigmoid) 함수 내부에서 토큰 수준 로그 비율의 합산이 발생하는 손실 함수를 생성합니다. 저자들은 이러한 순서가 선호 모델을 유도하는 과정에서 자기회귀적 가정을 충분히 활용하지 못하며, 이는 최적화의 세밀함과 이론적 일관성을 제한할 수 있다고 주장합니다.

방법론: 자기회귀적 DPO (ADPO)

본 논문은 자기회귀적 가정을 BT 모델을 적용하기 전에 명시적으로 포함하는 새로운 변형인 **자기회귀적 DPO (ADPO)**를 제안합니다.

이론적 공식화

1. 접두사 폐쇄(Prefix Closure) 및 에너지 함수: ADPO는 보상 함수의 도메인을 전체 출력 공간 $\mathcal{Y}$에서 그 접두사 폐쇄 $\mathcal{Y}^*$(모든 불완전한 응답의 집합)로 확장합니다. 또한 이 접두사들에 대해 "접두사별" 에너지 함수 $E^*_1$과 $E^*_2$를 정의합니다.
2. 접두사별 브래들리-테리(BT) 모델: 전체 시퀀스에 대한 선호를 모델링하는 대신, ADPO는 접두사별 BT 모델을 정의합니다. 선호되는 시퀀스 $y_w$가 비선호되는 시퀀스 $y_l$보다 선호될 확률은 각 접두사 단계 $i$에서의 선호 확률의 곱으로 공식화됩니다.
3. 손실 함수의 유도: 접두사별 BT 프레임워크 내에서 참조 모델 $\pi_{ref}$와 학습 가능한 모델 $\pi_\theta$에 자기회귀적 가정을 적용함으로써, 저자들은 새로운 손실 함수를 도출합니다.
   • 핵심 구조적 차이: 표준 DPO의 손실은 $-\log \sigma(\sum_i \Delta_i)$인 반면, ADPO에서는 합산이 로그-시그모이드 함수 외부로 이동합니다:
     $$\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$$
   • 이 공식은 선호 최적화를 단일 시퀀스 수준의 결정이 아닌, 일련의 토큰 수준(또는 서브-시퀀스 수준) 결정으로 취급합니다.

이론적 분석: 길이 척도

논문은 DPO와 ADPO의 관계를 명확히 하는 두 가지 길이 척도를 도입합니다:

• 토큰 길이 ($\mu$): LLM의 자기회귀적 특성에 내재된 시퀀스의 토큰 수입니다.
• 피드백 길이 ($\mu'$): 인간의 피드백이 적용되는 입도(granularity)입니다.
  • 표준 DPO는 $\mu'(y) = 1$인 특수한 경우에 해당합니다 (피드백이 전체 응답에 대해서만 주어짐).
  • ADPO는 $\mu'$가 $\mu$와 독립적일 수 있도록 하여, 임의의 입도(예: 토큰 수준, 문장 수준, 또는 고정 윈도우 수준)로 훈련할 수 있게 합니다.

저자들은 접두사별 BT 모델과 일치하는 모든 보상 함수는 자기회귀적 모델로 재매개변수화될 수 있음을 증명하여, ADPO가 KL 제약 보상 최대화 문제와 이론적으로 일치함을 보장합니다.

주요 기여

1. ADPO 공식화: 에너지 도메인을 접두사 폐쇄 $\mathcal{Y}^*$로 확장함으로써, BT 모델에 자기회귀적 가정을 명시적으로 통합하여 선호 최적화 목적 함수를 도출하는 ADPO를 도입했습니다.
2. 손실 함수 혁신: 토큰 수준 로그 비율의 합산을 로그-시그모이드 함수 외부로 이동시킨 손실 함수를 도출하여, 더 미세한 입도의 훈련을 촉진할 수 있는 이론적으로 일관된 방법을 제공했습니다.
3. 입도에 대한 이론적 통찰: 토큰 길이 척도($\mu$)와 피드백 길이 척도($\mu'$)를 식별하고 구분했습니다. 논문은 DPO가 $\mu' \equiv 1$인 ADPO의 특수 사례임을 보여주며, $\mu'$를 변화시킴으로써 전체 응답부터 토큰 수준 최적화까지 아우르는 모델 패밀리를 생성할 수 있음을 입증합니다.
4. 재매개변수화 완결성: 완만한 가정 하에, 모든 보상 함수는 접두사별 프레임워크 내에서 자기회귀적 모델로 재매개변수화될 수 있음을 증명했습니다.

실험 결과

저자들은 다양한 LLM 아키텍처(Llama-3, Qwen, Gemma, DeepSeek-Math)를 대상으로 수학적 추론 및 대화 작업에서 ADPO를 평가했습니다.

• 수학적 추론 (GSM8K, MATH500):
  • ADPO 변형 모델들은 모든 모델에서 표준 DPO 및 토큰 수준 대조 방법인 cDPO보다 일관되게 우수한 성능을 보였습니다.
  • 가장 좋은 결과는 cADPO(ADPO와 핵심 토큰 식별 결합)에서 나타났으며, Qwen-3-8B는 GSM8K에서 **91.74%**의 정확도에 도달했습니다.
  • 입도 분석: "정적(Static)"(고정 윈도우 크기 $k$) 및 "적응형(Adaptive)"(고정 세그먼트 수 $m$) 패밀리 실험 결과, 더 미세한 입도가 일반적으로 성능을 향상시켰습니다. 특히, 토큰 수준($k=1$) 및 높은 세그먼트 적응형 설정($m \ge 128$)이 전체 응답 DPO보다 우수한 결과를 냈습니다.
• 대화 작업 (AlpacaEval 2, Arena-Hard, MT-Bench):
  • ADPO는 DPO보다 뛰어난 성능을 보였으며, 모든 벤치마크에서 SimPO와 대등하거나 더 나은 성능을 기록했습니다.
  • $m=256$인 적응형 패밀리가 AlpacaEval 2에서 가장 높은 길이 제어 승률(Length-Controlled Win Rate, 45.8%)을 달성했습니다.
• 훈련 역학: 로그 확률 분석 결과, ADSO는 특히 입도가 증가함에 따라 선호되는 시퀀스와 비선호되는 시퀀스 간의 구분을 더 효과적으로 증폭시키는 것으로 나타났습니다.
• 효율성: ADPO에 의해 도입된 추가적인 접두사별 계산은 무시할 만한 수준의 훈련 오버헤드(실제 실행 시간의 약 5.7% 증가)를 초래했습니다.

의의 및 주장

본 논문은 ADPO가 LLM의 자기회귀적 특성과 더 잘 부합하는, 이론적으로 일관된 DPO의 확장임을 주장합니다. 합산을 로그-시그모이드 함수 외부로 이동시킴으로써, ADPO는 선호 최적화의 근본 원칙을 위반하지 않으면서 임의의 입도로 최적화를 가능하게 합니다.

저자들은 자신의 연구가 토큰 길이와 피드백 길이 척도를 명시적으로 구분한 첫 번째 연구이며, 전체 응답(DPO)과 토کن 수준 접근 방식을 모두 포괄하는 통합된 프레임워크를 제공한다고 강조합니다. 실험 결과는 이러한 미세한 입도를 활용하는 것이 상당한 계산 비용 없이도 복잡한 추론 작업에서 더 견고한 정렬을 이끌어낼 수 있음을 시사합니다. 결론적으로, ADPO는 원래의 KL 제약 프레임워크에 의존하지만, 향후 연구를 통해 발산 지표를 일반화하거나 비자기회귀 모델을 위해 에너지 정의를 조정할 수 있음을 언급하며 마무리합니다.