기술 요약: 최대 주변 가능도 추정을 통한 오프라인 선호도 최적화 (MMPO)

문제 정의

대규모 언어 모델(LLM)을 인간의 선호도에 맞게 정렬하는 것은 실제 배포를 위한 핵심적인 단계이며, 전통적으로 인간 피드백으로부터의 강화 학습(RLHF)을 통해 달성됩니다. 그러나 표준 RLHF 파이프라인은 별도의 보상 모델을 훈련해야 하고 근사 정책 그래디언트(PPO)와 같은 민감한 정책 그래디언트 알고리즘을 사용해야 하므로 복잡하고 불안정합니다. Direct Preference Optimization (DPO)는 이를 분류 문제로 재구성하여 단순화했지만, 그 손실 함수는 여전히 RLHF 목적 함수에서 유도되었으며, 이는 암묵적으로 언어 모델의 엔트로피를 최적화하도록 장려합니다. 저자들은 더 완화된 가정하에서도 효과적인 정렬이 가능한지, 구체적으로 보상 함수와 표준 RLHF 목적 함수에 내재된 엔트로피 최대화 항에 대한 명시적인 필요성을 제거하면서도 가능한지를 조사합니다.

방법론: MMPO

본 논문은 새로운 오프라인 선호도 정렬 알고리즘인 **최대 주변 가능도 선호도 최적화 (Maximum Marginal Likelihood Preference Optimization, MMPO)**를 제안합니다.

이론적 기초

MMPO는 정렬 문제를 최대 주변 가능도(Maximum Marginal Likelihood, MML) 추정의 관점에서 재구성합니다. 이 방법은 선호되는 텍스트 출력 $y$가 입력 $x$가 주어졌을 때의 확률 $P_\theta(y|x)$를 최대화하는 것을 목표로 합니다.

• 정식화: 목표는 $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$를 최대화하는 것입니다. 여기서 $z$는 가능한 텍스트 완성본들을 나타내며, $P^*$는 실제 기저 분포입니다.
• 근사: 모든 가능한 $z$에 대한 합산은 계산이 불가능하므로, 제공된 선호 쌍 $(z_w, z_l)$ (선택된 응답과 거절된 응답)을 샘플로 사용하여 주변 가능도를 근사합니다.
• 안정성: 훈련 중 수치적 안정성을 보장하기 위해, 목적 함수는 log-sum-exp 연산을 사용하여 재정식화됩니다.

선호도 최적화와의 이론적 연결

저자들은 근사 MML 목적 함수를 최적화하는 것이 암묵적으로 선호도 최적화를 수행함을 입증합니다 (정리 3.2).

• 암묵적 그래디언트: 결과적인 그래디언트 업데이트는 선택된 응답($z_w$)과 거절된 응답($z_l$)에 대한 그래디언트의 가중 합과 동일한 것으로 나타납니다.
• 가중치 메커니즘: 이 과정은 점수 차이의 시그모이드 함수($\sigma(s_w - s_l)$)에 의해 조절되어, 거절된 응답에 비해 선택된 응답의 가중치를 자연스럽게 높입니다.
• 핵심 차이점: 이 프로세스는 보상 함수나 엔트로피 최대화 항을 명시적으로 구성하지 않고도 선호도 정렬을 달성합니다.

알고리즘 구현

MMPO 손실 함수는 다음과 같은 몇 가지 구체적인 설계 선택 사항을 포함합니다:

1. 점수 정의: 점수 $s_w$와 $s_l$은 로그 확률과 보상 항(참조 모델의 로그 확률과 하이퍼파라미터 $\beta$를 통해 근사됨)을 기반으로 정의됩니다.
2. 인-배치 정규화 (In-Batch Normalization): 훈련을 안정화하고 이상치가 그래디언트를 지배하는 것을 방지하기 위해 배치 내에서 보상을 정규화합니다. 이는 상대적 점수가 일관된 척도에 있도록 보장합니다.
3. 보조 목적 함수: 선호 제약 조건($s_w \ge s_l$)을 명시적으로 강화하기 위해 보조 항 $\log \sigma(s_w - s_l)$가 추가됩니다. 이는 SFT 모델에 대한 로그 확률 비율이 아닌 정규화된 점수 상에서 작동하며, DPO와 유사하게 직접적인 감독 신호를 제공합니다.

주요 기여

1. 알고리즘 도입: 선호 쌍을 MML 추정을 위한 샘플로 취급하는 새로운 오프라인 선호도 최적화 알고리즘인 MMPO를 제안했습니다.
2. 이론적 분석: MMPO가 선호되는 응답을 본질적으로 선호하도록 하는 가중 그래디언트 업데이트와 동일하다는 것을 보여주는 증명을 제시했습니다. 이는 명시적인 보상 모델링이나 엔트로피 항 없이도 가능합니다.
3. 경험적 안정성: MMPO가 DPO 및 SimPO에 비해 핵심 하이퍼파라미터인 $\beta$에 대해 훨씬 더 높은 안정성을 보임을 입증했습니다.
4. 역량 보존: MMPO가 기존 베이스라인들에 비해 베이스 인스트럭션 튜닝 모델의 일반적인 언어 능력(추론 및 이해)을 더 잘 보존한다는 증거를 제시했습니다.
5. 벤치마크 성능: 135M에서 8B 파라미터에 이르는 모델 전반에 걸쳐 AlpacaEval-2 벤치마크에서 경쟁력 있거나 우수한 승률(win-rates)을 달ت했습니다.

실험 결과

저자들은 Orca DPO Pairs 및 UltraFeedback-Binarized 데이터셋을 사용하여 네 가지 모델 크기(SmolLM2-135M, SmolLM2-360M, Llama3.2-1B, Llama3-8B)에 대해 MMPO를 평가했습니다.

• 안정성: $\beta$에 상당한 민감도를 보이는 DPO 및 SimPO와 달리, MMPO는 다양한 $\beta$ 값(0.01, 0.05, 0.5)에 대해 일관된 성능을 유지했습니다.
• 선호도 정렬: MMPO는 AlpacaEval-2에서 강력한 승률을 달성했습니다. 예를 들어, SmolLM2-135M의 경우 MMPO는 승률이 67.3%까지 단조롭게 향상된 반면, DPO는 매우 낮은 승률을 보였고 SimPO는 훈련 에포크가 진행됨에 따라 크게 저하되었습니다.
• 일반 역량 유지: 10가지 다양한 언어 이해 태스크를 포함하는 LM Harness 벤치마크에서 평가했을 때, MMPO는 일반적인 언어 능력의 저하를 최소화했습니다. 반면, DPO와 SimPO는 특히 높은 선호도 정렬을 위해 튜닝될 때 더 큰 정확도 하락을 보이는 경우가 많았습니다.
• 파레토 최적성 (Pareto Optimality): MMPO는 베이스라인과 비교하여 일반적인 추론 능력을 최소한으로 희생하면서 더 높은 선호도 승률을 제공하는 더 유리한 트레이드오프 프로필을 보여주었습니다.

절제 연구 (Ablation Studies)

SmolLM2-360M 모델에 대한 실험 결과는 다음과 같습니다:

• 길이 정규화 (Length Normalization): 일반적인 정확도는 개선되었으나 선호도 승률을 크게 높이지는 못했습니다.
• 엔트로피 최대화: 엔트로피 항을 명시적으로 추가하면 두 벤치마크 모두에서 성능이 저하되었습니다. 이는 MMPO의 암시적 최적화가 충분하며, 명시적인 다양성 장려가 이 문맥에서는 해롭다는 것을 시사합니다.
• 보조 손실 및 정규화: DPO 스타일의 보조 손실이나 인-배치 정규화를 제거하면 승률은 약간 향상되었으나 정점 일반 정확도는 저하되었습니다. 이는 핵심 log-sum-exp 항이 성능을 주도하는 한편, 보조 구성 요소들이 일반적인 능력을 보존하는 데 도움을 준다는 트레이드오프 관계를 나타냅니다.

의의 및 주장

본 논문은 MMPO가 현재의 정렬 패러다임에 대해 더 단순하고 안정적인 대안을 제공한다고 주장합니다. 정렬을 MML 추정 문제로 재구성함으로써, 보상 모델과 엔트로피 정규화에 대한 명시적인 필요성을 제거하면서도 원하는 선호도 최적화를 암묵적으로 달성합니다. 저자들은 MMPO의 안정성이 복잡한 캘리브레이션 메커니즘의 결과가 아니라, 인-배치 정규화와 log-sum-exp 연산에서 비롯된 그 형식 자체의 고유한 특성임을 강조합니다.

이 연구는 효과적인 정렬을 위해 RLHF의 복잡한 구조나 DPO의 특정 제약 조건이 반드시 필요한 것은 아니라는 점을 시사합니다. 대신, 선호 쌍을 샘플로 사용하여 선호되는 출력의 주변 가능도를 최대화하는 것은 모델의 기초적인 언어 능력을 보존하면서 정렬으로 나아가는 견고한 경로를 제공합니다. 저자들은 현재의 평가가 오프라인 설정과 8B 파라미터 이하의 모델로 제한되어 있지만(자원 제약으로 인해), 이 방법이 LLM 정렬 파이프라인을 단순화하는 유망한 방향임을 언급했습니다.