기술 요약: 직접 정렬 알고리즘 간의 차이는 모호하다

문제 제기

직접 정렬 알고리즘 (DAAs) 은 인간 피드백을 통한 강화 학습 (RLHF) 에 대한 간소화된 대안으로 등장하여, 명시적인 보상 모델링과 강화 학습 단계를 우회하고 언어 모델 정책을 직접 최적화한다. Direct Preference Optimization (DPO) 의 2 단계 패러다임부터 Odds Ratio Preference Optimization (ORPO) 및 Aligned Supervised Fine-Tuning (ASFT) 과 같은 1 단계, 오즈비 기반 접근법에 이르기까지 방법론이 다양하게 proliferation 되었음에도 불구하고, 관련 문헌은 여전히 파편화되어 있다.

해결된 핵심 문제는 정렬 품질의 개선을 실제로 주도하는 구체적인 설계 선택 사항들을 분리해 내는 데 있는 어려움이다. 기존 비교들은 서로 다른 훈련 프로토콜 (예: 1 단계 대 2 단계 파이프라인), 참조 정책의 유무, 그리고 다양한 하이퍼파라미터 공간 (특히 $\beta$ 파라미터) 에 의해 혼란을 겪고 있다. 결과적으로 알고리즘적 우월성에 대한 주장은 종종 근본적인 알고리즘적 이점이라기보다는 설정 인공물에서 비롯된 미미한 차이에 기반한 경우가 많다.

방법론

이러한 요인들을 분리하기 위해 저자들은 모든 DAAs 를 동등한 입장에 놓는 통합 훈련 프레임워크를 제안한다. 이 프레임워크는 기존 방법들에 두 가지 중요한 수정을 포함한다:

1. 2 단계 파이프라인으로의 표준화: 저자들은 원래 1 단계이던 방법들 (ORPO, ASFT) 을 2 단계 파이프라인으로 변환한다. 이는 정책 ($\pi_{SFT}$) 을 얻기 위한 명시적인 감독 미세 조정 (SFT) 단계를 거친 후, 오프라인 선호도 최적화 단계를 수행하는 것을 포함한다. 이를 통해 정렬 손실을 SFT 손실로부터 분리하여 정렬 목표 자체를 통제된 방식으로 비교할 수 있게 된다.
2. $\beta$ 파라미터의 도입: 저자들은 전통적으로 이 하이퍼파라미터가 없던 1 단계 오즈비 방법들 (ORPO, ASFT) 에 온도/스케일링 파라미터 $\beta$를 도입한다. 이는 모든 방법들 (DPO, IPO, SimPO 등 포함) 을 공통의 하이퍼파라미터 공간에 배치하여 체계적인 민감도 분석을 가능하게 한다.

이러한 통합된 설정 내에서 저자들은 DAAs 를 두 가지 주요 축을 따라 분석한다:

• 스칼라 점수 계열: 정책–참조 비율 ($r^{ref}_\theta$) 을 사용하는 DPO 대 오즈비 ($r^{odds}_\theta$) 를 사용하는 ORPO/ASFT와 같이 기반 점수 함수의 선택.
• 순위 최적화 목표: 선택된 응답과 거부된 응답 간의 상대적 간격을 최적화하는 쌍별 목표 (DPO, IPO, SimPO, ORPO 등) 와 선택된 응답 및 거부된 응답의 절대적 확률을 독립적으로 최적화하는 점별 목표 (ASFT, NCA, Cal-DPO, APO-Zero 등) 를 구분하는 손실의 구조적 형식.

평가는 AlpacaEval 2, ArenaHard 와 같은 지시 따르기 작업과 GSM8K, MATH500 등의 수학 추론 벤치마크를 대상으로 하며, Llama 3.2 3B, Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B/14B 등 여러 모델 규모에 걸쳐 수행된다.

주요 기여

1. DAAs 를 위한 통합 프로토콜: 이 논문은 명시적인 SFT 단계를 갖춘 2 단계 파이프라인으로 1 단계 방법들을 변환하고 $\beta$ 파라미터를 도입하는 것이 오즈비 목표조차도 성능을 극대화하는 데 필수적임을 규명한다.
2. 주요 동인으로서의 순위 최적화 목표: 통합 프로토콜 하에서 저자들은 하이퍼파라미터 튜닝 후 이전에 보고된 특정 DAAs 의 장점들이 대부분 사라진다는 것을 발견한다. 정렬 품질의 주요 결정 요인은 점수 파라미터화 (정책–참조 대 오즈비) 가 아닌 순위 유형 (쌍별 대 점별) 이다. 쌍별 방법은 특히 중간 난이도의 작업과 모델 규모에서 점별 방법보다 일관되게 우수한 성과를 낸다.
3. 성능 격차의 메커니즘: 이 논문은 성능 격차가 목적 함수와 프롬프트별 편향 사이의 상호작용에서 비롯된다는 증거를 제공한다.
   • 쌍별 목표는 주어진 프롬프트에 대한 점수의 균일한 이동에 대해 구조적으로 불변이며, 오직 상대적 순위에만 집중한다.
   • 점별 목표는 모델이 각 프롬프트에 대해 절대 점수 수준 (마진화된 점수) 을 조정하도록 유도하는 그래디언트 신호를 생성한다. 용량이 제한된 영역에서 이러한 프롬프트별 편향의 '망각 (unlearning)'은 주요 순위 작업과 경쟁하여 더 어려운 작업에서 하위 최적의 성능을 초래한다.
4. 데이터 효율성: 이 연구는 대부분의 DAAs 가 매우 높은 데이터 효율성을 보이며, 전체 데이터 성능의 $\ge$95% 에 도달하는 데 SFT 데이터셋의 5–10% 만 필요함을 입증한다.

결과

• 성능 수렴: 통합 프로토콜 하에서 비교될 때, 대부분의 DAAs 는 표준 DPO 와 유사하거나 더 낮은 성능을 보인다. 기존 문헌에서 특정 알고리즘에 대해 주장된 뚜렷한 장점들은 종종 사라진다.
• 쌍별 우위: 지시 따르기 및 수학 추론 벤치마크 전반에 걸쳐 쌍별 방법 (DPO, IPO, SimPO, ORPO) 은 점별 방법 (ASFT, NCA, Cal-DPO, APO-Zero) 보다 일관되게 더 높은 최고 점수를 달성한다. 이 경향은 UltraFeedback 데이터셋의 8B 모델 규모와 Qwen 2.5 를 사용한 수학 추론 작업에서 가장 두드러진다.
• 스칼라 점수의 무관성: 순위 최적화 목표와 훈련 프로토콜이 통제될 때 정책–참조 비율과 오즈비 간의 선택은 비교 가능한 결과를 산출한다.
• 난이도에 대한 민감도: 쌍별과 점별 방법 간의 성능 격차는 매우 쉬운 작업 (용량이 순위와 편향 제거 모두를 처리하기에 충분함) 과 매우 어려운 작업 (용량이 어느 것에도 부족함) 에서는 미미하다. 이 격차는 주로 중간 난이도에서 나타나며, 이때 점별 방법은 편향 제거와 순위 정교화 사이의 균형을 맞추는 데 어려움을 겪는다.
• $\beta$의 영향: ORPO 와 ASFT 에 $\beta$ 파라미터를 도입하면 정렬 품질이 크게 향상되어, 이를 효과적인 온도 조절 메커니즘으로 확인시켜 준다.

중요성과 주장

이 논문은 DAA 연구 분야가 실제 성능 동인을 흐리게 만드는 파편화된 평가 프로토콜로 인해 방해받아 왔다고 주장한다. 훈련 설정을 통합함으로써 저자들은 순위 최적화 목표 (쌍별 대 점별) 의 선택이 정렬 품질에 영향을 미치는 지배적인 구조적 요인이며, 구체적인 점수 파라미터화는 2 차적인 역할을 한다고 입증한다.

저자들은 이전의 "최고" DAA 에 대한 주장들이 종종 근본적인 알고리즘적 우월성보다는 설정과 데이터 편향에 대한 미탐구된 세부 사항에 의존한다고 주장한다. 그들의 발견은 과도하게 단순화된 주장을 피하기 위해 세밀하고 통제된 평가의 필요성을 강조한다. 또한, 목적 함수와 프롬프트별 편향 간의 상호작용을 규명함으로써 관찰된 성능 차이에 대한 기계론적 설명을 제공하며, 모델 용량이 작업 난이도에 비해 제한된 시나리오에서는 쌍별 목표가 더 견고함을 시사한다.

이 논문은 오즈비 기반 DAA(ORPO 등) 가 효과적일 수 있지만, 다른 방법들과 동일한 구조적 조정 (SFT 분리 및 $\beta$ 튜닝) 으로 인해 상당한 이점을 얻으며, 그 성능은 궁극적으로 동일한 쌍별 대 점별 역학에 의해 지배된다고 결론 내린다.