기술 요약: "두 RLHF 목적 함수는 언제 동일한가?"

문제 정의

강화 학습으로부터의 인간 피드백(RL Learning from Human Feedback, RLHF)은 언어 모델을 인간의 선호도에 정렬하기 위한 표준 패러다임이 되었습니다. 기존의 파이프라인은 보상 모델(Reward Model)을 학습시킨 후 근사 정책 최적화(Proximal Policy Optimization, PPO)를 수행하는 방식이었으나, 최근에는 다양한 직접 선호도 최적화(Direct Preference Optimization, DPO) 변형들과 게임 이론적 정식화(예: SPPO, Nash-MD, GRPO, KTO)가 도입되었습니다. 이러한 다양한 발전에도 불구하고, 근본적인 질문 하나가 해결되지 않은 채 남아 있습니다: 두 선호도 최적화 방법이 언제 진정으로 다르다고 간주되어야 하는가?

서로 다른 이론적 관점(예: 보상 모델링 vs. 게임 이론)에서 도출된 방법들이 서로 다른 목적 함수를 최적화하는 것인지, 아니면 단순히 동일한 손실 함수의 대수적 재배열에 불과한 것인지가 현재 불분명합니다. 이러한 모호함은 알고리즘의 참신성을 평가하고 방법론 선택에 관한 실질적인 의사결정을 내리는 데 어려움을 줍니다.

방법론: Opal 프레임워크

이를 해결하기 위해 저자들은 두 선호도 목적 함수가 대수적으로 동등한지를 결정하기 위한 정규화(Canonicalization) 알고리즘인 Opal을 소개합니다. 이 프레임워크는 모든 쌍별(pairwise) 선호도 방법이 공통의 기저 마진 $\Delta = s(y^+) - s(y^-)$ (여기서 $s$는 점수 함수)의 변환으로 표현될 수 있다는 전제하에 작동합니다.

Opal은 모든 선호도 손실을 세 가지 원시 연산의 합성으로 분해합니다:

1. Add[$\phi$]: 개별 응답에 의존하는 페널티 항을 추가합니다 (예: KL 정규화, 길이 정규화).
   • $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
2. Reweight[$\omega$]: 마진에 가중치를 곱합니다 (예: 온도(Temperature), 중요도 가중치).
   • $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
3. Link[$g$]: 마진에 단조 함수를 적용합니다 (예: 로지스틱, 힌지, 또는 제곱 손실).
   • $\Delta(y, z) \mapsto g(\Delta(y, z))$

환원 가능성 조건 (Reducibility Conditions)

어떤 방법이 **환원 가능(Reducible)**하다는 것은(즉, 고유한 정규 형태(Canonical Form)로 매핑될 수 있다는 것은) 다음 세 가지 조건을 만족함을 의미합니다:

• (R1) 이행성(Transitivity): 마진은 반드시 점수의 차이 $\phi(y) - \phi(z)$로 표현될 수 있어야 합니다. 이를 위반하면 마진이 단순히 개별 점수 이상의 것에 의존하는 비이행적 선호도가 발생함을 의미합니다.
• (R2) 쌍 독립성(Pair-Independence): 가중치는 특정 프롬프트 $x$에만 의依存해야 하며, 특정 쌍 $(y, z)$나 배치(Batch) 구성에 의존해서는 안 됩니다.
• (R3) 단조성(Monotonicity): 변환 함수 $g$는 선호 순위를 보존하기 위해 엄격한 단조 함수여야 합니다.

정규화 및 증거(Witnesses)

• 정규 형태(Canonical Form): 어떤 방법이 (R1)–(R3)를 만족하면, Opal은 이를 고유한 정규 형태인 $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$로 환원합니다 (여기서 $\Phi$는 중심화됨 $\sum \Phi(y) = 0$). 두 방법은 이들의 정규 형태(및 결과 해시값)가 일치할 때에만 동등합니다.
• 증거(Witnesses): 방법이 조건을 만족하지 못할 경우, Opal은 비동등성을 입증하는 구체적인 **증거(Witness)**를 생성합니다. 예시는 다음과 같습니다:
  • 순환 증거(Cycle Witness): 0이 아닌 순환 합을 갖는 삼조 $(a, b, c)$ (이행성 위반).
  • 쌍 의존적 가중치(Pair-Dependent Weight): 동일한 프롬프트에서 서로 다른 가중치를 받는 두 쌍.
  • 그룹 의존적 가중치(Group-Dependent Weight): 동일한 쌍이 배치 구성에 따라 서로 다른 유효 가중치를 받는 경우.

이 프레임워크는 토큰 수준 방법(예: RTO)과 궤적 수준 방법(예: PPO-RLHF)을 명시적으로 제외합니다. 이들은 완전한 응답 쌍 사이의 스칼라 마진 상에서 작동하지 않으므로, 쌍별 마진 분석의 범위를 벗어나기 때문입니다.

주요 기여

1. Opal 알고리알고리즘: 대수적 동등성을 결정하기 위해 목적 함수를 정규 형태로 환원하거나, 비동등성을 입증하는 검증 가능한 증거를 생성하는 체계적인 도구입니다.
2. 33개 방법론 분석: 저자들은 쌍별(pairwise), 리스트형(listwise), 그룹 기반, 토큰 수준, 궤적 수준 설정에 걸친 33개의 선호도 최적화 방법을 분석했습니다.
   • 결과: 25개의 방법이 환원 가능하며, 14개의 서로 다른 정규 형태로 수렴합니다.
   • 동등성: DPO와 동일한 정규 형태로 환원되는 10개의 방법(DPO, SPPO, Nash-MD, INPO, DNO, APO, RSO, XPO, cDPO, rDPO 포함)이 존재합니다.
   • 환원 불가능성: GRPO, RLOO, KTO, WPO, BCO, RTO, PPO-RLHF, ReMax를 포함한 8개의 방법은 증명 가능한 환원 불가능한 방법들입니다.
3. GRPO 환원 불가능성 증명: 본 논문은 GRPO가 DPO와 근본적으로 다르다는 것을 입증하는 명시적인 증거를 제공합니다. GRPO의 그룹 정규화가 응답 쌍의 그래디언트 기여도를 특정 배치 구성에 의존하게 만들어(R2 위반), 다른 응답의 존재 여부에 따라 마진의 상대적 척도를 변화시킨다는 점을 보여줍니다.
4. 직교 설계 축(Orthogonal Design Axes): 저자들은 정규 동등성과는 별개로, 진정으로 다른 목적 함수를 생성하는 네 가지 구조적 메커니즘을 식별했습니다:
   • 그룹 정규화 (예: GRPO).
   • 쌍 의존적 가중치 (예: KTO).
   • 토큰 수준 구조 (예: RTO).
   • 궤적 수준 최적화 (예: PPO-RLHF).

결과

• 대수적 동등성: 널리 인용되는 많은 방법들이 대수적으로 동일합니다. 예를 들어, 게임 이론적 미니맥스 목적 함수에서 도출된 SPPO와 Nash-MD는 DPO와 정확히 동일한 정규 형태로 환원됩니다. 이들 사이를 전환하는 것은 최적화 대상(Target)을 바꾸는 것이 아니라, 단지 유도 방식(Derivation)을 바꾸는 것뿐입니다.
• 구조적 차이: 환원 조건(특히 R2)을 위반하는 방법들은 근본적으로 다른 최적화 지형을 보입니다. GRPO의 배치 의존적 정규화는 동일한 응답 쌍이라도 배치 구성에 따라 서로 다른 그래디언트를 받게 함을 의미하며, 이는 환원 가능한 방법에서는 불가능한 특성입니다.
• 해시 검증: 저자들은 각 환원 가능한 방법의 정규 형태에 대한 SHA-256 해시를 제공하여, 프로그래밍 방식으로 동등성을 검증할 수 있도록 합니다.

의의 및 주장

본 논문은 Opal이 **표현의 변화(Changes of Representation)**와 **실체의 변화(Changes of Substance)**를 구분한다고 주장합니다.

• 참신성의 명확화: 이 프레임워크는 선호도 최적화 문헌에서 보이는 외견상의 다양성 중 상당 부분이 소수의 기저 목적 함수를 재매개변수화(Reparameterization)한 결과임을 시사합니다. 진정한 알고리즘적 참신성은 적어도 하나의 환원 가정(R1–R3)을 위반해야 합니다.
• 실무적 지침: 실무자들에게 있어, 동등한 방법들(예: DPO vs. SPPO) 사이의 선택은 근본적으로 다른 알고리즘적 동작에 대한 기대보다는 구현 세부 사항, 수치적 안정성 또는 암묵적 편향(Implicit Bias)에 의해 결정되어야 합니다.
• 의사 결정론적 동등성: 동등한 방법들은 동일한 베이즈 최적 선호 순위를 유도하며 모든 마진의 부호에 동의하지만, 그래디언트 크기와 수렴 속도는 다를 수 있습니다.

저자들은 이 작업이 휴리스틱한 분류를 넘어 엄격한 대수적 검증을 통해 "이 두 방법이 같은가?"라는 질문에 답할 수 있는 최초의 알고리즘 프레임워크로서의 위치를 점한다고 강조합니다.