기술 요약: 쌍을 넘어선 것: 당신의 언어 모델은 비밀적으로 선호도 그래프를 최적화하고 있습니다

1. 문제 제기

대규모 언어 모델 (LLM) 의 현재 정렬 (alignment) 방법, 특히 직접 선호도 최적화 (DPO) 는 주로 쌍별 (pairwise) 선호도 비교에 의존합니다. DPO 는 명시적인 보상 모델링을 제거함으로써 인간 피드백을 통한 강화 학습 (RLHF) 에 대한 안정적인 대안을 제공하지만, 실제 데이터 수집 체제에 적용될 때 근본적인 병목 현상에 직면합니다.

많은 실제 시나리오 (예: 추론, 프로그램 합성) 에서 훈련 데이터는 인간 판단, 실행 기반 검증 또는 휴리스틱을 통해 순위가 매겨지는 **여러 번의 롤아웃 (rollouts)**으로 구성됩니다. 표준 DPO 는 이러한 다중 샘플 순위들을 독립적인 쌍별 비교 ($O(K^2)$ 개 instance) 로 분해하여 처리합니다. 이러한 환원주의적 접근 방식은 세 가지 중요한 한계를 도입합니다:

1. 전이성 (Transitivity) 손실: 순위 목록에 내재된 전역적 전이 구조를 폐기합니다 (예: $A \succ B$이고 $B \succ C$라면, 표준 DPO 는 명시적으로 $A \succ C$를 강제하지 않음).
2. 중복/상충되는 감독: 고립된 쌍들을 별도의 제약 조건으로 취급하여, 샘플이 동점일 때나 순위가 부분적일 때 노이즈를 도입할 수 있습니다.
3. 부분 순서 (Partial Orders) 와의 비호환성: 많은 평가 신호 (예: 수학 또는 코드에서의 정확성) 는 동치 클래스나 부분 순서를 생성하며, 이는 기존 리스트 방식 방법 (예: PRO, LiPO) 이 요구하는 엄격한 전순서 목록으로 정직하게 표현될 수 없습니다.

2. 방법론: 그래프 직접 선호도 최적화 (GraphDPO)

저자들은 **방향 비순환 선호도 그래프 (DAG)**로 선호도 모델링을 고립된 쌍이나 엄격한 목록에서 전환시키는 원칙적인 DPO 의 일반화인 GraphDPO를 제안합니다.

2.1 선호도 그래프 표현

주어진 프롬프트 $x$와 $K$개의 후보 응답 집합 $\{y_1, \dots, y_K\}$에 대해, GraphDPO 는 DAG $G_x = (V, E)$를 구성합니다:

• 노드: 샘플링된 응답들을 나타냅니다.
• 간선: 우세 관계를 인코딩합니다. 응답 $y_i$가 $y_j$보다 선호될 때 ($y_i \succ_x y_j$) 간선 $i \to j$가 존재합니다.
• 동치 클래스: 여러 응답이 동일한 선호도 수준을 공유하는 이산적 신호 (예: 정답/오답) 를 처리하기 위해, 응답들을 동치 클래스 $C_1 \succ C_2 \succ \dots \succ C_G$로 그룹화합니다. 간선은 서로 다른 클래스 간에만 허용되며, 클래스 내 간선은 마스킹됩니다. 이는 임의로 동점 샘플을 순서화함으로써 발생하는 인위적인 그래디언트를 방지합니다.

2.2 그래프 구조 목적 함수

GraphDPO 는 우세하는 이웃 (dominated neighborhoods) 위에 정의된 가능도 (likelihood) 를 최적화합니다. 각 응답 $y_i$에 대해, 모델은 자신이 우세하는 모든 응답 ($N^-(i)$) 보다 높은 점수를 부여하도록 훈련됩니다.

• 국소 손실: Plackett–Luce (PL) 에서 영감을 받은 공식을 사용하여, 노드 $i$에 대한 손실은 다음과 같습니다:
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  여기서 $\tilde{s}_i$는 기준 정책 (reference policy) 에 대한 중심화된 로그 비율 점수입니다.
• 전역 집계: 총 손실은 이러한 국소 항들을 집계합니다. 이 공식은 전역 전이성을 강제합니다: $y_i$가 $y_j$를 우세한다면, 목적 함수는 $s_i > s_j$를 장려하며, 전이적 관계는 공유된 이웃을 통해 자연스럽게 전파됩니다.
• 복잡도: 전체 그래프를 활용함에도 불구하고, 이 방법은 동치 클래스 (계층적 DAG) 구성 하에서 프롬프트당 선형 복잡도 $O(K)$를 유지하며, 쌍별 비교의 $O(K^2)$ 열거나 리스트 방식 방법의 순열 정규화를 피합니다.

2.3 정답 (Ground-Truth) 앵커링

검증된 솔루션 (오라클 응답) 이 사용 가능한 경우, GraphDPO 는 이를 그래프 내 우세 노드로 통합합니다.

• 앵커링 손실: 별도의 항이 오라클 응답이 생성된 모든 응답을 우세하도록 장려합니다.
• 어닐링 스케줄: 초기 훈련을 안정화하면서도 나중에는 유연성을 유지하기 위해, 앵커링 항의 가중치 $\lambda_{gt}(t)$는 높게 초기화되어 점차 1.0 으로 감소합니다. 이는 정책이 너무 일찍 오라클에 과적합되는 것을 방지하면서도 일관된 선호도 전파를 보장합니다.

2.4 훈련 목적 함수

최종 목적 함수는 그래프 손실, 선택적 정답 앵커링, 그리고 기준 정책에서의 이탈을 방지하기 위한 토큰 수준 KL 정규화 항을 결합합니다:
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
표준 쌍별 DPO 는 엄격한 선호도를 가진 $K=2$일 때 특수한 경우로 복원됩니다.

3. 주요 기여

1. 그래프 구조 선호도 최적화: GraphDPO 는 전역적으로 일관된 선호도 DAG 를 여러 롤아웃에 걸쳐 구축하도록 선호도 학습을 재구성하여 전이성을 강제하고 표준 DPO 를 특수한 경우로 복원합니다.
2. 동점 처리가 포함된 그룹별 순위 매기기: 이는 동치 클래스를 자연스럽게 지원하여, 거의 동일한 샘플로 인한 인위적인 그래디언트를 피하기 위해 선호도 그룹 간에만 비교를 수행합니다.
3. 선형 시간 전체 그래프 학습: 이 방법은 우세 집합에 대한 효율적인 로그 - 합 - 지수 (log-sum-exp) 집계를 통해 전역 순위 정보를 포착하여, 쌍별 열거나 리스트 방식 순열 정규화의 계산 오버헤드를 피합니다.
4. 안정화 정답 앵커링: 검증된 솔루션을 사용하여 초기 최적화를 안정화하면서도 후속 단계에서 정책 다양성을 희생하지 않는 어닐링 앵커링 메커니즘을 도입합니다.

4. 실험 결과

저자들은 Qwen3 기본 모델을 사용하여 수학 추론 (GSM8K, MATH-500) 및 프로그램 합성 (APPS) 벤치마크에서 GraphDPO 를 평가했습니다.

• 성능: GraphDPO 는 지도 미세 조정 (SFT), GRPO, SPIN, 그리고 리스트 방식 방법 (PRO, LiPO) 을 포함한 베이스라인보다 일관되게 우수한 성과를 거두었습니다.
  • GSM8K: 앵커링 없이 92.42%, 앵커링 포함 시 **92.75%**를 달성하여 최상의 리스트 방식 베이스라인 (LiPO: 89.23%) 을 능가했습니다.
  • MATH-500: 정답 없이 (w/o GT) 87.40%, 정답 포함 (w/ GT) 시 **88.87%**를 달성하여 GSM8K 보다 리스트 방식 방법과의 격차가 더 컸으며, 이는 이득이 작업 복잡도에 따라 확장됨을 시사합니다.
  • APPS: 정답 없이 72.93%, 정답 포함 시 **73.76%**를 달성하여 그룹 기반 (GRPO) 및 리스트 방식 방법보다 우수한 성과를 보였습니다.
• 어블레이션 연구 결과:
  • 그래프 vs 리스트 방식: 그래프 간선 인코딩을 제거한 PRO 와의 성능 격차는 부분 순서와 전이 구조를 모델링하는 것이 엄격한 전순서 가정보다 우월함을 확인시켜 줍니다.
  • 롤아웃 수 ($K$): $K$를 증가시키는 것은 일반적으로 더 풍부한 선호도 그래프를 유도하여 성능을 향상시켰으며, 이는 쌍별 샘플링에서는 관찰되지 않는 전이적 우세 관계를 모델이 활용할 수 있게 합니다.
  • 앵커링: 정답 앵커링은 일관된 개선을 제공했으며, 특히 작은 롤아웃 예산과 더 어려운 작업 (MATH-500) 에서 선호도 전파를 안정화하는 데 효과적이었습니다.

5. 중요성 및 주장

이 논문은 그래프로 선호도 구조를 모델링하는 것이 쌍별 및 리스트 방식 정렬 목적 함수 모두에 대한 확장 가능하고 견고한 대안을 제공한다고 주장합니다.

• 확장성: 전역 구조를 포착하면서 선형 복잡도를 유지함으로써, GraphDPO 는 추론 및 코딩 작업에서 일반적인 롤아웃이 많은 정렬 설정에 적합합니다.
• 견고성: 이 방법은 엄격한 리스트 방식 가정을 깨는 부분 순서, 동치 클래스, 희소 비교 관계를 처리합니다.
• 귀납적 편향: 결과는 롤아웃 간의 구조적 관계 (전이성과 우세) 를 명시적으로 모델링하는 것이 단순한 순서 가정이 실패하는 복잡한 문제 영역으로 정렬을 확장하는 데 결정적임을 시사합니다.

저자들은 GraphDPO 가 DPO 의 단순성과 다중 샘플 순위의 구조적 풍부함 사이의 간극을 연결하는 간단하고 효과적인 귀납적 편향을 LLM 정렬에 제공한다고 결론지었습니다.