Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

기술 요약: 전이성과 순환성의 만남: 동적 대규모 언어 모델 정렬을 위한 명시적 선호도 분해

문제 제기
표준 인간 피드백 기반 강화 학습 (RLHF) 은 인간의 선호도가 전이적이며 스칼라 보상 ($A \succ B \land B \succ C \implies A \succ C$) 으로 표현될 수 있다고 가정하는 Bradley-Terry (BT) 모델에 의존합니다. 그러나 실제 세계의 인간 선호도는 종종 스칼라 모델이 근본적으로 포착하지 못하는 비전이적, 순환적 패턴 (예: 가위바위보 역학) 을 보입니다. 일반 선호도 모델 (GPM) 과 같은 최근 접근법들이 비대칭 쌍선형 형식을 사용하여 순환성을 다루지만, 저자들은 중요한 이론적 한계를 식별했습니다. GPM 의 암시적 형식은 위계적 (전이적) 역학과 순환적 역학을 얽히게 만듭니다. 이러한 얽힘은 복잡한 지역적 순환이 글로벌 위계에 필요한 기하학적 용량을 "잠식"할 수 있기 때문에, GPM 이 임의의 순환적 맥락에서 "우세한 해" (다른 모든 것을 엄격하게 이기는 후보) 의 표현을 보장하지 못하게 합니다.

방법론
본 논문은 이러한 구조적 및 최적화 과제를 해결하기 위해 양면적 프레임워크를 제안합니다.

1. 하이브리드 보상 - 순환 (HRC) 모델:

   • 이론적 기반: 게임 이론적 분해 (Balduzzi 등, 2019) 에 기반하여, 저자들은 선호도 모델링을 대칭적 영합 함수형 게임으로 공식화했습니다. 그들은 모든 선호도 함수가 직교하는 전이적 성분 ($\phi_T$) 과 순환적 성분 ($\phi_C$) 으로 고유하게 분해될 수 있음을 증명했습니다.
   • 아키텍처: HRC 는 이 분해를 명시적으로 구현합니다. BT 와 유사한 구조를 통해 전이적 성분을 포착하는 스칼라 보상 헤드와 GPM 과 유사한 비대칭 연산자를 통해 비전이적 역학을 포착하는 벡터 기반 순환 헤드를 결합합니다.
   • 메커니즘: 최종 선호도 점수는 전이적 스칼라 차이와 순환적 벡터 상호작용의 합입니다: $s_{HRC} = (r(y_i) - r(y_j)) + (v_i^\top W v_j)$. 이 모델은 임베딩에 단위 노름 제약을 적용하고 순환 강도를 조절하는 문맥 인식 게이팅 메커니즘을 활용합니다.
   • 장점: 특정 고차원 제약 없이 순환과 함께 우세한 후보를 표현하는 데 어려움을 겪는 GPM 과 달리, HRC 는 두 역학을 분리함으로써 수학적으로 우세한 위계의 보존을 보장합니다. 이는 선형 추론 복잡도 $O((2d+1)K)$를 유지합니다.

2. 동적 자기 플레이 선호도 최적화 (DSPPO):

   • 개념: 표준 자기 플레이 알고리즘 (예: SPPO) 은 정적 선호도 오라클에 대해 최적화합니다. 저자들은 이것이 HRC 가 밝힌 다차원 지형을 탐색하는 모델의 능력을 제한한다고 주장합니다.
   • 메커니즘: DSPPO 는 정렬을 시간 변화 게임으로 취급합니다. 이는 훈련 반복에 걸쳐 선호도 신호를 스케줄링하여, 견고한 전이적 백본에서 정교한 순환적 뉘앙스로 점진적으로 전환합니다.
   • 스케줄: $t$번째 반복에서의 선호도 점수는 $s_t = (1 + \frac{\lambda}{\sqrt{t}})s_T + ( (1 - \frac{\lambda}{\sqrt{t}})s_C$로 정의됩니다. 이 커리큘럼 학습 접근법은 복잡한 지역적 역학을 도입하기 전에 글로벌 품질 기준을 확립함으로써 훈련을 안정화하며, 이론적으로 $O(1/\sqrt{T})$ 속도로 내쉬 균형에 수렴함을 보장합니다.

주요 기여

• 이론적 통합: 본 논문은 HRC 가 선호도를 직교하는 전이적 및 순환적 성분으로 명시적으로 분해함으로써 BT 모델과 GPM 을 통합한다는 이론적 증명을 제공합니다. 이는 혼합 설정에서 우세한 해를 보장하는 GPM 의 구조적 무능력을 해결합니다.
• 알고리즘적 혁신: 분해된 HRC 신호를 활용하여 정책 진화를 안내하는 동적 최적화 프레임워크인 DSPPO 를 도입하여, 정적 기준선보다 더 견고한 수렴 궤적을 제공합니다.
• 실증적 검증: 광범위한 실험은 HRC 가 BT 및 GPM 보다 선호도 모델링 정확도에서, 특히 "무승부" 처리와 복잡한 추론이 필요한 도메인에서 우월함을 입증했습니다. HRC+DSPPO 프레임워크는 하류 생성 품질을 크게 향상시킵니다.

결과

• 선호도 모델링 (RewardBench 2): HRC 는 BT 및 GPM 기준선보다 일관되게 우월한 성능을 보였습니다. Gemma-2B-it 에서 HRC 는 평균 정확도 57.63% 를 달성하여 가장 강력한 기준선 (GPM) 보다 1.23% 높았습니다. 특히 "무승부" 도메인에서 HRC 는 74.51% 를 기록하여 BT 와 GPM 의 73.53% 를 상회했는데, 이는 비엄격한 선호도를 처리하는 능력을 검증한 것입니다.
• 하류 정렬:
  • AlpacaEval 2.0: Gemma-2B-it 을 기반으로 사용할 때, HRC+DSPPO 는 최대 길이 제어 승률 44.75% 를 달성하여 BT 또는 GPM 으로 훈련된 SPPO 기준선을 크게 능가했습니다.
  • Arena-Hard-v0.1: HRC+DSPPO 는 Gemma-2B-it 에서 46.8% 의 승률을 기록하여 최상위 기준선 대비 3.2% 향상되어, 까다로운 프롬프트에서 뛰어난 능력을 입증했습니다.
  • MT-Bench: 이 프레임워크는 다중 턴 대화에서 견고한 성능을 보였으며, HRC+DSPPO 는 Gemma-2B-it 에서 평균 점수 8.29 를 달성했습니다.
• 합성 데이터: "우세 + 순환" 합성 데이터셋에 대한 실험은 혼합 전이 - 순환 설정에서 HRC 가 GPM 보다 더 빠르게 수렴하고 더 높은 정확도를 달성하는 반면, 저차원 GPM 은 순환 구조를 포착하지 못했음을 확인했습니다.

의의
본 논문은 전 세계적 전이적 위계 (예: 안전성, 유용성) 와 지역적 비전이적 순환 (예: 스타일적 트레이드오프) 사이의 이중성을 포함하여 인간 선호도의 복잡하고 이질적인 본질을 충실히 표현하는 것이 견고한 AI 정렬에 필수적이라고 주장합니다. 이러한 구성 요소를 명시적으로 분리함으로써 제안된 프레임워크는 기존 스칼라 및 순환 전용 모델의 구조적 한계를 극복합니다. 저자들은 이 접근 방식이 AI 시스템이 다양한 윤리적 및 문화적 지형을 더 효과적으로 탐색하게 하여, 인간 판단의 비엄격하고 다차원적인 본질을 존중함으로써 자동화된 의사결정에 대한 신뢰를 증진시킬 것이라고 봅니다. 이 연구는 향후 정렬 전략이 정적 스칼라 보상을 넘어 선호도의 동적, 게임 이론적 분해를 수용해야 함을 시사합니다.