기술 요약: 쌍별 비교 데이터로부터 선호도 학습은 무엇을 복구하는가?

문제 정의

쌍별 선호도 학습(Pairwise preference learning)은 스포츠 팀의 순위를 매기거나, 추천 시스템을 구축하고, 최근에는 대규모 언어 모델(LLM)을 인간의 선호도에 정렬시키는 데 널리 사용되는 기초적인 패러 arms입니다. 표준 데이터 형식은 문맥 $x$ 내에서 응답 $y^+$가 $y^-$보다 선호됨을 나타내는 삼중항 $(x, y^+, y^-)$로 구성됩니다.

이 문제에 대한 지배적인 접근 방식은 브래들리-테리(Bradley-Terry, 이하 BT) 모델이며, 이는 선호도가 잠재적 품질 점수에 기반하여 확률적으로 생성된다고 가정합니다. 즉, $y$를 $y'$보다 선호할 확률은 두 점수의 차이에 대한 시그모이드 함수가 됩니다. 그러나 BT 모델에 대한 표준 통계 분석은 데이터가 엄격하게 이러한 생성 프로세스를 따른다고 가정합니다. 실제 환경의 데이터는 종종 이러한 가정을 위반합니다(예: 복잡한 인간 주석 프로세스나 AI 레이블링 시스템으로 인한 경우). 결과적으로, 모델이 오지정(misspecified)되었을 때 BT 학습 목적 함수가 실제로 무엇을 복구하는지, 데이터 수집 전략이 학습 가능성에 어떤 영향을 미치는지, 그리고 학습된 점수가 어떤 조건에서 신뢰할 수 있는지가 불분명합니다.

방법론

저자들은 특정 생성 모델을 가정하기보다 관찰된 삼중항 분포 $P$에서 시작하는 데이터 중심 프레임워크를 제안합니다.

1. 조건부 선호 분포 (Conditional Preference Distribution, CPRD): 본 논문은 임의의 삼중항 분포 $P$에 인코딩된 선호 정보(CPDT)를 CPRD, 즉 $\omega_P(y \succ y' | x)$로 공식화합니다. 이는 베이즈 정리(Bayes' rule)를 통해 삼중항 데이터로부터 직접 유도되며, 문맥 $x$가 주어졌을 때 $y$를 $y'$보다 선호할 확률을 나타냅 most 합니다. CPRD는 데이터가 어떻게 생성되었는지와 무관한, 관심 대상의 근본적인 객체로 식별됩니다.

2. BT 표현 가능성 및 조건부 독립성: 저자들은 CPRD가 BT 모델로 표현될 수 있는 정확한 조건을 규명합니다. 저자들은 CPRD가 BT 모델로 표현되기 위한 필요충분조건이 기저 분포가 **양성-음성 조건부 독립(positive–negative conditional independence)**을 만족하는 것임을 입증합니다. 이 조건은 문맥 $x$가 주어졌을 때, 선호되는 응답 $y^+$와 선호되지 않는 응답 $y^-$가 각각 조건부 분포 $p_+(\cdot|x)$와 $p_-(\cdot|x)$로부터 독립적으로 생성됨을 의미합니다. 이 조건 하에서 최적의 점수 함수는 로그 밀도 비율인 $r(x, y) = \log \frac{p_+(y|x)}{p_-(y|x)}$가 됩니다.

3. 학습 목적 함수의 해석: 본 논문은 표준적인 판별적 BT 학습 목적 함수(삼중항의 음의 로그 가능도 최소화)를 분석합니다. 저자들은 이 목적 함수가 "비교 분포"(순서가 없는 쌍 $\{y, y'\}$에 대한 주변 분포) 하에서 실제 CPRD와 BT 모델에 의해 유도된 선호 분포 사이의 쿨백-라이블러(KL) 발산을 최소화하는 것과 동일함을 증명합니다.

   • 실현 가능한 경우 (Realizable Case): 만약 실제 CPRD가 BT 모델로 표현 가능하다면, BT 목적 함수는 거의 확실하게(almost surely) 실제 CPRD를 복구합니다.
   • 오지정된 경우 (Misspecified Case): 만약 실제 CPRD가 BT 모델로 표현 불가능하다면, BT 목적 함수는 실제 CPRD를 BT 모델 군(family) 위로 투영한 **KL 투영(KL projection)**으로 수렴합니다. 이는 BT 학습이 반드시 진실(ground truth)을 찾는 것이 아니라, 데이터에 대한 "최선의 가능한" BT 근사치를 복구한다는 점을 명확히 합니다.

4. 샘플 복잡도 분석: 저자들은 타겟 점수 함수를 복구하기 위한 추정 오차 경계(estimation error bounds)를 도출합니다. 이들은 학습 효율성을 결정하는 두 가지 요인을 식별합니다.

   • 쌍별 마진 (Pairwise Margin): 점수 차이 $|\Delta r^*|$의 크기입니다. 마진이 클수록 추정 오차에 대해 올바른 순위 결정이 더 견고해집니다.
   • 연결성 (Connectivity): 비교 분포 하에서의 기대 제곱 차이의 하한값과 테스트 분포 하에서의 점수 차이의 분산 사이의 비율의 하한값으로 정의되는 새로운 지표 $\lambda_{conn}$입니다. 이는 표 형식(tabular) 설정에서의 비교 그래프의 피들러 값(Fiedler value, 대수적 연결성)과 선형 설정에서의 공분산 행렬의 최소 고윳값을 일반화한 것입니다.

주요 기여

1. CPRD의 공식화: 본 논문은 선호도 정보를 삼중항 데이터의 정전적 표현으로서 CPRD를 도입하여, 학습 대상과 특정 생성 가정을 분리했습니다.
2. BT 표현 가능성 규명: CPRD가 BT 표현을 갖는 필요충분조건(양성-음성 조건부 독립)을 제시하여, BT 모델을 노이즈 대조 추정(noise-contrastive estimation) 및 암시적 보상 함수와 연결했습니다.
3. 오지정에 대한 해석: BT 학습이 실제 CPRD의 KL 투영을 수행함을 증명함으로써, 모델 가정이 실패했을 때 무엇이 복구되는지에 대한 명확한 이해를 제공합니다.
4. 샘플 복잡도 경계: 학습 효율성이 **마진(margin)**과 **연결성(connectivity)**에 의해 결정됨을 입증했습니다. 또한 추정 오차가 연결도에 반비례하여 감소함을 보여주는 명시적인 오차 경계를 제공합니다.
5. 실험적 검증: 합성 및 실제 데이터를 통한 실험을 통해 다음을 입증했습니다:
   • 큰 마진은 특히 데이터가 적은 상황에서 높은 정확도로 이어집니다.
   • 높은 연결성은 추정 오차를 줄이고 일반화 성능을 향상시킵니다.
   • 연결성이 병목인 경우, 음성 분포를 최적화하여 연결성을 높이는 것이 학습을 개선합니다.
   • 실제 데이터셋(예: HH-RLHF, UltraFeedback)에서 연결성은 마진만으로는 설명할 수 없는 성능 차이를 설명하며, 평가 분포에 대한 데이터 커버리지의 중요성을 강조합니다.

결과

• 이론적 결과: 본 논문은 양성-음성 조건부 독립 하에서 BT 모델이 로그 밀도 비율을 복구함을 증명합니다. 또한 이 가정이 없을 경우, BT 학습이 실제 선호 분포의 KL 투영을 복구함을 보여줍니다.
• 합성 실험:
  • 마진: 랭크 정규화된 점수(최소 마진을 최대화함)로부터 학습하는 것이 원래 점수로부터 학습하는 것보다 특히 데이터가 제한적인 상황에서 훨씬 높은 정확도를 보였습니다.
  • 연결성: 음성 분포를 변경하여 연결성을 조절한 결과, 낮은 연결성이 낮은 정확도를 안정적으로 예측함을 보여주었습니다. 연결성이 제한 요소인 시나리오에서 연결성을 최대화하도록 음성 분포를 최적화하면 정확도가 향상되었습니다.
  • 오지정: 비-BT 데이터로 훈련할 때, 학습된 보상은 BT-일치(consistent) 데이터와 동일한 BT 투영 타겟으로 수렴하지만, 더 높은 불가피한 쌍별 확률 오차를 가집니다.
• 실제 실험: 다양한 데이터셋(HH-RLHF, PKU-SafeRLHF, SHP, UltraFeedback)에서 보상 모델을 훈련하고 UltraFeedback로 평가한 결과, 테스트 분포에 대한 연결성이 높은 데이터셋이 더 잘 일반화됨을 확인했습니다. 예를 들어, HH-RLHF와 PKU-SafeRLHF는 큰 마진을 가지고 있지만, 범용적인 UltraFeedback 테스트 세트에 대한 연결성이 낮아, 연결성이 더 높은 SHP에 비해 낮은 정확도를 보였습니다.

의의

본 논문은 선호도 학습을 이해하기 위한 엄격하고 데이터 중심적인 토대를 제공합니다. 생성 모델을 가정하는 대신 데이터 분포 자체를 분석함으로써, 저자들은 실무자들이 다음을 수행할 수 있는 프레임워크를 제공합니다:

• 실패 진단: BT 모델이 언제, 왜 실패하는지(예: 조건부 독립성 위반) 이해합니다.
• 데이터 수집 가이드: 효과적인 선호도 학습을 위해서는 단순히 큰 마진뿐만 아니라, 평가 분포에 대한 비교 그래프의 높은 연결성이 필요함을 인식합니다.
• 학습된 모델 해석: 오지정된 설정에서 학습된 모델이 진실이 아닌, 데이터에 대한 최선의 BT 근사치임을 이해합니다.

이 연구는 통계 이론과 실제적인 적용 사이의 간극을 메우며, 더 나은 선호도 데이터셋을 설계하고 현재의 보상 모델링 접근 방식의 한계를 해석하는 데 있어 실행 가능한 통찰력을 제공합니다.