기술 요약: 보정된 선호도 학습: 레이블 순위 결정의 사례

문제 정의

확률적 레이블 순위 결정(Probabilistic Label Ranking, ProLR)은 주어진 컨텍스트에 대해 가능한 순서들의 확률 분포를 예측하는 것을 목표로 한다. 보정(Calibration)—예측된 확률과 실제 결과 빈도 사이의 일치—은 분류(Classification) 및 회귀(Regression)에서는 잘 연구되어 왔으나, ProLR에 대해서는 공식적으로 다루어진 바 없다.

레이블 순위 결정을 표준 다중 클래스 분류 문제(각 고유한 순위가 하나의 클래스가 되는 방식)로 취급하는 것은 다음과 같은 몇 가지 이유로 불충분하다:

1. 계산적 불가능성: 순위 클래스의 수는 항목의 개수($m$)에 따라 계승($m!$) 단위로 증가하므로, 항목 수가 적당히 많아지더라도 정량적인 보정 측정이 어려워진다.
2. 구조적 무시: 단순한 분류 방식은 순위 공간의 메트릭 구조를 무시한다. 예를 들어, 공통된 부분 순위(sub-ranking)를 공유하는 두 순위(예: $i_1 \succ i_2 \succ i_3$와 $i_1 \succ i_3 \succ i_2$)는 서로 별개의 클래스로 취급되며, 이는 한 쪽에서의 보정이 다른 쪽에 영향을 미칠 수 있다는 점을 포착하지 못한다.
3. 실제적인 양상: 쌍별 비교(Pairwise comparisons)나 top-$k$ 예측과 같이 중요한 애플리케이션 특화 양상들은 전체 순위 분류 메트릭에 자연스럽게 포함되지 않는다.

이러한 간극은 특히 인간의 선호도에 맞춰 대규모 언어 모델(LLM)을 정렬하기 위해 쌍별 선호도(전체 순위의 하위 구조)에 의존하는 인간 피드백으로부터의 강화 학습(RLHF)과 같은 응용 분야에서 매우 중요하다.

방법론

저자들은 단순한 다중 클래스 분류 관점을 넘어 확장된 계층적 보정 개념을 개발함으로써 레이블 순위 결정을 위한 보정을 공식화한다. 이들은 다양한 입도(granularity)에서 보정을 정의한다:

1. 전체 순위 보정 (Full-Rank Calibration)

• 전체 순위 보정 (Full-Rank Calibration): 다중 클래스 분류에서의 강한 보정(strong calibration)과 유사하다. 모델이 모든 순위에 대한 임의의 분포 $p$를 가질 때, 실제 순위 $\pi$의 경험적 빈도가 $p[\pi]$와 일치하면 전체 순위 보정되었다고 한다.
• 순위별 보정 (Rankwise Calibration): 약한 보정(weak calibration)과 유사하다. 특정 순위 $\pi$에 할당된 예측 확률 $\alpha$에 대해, $h(x)[\pi]=\alpha$인 인스턴스들 중 $\pi$의 경험적 빈도가 정확히 $\alpha$이면 모델은 순위별로 보정되었다고 한다.

2. 주변 보정 (Marginal Calibration: Sub-rankings 및 Top-$k$)

본 논문은 전체 순위 분포의 투영(projection)에 대한 보정을 도입한다:

• Sub-$k$ 보정: 항목의 부분 집합 $B$ ($|B|=k$)에 초점을 맞춘다. 이는 $B$의 순위에 대한 주변 분포가 보정될 것을 요구한다. 여기에는 RLHF의 핵심인 쌍별 보정(pairwise calibration, $k=2$)이 포함된다.
• Top-$k$ 보정: 상위 $k$ 위치에 초점을 맞춘다. 이는 상위 $k$ 항목의 주변 분포가 보정될 것을 요구한다.

3. 더 약한 변형들

강한 보정과 약한 보정의 구분과 유사하게, 저자들은 전체 주변 분포 대신 특정 부분 순위의 확률만을 조건으로 하는 순위별 Sub-$k$ 및 순위별 Top-$k$ 보정을 정의한다.

이론적 프레임워크

논문은 이러한 개념들 사이의 함의 관계와 배타적 관계를 구축한다 (그림 1 참조):

• 함의 (Implications): 전체 순위 보정은 순위별, sub-$k$, 그리고 top-$k$ 보정을 함의한다. Sub-$k$ (및 top-$k$) 보정은 각각의 순위별 변형들을 함의한다.
• 비함의 (Non-Implications):
  • Sub-$k$ 보정은 전체 순위 보정을 함의하지 않는다 (주변값에서 상쇄될 수 있는 변화가 전체 분포에 영향을 줄 수 있음).
  • Top-$k$ 보정은 전체 순위 보정을 함의하지 않는다.
  • Sub-$k$와 top-$k$ 보정은 **비교 불가능(incomparable)**하다; 즉, 어떤 모델은 sub-$k$ 보정은 되어 있으나 top-$k$ 보정은 되지 않을 수 있고, 그 반대도 가능하다.
  • 순위별 보정(전체 또는 sub-$k$)은 더 강한 주변 보정 개념들을 함의하지 않으며, 다른 순위별 변형들도 함의하지 않는다.

이러한 관계는 Plackett–Luce 및 Mallows와 같이 널리 사용되는 모델을 포함한 일반적인 모델 클래스에 대해 성립한다.

실증적 평가

저자들은 실제 데이터셋(영화, 정치)과 RLHF 보상 모델(RewardBench2)에 대해 인기 있는 레이블 순위 모델들(Plackett–Luce, Mallows, Pairwise Comparison 기반 랭킹, 신경망 RankClassifier)을 평가한다.

• 메트릭: 예측 확률을 빈(bin)으로 나누고 이를 경험적 빈도와 비교하는 방식으로 레이블 순위에 맞게 조정된 기대 보정 오차(Expected Calibration Error, ECE)를 사용한다. 클래스의 계승적 증가로 인해, ECE 계산은 관찰된 가장 빈번한 95%의 순위로 제한된다.
• RLHF 분석: 보정(Top-1 ECE)과 RewardBench2 벤치마크 정확도 사이의 상관관관계를 조사한다.

주요 결과

1. 인기 모델의 낮은 보정 성능: 실증적 결과에 따르면, 인기 있는 레이블 순위 모델들(Plackett–Luce, Mallows)은 특히 항목 수가 증가함에 따라 종종 보정이 제대로 이루어지지 않는다.
2. 메트릭 간의 괴리: sub-ranking 보정과 top-$k$ 보정 메트릭 사이에는 상당한 차이가 존재한다. 어떤 모델은 한 메트릭에서는 우수한 성능을 보이지만 다른 메트릭에서는 실패할 수 있으며, 이는 이론적 비비교성을 확인시켜 준다.
3. RLHF 보상 모델: RLHF 맥락에서, 보정은 벤치마크 정확도와 강한 상관관계가 있지만 완벽하지는 않다. 이는 보정이 top-1 정확도와는 구별되는 유의미한 품질 차원을 포착하고 있음을 시사한다.
4. Rank Breaking 효과: "Rank breaking"(예: 쌍별 선호도를 학습하고 이를 전체 분포로 집계하는 방식)을 통해 학습된 모델은 쌍별 데이터나 전체 순위에 직접 학습된 모델에 비해 종종 낮은 보정 성능을 보인다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장한다:

1. 공식화: 문제를 다중 클래스 분류로 보는 관점의 한계를 넘어, 확률적 레이블 순위 결정을 위한 맞춤형 보정 계층 구조를 도입하였다.
2. 이론적 통합: 이러한 개념들 사이의 관계에 대한 통일된 이론적 그림을 제공하며, sub-ranking에 대한 보정이 Plackett–Luce나 Mallows와 같은 표준 모델에서도 전체 순위 보정을 함의하지 않음을 증명하였다.
3. 실증적 통찰: 기존의 레이블 순위 학습기들이 빈번하게 미보정(miscalibrated) 상태임을 보여주며, 보정이 RLHF 보상 모델에 있어 top-1 정확도 이상의 통찰을 제공할 수 있는 별도의 가치 있는 메트릭임을 입증하였다.

저자들은 이러한 연구 결과가 레이블 순위 작업에서 발생하는 미보정의 하류 효과(downstream effects)를 이해하고 이를 교정하기 위한 구체적인 방법을 개발하는 기초가 된다고 결론짓는다. 또한, 본 연구가 기초적인 작업임을 명시하며, 단순히 분류 방법을 적용하는 것이 아니라 레이블 순위 결정에 특화된 보정 기술이 필요함을 강조한다.