기술 요약: Best-of-N 선호 데이터를 통한 보상 학습 (Reward Learning from Best-of-N Preference Data)

문제 정의

Best-of-N (BoN) 샘플링은 현대 AI 시스템, 특히 보상 모델(Reward Model)을 훈련하고 대규모 언어 모델(LLM)을 정렬(Alignment)하는 데 널리 사용되는 메커니즘입니다. 이 과정에서는 기본 분포(Base distribution)로부터 $N$개의 후보 응답을 샘플링하고, 오라클(인간 또는 모델 기반)이 가장 좋은 응답을 "선택된(chosen)" 예시로 선정합니다. "거절된(rejected)" 예시는 일반적으로 남은 후보들 중 균등하게 선택되거나(Best-vs-Random), 가장 나쁜 후보로 선택됩니다(Best-vs-Worst).

이러한 보편성에도 불구하고, 이러한 데이터로부터 보상을 학습하는 것에 대한 이론적 특성은 여전히 불분명합니다. 구체적으로 다음 사항들은 명확히 이해되지 않았습니다:

1. 표준 브래들리-테리(Bradley-Terry, BT) 목적 함수 하에서 생성된 데이터셋이 유도하는 구체적인 보상 함수는 무엇인가?
2. 학습 효율을 최적화하기 위해 후보 세트의 크기 $N$과 기본 분포를 어떻게 선택해야 하는가?

일반적인 직관은 더 큰 $N$이 더 높은 절대적 품질의 응답을 제공하므로 더 좋은 데이터를 생성한다고 제안합니다. 그러나 본 논문은 이러한 직관이 불완전하다고 주장합니다. 데이터의 효용은 선택된 응답의 품질뿐만 아니라, 데이터셋이 제공하는 구체적인 비교 가능성(comparisons)에 따라 달라지기 때문입니다.

방법론

저자들은 최근의 분포 불가지론적 프레임워크(Pukdee et al., 2026)를 바탕으로 **조건부 선호 분포(Conditional Preference Distribution, CPRD)**의 관점에서 보상 학습을 분석합니다. 이 프레임워크는 선호 데이터가 브래들리-테리 표현을 가질 수 있는 조건을 규명하며, 유한 샘플 학습이 두 가지 핵심 요소인 **마진(margin, 쌍 간의 구별 난이도)**과 **연결성(connectivity, 비교 공간의 커버리지)**에 의해 지배됨을 밝힙니다.

본 논문은 이 프레임워크를 BoN 데이터에 적용하여 다음과 같이 수행합니다:

1. 폐쇄형 타겟(Closed-Form Targets) 도출: 선택된 샘플과 거절된 샘플이 독립적으로 추출되는 "독립형(Independent)" 변체(Best-vs-Independent 및 Best-vs-Worst-Independent)를 분석합니다. 이 설정에서 저자들은 BT 손실의 모집단 최소화값(population minimizers)에 대한 명시적인 폐쇄형 식을 도출합니다.
2. 실제적 변체 분석: 실제 사용되는 Best-vs-Random 및 Best-vs-Worst 설정으로 분석을 확장합니다. 이 경우 선택된 응답과 거절된 응답은 서로 결합되어 있습니다(동일한 $N$개의 후보 세트에서 추출됨). 이로 인해 정확한 BT 표현 가능성이 일반적으로 실패합니다. 저자들은 $N$이 증가함에 따라 이 실제적 변체들의 최소화값이 독립형 변체의 타겟으로 수렴함을 보여줍니다.
3. 트레이드오프 특성화: 매개변수 $N$이 유도된 선호 분포의 마진과 연결성에 동시에 미치는 영향을 조사합니다.
4. 실험적 검증: 합성 데이터와 실제 데이터셋(UltraFeedback, PKU-SafeRLHF, GSM8K)에 대해 $N$을 변화시키고 기본 분포를 재구성함으로써 이론적 예측을 검증합니다.

주요 기여

1. 보상 타겟의 특성화

• 독립형 변체: Best-vs-Independent의 경우, 유도된 보상 타겟 $r^*_{BI}$는 Best-of-N 분포와 기본 분포의 로그 비율인 $\log \frac{P_{BoN}(y|x)}{P_{base}(y|x)} + c(x)$로 나타납니다. 결정적으로, 이 타겟은 기저에 있는 실제 보상 $r^*$의 순위를 보존합니다.
• 실제적 변체: Best-vs-Random 및 Best-vs-Worst의 경우, 샘플 간의 결합으로 인해 단순한 폐쇄형 식을 갖지 않습니다. 그러나 저자들은 $N$이 증가함에 따라 이 설정들의 최소화값이 마진 세미 노름(margin semi-norm) 측면에서 독립형 변체의 타겟에 접근함을 증명합니다. 구체적으로, Best-vs-Random의 경우 거리는 $O(1/N)$으로 감소하며, Best-vs-Worst의 경우 지수적으로 감소합니다.

2. 마진-연결성 트레이드오프 (Margin-Connectivity Trade-off)

논문은 $N$에 의해 제어되는 근본적인 트레이드오프를 식별합니다:

• 마진: $N$을 증가시키면 쌍별 마진이 증폭됩니다. 두 결과 $y$와 $y'$ 사이의 마진은 "사이 질량(between mass, $y$와 $y'$ 사이의 기본 분포 확률 질량)"에 의해 스케일링되어 $N$에 따라 선형적으로 증가합니다. 큰 마진은 개별 비교를 더 정보력이 있고 추정 오차에 강하게 만듭니다.
• 연결성: $N$을 증가시키면 연결성이 감소합니다. $N$이 커질수록 BoN 샘플링은 고보상 결과에 집중되는 반면, Worst-of-N은 저보상 결과에 집중됩니다. 이는 관찰되는 비교의 범위를 좁혀 중간 단계의 쌍들을 과소 대표하게 만듭니다. 연결성 정도는 $N$에 따라 지수적으로 감소합니다.

3. 설계 원칙

이 트레이드오프를 바탕으로 저자들은 두 가지 실행 가능한 설계 원칙을 제안합니다:

• 자원 병목 원칙 (Resource Bottleneck Principle): 최적의 $N$은 선호 레이블의 희소성에 따라 달라집니다.
  • 레이블 제한 환경 (Label-Limited Regime): 인간 주석 작업이 병목인 경우(작은 샘플 크기 $n$), 더 큰 $N$이 유리합니다. 증가된 마진이 연결성 감소에도 불구하고, 제한된 데이터로 인한 높은 추정 오차를 극복하는 데 도움을 줍니다.
  • 생성 제한 환경 (Generation-Limited Regime): 레이블 비용이 저렴하거나 자동화된 경우(큰 샘플 크기 $n$), 더 작은 $N$이 유리합니다. 데이터가 풍부할 때는 큰 $N$으로 인한 연결성 손실이 마진 이득보다 크기 때문에, 절약된 컴퓨팅 예산을 더 작은 $N$을 가진 더 많은 삼중항(triplets)을 수집하는 데 사용하는 것이 더 효율적입니다.
• 사이 질량 원칙 (Between-Mass Principle): 기본 분포를 조정하여 마진을 선택적으로 증폭할 수 있습니다. 유도된 응s 사이의 마진은 보상 순서상 두 응답 사이에 배치된 기본 분포의 질량에 따라 증가합니다. 실무자는 특정 다운스트림 평가 분포(예: 안전 작업에서 유해한 출력과 허용 가능한 출력 사이)에 중요한 응답 쌍 사이에 질량을 배치하도록 기본 분포를 형성해야 합니다.

결과

• 합성 데이터: 실험은 예측된 트레이드오프를 확인합니다. 작은 샘플 크기($n$)에서는 더 큰 $N$이 더 높은 테스트 정확도를 보입니다. $n$이 증가함에 따라 최적의 $N$은 감소하며, $n$이 충분히 클 경우 작은 $N$(예: $N=2$)이 더 큰 $N$(예: $N=8$)보다 더 나은 연결성 덕분에 더 우수한 성능을 보입니다.
• 실제 데이터: UltraFeedback에서도 동일한 경향이 나타납니다. 즉, 큰 $N$은 데이터가 적은 환경에서 유리하고, 작은 $N$은 데이터가 많은 환경에서 경쟁력이 있거나 더 낫습니다.
• 기본 분포 재구성: 안전(PKU-SafeRLHF), 추론(GSM8K), 일반(UltraFeedback) 작업에 대한 실험은 "사이 질량"을 늘리기 위해 기본 분포를 재구성하는 것이 테스트 정확도를 향상시킨다는 것을 보여줍니다. 예를 들어, 안전 작업에서 "보통 수준의(결함은 있으나 위험하지 않은)" 응답을 업샘플링하면 유해한 출력과 허용 가능한 출력 사이의 마진이 증가하여 성능이 개선되었습니다.

의의

본 논문은 Best-of-N 선호 데이터로부터의 보상 학습에 대한 학습 이론적 토대를 제공합니다. "더 많은 후보가 항상 더 좋다"는 휴리스틱한 관점을 넘어, 유도된 보상 타겟과 샘플 복잡도 트레이드오프를 엄밀하게 규명합니다.

그 의의는 다음과 같습니다:

1. 신호의 명확화: BoN 데이터로부터 보상 학습이 무엇을 회복하는지를 정확히 식별하며, 순위는 보존되지만 구체적인 보상 함수는 $N$과 기본 분포에 의존함을 보여줍니다.
2. 데이터 설계 가이드 제공: 실무자들이 자원 제약에 따라 $N$을 선택하는 방법과, 특정 다운스트림 작업을 위해 학습 효율을 극대화하도록 기본 분포를 설계하는 방법에 대한 구체적이고 원칙적인 가이드라인을 제공합니다.
3. 이론과 실제의 연결: 추상적인 개념인 마진과 연결성을 BoN 샘로의 실제 메커니즘과 연결하여, 왜 특정 환경에서 매우 큰 $N$을 사용할 때 성능이 저하될 수 있는지, 그리고 이를 어떻게 완화할 수 있는지 설명합니다.

저자들은 선호 데이터 구축이 단순히 부수적인 세부 사항이 아니라, 어떤 보상이 학습되는지와 그것이 얼마나 효율적으로 학습될지를 결정하는 핵심적인 설계 레버라고 결론짓습니다.