Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback

기술 요약: 증명 가능한 다원적 정렬 (Provable Pluralistic Alignment)

문제 정의

본 논문은 인간 피드백으로부터의 강화학습(RLHF)에서의 다원적 정렬(pluralistic alignment) 문제를 다룹니다. 표준적인 RLHF 파이프라인은 일반적으로 단일 잠재 보상 함수를 가정하며, 모든 인간 피드백을 하나의 데이터셋으로 통합합니다. 이러한 접근 방식은 사용지(당사자)들이 이질적이고, 지속적이며, 잠재적으로 상충하는 선호도를 가진 환경에서는 적절하지 않습니다. 데이터를 하나로 통합하는 것은 '누가 어떤 선호를 가졌는지'에 대한 정보를 버리는 것이며, 명시적인 설계 없이 특정 규범적 집계 규칙(예: 다수결)을 암묵적으로 강요하게 됩니다.

핵심 과제는, 이질적인 피드백을 하나의 암묵적 보상 모델로 먼저 붕괴시키지 않고, 오프라인의 당사자 인덱스 기반 비교 데이터로부터 **단일한 집단 정책(collective policy)**을 학습하는 것입니다. 이 문제는 제한적이고 불균형한 오프라인 데이터 분포에서 발생하는 통계적 불확실성을 고려하는 동시에, 미지의 당사자별 선호를 추정하고 명시적인 사회 후생 목표를 만족하는 정책을 선택하는 것을 요구합니다.

방법론

저자들은 **통계적 선호 학습(statistical preference learning)**과 **규범적 선호 집계(normative preference aggregation)**를 분리하는 통합 프레임워크를 제안합니다. 이 프레임워크는 두 가지 별개의 체제(regime) 하에서 작동합니다.

1. 보상 표현 가능 체제 (선형 저차원 모델)

• 모델: 각 당사자 $m$은 선형 브래들리-티티-루스(Bradley–Terry–Luce, BTL) 선호 모델 $R_m(s,a) = \theta_m^\top \phi(s,a) + C_0$를 따릅니다. 결정적으로, 보상 파라미터 $\theta_m$은 공유된 저차원 구조를 가집니다: $\theta_m = U^* \alpha_m^*$, 여기서 $U^*$는 공유된 저차원 표현이며 $\alpha_m^*$는 당사자별 계수입니다.
• 알고리즘 (비관적 내쉬 후생 - Pessimistic Nash Welfare):
  1. 결합 추정: 공유된 표현 $U$와 당사자별 계수 $\alpha_m$을 모든 당사자 인덱스 데이터셋을 사용하여 최대 우도 추정(MLE)을 통해 결합하여 추정합니다.
  2. 신뢰 집합: 추정치 주변에 당사자별 신뢰 집합 $\Theta_B(\hat{\theta}_m)$을 구축하여 통계적 불확실성을 정량화합니다.
  3. 비관적 최적화: 이 신뢰 집합들에 대해 비관적 사회 후생 목표를 최대화함으로써 집단 정책을 선택합니다. 내쉬 후생의 경우, 다음과 같이 정의됩니다:
     $$\hat{J}(\pi) = \min_{\Theta \in \Theta_B(\hat{\Theta})} \left( \prod_{m=1}^M \mathbb{E}_{s \sim \rho} [R_{\theta_m}(s, \pi(s))] \right)^{1/M}$$
  4. 이 접근 방식은 공리주의적(Utilitarian, 산술 평균) 및 평등주의적(Egalitarian, max-min) 목표로 확장 가능합니다.
• 확장: 이 프레임워크는 궤적 기반 점유 측도(occupancy measures)를 사용하여 컨텍스추얼 밴딧(Contextual Bandits)에서 마르코프 결정 과정(MDPs)으로 일반화됩니다.

2. 일반 쌍체 선호 체제 (비 스칼라 보상)

• 모델: 선호도가 스칼라 보상 표현을 가질 수 없거나 확률적, 비이행적 또는 순환적일 수 있습니다. 선호도는 쌍체 비교 확률을 통해 직접 모델링됩니다.
• 알 알고리즘 (비관적 폰 노이만 승자 - Pessimistic von Neumann Winner):
  1. 집계: 당사자별 쌍체 선호 행렬을 추정하고 이를 (동일 가중치를 사용하여) 집계하여 인구 수준의 행렬을 형성합니다.
  2. 신뢰 경계: 집계된 선호 행렬에 대해 요소별 하한 신뢰 경계를 구축합니다.
  3. 게임 이론적 최적화: 선호 행렬의 하한 신뢰 경계를 사용하여 제로섬 행렬 게임을 해결함으로써 비관적 폰 노이만 승자를 계산합니다. 이는 경쟁 전략들에 대해 최악의 경우의 집단 선호 마진을 최대화하는 무작위 정책을 생성합니다.

주요 기여

1. 엔드 투 엔드 프레임워크: 본 논문은 이질적인 보상을 학습하는 통계적 과제와 이를 집계하는 규범적 과제를 명시적으로 분리하여, 당사자 인덱스가 부여된 오프라인 비교로부터 집단 정책을 학습하는 문제를 정식화했습니다.
2. 이질적 보상에 대한 유한 표본 이론: 공유된 저차원 모델 하에서, 저자들은 다음 사항에 대한 비점근적(non-asymptotic) 경계(bounds)를 제공합니다:
   • 보상 추정: 당사자별 보상 추정 오차는 $O\left(\sqrt{\frac{1}{n}\left(r^2 + dr^2 \log\frac{d}{M} + \log\frac{M}{\delta}\right)}\right)$의 규모로 나타나며, 이는 결합 학습이 독립적 학습에 비해 공유 구조를 활용하여 샘플 복잡도를 줄임을 보여줍니다.
   • 정책 부적합성: 결과적인 집단 정책의 부적합성에 대한 경계를 내쉬, 공리주의, 평등주의 목표에 대해 설정하였으며, 추정 불확실성이 비선형 후생 함수를 통해 어떻게 전파되는지 보여줍니다.
3. 일반 쌍체 선호 보증: 스칼라 보상이 없는 설정에 대해, 본 논문은 비관적 폰 노이만 승자를 구축하고 유한 표본 성능 보증을 도출하여, 순환적이거나 비이행적인 선호가 있더라도 해당 정책이 근사적 승자가 됨을 보장합니다.
4. 효율성 보증: 학습된 정책이 (보상 체제에서) 근사적으로 파레토 효율적이며 (일반 체제에서) 근사적으로 사후 효율적(ex-post efficient)임을 입증하여, 다른 당사자에게 해를 끼치지 않고는 어느 당사자도 크게 개선될 수 없음을 보장합니다.

결과

• 이론적 경계: 학습된 정책의 부적합성은 공유 표현 차원 $r$, 당사자 수 $M$, 그리고 오프라인 데이터 커버리지(concentratability 계수를 통해)에 달려 있음을 확립했습니다. 이 경계는 $r^2 \ll \min\{M, d\}$일 때 단일 당사자 RLHF 경계보다 개선됩니다.
• 수치적 예시: 컨텍스추얼 밴딧 설정에서의 시뮬레이션은 다음을 입증합니다:
  • 결합 저차원 추정 방식이 내쉬, 공리주의, 평등주의 부적합성 측면에서 독립적 추정 및 풀링(pooling) 베이스라인보다 성능이 현저히 뛰어납니다.
  • 풀링 베이스라인은 당사자들이 상충하는 선호를 가질 때 타협 정책(예: 중간 지점 선택)을 식별하는 데 실패하는 반면, 제안된 방법은 불일치의 구조를 성공적으로 학습합니다.
  • 일반 쌍체 선호 방식은 샘플 크기가 증가함에 따라 최적의 폰 노이만 승자로 수렴하는 반면, 풀링 베이스라인은 사라지지 않는 오차 격차를 유지합니다.

의의 및 주장

본 논문은 이질적인 인간 피드백을 명시적인 다당사자 RLHF 문제로 정식화한 최초의 이론적 연구 중 하나로 자리매김합니다. 핵심 주장은 다음과 같은 조합에 대해 **최초의 유한 표본 보증(finite-sample guarantees)**을 제공한다는 점입니다:

1. 공유된 저차원 당사자별 보상 학습.
2. 비관적 비선형 사회 후생 최적화.
3. 오프라인 정책 선택.

저자들은 자신들의 프레임워크가 선호 집계를 데이터 풀링의 암묵적 결과가 아니라, 명시적이고 통계적으로 분석 가능한 설계 선택으로 만든다고 주장합니다. 당사자의 정체성을 유지하고 통계적 불확실성을 집계 규칙을 통해 전파함으로써, 이 방법은 제한적이고 이질적이며 잠ungkinan 순환적인 피드백으로부터 명시적인 집단 후생 보증을 가진 단일 정책을 학습하는 다원적 정렬의 핵심 과제를 해결합니다.

본 논문은 관찰된 지속적인 당사자 정체성과 비전략적 피드백을 가정한다는 한계를 인정합니다. 또한 이후의 연구들이 전략적 인센티브, 능동적 데이터 수집 및 확장 가능한 최적화를 탐구했음을 밝히면서도, 본 연구가 이러한 방향성을 위한 기초적인 통계적 프레임워크를 마련했음을 강조합니다.