Best Policy Learning from Trajectory Preference Feedback

이 논문은 강화학습 (Reinforcement Learning, RL) 분야에서 인간의 피드백을 활용하여 생성 모델을 정렬 (Alignment) 하는 문제를 다루며, 특히 경로 선호도 (Trajectory Preference) 기반의 강화학습 (PbRL) 에서 최적 정책 식별 (Best Policy Identification, BPI) 문제를 해결하기 위한 새로운 알고리즘 PSPL (Posterior Sampling for Preference Learning) 을 제안합니다.

아래는 논문의 핵심 내용을 요약한 기술적 요약입니다.

1. 문제 정의 (Problem Statement)

• 배경: 기존 RLHF(RL from Human Feedback) 는 학습된 보상 모델 (Reward Model) 에 의존하는데, 이는 보상 함수의 오명세 (Misspecification) 나 보상 해킹 (Reward Hacking) 에 취약합니다.
• 대안: PbRL 은 절대적인 점수 대신 두 경로 (Trajectory) 간의 이진 비교 (Binary Comparison) 를 통해 인간의 의도를 더 직접적이고 견고하게 반영합니다.
• 핵심 과제:
  • 오프라인 데이터의 한계: 실제 적용 시 편향되거나 분포 밖 (Out-of-Distribution, OOD) 일 수 있는 오프라인 선호도 데이터셋을 사용합니다. 또한, 이 데이터를 생성한 평가자 (Rater) 의 능력 (Competence) 이 불완전할 수 있습니다.
  • 목표: 제한된 온라인 예산 하에서, 오프라인 데이터와 온라인 순수 탐색 (Pure Exploration) 을 결합하여 최종적으로 가장 좋은 정책 (Best Policy) 을 찾는 것입니다. (누적 손실 최소화보다는 최종 정책의 성능 극대화에 초점).
  • 환경: 전이 역학 (Transition Dynamics) 과 보상 함수 (Reward Function) 를 모두 알지 못하는 Episodic MDP 환경.

2. 제안 방법: PSPL 알고리즘 (Methodology)

저자들은 Top-Two Thompson Sampling 아이디어를 차용한 PSPL 알고리즘을 제안했습니다.

• 핵심 아이디어:

  • 보상 모델 ($\theta$) 과 전이 역학 ($\eta$) 에 대한 사후 분포 (Posterior Distribution) 를 유지하며 샘플링합니다.
  • 오프라인 데이터 활용: 초기 오프라인 선호도 데이터 ($D_0$) 를 사용하여 사전 분포 (Prior) 를 '정보화 (Informed)'합니다. 이는 오프라인 데이터가 보상 파라미터와 전이 역학에 대한 정보를 포함하고 있다는 가정 하에 이루어집니다.
  • 평가자 능력 모델링: 평가자의 능력을 두 가지 파라미터로 정의합니다.
    • $\beta$: 평가자의 결정에 대한 확신 (Deliberateness).
    • $\lambda$: 평가자가 실제 환경 보상 ($\theta$) 을 얼마나 잘 아는지에 대한 지식 (Knowledgeability).
  • 온라인 학습 과정:
    1. 현재 사후 분포에서 두 개의 파라미터 세트를 샘플링합니다.
    2. 각 세트를 기반으로 두 개의 정책 ($\pi^{(0)}, \pi^{(1)}$) 을 계산합니다.
    3. 두 정책을 실행하여 두 경로를 생성하고, 평가자로부터 선호도 피드백을 받습니다.
    4. 이 피드백을 통해 사후 분포를 업데이트합니다.
    5. 최종적으로 MAP (Maximum-A-Posteriori) 추정을 통해 최적 정책을 출력합니다.

• 실용적 근사 (Bootstrapped PSPL):

  • 실제 적용 시 사후 업데이트의 계산적 어려움 (Conjugacy 상실) 을 해결하기 위해 Bayesian Bootstrapping 기법을 도입했습니다.
  • 손실 함수 (Loss Function) 에 무작위 가중치와 노이즈를 추가하여 MAP 추정을 변형함으로써, 실제 사후 분포를 근사하는 샘플을 효율적으로 생성합니다.

3. 주요 기여 (Key Contributions)

1. 공식적 프레임워크: 오프라인 경로 선호도 데이터와 온라인 선호도 피드백을 결합한 최적 정책 학습 (BPI) 을 위한 첫 번째 체계적인 프레임워크를 제시했습니다.
2. 새로운 알고리즘 (PSPL): Top-Two Posterior Sampling 기반의 알고리즘을 개발하여, 이 설정에서 최적 정책을 찾는 알고리즘을 최초로 제안했습니다.
3. 이론적 보장 (Regret Bounds): PbRL 에 대한 첫 번째 베이지안 단순 후회 (Simple Bayesian Regret) 상한선을 증명했습니다.
   • 오프라인 데이터의 크기 ($N$) 와 평가자의 능력 ($\lambda, \beta$) 이 증가함에 따라 단순 후회가 지수적으로 감소함을 보였습니다.
   • 평가자가 전문가 (Expert) 에 가까워질수록 성능이 획기적으로 개선됨을 이론적으로 입증했습니다.
4. 실증적 성과: 시뮬레이션 환경 (MountainCar, RiverSwim) 과 실제 이미지 생성 작업 (Pick-a-Pic 데이터셋) 에서 기존 Baselines(DPO, IPO, LPbRL, DPS) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 환경 (MountainCar, RiverSwim):
  • 오프라인 데이터의 가치: 오프라인 데이터 ($D_0$) 를 Warm-start 로 사용할 때 단순 후회 (Simple Regret) 가 크게 감소했습니다.
  • 평가자 능력의 영향: 평가자의 능력 파라미터 ($\lambda, \beta$) 가 높을수록, 그리고 데이터 양 ($N$) 이 많을수록 PSPL 의 성능이 Baselines 대비 월등히 우수했습니다.
  • 강건성 (Robustness): 평가자의 능력 파라미터 ($\lambda, \beta$) 를 잘못 설정 (Mis-specification) 하더라도 PSPL 은 Baselines 보다 우월한 성능을 유지했습니다.
• 이미지 생성 작업 (Text-to-Image):
  • Pick-a-Pic 데이터셋을 활용하여 Diffusion 모델의 정렬에 적용했습니다.
  • PSPL 은 DPO 나 IPO 와 같은 최신 오프라인 파인튜닝 기법보다 더 높은 최종 보상 (Higher Final Reward) 을 달성하여, 생성된 이미지의 품질이 더 뛰어났습니다.

5. 의의 및 결론 (Significance)

• RLHF 의 새로운 패러다임: 기존 RLHF 가 가진 보상 모델 학습의 취약점을 우회하고, 경로 수준의 선호도 피드백을 직접 활용하여 더 견고한 정렬을 가능하게 합니다.
• 오프라인 - 온라인 하이브리드 학습: 대규모 오프라인 데이터를 효과적으로 활용하면서도, 온라인 탐색을 통해 데이터의 편향을 보정하고 최적 정책을 찾는 체계적인 방법을 제시했습니다.
• 이론과 실전의 연결: 복잡한 MDP 환경에서 이론적인 후회 상한선을 제공하면서도, Bootstrapping 기법을 통해 실제 계산 가능한 알고리즘으로 구현하여 실용성을 입증했습니다.

이 논문은 생성형 AI 모델의 정렬 과정에서 인간의 선호도를 더 효율적이고 안전하게 학습하기 위한 중요한 이론적, 실용적 토대를 마련했다는 점에서 의미가 큽니다.