PAWS: Preference Learning with Advantage-Weighted Segments

기술 요약: PAWS (Advantage-Weighted Segments를 이용한 선호도 학습)

문제 정의
선호도 기반 강화학습(Preference-based Reinforcement Learning, PbRL)은 명시적인 보상 함수 대신 인간의 궤적 수준 비교로부터 정책을 학습하는 것을 목표로 합니다. 그러나 기존 방법들은 근본적인 훈련-추론 분포 이동(training-inference distribution shift) 문제로 어려움을 겪습니다. 일반적으로 PbRL 방법들은 세그먼트 수준 또는 궤적 수준의 선호도를 바탕으로 유틸리티 함수(예: 보상 또는 어드밴티지 모델)를 훈련합니다. 하지만 정책 최적화 과정에서 이 모델들은 개별 상태-행동 쌍에 대해 쿼리를 수행하여 단계별 학습 신호를 계산합니다.

이러한 불일치는 시간적 신용 할당(temporal credit assignment) 문제를 야기합니다. 논문에서 설명하듯, 많은 서로 다른 단계별 어드밴티스 할당이 동일한 세그먼트 수준의 선호도 레이블로 합산될 수 있습니다. 결과적으로 유틸리티 모델은 개별 단계 수준에서 제약이 부족하게 됩니다(underconstrained). 따라서 유틸리티 모델이 세그먼트로 훈련되었음에도 불구하고 정책 최적화 시 단일 단계(추론)에 대해 쿼리를 던지면, 생성되는 학습 신호는 모호하고 신뢰할 수 없게 되며, 이는 특히 데이터가 적은 환경에서 정책 학습 성능을 심각하게 저하시킵니다.

방법론: PAWS
저자들은 유틸리티 훈련을 세그먼트 수준에서 정책 최적화와 정렬함으로써 이러한 분포 이동 문제를 해결하기 위해 PAWS(Preference Learning with Advantage-Weighted Segments)를 제안합니다.

1. 어드밴티스 학습 (Advantage Learning):

   • PAWS는 보상 함수를 학습하는 대신, 세그먼트 수준의 선호도 쌍 $(\tau^+, \tau^-)$으로부터 어드밴티스 함수 $A_\phi$를 직접 학습합니다.
   • 선호도 우도(likelihood)는 세그먼트 내 어드밴티스의 합을 기반으로 한 브래들리-테리(Bradley-Terry) 정식화 모델을 사용하여 모델링됩니다: $P_{A_\phi}[\tau^+ \succ \tau^-] = \frac{\exp(A_\phi(\tau^+))}{\exp(A_\phi(\tau^+)) + \exp(A_\phi(\tau^-))}$.
   • 모델은 트랜스포머 인코더(Transformer encoder) 또는 다층 퍼셉트론(MLP)을 사용하여 구현될 수 있습니다.

2. 세그먼트 기반 정책 최적화 (Segment-Based Policy Optimization):

   • PAWS는 단계별 유틸리티를 추론하는 대신, 궤적 세그먼트에 대해 직접 정책 업데이트를 수행합니다.
   • 이 방법은 원래의 데이터 분포 $p_D(\tau)$ 내에서 신뢰 영역(KL-divergence 경계 $\epsilon$)을 유지하면서 기대 어드밴티스를 최대화하는 최적의 세그먼트 분포 $p^*(\tau)$를 찾기 위한 제약 최적화 문제를 정식화합니다.
   • 해결책은 재가중치(reweighted) 세그먼트 분포를 산출합니다: $p^*(\tau) \propto p_D(\tau) \exp(\frac{1}{\lambda} A_\phi(\tau))$.
   • 그 후, 정책 $\pi_\theta$는 세그먼트 어드밴티스의 지수값을 가중치로 사용하는 **가중 최대 가능도 목적 함수(weighted maximum likelihood objective)**를 최대화함으로써 업데이트됩니다:
     $$\mathcal{L}(\theta) = \sum_{\tau \in D} \sum_{(s_t, a_t) \in \tau} \exp\left(\frac{A_\phi(\tau)}{\lambda}\right) \log \pi_\theta(a_t|s_t)$$
   • 결정적으로, 중요도 가중치(importance weight)가 전체 세그먼트에 적용되어, 정책 업데이트가 세그먼트 수준의 선호도 정보를 존중하도록 보장합니다.

3. 유효 샘플 크기를 통한 하이퍼파라미터 제어:

   • 행동 차원 및 데이터셋 크기에 따라 달라지는 KL 경계 $\epsilon$을 수동으로 튜닝하는 것을 피하기 위해, PAWS는 중요도 가중치로부터 계산된 유효 샘플 크기(effective sample size, $n_{eff}$)를 통해 라그랑주 승수 $\lambda$를 제어하는 데이터 기반 전략을 도입합니다.
   • 저자들은 고(高) 어드밴티스 세그먼트의 활용(exploitation)과 안정성 사이의 균형을 맞추기 위해, 가중치가 부여된 데이터의 유효 샘플 크기를 달성하도록 $\lambda$를 설정하는 방법을 제안합니다. 이를 통해 얼마나 많은 세그먼트가 업데이트에 의미 있게 기여할지를 직관적으로 제어할 수 있습니다.

주요 기여

• 분포 이동 분석: 본 논문은 세그먼트 수준의 유틸리티 훈련과 단계 수준의 추론 사이의 불일치를 기존 PbRL 방법의 핵심적인 한계점으로 식별하였으며, 이것이 모호한 시간적 신용 할당을 유발함을 밝혔습니다.
• PAWS 알고리즘: 궤적 수준의 선호도 정보를 보존하고 신뢰할 수 없는 단계별 신호를 피하기 위해, 어드밴티스 가중치 세그먼트를 사용하여 정책 업데이트를 수행하는 새로운 세그먼트 기반 선호도 학습 방법을 제안합니다.
• 데이터 기반 하이퍼파라미터 튜닝: 선호도 가중치가 부여된 데이터의 유효 샘플 크기에 기반하여 정책 최적화 하이퍼파라미터를 설정하는 직관적인 전략을 제공하여, 수동 튜닝에 대한 의존도를 낮췄습니다.
• 실험적 검증: 시뮬레이션된 로봇 조작(Meta-World) 및 보행(D4RL) 작업에 대한 포괄적인 평가를 통해 기존 베이스라인 대비 일관된 성능 향상을 입증했습니다.

실험 결과
저자들은 두 가지 선호도 예산(50개 및 500개 쌍) 하에서 10개의 Meta-World 조작 작업과 4개의 D4RL 보행 작업에 대해 PAWS를 평가했습니다.

• 성능: PAWS(Transformer 및 MLP 변체 모두)는 BC(Behavior Cloning), P-IQL, CPL, CPL+KL, Preference Transformer, IPL을 포함한 베이스라인들을 일관되게 능가했습니다.
• 저데이터 환경 (Low-Data Regime): 50개 선호도 설정에서 많은 베이스라인들이 BC보다 성능이 떨어지는 퇴보를 보인 반면, PAS는 견고한 성능을 유지하며 데이터가 부족한 시나리오에서의 효율성을 입과했습니다.
• 절제 연구 (Ablation Studies):
  • 업데이트 입도 (Update Granularity): PAWS의 세그먼트 수준 업데이트를 (동일한 학습된 어드밴티스 함수를 사용하는) 상태-행동 수준 업데이트로 대체했을 때 성능이 크게 하락했습니다. 이는 분포 이동이 표준 접근 방식 실패의 주요 원인임을 확인시켜 줍니다.
  • 세그먼트 길이: 세그먼트 길이를 늘리는 것은 상태-행동 기반 업데이트의 성능 저하를 악화시켰으나, 세그먼트 수준에서 작동하는 PAWS에는 부정적인 영향이 거의 없었습니다.
  • 인간 피드백: 10명의 비저자(non-author) 인간 레이블러로부터 수집된 선호도에 대해 테스트했을 때, PAWS는 "Button Press" 및 "Door Open" 작업에서 가장 높은 성공률을 기록하며 실제 인간의 노이즈에 대한 강건성을 입증했습니다.
  • 신용 할당 (Credit Assignment): PAWS는 단계 기반 업데이트에 비해 전문가 순위와 더 높은 스피어먼 서열 상관계수(Spearman's rank correlation)를 보여, 시간적 선호도 구조를 더 잘 보존함을 나타냈습니다.

의의 및 주장
본 논문은 PAWS의 성능 향상이 특정 아키텍처의 선택보다는 학습된 유틸리티 함수의 훈련 및 추론 분포를 정렬한 데서 기인한다고 주장합니다(MLP와 Transformer 변체 모두 단계 수준 모델보다 우수한 성능을 보였기 때문).

저자들은 PAWS가 세그먼트로 훈련하면서 단계로 추론하는 방식에 내재된 "신뢰할 수 없는 단계별 학습 신호"를 피함으로써, PbRL의 시간적 신용 할당 문제를 해결하는 원칙적인 솔루션을 제공한다고 강조합니다. 이 방법은 단계별 유틸리티 추정이 가장 노이즈가 심한 저데이터 환경에서 특히 효과적입니다. 평가는 오라클(oracle) 및 소규모 인간 데이터를 사용한 시뮬레이션 로봇 작업에 국한되어 있으나, 저자들은 세그먼트 수준의 관점이 개별 토큰이 아닌 전체 응답에 대해 비교가 이루어지는 대규모 생성 모델(예: RLHF)의 선호도 미세 조정에 직접 적용 가능하다고 제안합니다.

한계점
저자들은 PAS가 세그먼트 내의 모든 상태-행동 쌍에 균등한 중요도 가중치를 할당하므로, 세그니먼트 내에 고품질 행동과 저품질 행동이 섞여 있을 경우 최적이 아닐 수 있음을 인정합니다. 또한, 유효 샘플 크기($n_{eff}$)를 선택하는 과정이 필요하지만, 이는 KL 경계를 직접 튜닝하는 것보다 더 직관적이라고 언급했습니다. 마지막으로, 현재 평가는 시뮬레이션에 국한되어 있으며 대규모의 노이즈 섞인 인간 피드백은 아직 다루지 않았습니다.