기술 요약: RLHF 내 보상 불확실성에 대한 통합적 관점

문제 정의

강화 학습으로부터의 인간 피드백(RLHF)은 현재 **보상 해킹(reward hacking)**이라는 병목 현상에 직면해 있습니다. 이는 정책이 실제 품질 개선을 이루지 못한 채, 프록시 보상 모델(RM)의 오류를 악용하여 점수를 극대화하는 현상입니다. 이는 구드하트의 법칙(Goodhart's law)의 일종으로, 아첨(sycophancy), 길이 편향(length bias) 및 기타 표면적 아티팩트로 나타납니다.

표준적인 완화 전략은 비관주의(pessimism), 즉 RM이 불확실한 영역에서 보상을 페널티하는 것입니다. 그러나 표준적인 스칼라 RM은 원칙적인 불확실성의 개념을 제공하지 못합니다. 기존 연구들은 앙상블 RM을 학습시키고, 평균 집계(Mean aggregation), 최악의 경우 최적화(Worst-Case Optimization, WCO), **불확실성 가중 최적화(Uncertainty-Weighted Optimization, UWO)**와 같은 휴리스틱을 사용하여 그 출력을 집계함으로써 이 문제를 다룹니다. 이러한 방법들은 경험적인 이점을 제공하지만, 이들 간의 관계, 암묵적 가정, 또는 하이퍼파라미터 튜닝에 대한 이론적 가이드 없이 개별적인 규칙(ad-hoc rules)으로 제시되어 왔습니다.

방법론

저자들은 결정론적 스칼라 RM을 분포적 보상 모델(distributional reward model) $p(r | x, y)$로 대체할 것을 제안합니다. 이 분포는 딥 앙상블(deep ensembles)이나 베이지안 마지막 레이어(Bayesian last-layer) 구축과 같은 소스에서 기인합니다. 본 논문은 두 가지 뚜렷한 이론적 관점을 통해 보상 불확실성을 처리하기 위한 통합된 프레임워크를 도출하며, 두 관점 모두 동일한 폐쇄형(closed-form) 유효 보상 구조를 산출합니다.

1. 베이지안 추론 (낙관적 분기):
   정책 최적화를 '최적성(optimality)' 관측 하의 추론으로 간주하여, 저자들은 보상 불확실성에 대해 주변화(marginalize)를 수행합니다. 이는 낙관적인 유효 보상으로 이어집니다:
   $$\tilde{r}_{opt}(x, y) = \beta \log \mathbb{E}_{p(r|x,y)}[e^{r/\beta}]$$
   젠슨의 부등식(Jensen's inequality)에 의해, 이는 유효 보상을 팽창시킵니다 ($\tilde{r}_{opt} \geq \mu$).

2. KL-분포 강건 최적화 (KL-Distributionally Robust Optimization, 비관적 분기):
   보상 해킹을 완화하기 위해, 저자들은 적대자가 믿고 있는 사후 분포 $p$로부터 KL-다이버전스 비용을 준수하면서 기대 보상을 최소화하도록 보상 분포 $Q$를 선택하는 적대적 게임을 구성합니다. 이는 다음을 산출합니다: 비관적 유효 보상:
   $$\tilde{r}_{rob}(x, y) = -\beta \log \mathbb{E}_{p(r|x,y)}[e^{-r/\beta}]$$
   이는 보상 분포의 엔트로피 위험 측정치(entropic risk measure)입니다. 젠슨의 부등식에 의해, 불확실성은 유효 보상을 감소시킵니다 ($\tilde{r}_{rob} \leq \mu$).

통합 표현식

핵-이 되는 이론적 기여는 불확실성 하에서의 유효 보상에 대한 폐쇄형 표현식입니다:
$$\tilde{r}(x, y) = \pm \beta \log \mathbb{E}_{p}[e^{\pm r/\beta}]$$
부호는 목적이 낙관적(Bayesian)인지 또는 비관적(Robust)인지에 따라 달라집니다.

큐뮬런트 전개(Cumulant Expansion) 및 가우시안 케이스

저자들은 보상 분포 $p(r|x,y)$의 큐뮬런트 전개를 사용하여 유효 보상을 분석합니다:
$$\tilde{r}_{opt/rob} = \mu \pm \frac{\sigma^2}{2\beta} + \frac{\kappa_3}{6\beta^2} \pm \frac{\kappa_4}{24\beta^3} + \dots$$
보상 분포가 가우시안(Gaussian)($p(r|x,y) = \mathcal{N}(\mu, \sigma^2)$)인 특정 경우, 모든 고차 큐뮬런트는 소멸하며, 결과적으로 정밀한 폐쇄형을 도출합니다:
$$\tilde{r}_{rob} = \mu - \frac{\sigma^2}{2\beta}$$
결정적으로, 분산 항의 계수는 별도의 튜닝 가능한 하이퍼파라미터가 아니라, RLHF 목적 함수에 이미 존재하는 KL 정규화 파라미터 $\beta$에 의해 결정됩니다.

주요 기여

1. 통합적 관점: 본 논문은 RLHF 내의 보상 불확실성이 베이지안 추론 또는 KL-DRO로부터 유도되는 단일한 폐쇄형 유효 보상을 가진다는 것을 입증합니다.
2. 기존 휴리스틱의 통합: 저자들은 기존의 집계 규칙들이 비관적 분기 $\tilde{r}_{rob}$의 특정 극한 또는 절단(truncation)임을 보여줍니다.
   • 평균 집계(Mean Aggregation): $\beta \to \infty$ (위험 중립)인 극한에서 나타납니다.
   • 최악의 경우 최적화(WCO): $\beta \to 0$ (무제한 적대자)인 극한에서 나타납니다.
   • 불확실성 가중 최적화(UWO): 가우시안 절단 시리즈에서 나타나며, 여기서 페널티 계수 $\lambda$는 암묵적으로 $1/(2\beta)$로 설정됩니다.
3. 구현 가이드라인: 본 논문은 기존 방법들의 암묵적 가정을 명확히 합니다.
   • Mean은 불확실성이 중요하지 않다고 가정합니다.
   • WCO는 최악의 가능한 분포(제약 없는 적대자)를 가정합니다.
   • UWO는 보상 분포가 근사적으로 가우시안이라고 가정합니다.
   • 본 논문은 가우시안 사후 분포를 위한 원칙적인 기본값으로 $\tilde{r} = \mu - \sigma^2/(2\beta)$를 제안하며, 이를 통해 별도의 분산 페널티 하이퍼파라미터를 튜닝할 필요성을 제거합니다.

결과 및 추정

본 논문은 $K$개의 보상 모델(예: 앙상블)로부터 $\tilde{r}_{rob}$을 실질적으로 추정하는 방법을 논의합니다.

• 직접 로그-MGF 추정량 (Direct Log-MGF Estimator): $\hat{\tilde{r}} = -\beta \log (\frac{1}{K} \sum e^{-r_i/\beta})$. 이는 일관성(consistent)이 있으나, 유한한 $K$에 대해 편향(biased)될 수 있으며 $\beta$가 작을 때 이상치(outlier)에 민감합니다.
• 가우시안 절단 추정량 (Gaussian-Truncated Estimator): $\hat{\tilde{r}} = \hat{\mu} - \hat{\sigma}^2/(2\beta)$. 저자들은 이를 기본값으로 권장하며, 일반적인 앙상블 크기($K \in \{3, \dots, 10\}$)에서 고차 큐뮬런트가 제대로 추정되지 않기 때문에 가우시안 근사가 더 견고(robust)하다고 언급합니다.

의의 및 주장

본 논문은 휴리스틱한 집계 규칙을 넘어 RLHF의 보상 불확실성에 대한 이론적 토대를 제공한다고 주장합니다. 그 의의는 다음과 같습니다.

• 가정의 명확화: 기존 방법들(Mean, WCO, UWO)을 보상 분포의 형태와 적대자의 KL 예산에 대한 구체적인 가정으로 매핑합니다.
• 파라미터 효율성: 가우시안 가정 하에서 분산 페널티가 KL 계수인 $\beta$와 본질적으로 연결되어 있음을 확립하여, 추가적인 자유 하이퍼파라미터를 제거합니다.
• 분야 간 연결: RLHF의 비관주의를 분포적 강화 학습(distributional RL) 및 오프라인 RL의 비관주의와 연결하여, 로그-MGF / 엔트로피 위험 형식이 이 도메인들의 유사한 원리로부터 발생함을 보여줍니다.

저자들은 자신들의 프레임워크가 분포적 RM(앙상블 또는 베이지안 헤드 필요)을 가정하고 적절한 교정(calibration)을 필요로 하지만, 고차 큐뮬런트나 꼬리가 두꺼운 분포를 위한 분위수 기반 비관주의(예: CVaR)를 통해 가우시안 가정을 넘어 확장할 수 있는 레시피를 제공한다고 결론짓습니다.