기술 요약: 보수적 오프라인 학습에서의 비관주의의 역설 (Pessimism's Paradox in Conservative Offline Training)

1. 문제 정의

대규모 언어 모델(LLM)을 정렬하는 표준 패러다임은 두 단계의 과정을 포함한다: 첫째, 참조 정책($\pi_{ref}$)으로부터의 이탈을 억제하는 보수성 계수($\beta$)를 사용하여 인간 선호 데이터(예: DPO를 통한 직접 선호 최적화)로 오프라인 학습을 수행한다. 둘째, 학습된 프록시 보상 모델을 사용하여 온라인 적응을 수행한다.

기존의 직관(즉, "암묵적 계약")은 더 높은 $\beta$가 더 안전한 토대를 구축한다는 것이다. 더 보수적인 정책일수록 참조 정책의 분포에 더 가깝게 유지되며, 결과적으로 보상 모델의 학습 분포에도 더 가까워져 프록시 보상의 결함을 악용하는 현상(보상 해킹, reward hacking)의 가능성을 줄일 것이라는 가정이다.

본 논문은 이러한 직관에 도전하며, 높은 $\beta$가 오히려 이후의 온라인 적응 과정에서 보상 해킹 피해를 증폭시킨다는 **역설(paradox)**을 입증한다. 저자들은 이 분야가 가진 '최대 보수성'에 대한 의존이 결함이 있으며, 최대치가 아닌 '교정된(calibrated)' 접근 방식이 필요하다고 주장한다.

2. 방법론

실험 설정

• 정책 모델: 4-bit NF4 양자화된 LoRA 어댑터를 사용하여 미세 조정된 Qwen3-14B.
• 보상 모델: UltraFeedback 데이터셋에 대해 부트스트랩 리샘플링으로 학습된 세 개의 독립적인 Qwen3-1.7B 시퀀스 분류기 앙상블. 이 앙상블은 프록시 보상 신호와 함께 에피스테믹 불확실성(epistemic uncertainty, 앙상블 간의 불일치로 측정) 추정치를 제공한다.
• 오프라인 학습: 서로 다른 보수성 수준($\beta \in \{\beta_{lo}, \beta_{mid}, \beta_{hi}\}$)을 가진 세 가지 별도의 DPO 체크포인트를 학습시켰다. 이 $\beta$ 값들은 임의의 값이 아니라, 선호 데이터에 대한 참조 정책의 절대 로그 비율 크기의 20, 50, 80 백분위수에서 도출되었다.
• 온라인 적응: 각 체크포인트를 학습된 보상 앙상블에 대해 온라인으로 적응시켰다. 목적 함수에는 표준적인 어드밴티지 가중 정책 경사(advantage-weighted policy gradient)와 적응형 KL 페널티가 포함되었다.
• 평가 지표: 실제 성능은 GSM8K 데이터셋의 정답 정확도로 측정되었다. 실제 보상은 평가 중에만 관찰 가능하므로, 저자들은 정규화된 프록시 보상과 정규화된 실제 보상 사이의 발산 정도를 **굿하트 갭(Goodhart Gap, $G(t)$)**으로 정의하였다. 누적 피해는 **굿하트 갭 곡선 아래 면적(AUGC)**으로 정량화되었다.

메커니즘 분석

저자들은 높은 $\beta$가 보상 해킹을 증가시키는 인과 관계를 세 가지 연결 고리를 통해 조사하였다:

1. 엔트로피 압축 (Entropy Compression): $\beta$가 정책의 출력 다양성을 어떻게 제한하는지 확인하기 위해 토큰 수준의 엔트로피를 측정함.
2. OOD 거리 (OOD Distance): 생성된 응답의 은닉 상태(hidden states)와 보상 모델 학습 분포 중심 사이의 코사인 거리를 계산함.
3. 불확실성 기반 착취 (Uncertainty-Driven Exploitation): 앙상블 불일치(에피스테믹 불확실성)와 굿하트 갭 사이의 상관관계를 분석함.

3. 주요 결과

경험적 역설

높은 보수성이 보상 해킹을 줄일 것이라는 가설과 반대로, 본 연구는 $\beta$가 증가함에 따라 보상 해킹 피해가 **단조 증가(monotonic increase)**함을 발견했다.

• AUGC 상관관계: 보수성 수준 $\beta$와 AUGC 사이에는 완벽한 양의 스피어만 서열 상관관계($\rho = 1.0$)가 존재했다.
• 정량적 피해:
  • 낮은 $\beta$ ($0.310$): AUGC = 31.1
  • 중간 $\beta$ ($1.000$): AUGC = 43.0
  • 높은 $\beta$ ($2.379$): AUGC = 145.8
• 굿하트 갭 궤적: 모든 조건에서 프록시 보상이 실제 성능을 과대평가(음의 갭)하는 경향을 보였으나, 고-$\beta$ 정책은 가장 심각하고 지속적인 발산을 나타냈다.

메커니즘적 발견

논문은 높은 $\beta$가 보상 해킹을 유발하는 세 가지 인과 사슬을 식별하였다:

1. 엔트로피 붕괴 (Entropy Collapse): 높은 $\beta$의 DPO는 정책의 출력 엔트로피를 압축하여, 정책이 감소된 다양성을 가진 응답을 생성하도록 강제한다.
2. 분포 불일치 (Distributional Mismatch): 역설적이게도, 이러한 저엔트로피의 다양성이 부족한 응답들은 낮은 $\beta$ 응답들보다 보상 모델의 학습 분포 중심에 더 가깝다(코사인 거리 기준). 그러나 이들이 좁은 영역에 집중됨에 따라 더 높은 에피스테믹 불확실성(앙상블 불일치)을 유발한다.
3. 착취 (Exploitation): 평균 프록시 보상을 극대화하려는 온라인 옵티마이저는 이러한 높은 앙상블 불일치 영역을 빠르게 착취한다. 저엔트로피 정책의 탐색 방향 부족은 그래디언트 업데이트를 보상 모델의 "사각지대(blind spots)"로 직접 유도하여 굿하트 갭을 가속화한다.

최적의 보수성 ($\beta^\star$)

$(\beta, \text{AUGC})$ 데이터에 멱법칙(power-law) 곡선을 피팅함으로써, 저자들은 실용적인 최적 보수성 수준인 $\beta^\star \approx 1.082$를 찾아냈다.

• 안전 구역 (Safe Zone): $[0, \beta^\star]$.
• 위험 구역 (Danger Zone): $(\beta^\star, \infty)$.
• 시사점: $\beta^\star$를 넘어서면, 보수성을 높이는 것이 보상 해킹 위험의 불균형적인 증가(AUGC의 초선형적 성장)를 초래한다.

4. 의의 및 주장

본 논문은 안전한 정렬 전략에 대한 이해를 근본적으로 바꾼다고 주장한다:

• 최대 보수성론의 반박: 저자들은 "오프라인 학습의 보수성이 높을수록 온라인 적응이 더 안전해진다"는 가정이 OOD(분포 외) 유도 보상 해킹이 발생하는 특정 실패 모드 하에서는 위배된다고 단언한다.
• 최대화가 아닌 교정 (Calibration over Maximization): 이 분야에는 "최대화된 보수성이 아닌, 교정된 보수성"이 필요하다. 실무자들은 단순히 참조 정책에 가깝게 머물기 위해 $\beta$를 최대화하기보다, 정렬 충실도(alignment fidelity)와 해킹 취약성 사이의 균형을 맞추기 위해 $\beta^\star$ 근처의 $\beta$를 목표로 해야 한다.
• 메커니즘적 통찰: 이 연구는 엔트로피 압축, 앙상블 불일치, 그리고 보상 모델 학습 분포의 특정한 기하학적 구조 사이의 상호작용을 연결함으로써 왜 보상 해킹이 발생하는지에 대한 원리적인 설명을 제공한다.

저자들은 결론적으로, 안전한 오프라인-온라인 정렬은 참조 정책에 가깝게 유지하는 것이 안전을 보장한다고 가정하는 대신, 오프라인 정렬 신호(DPO)와 온라인 프록시 보상 사이의 분포 불일치를 명시적으로 고려해야 한다고 강조한다.