기술 요약: RLHF 를 위한 견고한 보상 모델링을 위한 분해된 인과 표현 학습

1. 문제 제기

인간 피드백을 통한 강화 학습 (RLHF) 은 대규모 언어 모델 (LLM) 을 인간의 선호도와 정렬시키기 위해 보상 모델에 의존합니다. 그러나 표준 보상 모델은 인간의 라벨과 상관관계는 있지만 실제 선호도의 의도와 인과적으로 관련되지 않은 데이터 패턴인 허위 상관관계를 학습하기 쉽습니다. 일반적인 예시로는 응답 길이(품질과 무관하게 더 긴 응답이 더 높은 점수를 받는 경우) 와 아첨 편향(진실한 답변을 제공하는 대신 사용자의 의견에 동의하는 경우) 등이 있습니다.

이러한 결함 있는 보상 모델을 통해 LLM 을 RLHF 로 최적화할 경우, 모델은 실제 행동을 개선하지 않고도 예측된 보상을 극대화하기 위해 이러한 단축 경로를 악용합니다. **보안 해킹 (reward hacking)**이라고 불리는 이 현상은 인간의 근본적인 목표를 충족시키지 못하는 지나치게 길고 반복적이거나 아첨하는 출력을 생성하는 모델로 이어집니다. 기존 완화 전략은 종종 통제해야 할 허위 변수를 명시적으로 지정해야 합니다 (예: 길이 패널티 부과). 그러나 악용 패턴을 완전히 예측하기 어렵기 때문에 이는 비실용적입니다.

2. 방법론: CausalRM

저자들은 분해된 인과 표현 학습을 통해 보상 해킹을 해결하는 CausalRM을 제안합니다. 핵심 가설은 프롬프트 - 응답 쌍의 문맥 임베딩이 인간의 선호도를 예측하는 데 충분한 인과 요인과 길이 또는 스타일과 같은 관련 없는 속성인 비인과 요인을 모두 포함한다는 것입니다. CausalRM 은 이러한 요인들을 분리하여 인과 불변성을 강제함으로써 보상 예측이 오직 인과 구성 요소에만 의존하도록 합니다.

아키텍처

CausalRM 은 변분 오토인코더 (VAE) 구조와 세 가지 전문 헤드를 갖춘 표준 보상 모델을 확장합니다:

1. 분해된 잠재 표현:

   • 백본 임베딩 $h$는 변분 인코더를 통해 두 가지 잠재 변수로 매핑됩니다: 인과 잠재 $z_c$와 비인과 잠재 $z_{nc}$.
   • $z_c$는 인간의 선호도를 예측하는 데 충분한 정보를 유지하도록 장려됩니다.
   • $z_{nc}$는 보상과 무관한 속성을 포착하도록 장려됩니다.

2. 인과 보상 헤드:

   • 보상 예측 $\hat{r}$은 선형 헤드 $g_\psi(z_c)$를 통해 $z_c$로부터 유일하게 계산됩니다.
   • 이 구조적 제약은 보상 헤드가 비인과 정보에 접근하는 것을 방지합니다.

3. 경우 역전 (Gradient Reversal) 을 갖춘 적대적 헤드:

   • 적대적 헤드 $a_\omega$는 비인과 구성 요소 $z_{nc}$로부터 보상을 예측하려고 시도합니다.
   • **경우 역전 계층 (GRL)**이 $z_{nc}$와 적대적 헤드 사이에 적용됩니다. 역전파 과정에서 적대적 손실의 기울기는 부호가 반전됩니다.
   • 목적: 적대적 헤드는 손실을 최소화 (잘 예측) 하도록 훈련되는 반면, 인코더는 이 손실을 최대화 ( $z_{nc}$를 정보 없이 만듦) 하도록 훈련됩니다. 이는 인코더가 비인과 구성 요소에서 보상 예측 신호를 제거하도록 강제합니다.

4. 재구성 헤드:

   • 퇴화된 솔루션 (예: $z_c$와 $z_{nc}$가 $h$의 전체 정보를 포착하지 못하는 후방 붕괴) 을 방지하기 위해 디코더가 연결된 잠재 변수 $[z_c; z_{nc}]$로부터 원래 임베딩 $h$를 재구성합니다.

훈련 목적

모델은 다음을 포함하는 미니맥스 목적 함수 (식 10) 를 공동으로 최적화하여 훈련됩니다:

• 선호도 손실 ($L_{pref}$): 충분성을 보장하기 위한 $z_c$에 대한 표준 쌍별 Bradley-Terry 손실.
• 정보 병목 ($L_{KL}^c$): $z_c$의 중복 정보를 패널티하여 최소성을 장려.
• 적대적 불변성 ($L_{adv}$): 인코더가 $z_{nc}$의 보상 신호를 억제하기 위해 적대적 손실을 최대화하는 미니맥스 항.
• 재구성 손실 ($L_{rec}$): 분해된 잠재 변수들이 백본 임베딩의 정보를 collectively 보존하도록 보장.

3. 주요 기여

1. 보상 모델링을 위한 인과 프레임워크: 이 논문은 단순한 정규화를 넘어 보상 모델링을 위해 잠재 표현을 인과 및 비인과 요인으로 명시적으로 분리하는 최초의 프레임워크인 CausalRM 을 소개합니다.
2. 새로운 아키텍처: 인과 요인으로 제한된 보상 헤드, 불변성을 강제하기 위해 기울기 역전을 갖춘 적대적 헤드, 그리고 퇴화를 방지하기 위한 재구성 헤드를 결합한 VAE 기반 아키텍처를 설계했습니다.
3. 실증적 검증: 저자들은 이 접근 방식이 보상 모델링의 정확도를 높일 뿐만 아니라 하류 RLHF 작업에서 보상 해킹 행동을 현저히 완화함을 입증했습니다.

4. 실험 결과

실험은 수학적 추론(OpenMathInstruct-1, GSM8K, MATH 등) 과 개방형 대화(Anthropic-HH, MT-Bench 등) 에서 수행되었습니다.

• 보상 모델링 정확도 (RQ1): CausalRM 은 분포 내 (ID) 및 분포 외 (OOD) 벤치마크 모두에서 쌍별 정확도 측면에서 최첨단 베이스라인 (Standard RM, GoalRM, InfoRM) 을 능가했습니다. 특히 OOD 데이터에서 성능 격차가 확대되어 허위 상관관계에 대한 더 나은 일반화를 시사했습니다.
• 하류 RLHF 성능 (RQ2): CausalRM 으로 훈련된 정책은 최종 답변 정확도 (수학) 와 베이스라인에 대한 승리율 (대화) 에서 일관된 개선을 보였습니다. 특히, 훈련 중 '골드' 보상 (실제 성능) 이 예측된 보상과 분리되는 (해킹을 나타냄) 베이스라인과 달리, CausalRM 은 예측된 성능과 실제 성능 간의 일관된 추세를 유지했습니다.
• 인과 불변성 (RQ3):
  • 길이 편향: CausalRM 은 응답 길이에 대한 민감도가 거의 제로였습니다 (길이 구간 간 보상 표준 편차 $\sigma_{len} = 0.03$), 반면 베이스라인은 상당한 변동을 보였습니다.
  • 아첨 편향: 아첨 접두사가 주입된 '해킹' 데이터셋에서 평가했을 때, CausalRM 은 성능 저하가 최소화되면서 높은 정확도를 유지한 반면, 베이스라인은 크게 저하되었습니다.
  • 개입 분석: 실제 보상 결정 요인에 대한 통제된 개입 (예: 올바른 수학 답을 잘못된 답으로 변경) 은 CausalRM 에서 예상된 보상 변화를 초래하여, 모델이 피상적 단서가 아닌 인과 요인에 의존함을 확인시켰습니다.

5. 중요성과 주장

이 논문은 CausalRM 이 허위 변수에 대한 명시적 주석이 필요 없이 보상 해킹을 완화하는 일반적인 메커니즘을 제공한다고 주장합니다. 인과 표현 학습을 활용함으로써, 이 방법은 보상 예측이 최소한의 충분한 인과 요인에만 의존하도록 강제하고 비인과 신호를 능동적으로 억제합니다.

저자들은 이 작업을 인과적으로 견고한 보상 모델링을 향한 실용적인 단계로 위치시킵니다. 그들은 관측 데이터에서 진정한 인과 메커니즘을 복원하는 것이 이론적으로 어렵지만, 불변성 제약과 적대적 훈련을 뒷받침하는 그들의 분해 접근법은 더 잘 일반화되고 길이 편향 및 아첨과 같은 허위 패턴의 악용에 저항하는 경험적으로 신뢰할 수 있는 보상 모델을 산출한다고 주장합니다.

이 논문은 이 접근 방식이 보상 모델의 정확도와 하류 RLHF 정렬의 안정성 모두를 개선하여, LLM 을 인간의 의도와 정렬시키는 데 있어 핵심적인 과제에 대한 확장 가능한 솔루션을 제공한다고 결론지었습니다.