Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

기술 요약: FiMi-RM (보상 모델의 길이 편향 완화를 위한 편향 피팅)

문제 정의

인간 피드백으로부터 강화 학습(RLHF)은 대규모 언어 모델(LLM)을 인간의 선호도에 정렬시키는 표준 프레임워크입니다. 그러나 이 과정은 보상 모델(Reward Model)의 결함을 악용하여 실제 의도를 준수하지 않고 점수를 극대화하는 **보상 해킹(Reward Hacking)**에 취약합니다. 이러한 해킹의 흔한 형태는 **길이 편향(Length Bias)**으로, 보상 모델이 실제 품질과 상관없이 길이에 따라 체계적으로 높은 점수를 부여하는 현상입니다. 이는 다운스트림 모델에서 지나치게 장황한 생성을 유발합니다.

기존의 완화 전략들은 다음과 같은 상당한 한계를 가집니다:

1. 특성 규명 부족: 일부 접근 방식(예: RRM)은 데이터 분포를 균형 있게 맞추거나 인과적 프레임워크를 사용하려고 시도하지만, 편향의 형태를 명시적으로 모델링하지는 않습니다.
2. 선형 가정: 많은 방법(예: Length Penalty, ODIN, Huang et al.)은 응답 길이와 보상 사이의 관계가 선형이라고 가정합니다. 이들은 길이에 따라 고정된 계수를 빼거나, 길이를 품질에서 분리하기 위해 선형 회귀를 사용합니다.
3. 부적절함: 이러한 선형 가정은 길이와 보상 점수 사이의 복잡한 상호작용, 특히 다양한 길이 영역에서 관찰되는 복잡한 패턴을 포착하는 데 실패합니다.

방법론: FiMi-RM

저자들은 비선형적인 편향 패턴을 자율적으로 학습하고 수정하도록 설계된 프레임워크인 FiMi-RM(Bias Fitting to Mitigate Length Bias of Reward Model)을 제안합니다. 이 접근 방식은 세 가지 뚜렷한 단계로 작동합니다.

1. 웜업 단계 (Warm-Up Stage):

   • 선호도 데이터에 대해 Bradley-Terry 손실을 사용하여 표준 보상 모델($model_r$)을 학습시킵니다.
   • 결정적으로, 이 단계는 즉시 교정하려 하기보다 보상 모델의 내재된 길이 편향을 보존합니다. 이는 모델이 긴 응답에 더 높은 점수를 부여하는 강력하고 체계적인 경향성을 갖게 함으로써, 후속 피팅 단계를 위한 명확한 타겟을 제공합니다.

2. 길이 편향 피팅 단계 (Length Bias Fitting Stage):

   • 응답 길이($len(y)$)와 편향된 보상 출력($r$) 사이의 관계를 명시적으로 특성화하기 위해 경량화된 **피팅 모델**($model_f$)을 도입합니다.
   • 아키텍처: 스칼라 길이는 $d$차원 특징 공간(Positional Encoding에서 영감을 얻은 Length Encoding 사용)으로 투영되고, ResNet 아키텍처를 통해 처리된 후 선형 투영 헤드를 거쳐 보상($\hat{r}$)을 예측합니다.
   • 목적 함수: 피팅 모델은 예측값($\hat{r}$)과 실제 보상 모델 출력($r$) 사이의 불일치를 최소화하도록 학습됩니다. 최적화에는 예측된 보상과 실제 보상 사이의 상관관계를 최대화하는 피어슨 상관계수 손실(Pearson correlation loss, $L_{pearson}$)이 사용됩니다.
   • 핵심 통찰: 피어슨 손실의 사용은 피팅 모델 자체에 선형성 제약을 부과하지 않으면서 상관관계 패턴을 정렬합니다. ResNet 기반의 $model_f$는 복잡한 비선형 의존성을 자유롭게 학습할 수 있습니다.

3. 길이 디바이어싱 단계 (Length Debiasing Stage):

   • 원래의 보상 모델은 인간의 선호도를 모델링하는 능력을 유지하면서 응답 길이를 출력에서 분리하도록 미세 조정됩니다.
   • 학습 메커니즘: 이 프레임워크는 보상 모델과 피팅 모델 사이의 교차 학습 전략을 채택합니다.
   • 손실 함수: 보상 모델은 다음의 복합 손실을 사용하여 최적화됩니다:
     $$L_{debiased} = L'_{pearson} + L_{BT}$$
     • $L'_{pearson}$: 보상 모델의 출력이 피팅 모델의 예측과 상관관계가 없도록 강제합니다(학습된 편향을 효과적으로 제거함).
     • $L_{BT}$: 표준 Bradley-Terry 손실로, 모델이 인간의 선호도를 구별하는 능력을 유지하도록 보장합니다.
   • 지표 함수 $I(step)$은 편향을 피팅하는 단계와 보상 모델을 디바이어싱하는 단계를 번갈아 수행합니다.

주요 기여

1. 비선형 편향 모델링: 본 논문은 이전 연구의 단순한 선형 가정을 넘어, "해킹된" 보상과 응답 길이 사이의 비선형 관계를 자율적으로 학습하는 다단계 프레임워크를 소개합니다.
2. 비선형성의 실증적 검증: 피팅 과정을 통해 저자들은 다단계 편향 패턴을 식별했습니다:
   • 짧은 응답 (<100 토큰): 길이가 길어질수록 보상이 증가하는 강한 선형 상관관계를 보입니다.
   • 긴 응답: 관계가 평탄해지며, 어떤 경우에는 약간의 하향 추세를 보이기도 합니다. 이는 연장된 출력에 대해 길이에 의한 긍정적 효과가 감소하거나 역전됨을 나타냅니다.
3. 포괄적 평가: 이 방법은 길이-보상 분포 분석, 길이 제어 승률, 그리고 여러 정렬 알고리즘(DPO 및 Best-of-N)에 걸친 응답 길이 분포를 통해 검증되었습니다.

실험 결과

저자들은 Qwen2.5-7B 및 Gemma2-9B 모델을 사용하여 Anthropic HH 데이터셋에 대해 Vanilla 보상 모델, Length Penalty, 그리고 ODIN과 비교하여 FiMi-RM을 평가했습니다.

• 선호도 정확도: FiMi-RM은 선택된 응답이 더 긴 경우(C-longer)와 짧은 경우(R-longer)의 하위 집합 모두에서 더 균형 잡힌 정확도를 달와 성취했습니다. C-longer 하위 집합에서의 전체 정확도는 약간 감소했으나, 저자들은 이것이 의미론적 이해의 상실이 아니라 "길이 지름길(length shortcut)"의 성공적인 제거를 의미한다고 주장합니다.
• 길이-보상 분포: 산점도는 FiMi-RM이 베이스라인에 비해 길이 빈(bin) 전반에 걸쳐 더 대칭적이고 평탄한 보상 분포를 생성함을 보여주며, 효과적인 디바이어싱을 확인시켜 줍니다.
• 다운스트림 성능 (BoN & DPO):
  • 승률: FiMi-RM은 Best-of-N (BoN) 및 Direct Preference Optimization (DPO) 설정 모두에서 가장 높은 **길이 제어 승률(LC-WR)**과 표준 승률(WR)을 기록했습니다.
  • 장황함: 이 방법은 MT-Bench 및 IFEval과 같은 벤치마크에서 성능을 유지하거나 개선하면서도, Vanilla RM 및 Length Penalty에 비해 생성된 응답의 평균 토큰 길이를 크게 줄였습니다.
  • 선택 편향: BoN 선택에서 FiMi-RM은 중간 길이의 응답 쪽으로 선호를 이동시키는 경향이 있는 ODIN과 비교하여, 더 간결한 출력을 선호하는 경향을 보였습니다.

의의 및 주장

본 논문은 FiMi-RM이 문제의 비선형적 특성을 명시적으로 모델링함으로써 길이 편향을 완화하는 데 있어 더 정밀하고 효과적인 접근 방식을 제공한다고 주장합니다. 핵심적인 선호도 모델링 능력을 훼손하지 않으면서 길이를 보상에서 분리함으로써, 이 방법은 RLHF 파이프라인이 고품질이면서도 적절히 간결한 응답을 생성할 수 있게 합니다.

저자들은 자신의 방법이 허구적 상관관계를 효과적으로 줄이지만, 인간의 선호도가 길이와 완전히 독립적인지에 대한 문제는 여전히 열려 있다고 언급합니다. 특정 맥락(예: 상세한 설명이 필요한 작업)에서는 길이와 품질 사이의 양의 상관관계가 실제적일 수 있음을 인정합니다. 그러나 본 프레임워크는 착취 가능한 편향과 실제 선호도를 성공적으로 구분하여, 더 안전하고 효과적인 모델 정렬을 이끌어냅니다.