기술 요약: 합리성 변형을 통한 RLHF 의 인지 편향 완화

문제 정의

인간 피드백을 통한 강화 학습 (RLHF) 은 인간 주석자가 잠재적 의도를 충실히 반영하는 선호도를 표현한다는 전제에 의존합니다. 그러나 인간 판단은 종종 인지 편향 (예: 결합 오류, 앵커링 편향, 매몰 비용 오류) 에 영향을 받기 때문에 이 전제는 결함이 있습니다. 표준 RLHF 파이프라인에서는 이러한 체계적인 편차를 균일한 확률적 노이즈로 취급합니다. 학습 과정은 일반적으로 고정된 합리성 매개변수 $\beta$가 잠재적 보상 차이와 관찰된 쌍별 선호도 간의 일관성을 조절하는 볼츠만-합리성 (Boltzmann-rational) 공식으로 인간 선호도를 모델링합니다.

$\beta$를 전역 상수로 취급하는 것은 모든 컨텍스트에 걸쳐 주석자의 신뢰도가 균일하다고 암묵적으로 가정합니다. 결과적으로, 학습 데이터에 체계적인 인지 편향이 포함되어 있을 경우, 학습된 보상 모델은 이러한 편향을 내재화하여 하위 대형 언어 모델 (LLM) 이 비합리적인 행동을 재현하거나 심지어 증폭하게 만듭니다. 본 논문이 다루는 핵심 문제는 편차가 무작위가 아니라 컨텍스트에 의존적이고 체계적인, 불완전한 인간 피드백에 대해 RLHF 를 견고하게 만드는 방법입니다.

방법론

저자들은 합리성을 고정된 것이 아니라 컨텍스트와 주석에 의존하는 것으로 취급하는 프레임워크를 제안합니다. 전역 $\beta$ 대신, 그들은 특정 선호도 쌍의 가중치를 인지 편향의 추정 가능성에 기반하여 조절하는 동적, 인스턴스 의존적 합리성 매개변수 $\beta_{new}$를 도입합니다.

1. 동적 합리성 매개변수 ($\beta_{new}$)

이 방법은 특정 비교에 대한 추정된 편향 확률 ($D_f$) 의 함수로 고정된 $\beta$를 대체합니다:
$$\beta_{new} = \text{logistic}(k \cdot (\theta - D_f))$$
여기서:

• $D_f \in [0, 1]$은 관찰된 피드백이 인지 편향의 영향을 받을 확률입니다.
• $\theta$는 피드백이 감량되기 시작하는 시점을 결정하는 임계값 매개변수입니다.
• $k$는 전환의 경사도를 조절합니다.

$D_f$가 낮을 때 (편향 가능성 낮음), $\beta_{new}$는 1 에 가까워져 선호도에 높은 가중치를 부여합니다. $D_f$가 증가함에 따라 $\beta_{new}$는 0 으로 감소하여 보상 모델에 대한 잠재적 편향된 판단의 영향을 효과적으로 감량시킵니다.

2. 편향 감지 ($D_f$ 추정)

$D_f$를 추정하기 위해 저자들은 "LLM-as-judge" 접근법을 사용합니다. ChatGPT 5.2 Thinking 또는 Mistral-7B-Instruct 와 같은 오프더셸 (out-of-the-box) LLM 이 각 학습 예제 (프롬프트, 후보 응답, 그리고 선택된 선호도) 를 평가하여 편향 가능성을 예측합니다.

• 쌍별 평가: 심판자는 두 후보 응답 중 어느 것이 더 편향되었는지 식별합니다.
• 보정: 최소한의 홀드아웃 검증 세트를 사용하여 다양한 편향 유형 간의 체계적인 방향성 오류를 보정하는 경량 보정 단계가 수행됩니다.
• 세분화: 핵심적으로, $D_f$는 시나리오 자체가 아니라 특정 시나리오 내의 선택된 응답에 대해 정의됩니다. 이를 통해 시스템은 편향을 유발하는 시나리오에서도 주석자가 편향을 성공적으로 회피한 경우 (예: 통계적으로 훈련된 주석자가 결합 오류를 올바르게 거부하는 경우) 에는 정보 신호를 유지할 수 있습니다.

3. 학습 파이프라인

• 보상 모델: 각 쌍의 가중치가 $\beta_{new}$에 조건부로 결정되는 손실 함수를 사용하여 보상 모델 (Mistral-7B 에서 초기화됨) 을 학습합니다.
• 정책 최적화: 하위 정책은 고정된 편향 인식 보상 모델을 사용하여 그룹 상대 정책 최적화 (GRPO) 로 미세 조정됩니다.
• 데이터셋: 이 방법은 인지 편향을 유발하도록 설계된 두 가지 데이터셋, 즉 BRU 데이터셋(205 개 질문, 8 가지 편향 유형) 과 CogBias 데이터셋(30,000 건, 30 가지 편향 유형) 에서 검증됩니다. 현실적인 RLHF 실패 모드를 시뮬레이션하기 위해, 학습 데이터는 편향된 응답이 기준 정답 응답보다 선호되도록 구성되며, 이는 조절 가능한 비율 (예: 3:1 비율) 의 사례에서 발생합니다.

주요 기여

1. 컨텍스트 의존적 합리성: 이 논문은 RLHF 에서 고정된 합리성 매개변수에 대한 표준 가정을 도전하며, 대신 $\beta$가 특정 피드백 인스턴스의 신뢰도에 따라 변해야 한다고 제안합니다.
2. 동적 감량 메커니즘: 저자들은 LLM 기반 편향 감지기를 사용하여 $\beta$를 동적으로 조정하는 메커니즘을 도입함으로써, 동일한 컨텍스트 내의 편향되지 않은 판단에서 정보 신호를 유지하면서 편향된 비교의 가중치를 감량할 수 있게 합니다.
3. 불완전한 감지에 대한 견고성: 이 방법은 편향 감지기 (LLM-as-judge) 가 불완전하거나 노이즈가 있더라도 감지의 정확도가 특정 임계값 (약 57-60%) 이상으로 유지되는 한 효과성을 입증합니다.

실험 결과

저자들은 고정된 $\beta$값 (0.1, 0.5, 0.9, 1.0) 과 무작위 $\beta$ 할당을 사용하는 베이스라인과 동적 $\beta$ 방법을 비교하여 BRU 와 CogBias 데이터셋에서 접근법을 평가했습니다.

• 편향 전파 감소: CogBias 데이터셋에서 편향 제거 모델은 기준 정답 정확도 **67.6%**를 달성하여, 미세 조정되지 않은 기본 모델 (42.4%) 과 동일한 편향 데이터로 학습된 베이스라인 (약 1.7% 정확도로 붕괴됨) 보다 크게 개선되었습니다. BRU 데이터셋에서 편향 제거 모델은 3:1 편향 데이터로 학습되었음에도 기본 모델 대비 정확도를 8.3% 향상시켰습니다.
• 편향된 피드백에 대한 견고성: 이 방법은 베이스라인에서 관찰된 "편향된 선호도로의 붕괴"를 성공적으로 방지했습니다. 학습 데이터에 편향된 선호도 대비 기준 정답 선호도의 비율이 5:1 인 경우에도 동적 $\beta$ 모델은 고정 $\beta$ 베이스라인보다 훨씬 높은 정확도를 유지했습니다.
• 일반 성능 유지: TruthfulQA데이터셋에 대한 평가는 일반 성능에 유의한 저하가 없음을 보였습니다 (-0.5% 의 유의하지 않은 변화), 이는 개입이 전반적인 능력을 희생하지 않으면서 편향을 선택적으로 감소시킴을 나타냅니다.
• 크로스 아키텍처 및 전이성: 이 접근법은 다양한 모델 아키텍처 (Mistral-7B 및 Qwen3-8B) 에서 통계적으로 유의한 개선을 가져왔습니다. 또한, 작은 BRU 데이터셋에서 미세 조정된 모델은 앵커링 편향을 완화하는 능력을 더 큰 CogBias 데이터셋으로 성공적으로 전이하여 기준 정답 정확도를 37.7% 에서 44.3% 로 향상시켰습니다.

의의 및 주장

이 논문은 효과적인 RLHF 정렬이 이상적이고 완벽하게 합리적인 인간 피드백을 획득하는 것보다 그 피드백에 내재된 왜곡을 모델링하는 데 더 의존한다고 주장합니다. 선호도 데이터를 컨텍스트 의존적이고 체계적으로 편향된 것으로 재구성함으로써, 저자들은 보상 모델이 편향으로 붕괴되지 않고 불완전한 피드백을 활용하도록 학습될 수 있음을 입증합니다.

저자들은 그들의 작업이 정렬 연구의 성장하는 방향에 기여한다고 주장합니다. 즉, 균일한 합리성에 대한 가정에서 벗어나 인지 편향을 감지, 모델링, 적응하는 방법으로 이동하는 것입니다. 그들은 $\beta$를 고정된 상수가 아닌 피드백 충실도의 신호로 취급함으로써 LLM 이 인간의 휴리스틱을 물려받는 대신 숙고적 추론을 근사할 수 있다고 주장합니다. 이 논문은 방법의 성공이 부분적으로 편향 감지기의 정확도에 의존하지만, 개입은 불완전한 심판자에서도 견고하게 유지된다고 결론지으며, 인간 불일치에 대한 견고성은 완벽한 인지 모델이 필요하지 않음을 시사합니다.