A Descriptive and Normative Theory of Human Beliefs in RLHF

기술 요약: 인간의 신념에 관한 기술적 및 규범적 이론 - RLHF에서의 연구

문제 제기
인간 피드부터 강화 학습(RLHF)은 전통적으로 인간의 선호도를 인간의 보상 함수 또는 에이전트의 최적 상태-행동 가치($A^*$)의 함수로 모델링한다. 반환 기반(return-based) 및 후회 기반(regret-based) 모델을 포함한 표준 접근 방식들은 레이블러(labeler)가 실제로 발생한 사건이나 최적의 에이전트가 달성할 수 있는 성과를 바탕으로 궤적을 평가한다고 가정한다. 그러나 본 연구는 인간 레이블러가 훈련 중인 에이전트의 실제 능력에 대한 신념 또한 가지고 있다고 상정한다. 만약 레이블러가 에이전트가 최적이 아님에도 불구하고 최적이라고 가정하거나, 그 반대의 경우, 그들의 선호도는 RLHF 이후의 정책을 파멸적이거나 하위 최적인 상태로 이끌 수 있다. 본 논문은 두 가지 핵심 질문을 조사한다: (1) 인간 레이블러의 에이전트 능력에 대한 신념이 기술적으로 그들이 제공하는 선호도에 영향을 미치는가? (2) 규범적으로, 결과적인 정책의 성능을 극대화하기 위해 레이블러가 가져야 할 이상적인 신념 세트는 무엇인가?

방법론
저자들은 **신념 기반 선호도 모델(belief-based preference model)**을 제안하고 이를 이론적 분석, 합성 실험, 그리고 인간 피험자 연구를 통해 검증한다.

1. 이론적 프레임워크:

   • 저자들은 **에이전트 능력 신념(Agent Capability Belief)**을 레이블러가 추정한 에이전트의 post-RLHF 정책을 나타내는 $Q$-함수($Q^{\pi_{belief}}$)로 정의한다.
   • 저자들은 선호도가 최적의 어드밴티지 $A^*$가 아닌 어드밴티지 함수 $A^{\pi_{belief}}$에 의해 결정되는 새로운 선호도 모델(식 3)을 도입한다.
   • 규범적 이상(Normative Ideal): 본 논문은 규범적 이상 신념($Q^{\pi^*_{belief}}$)을 절대적인 최적성이 아니라, 에이전트의 제약 조건(예: 함수 근사 한계, 노이즈가 있는 액추에이터) 내에서 달성 가능한 최선의 post-RLHF 정책에 대해 가장 높은 기대 수익을 산출하는 신념으로 정의한다.
   • 이론적 경계: 저자들은 "에이전트-레이블러 불일치($\delta$)"(최적의 신념과 레이블러의 실제 신념 사이의 차이의 크기)의 함수로서 post-RLHF 정책의 성능 손실에 대한 공식적인 경계(정리 4.3)를 도출한다. 이 경계는 기대 수익이 이 불일치의 크기에 따라 선형적으로 감소함을 보여준다.

2. 합성 실험:

   • 저자들은 에이전트의 능력이 $\epsilon$-greedy 노이즈 파라미터($\epsilon$)에 의해 제한되는 GridWorld 도메인에서 실험을 수행했다.
   • 합성 선호도를 생성하는 데 사용된 레이블러의 가정된 노이즈 수준($\epsilon'$)을 변화시킴으로써 레이블러의 신념을 조작했다.
   • 연구는 훈련된 정책의 기대 수익을 실제 에이전트 노이즈($\epsilon$)와 가정된 레이블러 노이즈($\epsilon'$)의 매트릭스에 걸쳐 측정했다.

3. 인간 피험자 연구:

   • 도메인: 자율주행 자동차 시뮬레이션(CARLA).
   • 중재(Intervention): 참가자들은 세 가지 조건에 배정되었다: (1) 대조군 (프라이밍 없음), (2) 안전 프라이밍 (자동차가 안전하고 유능하게 운전하는 영상을 시청), (3) 불안전 프라이밍 (자동차가 드리프트하거나 충돌하는 영상을 시청).
   • 과업: 참가자들은 속도가 빠르지만 위험한 경로와 느리지만 안전한 경로 사이의 궤적 쌍에 대해 선호도를 제공했다.
   • 분석: 연구는 자유 텍스트 피드백에 대한 감성 분석(GPT-4 활용)과 리커트 척도 선호 데이터에 대한 통계적 검정(Kruskal-Wallis 및 Dunn's test)을 사용하여, 프라이밍이 신념과 그에 따른 선호도를 변화시켰는지 확인했다.

주요 기여

1. 불일치의 입증: 본 논문은 레이블러의 신념과 에이전트의 실제 능력 사이의 불일치가 심각할 경우, 레이블러가 그들의 (잘못된) 신념에 따라 "합리적"으로 행동하더라도 하위 최적인 정책을 초래할 수 있음을 보여준다.
2. 규범적 이론: 본 논문은 레이블러의 신념에 대한 규범적 이상을 절대적 최적성이 아닌, 에이전트의 달성 가능한 성능 상한선에 상대적인 것으로 정의하며, 이 이상으로부터의 편차로 인해 발생하는 후회(regret)에 대한 이론적 경계를 제공한다.
3. 신념 영향의 경험적 검증: 인간 연구는 인간의 신념이 에이전트의 능력에 대한 인식을 유의미하게 변화시키고, 이것이 선호도 생성에 영향을 미친다는 것을 확인한다. 구체적으로, 에이전트의 능력에 대한 정보(안전 vs 불안전)로 프라이밍된 것은 통계적으로 유의미하게 선호도를 변화시켰다.
4. 최적성 가정의 하위 최적성: 합성 실험은 에이전트에 내재된 성능 한계(예: 높은 노이즈)가 있을 때, 에이전트의 최적성을 가정하는 것(표준적인 후회 기반 접근 방식)이 종종 하위 최적임을 보여준다.

결과

• 이론적 결과: 도출된 경계(식 4)는 post-RLHF 정책의 기대 수익이 최적 수익에서 에이전트-레이블러 불일치($\delta / (1-\gamma)$)에 비례하는 항을 뺀 값보다 낮지 않음을 확립한다.
• 합성 실험: GridWorld 실험에서, 레이블러의 가정된 노이즈($\epsilon'$)가 에이전트의 실제 노이즈($\epsilon$)와 밀접하게 일치할 때 가장 높은 정책 수익이 달성되었다. 에이전트가 노이즈가 있는 상황($\epsilon=0.3$ 또는 $0.5$)에서 에이전트의 최적성($\epsilon'=0$)을 가정하는 것은, 에이전트가 안전하게 실행할 수 없는 위험한 행동을 학습하게 만들어 현저히 낮은 수익을 초래했다.
• 인간 연구:
  • 신념: 자유 텍스트 응답에 대한 감성 분석 결과, "불안전 프라이밍" 그룹의 참가자들은 "안전 프라이밍" 그룹에 비해 자동차의 능력에 대해 유의미하게 낮은 확신을 보였다.
  • 선호도: 통계 분석 결과, 안전 프라이밍 그룹과 불안전 프라이밍 그룹 간의 선호도에서 유의미한 차이가 발견되었다($p=0.015$). 불안전한 행동으로 프라이밍된 참가자들은 더 안전하고 느린 궤적을 선호하는 경향이 있었던 반면, 안전한 행동으로 프라이밍된 참가자들은 더 위험하고 빠른 궤적을 수용할 의지가 높았다.
  • 결론: 인간의 선호도는 정적이지 않으며, 에이전트의 현재 능력에 대한 레이블러의 신념에 의해 영향을 받는다.

의의 및 주장
본 논문은 인간의 신념과 에이전트 능력 사이의 불일치를 줄이는 것이 RLHF 성능을 개선하는 데 매우 중요하다고 주장한다. 저자들은 에이전트가 불완전할 때 절대적 최적성에 기반한 레이블러의 합리성이라는 표준 가정이 불충분하다고 논한다. 저자들은 실무자들이 에이전트의 실제 능력과 일치하도록 레이블러의 신념을 능동적으로 관리해야 한다고 제안한다.

논문은 두 가지 구체적인 권장 사항을 제시한다:

1. 레이블러에게 정보 제공: 데이터 수집 전 레이블러에게 알려진 에이전트의 한계(예: 데이터 제약, 물리적 한계)를 직접 전달한다.
2. 간헐적 프라이밍: 레이블러가 에이전트의 현재 정책(데모를 통해)에 노출되어 신념을 지속적으로 업데이트할 수 있는 온라인 선호도 수집 루프를 사용한다.

저자들은 이러한 교정 작업이 조작을 피하기 위해 반드시 "진실되어야"(실제 온-폴리시 행동을 반영해야) 한다고 강조한다. 결론적으로, 비록 본 논문의 이론적 경계는 테이블 형식(tabular) 설정에서 도출되었고 인간 연구는 개념 증명(proof-of-concept) 단계이지만, 결과는 RLHF의 최선 사례에 대한 필수적인 변화를 시사한다. 즉, 안전하고 효과적인 정렬을 보장하기 위해 인간의 신념을 에이전트의 현실과 일치시켜야 하는 변수로 취급해야 한다는 것이다.