Influencing Humans to Conform to Preference Models for RLHF

이 논문은 RLHF 알고리즘의 선호도 모델과 인간의 실제 선호 표현 간의 불일치를 해결하기 위해, 인간의 내재적 보상 함수를 변경하지 않고도 정보 제공, 훈련, 질문 수정 등의 개입을 통해 인간의 선호 표현을 모델 가정에 더 잘 부합하도록 유도할 수 있음을 세 가지 인간 실험을 통해 입증합니다.

핵심

이 논문은 **"인공지능 (AI) 을 가르칠 때, 인간이 어떻게 답을 주느냐에 따라 AI 의 성격이 달라진다"**는 아주 흥미로운 사실을 발견한 연구입니다.

기존의 AI 연구는 "인간이 가진 진짜 마음 (선호도) 을 어떻게 더 잘 알아낼까?"에 집중했습니다. 하지만 이 논문은 반대로 **"인간이 AI 가 원하는 방식으로 답을 내도록 가르쳐주거나, 질문 방식을 바꾸면 어떨까?"**라는 새로운 접근을 시도했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎓 비유: "요리 대회 심사위원"과 "요리사"

상상해 보세요. 훌륭한 요리사 (AI) 가 있는데, 이 요리사가 어떤 요리를 만들어야 할지 모릅니다. 그래서 **심사위원 (사람)**에게 두 가지 요리를 보여주고 "어떤 게 더 맛있나요?"라고 물어봅니다.

기존 방식은 이렇게 생각했습니다:

"심사위원의 진짜 입맛을 최대한 정확히 파악해서, 그 입맛에 맞는 요리를 가르쳐야 해."

하지만 이 논문의 저자들은 이렇게 말합니다:

"잠깐! 심사위원이 어떤 기준으로 맛을 판단하느냐가 중요해. 만약 우리가 심사위원에게 '이 요리는 단순히 재료의 양이 많아야 좋은 거야'라고 가르치거나, '이 요리를 고를 때 재료의 양만 생각하세요'라고 질문을 바꾸면, 심사위원의 답변이 AI 가 원하는 방식과 더 잘 맞지 않을까?"

즉, AI 가 배우는 방식 (모델) 에 맞춰서 인간이 답을 내는 방식을 조금씩 조정하면, AI 가 더 똑똑해지고 인간에게 더 잘 맞는다는 것입니다.

---

🛠️ 연구자가 시도한 3 가지 방법 (인터벤션)

저자들은 인간이 AI 가 원하는 '규칙'을 따르도록 돕기 위해 세 가지 실험을 했습니다.

1. "비밀 정보를 보여주는 방법" (PRIVILEGED)

• 상황: AI 가 배우는 데 필요한 '정답의 비밀' (예: 이 경로의 점수, 혹은 이 경로의 실수 정도) 을 인간에게 보여줍니다.
• 비유: 요리사에게 "심사위원은 재료의 양만 보고 점수를 줘요"라고 알려주고, 심사위원에게도 "이 요리의 재료 양은 50g이에요"라고 숫자를 딱 보여줍니다.
• 결과: 인간은 숫자를 보고 바로 그 기준에 맞춰 답을 줍니다. AI 가 원하는 대로 완벽하게 맞춰집니다.
• 한계: 현실에서는 AI 의 '진짜 점수'를 미리 알 수 없으므로, 이 방법은 실제 적용은 어렵지만 "사람이 영향을 받을 수 있다"는 것을 증명했습니다.

2. "교육을 시키는 방법" (TRAINED)

• 상황: 인간에게 AI 가 원하는 판단 기준을 교육합니다.
• 비유: 심사위원에게 "이 요리 대회에서는 재료의 양이 가장 중요해요. 다른 건 무시하고 양만 보세요"라고 교육을 시킵니다.
• 결과: 교육을 받은 심사위원들은 AI 가 원하는 기준 (재료 양) 에 맞춰 답을 줍니다.
• 재미있는 점: 하지만 이 교육이 너무 어렵거나 복잡하면 (예: "재료의 양" 대신 "실수한 횟수"를 계산하게 하면), 인간은 지쳐서 오히려 제대로 못 합니다. 즉, 교육 방식이 너무 어렵지 않아야 합니다.

3. "질문 문구를 바꾸는 방법" (QUESTION)

• 상황: 인간에게 물어보는 질문만 살짝 바꿉니다.
• 비유:
  • 기존 질문: "어떤 요리가 더 맛있나요?" (중립적)
  • 새로운 질문 1: "어떤 요리가 더 많은 재료를 사용했나요?" (재료 양 기준 유도)
  • 새로운 질문 2: "어떤 요리가 더 현명한 선택이었나요?" (실수 최소화 기준 유도)
• 결과: 질문만 살짝 바꿔도, 사람들의 답변이 그 질문에 맞춰서 바뀝니다. 가장 쉽고 효과적인 방법입니다.

---

💡 이 연구가 왜 중요한가요?

1. 인간은 완벽하지 않습니다: 우리가 AI 에게 답을 줄 때, 우리가 가진 '진짜 마음'과 AI 가 이해하는 '규칙' 사이에 오차가 생깁니다.
2. AI 를 위한 인간 교육이 필요하다: AI 가 더 잘 배우려면, 인간이 답을 내는 방식을 AI 가 이해하기 쉽게 가르쳐주거나 질문을 잘 만들어줘야 합니다.
3. 질문 하나가 세상을 바꾼다: 단순히 "어떤 게 좋아?"라고 묻는 대신, "어떤 게 더 현명해?"라고 묻는 것만으로도 AI 가 배우는 결과가 완전히 달라질 수 있습니다.

🚀 결론

이 논문은 **"AI 를 잘 가르치려면, AI 가 배우는 방식에 맞춰서 인간이 답을 내는 방식을 설계해야 한다"**는 새로운 길을 제시합니다.

마치 게임을 할 때, 플레이어 (인간) 가 게임 규칙 (AI 의 학습 모델) 을 잘 이해하도록 튜토리얼을 잘 짜거나, 질문을 명확하게 던져주는 것이 중요합니다. 이렇게 하면 AI 는 더 인간적이고, 더 똑똑한 존재가 될 수 있습니다.

한 줄 요약:

"AI 가 인간을 이해하는 방식과, 인간이 AI 에게 답하는 방식을 서로 맞춰주면, AI 는 훨씬 더 훌륭한 친구가 될 수 있습니다."

기술 요약

이 논문은 **인간 피드백을 통한 강화학습 (RLHF)**의 핵심적인 문제인 '인간의 선호도 생성 방식'과 '알고리즘이 가정하는 선호도 모델' 사이의 불일치를 해결하기 위한 새로운 접근법을 제시합니다. 저자들은 인간의 숨겨진 보상 함수 (latent reward function) 를 바꾸는 것이 아니라, 인간이 이 보상 함수를 바탕으로 선호도를 표현하는 방식을 인터페이스 설계와 훈련을 통해 변경하여, 특정 RLHF 알고리즘이 가정하는 선호도 모델에 더 잘 부합하도록 유도하는 방법을 연구했습니다.

다음은 논문의 상세한 기술적 요약입니다.

---

1. 문제 정의 (Problem)

RLHF 는 인간의 관찰할 수 없는 보상 함수를 근사하기 위해 인간의 선호도 데이터를 학습합니다. 이 과정은 인간이 어떻게 선호도를 생성하는지에 대한 **선호도 모델 (Preference Model)**을 가정합니다.

• 현재의 한계: 대부분의 RLHF 알고리즘은 인간이 경로 세그먼트 (trajectory segment) 의 부분 반환 (partial return, 즉 누적 보상 합) 을 기반으로 선호도를 결정한다고 가정합니다. 그러나 실제 인간은 최적성에서 벗어난 정도 (Regret) 나 기대 반환의 변화 (Change-in-Expected-Return) 등 다른 기준으로 선호도를 표현할 수 있습니다.
• 불일치의 위험: 알고리즘이 가정하는 선호도 모델과 인간이 실제로 생성하는 선호도 데이터 간의 불일치가 크면, 학습된 보상 함수는 인간의 의도와 다르게 최적화되어 성능이 저하될 수 있습니다.
• 기존 접근법의 한계: 기존 연구는 더 정확한 선호도 모델을 찾는 데 집중했으나, 인간의 선호도 생성에는 예측 불가능한 요인과 개인차가 존재하여 완벽한 모델링이 어렵습니다.

2. 방법론 (Methodology)

저자들은 인간이 특정 선호도 모델에 더 잘 부합하도록 3 가지 개입 (Intervention) 방법을 제안하고 실험했습니다. 이 개입들은 인간의 내재적 보상 함수를 변경하지 않고, 선호도를 표현하는 인터페이스와 훈련 과정을 수정하는 데 초점을 맞춥니다.

연구에서 다루는 3 가지 주요 선호도 모델:

1. 부분 반환 (Partial Return): 경로 세그먼트 내의 누적 보상 합을 기반으로 선호도를 결정.
2. 후회 (Regret): 경로가 최적 행동에서 얼마나 벗어났는지 (기회 비용) 를 기반으로 선호도를 결정.
3. 기대 반환 변화 (Change-in-Expected-Return): 경로 시작과 끝 상태의 가치 차이를 기반으로 선호도를 결정 (확률적 환경에서 Regret 과 다름).

세 가지 개입 실험:

1. PRIVILEGED 실험 (특권 정보 제공):

   • 방식: 선호도 elicitation(유도) 과정에서 각 경로 세그먼트의 '부분 반환' 또는 '후회' 값을 인간에게 직접 보여줍니다.
   • 목적: 인간이 알고리즘이 원하는 모델의 계산 결과를 정확히 알 때 선호도가 어떻게 변하는지 증명하는 개념 증명 (Proof of Concept). 실제 환경에서는 알 수 없는 정보이므로 실용성은 낮지만, 인간이 모델에 영향을 받을 수 있음을 입증합니다.

2. TRAINED 실험 (훈련):

   • 방식: 인간에게 특정 선호도 모델 (부분 반환 또는 후회) 을 가르치고, 이를 계산하는 법을 훈련시킨 후 선호도를 유도합니다.
   • 변형 (TRAINED-DIFF-DOMAIN): 한 도메인에서 훈련받은 후, 완전히 다른 도메인에서 선호도를 유도하여 일반화 능력을 테스트합니다.
   • 목적: 실제 적용 가능한 방법으로, 인간이 특정 모델의 논리를 학습하여 선호도를 생성하도록 유도합니다.

3. QUESTION 실험 (질문 변경):

   • 방식: 선호도 유도 시 묻는 질문의 문구를 변경합니다.
     • 부분 반환 유도: "어떤 경로가 더 나은 즉각적인 결과를 가져옵니까?"
     • 후회 유도: "어떤 경로가 더 나은 의사결정을 반영합니까?"
   • 목적: 복잡한 훈련 없이 단순히 질문의 뉘앙스만 변경하여 인간의 선호도 생성 방식을 유도할 수 있는지 확인합니다.

3. 주요 결과 (Results)

실험은 결정적 (Deterministic) 및 확률적 (Stochastic) 환경에서 수행되었으며, 학습된 보상 함수가 최적 행동 (Near-optimal behavior) 을 유도하는지 평가했습니다.

• PRIVILEGED 실험:

  • 인간에게 특정 모델의 통계량 (부분 반환 또는 후회) 을 보여주면, 해당 모델에 따른 선호도 데이터의 확률 (Likelihood) 이 통계적으로 유의미하게 증가했습니다 ($p < 0.01$).
  • 해당 선호도 모델로 학습된 보상 함수는 최적 행동을 더 자주 유도했습니다.

• TRAINED 실험:

  • 동일 도메인: 인간을 특정 모델로 훈련시키면, 해당 모델에 부합하는 선호도 데이터가 생성되었고, 학습된 보상 함수의 정렬 (Alignment) 이 개선되었습니다.
  • 다른 도메인 (DIFF-DOMAIN):
    • 부분 반환 모델: 훈련 효과가 다른 도메인에서도 유지되어 선호도 정렬이 개선되었습니다.
    • 후회 모델: 다른 도메인으로 이동했을 때 효과가 사라졌습니다. 이는 후회 (Regret) 계산이 인지적 부하 (Cognitive Load) 가 높아 피로로 인해 훈련 효과가 떨어졌기 때문으로 분석되었습니다.

• QUESTION 실험:

  • 질문 변경만으로도 선호도 데이터가 목표 모델에 더 잘 부합하는 경향을 보였습니다.
  • 결정적 환경: 부분 반환 모델을 유도하는 질문 변경이 통계적으로 유의미한 효과를 보였습니다.
  • 확률적 환경: 질문 변경이 선호도 모델에 미치는 영향은 작았으나, 특정 모델 (기대 반환 변화) 로 유도한 질문이 후회 모델과도 상관관계를 보이는 등 복잡한 양상을 보였습니다.
  • 결론: 질문의 문구 변경만으로도 학습된 보상 함수의 정렬을 개선할 수 있음을 입증했습니다.

4. 핵심 기여 (Key Contributions)

1. 새로운 연구 방향 제시: RLHF 연구의 초점을 "더 나은 선호도 모델 찾기"에서 "인간이 특정 모델에 부합하도록 유도하기 (Human Conformance)"로 전환했습니다.
2. 실용적 개입 도구 개발:
   • 인터페이스 설계: 특정 통계량을 시각화하거나 질문을 변경함으로써 인간 선호도를 유도하는 구체적인 방법론을 제시했습니다.
   • 훈련 프로토콜: 인간에게 선호도 모델을 가르치는 것이 효과적임을 입증했으나, 인지적 부하를 고려한 설계의 중요성을 강조했습니다.
3. 데이터 품질 향상: 인간이 생성하는 선호도 데이터와 알고리즘의 가정 사이의 간극을 줄여, 학습된 보상 함수의 정렬을 개선할 수 있음을 실증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 RLHF 시스템의 성능을 높이기 위해 인간 피드백 수집 과정 (인터페이스 및 훈련) 을 능동적으로 설계해야 함을 강조합니다.

• LLM 및 장기 의사결정: 현재 LLM 훈련은 단일 단계 결정에 집중되어 선호도 모델 간 차이가 크지 않지만, 로봇 공학이나 장기 계획 (Long-horizon planning) 과 같은 복잡한 순차적 의사결정 작업에서는 이 접근법이 매우 중요해질 것입니다.
• 설계의 중요성: 인간 피드백은 고정된 진리가 아니라, 수집 인터페이스와 훈련 방식에 의해 체계적으로 영향을 받는 '설계된 측정 (Survey Design)'임을 보여줍니다.
• 미래 전망: 단순한 질문 변경이나 훈련을 통해 인간과 알고리즘 간의 정렬을 개선할 수 있는 저비용 고효율의 방법을 제시함으로써, RLHF 의 실용성과 안전성을 높이는 데 기여합니다.

요약하자면, 이 연구는 **"인간의 내면적 가치를 바꾸지 않고도, 그들이 그 가치를 표현하는 방식을 알고리즘이 기대하는 대로 설계함으로써 더 나은 AI 를 만들 수 있다"**는 것을 증명했습니다.