Reward Models Inherit Value Biases from Pretraining

이 논문은 보상 모델이 인간 가치 정렬을 위해 설계되었음에도 불구하고, 사전 학습된 기반 모델 (예: Llama 의 '주체성' 선호, Gemma 의 '교감성' 선호) 의 내재적 가치 편향을 계승하여 동일한 학습 과정에서도 일관된 편향이 발생함을 입증함으로써, 안전 및 정렬 노력의 중요성과 기반 모델 선택이 성능 이상으로 가치 판단에 미치는 영향을 강조합니다.

핵심

1. 배경: AI 의 '선생님'과 '학생'

인공지능을 인간과 비슷하게 만드는 과정은 보통 두 단계로 나뉩니다.

1. 예비 학습 (Pretraining): AI 가 책, 뉴스, 인터넷 글 등 방대한 데이터를 읽으며 세상을 배우는 단계입니다. 이때 AI 는 **'기초 체력'**을 기릅니다.
2. 보상 학습 (RLHF): 인간이 "이 답변은 좋네, 저 답변은 나쁘네"라고 피드백을 주며 AI 를 가르치는 단계입니다. 여기서 **'보상 모델 (Reward Model)'**이라는 도구가 등장합니다. 이 도구는 AI 가 만든 답변이 인간에게 얼마나 좋은지 점수를 매겨주는 '심판' 역할을 합니다.

핵심 질문: 이 '심판 (보상 모델)'은 정말로 중립적인가, 아니면 그 심판이 처음에 배운 '기초 체력 (예비 학습)'의 영향을 그대로 받고 있는가?

2. 연구의 발견: 심판도 '선생님'의 영향을 받는다

연구진은 10 개의 유명한 AI 보상 모델들을 분석했습니다. 결과는 놀라웠습니다.

• 리라마 (Llama) 기반 AI: "자유의지", "성공", "능력" 같은 **개인의 독립성과 성취 (Agency)**를 매우 중요하게 여깁니다.
• 젬마 (Gemma) 기반 AI: "사랑", "가족", "우정" 같은 **타인과의 관계와 유대 (Communion)**를 훨씬 더 높게 평가합니다.

비유하자면:
두 명의 요리사 (AI) 가 같은 레시피 (데이터) 를 가지고 같은 요리를 하려고 합니다. 하지만 한 명은 이탈리아 요리 학교에서, 다른 한 명은 한국 요리 학교에서 기초를 배웠습니다.

• 이탈리아 학교 출신은 "재료의 개성 (자유)"을 강조하는 요리를 만들고,
• 한국 학교 출신은 "함께 나누는 정 (사랑)"을 강조하는 요리를 만듭니다.
  심지어 두 요리사가 같은 재료와 같은 레시피를 사용해도, 기초를 배운 학교 (예비 학습 모델) 의 영향이 너무 커서 결국 서로 다른 맛의 요리를 내놓는 것입니다.

3. 실험: "물"을 많이 부어도 "술"은 사라지지 않는다

연구진은 "그럼 데이터를 더 많이 주면, 즉 더 많이 가르치면 이 성향이 바뀌지 않을까?"라고 생각했습니다. 그래서 두 가지 다른 AI 모델을 같은 데이터로 훈련시켰습니다.

• 결과: 훈련을 시작하자마자 두 모델은 서로 다른 성향을 보였습니다. 훈련을 계속할수록 그 차이는 조금씩 줄어들었지만, 완전히 사라지지는 않았습니다.
• 비유: 마치 술에 물을 섞는 것과 같습니다. 처음엔 술 (기초 학습의 편향) 이 강하지만, 물을 (학습 데이터) 많이 부으면 술기운이 조금은 약해집니다. 하지만 아무리 물을 많이 부어도, 그릇에 담겨 있던 **술의 본질 (기초 학습의 성격)**이 완전히 물로 변하지는 않는 것처럼, AI 의 근본적인 가치관은 쉽게 바뀌지 않습니다.

4. 중요한 시사점: "무엇을 먹었느냐"가 "누구냐"를 결정한다

이 연구는 AI 개발자들에게 중요한 메시지를 줍니다.

• 기초 학습 (Pretraining) 이 가장 중요합니다: AI 의 안전성과 가치관을 맞추는 작업은 인간이 피드백을 주는 단계 (RLHF) 에서만 해결되는 것이 아닙니다. AI 가 태어날 때 (예비 학습 단계) 어떤 데이터를 먹었느냐가 그 AI 의 '인격'과 '가치관'을 결정합니다.
• 오픈소스 개발자의 선택: 개발자가 어떤 AI 모델을 '기반 (Base Model)'으로 선택하느냐는 단순히 성능 (속도, 정확도) 의 문제가 아니라, 그 AI 가 어떤 가치를 중요하게 여길지 결정하는 윤리적 선택입니다.

5. 결론: AI 의 '등뼈'는 태어날 때부터 있다

논문 제목인 "Reward Models Inherit Value Biases from Pretraining"을 한 문장으로 요약하면 다음과 같습니다.

"AI 의 심판 (보상 모델) 은 중립적이지 않다. 그들이 태어난 곳 (예비 학습) 에서 물려받은 '성격'을 그대로 가지고 있다."

우리는 AI 를 만들 때, 단순히 "더 똑똑하게" 만드는 것만 생각하지 말고, **"어떤 가치를 가진 AI 로 만들어야 할지"**를 태어날 때부터 (데이터를 모으는 단계) 신중하게 고민해야 한다는 교훈을 줍니다. AI 의 등뼈 (Base Model) 가 곧 그 AI 의 도덕적 척추이기 때문입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 을 인간의 가치와 정렬 (Alignment) 시키는 핵심 요소인 보상 모델 (Reward Models, RMs) 은 RLHF(인간 피드백 기반 강화 학습) 파이프라인의 중심에 있습니다.
• 문제: 기존 연구는 주로 사전 학습된 LLM 이나 미세 조정 (Post-training) 된 LLM 에 집중했으나, 보상 모델 자체의 편향성, 특히 어떤 베이스 모델 (Base Model) 에서 초기화되었는지에 따른 편향은 충분히 연구되지 않았습니다.
• 가설: 보상 모델은 인간 선호도를 학습하기 위해 LLM 에서 초기화되고 미세 조정되므로, 베이스 모델이 가진 사전 학습 (Pretraining) 단계의 표현 (Representations) 과 가치 편향을 그대로 상속받을 가능성이 높습니다.

2. 연구 방법론 (Methodology)

저자들은 10 개의 주요 오픈 가중치 보상 모델 (RewardBench 기준) 과 자체 훈련된 모델을 분석하기 위해 다음과 같은 방법론을 적용했습니다.

• 포괄적 토큰 검색 (Exhaustive Token Search):
  • 보상 모델의 전체 어휘 (Vocabulary) 에 대해 특정 프롬프트 (예: "인생에서 가장 위대한 것은 무엇인가?") 를 입력하고, 각 토큰에 부여된 보상 점수를 평가합니다.
  • 이를 통해 모델이 가장 선호하는 (Optimal) 토큰과 가장 기피하는 (Pessimal) 토큰을 식별합니다.
• 심리언어학적 코퍼스 활용:
  • Big Two (Agency vs. Communion): 개인의 성취와 자율성 (Agency: 자유, 성공, 능력) 과 타인과의 관계 및 유대 (Communion: 사랑, 가족, 우정) 를 구분하는 심리학적 척도.
  • Moral Foundations Dictionary (MFD2): 권위, 돌봄, 공정성, 충성, 신성 등 5 가지 도덕적 기초를 측정.
  • 이러한 코퍼스를 사용하여 보상 모델이 특정 가치 개념에 대해 어떻게 순위 매기는지 정량화했습니다.
• 암시적 보상 모델 (Implicit Reward Model) 분석:
  • 두 모델 (예: Llama vs. Gemma) 간의 로그 확률 (Log-probability) 차이를 보상 모델로 간주하는 수학적 접근을 취했습니다.
  • MWLR (Mixture-Weighted Log-Ratio): 저확률 토큰의 노이즈를 제거하고 의미 있는 차이를 포착하기 위해 두 모델의 확률 분포를 혼합하여 가중치를 둔 로그 비율 점수를 계산했습니다.
• 통제된 실험 (Controlled Experiments):
  • 동일한 데이터 (Skywork, Unified Feedback) 와 하이퍼파라미터를 사용하되, 베이스 모델 (Llama 3.2, Gemma 2, Qwen) 만을 달리하여 보상 모델을 훈련시켰습니다.
  • 데이터 양 (13k ~ 632k 쌍) 을 변화시키며 편향이 얼마나 '세척 (Wash out)'되는지 관찰했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 해석 방법론 개발: 심리언어학적 도구를 기반으로 보상 모델의 가치 편향을 정량화하는 새로운 해석 방법 (Exhaustive Token Search + Psycholinguistics) 을 제안했습니다.
2. 베이스 모델에 따른 체계적 편향 발견: 야생 (In the wild) 의 보상 모델들이 베이스 모델 (Llama vs. Gemma) 에 따라 체계적인 가치 차이 (Agency vs. Communion) 를 보임을 입증했습니다.
3. 편향의 기원 추적: 이러한 편향이 미세 조정 데이터가 아닌, 지시 튜닝 (Instruction-tuned) 모델 및 사전 학습 (Pretrained) 모델의 로그 확률 차이에서 비롯됨을 추적했습니다.
4. 암시적 보상 모델의 유효성 입증: 두 모델 간의 로그 확률 차이를 암시적 보상 모델로 정의하고, 이것이 실제 보상 모델과 동일한 편향 패턴을 보임을 증명했습니다.
5. 편향의 재현성 및 내구성 검증: 다양한 데이터 소스와 양을 통제하여 훈련한 자체 보상 모델 실험을 통해, 이러한 편향이 재현 가능하며 충분한 데이터로도 완전히 제거되기 어렵다는 것을 보여주었습니다.

4. 주요 결과 (Results)

A. 보상 모델의 가치 편향 (Llama vs. Gemma)

• Llama 기반 RM: 'Agency(자율성/성취)' 관련 단어 (Freedom, Success, Capability) 를 긍정적 프롬프트에서 더 높게 평가하고, 'Communion(유대)' 관련 단어를 상대적으로 낮게 평가합니다.
• Gemma 기반 RM: 'Communion(유대)' 관련 단어 (Love, Family, Friendship) 를 긍정적 프롬프트에서 더 높게 평가합니다.
• 통계적 유의성: 이 차이는 통계적으로 유의미하며 (p < .001), 중간 효과 크기 (Cohen's d ≈ 0.4) 를 보입니다. 부정적 프롬프트 ("가장 나쁜 것") 에서는 이 패턴이 반대로 나타납니다.

B. 편향의 기원 (Pretraining Origin)

• 로그 확률 분석: 지시 튜닝된 Llama 와 Gemma 모델, 그리고 원본 사전 학습 모델 모두에서 동일한 Agency/Communion 편향 패턴이 관찰되었습니다. 이는 편향이 미세 조정 전, 즉 사전 학습 단계에서 이미 존재함을 의미합니다.
• 암시적 보상 (MWLR): Llama 를 베이스로 Gemma 를 미세 조정하는 가상 보상 모델을 MWLR 로 계산했을 때, 최적 토큰은 "Freedom"이고 최악 토큰은 "Love"로 나타났습니다. 이는 두 모델 간의 근본적인 가치 차이를 보여줍니다.
• 모델 규모 영향: 모델 크기 (1B~70B) 가 커질수록 이 편향 차이가 더욱 뚜렷해지는 경향이 관찰되었습니다.

C. 훈련 과정에서의 편향 진화 (Training Dynamics)

• 편향의 지속성: Llama 와 Gemma 기반 RM 을 동일한 데이터로 훈련시켰을 때, 훈련 초기에는 베이스 모델의 편향이 강하게 나타났습니다.
• 데이터 양의 한계: 훈련 데이터가 증가함에 따라 편향 차이는 다소 줄어들지만 (약 100k 쌍 이상 필요), **완전히 사라지지 않고 안정화 (Stabilize)**됩니다.
• Qwen 모델의 경우: Qwen 기반 RM 은 Gemma 보다 더 강한 Communion 편향을 보였으며, 훈련 데이터 양을 늘려도 편향이 줄어들지 않거나 오히려 커지는 현상이 관찰되었습니다.
• 일반화 보상 모델 (GRM): 베이스 모델의 언어 헤드를 유지하고 정규화를 적용한 GRM 의 경우, 630k 쌍 이상의 데이터로 훈련했음에도 편향이 강력하게 유지되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 정렬 (Alignment) 의 재정의: RLHF 나 후속 미세 조정만으로는 모델의 가치 편향을 완전히 해결할 수 없음을 시사합니다. 사전 학습 (Pretraining) 단계의 데이터 필터링과 모델 선택이 정렬의 성패를 좌우하는 핵심 요소입니다.
• 오픈 소스 개발자의 책임: 개발자가 베이스 모델을 선택하는 것은 단순히 성능 (Performance) 의 문제가 아니라, 모델이 내재할 가치 (Values) 를 선택하는 것과 동일함을 강조합니다.
• 안전성 (Safety) 의 중요성: 사전 학습 단계에서 안전 장치를 마련하지 않으면, 이후의 정렬 과정은 해로운 패턴을 '잊게 (Unlearn)' 하려는 비효율적인 노력이 될 수 있습니다.
• 향후 연구 방향: 다양한 가치 차원 (도덕적 기초 등) 에 대한 확장 연구, 모델 규모와 데이터 양에 따른 스케일링 법칙 규명, 그리고 사전 학습 편향을 완화하기 위한 구체적인 데이터 필터링 및 재가중 전략 개발이 필요합니다.

핵심 메시지: "보상 모델은 백지 상태 (Blank Slate) 가 아니다. 인간 선호도를 구현하도록 설계되었지만, 그 행동은 구축된 LLM 의 사전 학습된 가치 편향을 상당 부분 상속받는다. 따라서 안전과 정렬은 사전 학습 단계에서 시작되어야 한다."