Alignment Makes Language Models Normative, Not Descriptive

1. 연구 문제 (Problem)

대규모 언어 모델 (LLM) 은 인간 행동의 대리자 (Proxy) 로 널리 사용되고 있습니다. 그러나 대부분의 기존 연구는 RLHF(Reinforcement Learning from Human Feedback) 나 DPO(Direct Preference Optimization) 를 통해 정렬된 모델을 사용합니다. 저자들은 정렬 과정이 모델이 **"사람들이 실제로 어떻게 행동하는지 (Descriptive)"**를 예측하는 능력을 저해할 수 있다고 가정합니다.

• 핵심 가설: 정렬은 모델이 인간 평가자가 승인하는 행동 (협력, 공정성, 사회적 적절함) 을 학습하게 하여 **규범적 편향 (Normative Bias)**을 유발합니다.
• 예상 결과:
  • 규범적 이론이 잘 적용되는 상황 (단일 회차 게임, 확률 선택): 정렬된 모델이 인간 행동을 잘 예측할 것.
  • 기술적 역학이 중요한 상황 (다중 회차 전략 게임, 상호작용 역사): 인간은 상호성, 보복, 역사 의존적 적응 등을 보이며 규범적 이론에서 벗어남. 이 경우 정렬된 모델은 오히려 베이스 모델보다 예측 성능이 떨어질 것.

2. 방법론 (Methodology)

2.1 데이터 및 실험 설계

• 모델 비교: 23 개의 모델 패밀리에 속하는 120 개의 동일한 공급자 (Same-provider) 베이스 - 정렬 모델 쌍을 비교했습니다.
• 데이터셋: 4 가지 전략 게임 패밀리에서 수집된 10,050 개의 실제 인간 결정을 사용했습니다.
  1. 협상 (Bargaining): Rubinstein 모델 기반의 교차 제안 게임.
  2. 설득 (Persuasion): Crawford & Sobel 모델 기반의 반복적 저가 (cheap talk) 게임.
  3. 교섭 (Negotiation): 양자 가격 협상 게임 (외부 옵션 포함).
  4. 반복 2x2 행렬 게임: 죄수의 딜레마 (PD) 와 성별의 전쟁 (BoS).
• 예측 방법: 텍스트 생성이 아닌, 모델의 **다음 토큰 확률 분포 (Log-probabilities)**를 추출하여 인간의 선택 확률을 예측하는 방식으로 평가했습니다. 이는 베이스와 정렬 모델을 동일한 입력에 대해 공정하게 비교할 수 있게 합니다.

2.2 평가 지표

• 주요 지표: 모델이 예측한 확률과 실제 인간 행동 (이진/삼진 선택) 간의 피어슨 상관관계 (Pearson Correlation).
• 비교 방식: 각 게임 패밀리 내에서 베이스 모델과 정렬 모델의 상관관계를 비교하여 승패를 기록하고, 이항 검정 (Binomial test) 을 통해 통계적 유의성을 확인했습니다.

2.3 경계 조건 (Boundary Conditions) 테스트

베이스 모델의 우위가 사라지는지 확인하기 위해 다음과 같은 시나리오를 추가 테스트했습니다.

• 단일 회차 (One-shot) 2x2 행렬 게임: 상호작용 역사가 없는 상황.
• 비전략적 로터리 (Lottery) 선택: 상대방이 없는 위험 하의 의사결정.

3. 주요 결과 (Key Results)

3.1 다중 회차 전략 게임에서의 베이스 모델 우위

• 압도적 승리: 4 가지 게임 패밀리 (협상, 설득, 교섭, 행렬 게임) 에서 베이스 모델이 정렬된 모델보다 **약 9.7:1 (213 대 22)**의 비율로 인간 행동 예측에서 압도적으로 우세했습니다 ($p < 10^{-40}$).
• 일관성: 이 우위는 23 개의 모든 모델 패밀리, 10 가지 프롬프트 변형, 모든 게임 설정 파라미터에서 일관되게 나타났으며, 모델 규모가 커질수록 그 격차가 심화되었습니다.
• 원인 분석: 다중 회차 게임에서는 **상호성 (Reciprocity), 보복 (Retaliation), 평판 (Reputation)**과 같은 역사가 중요한 역할을 합니다. 정렬된 모델은 이러한 "비합리적이거나 공격적인" 인간 행동을 학습하지 못해 예측이 실패합니다.

3.2 경계 조건에서의 정렬 모델 우위 (역전 현상)

• 단일 회차 게임: 상호작용 역사가 없는 단일 회차 2x2 게임에서는 정렬된 모델이 베이스 모델보다 4.1:1로 우세했습니다.
• 로터리 선택: 비전략적 확률 선택 문제에서도 정렬된 모델이 2.2:1로 우세했습니다.
• 이유: 이러한 상황에서는 인간의 행동이 규범적 이론 (내쉬 균형 등) 에 더 가깝게 나타나며, 정렬 과정이 이러한 "교과서적인" 패턴을 강화하기 때문입니다.

3.3 라운드별 동적 분석

• 라운드 1: 게임 시작 직후 (역사가 형성되기 전) 에는 정렬된 모델이 베이스 모델보다 성능이 좋았습니다.
• 라운드 2 이후: 상호작용 역사가 쌓이면 베이스 모델의 우위가 급격히 나타나기 시작했습니다. 이는 베이스 모델의 우위가 게임 구조 자체가 아니라 **역사 의존적 역학 (History-dependent dynamics)**에 기인함을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 정렬의 본질적 한계 규명: 정렬이 모델의 '일반적인 능력'을 떨어뜨리는 것이 아니라, 행동 분포를 규범적 (Normative) 으로 좁혀버린다는 것을 실증적으로 증명했습니다. 이는 "정렬 세금 (Alignment Tax)"이 생성 품질뿐만 아니라 **행동 예측 충실도 (Behavioral Prediction Fidelity)**에도 영향을 미친다는 것을 의미합니다.
2. 기술적 vs 규범적 모델의 구분: LLM 을 인간 행동의 대리자로 사용할 때, 어떤 모델 (베이스 vs 정렬) 을 선택하느냐가 단순한 포맷팅 문제가 아니라, 모델링의 근본적인 가정 (기술적 현실 반영 vs 이상적 행동 반영) 을 결정한다는 점을 강조했습니다.
3. 광범위한 실증 데이터: 120 개의 모델 쌍과 10,000 개 이상의 실제 인간 결정을 포함한 대규모 벤치마크를 구축하여 기존 연구의 편향을 해소했습니다.

5. 의의 및 시사점 (Significance)

• 사회과학 연구 방법론: LLM 을 이용한 시뮬레이션 연구 (유권자 행동, 소비자 선택 등) 에서 정렬된 모델을 사용할 경우, 실제 인간 행동이 아닌 이상화된 규범적 행동을 재현할 위험이 있음을 경고합니다.
• 모델 선택 가이드라인:
  • 다중 회차 상호작용, 전략적 게임, 복잡한 사회적 역학을 분석해야 할 때는 베이스 모델을 사용해야 합니다.
  • 단일 회차 의사결정, 비전략적 태도 조사, 교과서적 게임 이론 분석에는 정렬된 모델이 적합할 수 있습니다.
• 향후 연구 방향: 현재 정렬 방법론 (RLHF 등) 은 인간 행동의 전체 분포 (특히 꼬리 부분의 비규범적 행동) 를 보존하지 못합니다. 인간 행동의 다양성을 유지하면서 유용성을 높이는 새로운 정렬 기법 개발이 필요함을 시사합니다.

결론

이 논문은 "정렬된 언어 모델은 인간이 **어떻게 행동해야 하는지 (Normative)**는 잘 알지만, 인간이 **실제로 어떻게 행동하는지 (Descriptive)**는 오히려 덜 잘 예측한다"는 사실을 통계적으로 강력하게 입증했습니다. 이는 LLM 을 인간 행동 연구에 활용할 때 모델의 정렬 상태를 신중하게 고려해야 함을 요구하는 중요한 발견입니다.