Evaluating Alignment of Behavioral Dispositions in LLMs

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 일상생활과 의사결정에 깊이 통합됨에 따라, 모델의 행동을 이해하고 인간과 얼마나 정렬 (Alignment) 되어 있는지 파악하는 것이 필수적입니다. 기존 연구는 주로 **자가 보고식 질문지 (Self-report questionnaires)**를 통해 LLM 의 성향을 측정하려 했습니다. 그러나 이 방식은 다음과 같은 한계가 있습니다.

• 프롬프트 민감성: 모델의 답변은 프롬프트 문구에 매우 민감하게 반응합니다.
• 표현과 행동의 괴리: 모델이 "나는 공감한다"라고 자가 보고하더라도, 실제 복잡한 사회적 상황 (실제 대화) 에서 그 성향을 행동으로 보여주지 못할 수 있습니다.
• 구성 타당성 (Construct Validity) 문제: LLM 의 자가 보고가 실제 행동 예측력을 갖는지 여부에 대한 논쟁이 지속되고 있습니다.

이 논문은 **자가 보고된 선호도 (Self-reported preferences)**가 아닌, **실제 드러난 행동 (Revealed behavior)**을 기반으로 LLM 의 행동 성향과 인간 간의 정렬 정도를 평가하는 새로운 프레임워크를 제안합니다.

2. 방법론 (Methodology)

연구팀은 심리학적 질문지를 기반으로 하되, 이를 LLM 의 실제 행동 평가에 적합하도록 변형한 상황 판단 테스트 (Situational Judgment Tests, SJT) 프레임워크를 구축했습니다.

A. 데이터 생성 파이프라인

1. 선호 문장 변환 (Chatbot-adjusted Statements):
   • 기존 심리학적 질문지 (Trait Emotional Intelligence 등) 의 260 개 문항을 수집했습니다.
   • "나는 ~한다"라는 자기 서술을 "나는 ~하는 것이 좋다고 추천한다"라는 AI 어시스턴트의 조언 성향으로 재구성했습니다. (예: "화가 나면 상대방 입장에서 생각하려 한다" $\rightarrow$ "화난 사람은 상대방 입장에서 생각해보는 것이 좋다")
2. SJT 생성:
   • 각 재구성된 문장을 바탕으로 현실적인 시나리오 (User-Assistant 상호작용) 를 생성했습니다.
   • 각 시나리오는 문장을 지지하는 행동과 반대하는 행동 중 하나를 선택해야 하는 딜레마 구조로 설계되었습니다.
   • 총 2,576 개의 SJT 를 생성하고, 3 명의 독립적인 인간 어노테이터를 통해 시나리오의 일관성과 문항의 충실도를 검증하여 최종 2,357 개의 SJT 를 확보했습니다.
3. Ground Truth 수집:
   • 550 명의 참가자 (총 23,000 개 이상의 어노테이션) 로부터 각 SJT 에 대한 선호 행동을 수집하여 인간 합의 (Human Consensus) 분포를 확립했습니다.

B. 평가 프로세스

• 모델 평가: 25 개의 다양한 LLM(소규모 오픈소스 모델부터 최첨단 폐쇄형 모델까지) 에게 각 SJT 를 제시하고, 자유 형식 (Open-ended) 으로 답변을 유도했습니다.
• LLM-as-a-Judge: 모델의 자유 형식 답변을 2 가지 참조 행동 (지지/반대) 중 하나로 매핑하기 위해 검증된 LLM(Judge) 을 사용했습니다.
• 지표 정의:
  • 특성 긍정률 (Trait-Positive Rate, TPR): 특정 성향 (예: 공감) 을 나타내는 행동을 선택할 확률.
  • 정렬 오차 (Trait Misalignment): 인간 TPR 과 모델 TPR 간의 절대 차이.
  • 방향성 정렬 (Directional Alignment, DA): 인간이 선호하는 방향과 모델이 선택한 방향이 일치하는지 여부 (고합의 시나리오 기준).

3. 주요 결과 (Key Results)

25 개 LLM 을 대상으로 한 광범위한 실험 결과, 모델들은 인간의 행동 분포와 상당한 괴리를 보였습니다.

A. 분포적 정렬의 실패 (Distributional Misalignment)

• 낮은 인간 합의 시: 인간 의견이 분열된 경우 (TPR ≈ 50%), 모든 모델이 **과도한 확신 (Overconfidence)**을 보이며 단일 답변으로 수렴하는 경향이 있었습니다. 이는 인간 의견의 다양성을 반영하지 못함을 의미합니다.
• 높은 인간 합의 시: 인간 의견이 명확한 경우에도 정렬 오차가 존재했습니다. 특히 소규모 모델 (<25B) 은 인간 합의 방향을 따르는 데 실패하는 경우가 많았으며, 최첨단 (Frontier) 모델조차도 15~20% 의 경우 인간 합의와 반대되는 행동을 선택했습니다.

B. 성향별 편향 (Trait-Specific Biases)

• 모델들은 특정 상황에서 일관된 편향을 보였습니다. 예를 들어, 인간이 **침착함 (Composure)**을 선호하는 위기 상황에서, 일부 모델은 **감정 표현 (Emotional Expression)**을 권장하는 등 인간과 다른 행동 성향을 보였습니다.

C. 자가 보고와 행동의 괴리 (Self-Report vs. Revealed Behavior)

• 예측력 부재: 모델이 자가 보고 (질문지에 대한 동의도) 에서 낮은 충동성 (Impulsiveness) 을 보였음에도, 실제 SJT 상황에서는 충동적인 행동을 선택하는 경우가 빈번했습니다.
• 상관관계 부재: 자가 보고 점수와 실제 행동 점수 사이에는 유의미한 상관관계가 없었으며, 오히려 역상관관계가 관찰되기도 했습니다. 이는 LLM 에서는 자가 보고가 실제 행동을 예측하는 유효한 지표가 아님을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크: 심리학적 질문지를 LLM 의 실제 행동 평가 도구 (SJT) 로 변환하는 방법론을 제시했습니다. 이는 단순한 선호도 측정을 넘어, 실제 사회적 딜레마에서의 행동을 평가합니다.
2. 대규모 데이터셋: 550 명의 인간 참가자를 통해 검증된 2,357 개의 SJT 와 25 개 모델에 대한 정량적 데이터를 공개했습니다.
3. 자가 보고의 한계 규명: LLM 의 성향 평가에 있어 자가 보고식 질문지가 예측 타당성 (Predictive Validity) 이 부족함을 실증적으로 증명했습니다.
4. 모델별 행동 성향 매핑: 모델의 크기 (Capacity) 와 아키텍처에 따라 인간과의 정렬 정도가 어떻게 달라지는지, 그리고 모델마다 고유한 행동 편향이 존재함을 발견했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 인간 사회에 통합됨에 따라, 모델이 단순히 "올바른" 답변을 하는 것을 넘어 인간의 사회적 규범과 행동 다양성을 얼마나 잘 반영하는지를 평가해야 함을 강조합니다.

• 실용적 함의: AI 챗봇, 시뮬레이션, 합성 데이터 생성 등 다양한 분야에서 모델의 행동 성향이 인간 기대와 정렬되어 있는지 검증할 수 있는 도구를 제공합니다.
• 미래 연구 방향: 단순한 정렬을 넘어, 맥락에 따라 유연하게 인간 의견을 존중하면서도 필요한 경우 자신의 견해를 제시하는 개인화된 정렬 (Personalized Alignment) 연구의 기초를 마련했습니다.

결론적으로, 이 논문은 LLM 의 "성격"을 평가할 때 모델이 스스로 말하는 것이 아니라, 실제 상황에서 어떻게 행동하는지를 관찰하는 것이 훨씬 중요하며, 현재 모델들은 인간과의 행동 정렬에서 여전히 큰 과제를 안고 있음을 보여줍니다.