Expressing Social Emotions: Misalignment Between LLMs and Human Cultural Emotion Norms

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 다양한 문화적 맥락에서 인간 행동을 시뮬레이션하는 도구로 널리 사용되고 있습니다. 그러나 인간은 문화에 따라 감정 표현 방식 (특히 사회적 목적을 위한 감정) 이 체계적으로 다릅니다.
• 핵심 문제: LLM 이 인간의 문화적 감정 규범을 충실히 반영하지 못할 경우, 사용자는 문화적으로 부적절한 조언을 받거나 심리적 해를 입을 수 있습니다. 특히 정신 건강 지원, 교육, 고객 서비스 등 고위험 분야에서 이러한 불일치는 심각한 윤리적 문제를 야기합니다.
• 연구 초점: 기존 연구가 기본 감정 (기쁨, 슬픔 등) 에 집중했다면, 본 연구는 **사회적 감정 (Social Emotions)**에 초점을 맞춥니다. 사회적 감정은 타인과의 관계 (상호의존성) 를 형성하거나 개인의 독립성을 표현하는 데 중요한 역할을 합니다.
  • 참여적 감정 (Engaging Emotions): 죄책감, 친근함 등 (상호의존성 증진).
  • 비참여적 감정 (Disengaging Emotions): 자부심, 분노 등 (개별성 표현).
• 가설: 서구권 (유럽계 미국인, EA) 은 개인주의 문화로 비참여적 감정을 더 많이 표현하고, 라틴 아메리카 (LA) 는 집단주의 문화로 참여적 감정을 더 많이 표현할 것으로 예상되지만, LLM 은 이를 제대로 학습하지 못하거나 편향되어 있을 가능성이 있습니다.

2. 연구 방법론 (Methodology)

• 데이터 및 평가 프레임워크:
  • Salvador et al. [19] 의 인간 연구 데이터를 기준 (Ground Truth) 으로 사용했습니다.
  • 참여자: 유럽계 미국인 (EA, USA), 멕시코인, 칠레인 (LA) 의 598 명.
  • 과제: 4 가지 일상적 상황 (시험 성공/실패, 가족/친구의 성공/실패) 에서 8 가지 사회적 감정 (참여적/비참여적, 긍정/부정) 을 1~6 점 리커트 척도로 평가.
• 평가 대상 모델:
  • 6 개의 최첨단 (Frontier) LLM 선정 (DeepSeek R1, GPT-4o-mini, Gemini 2.5 Flash, Phi 4, Mistral 7B, Qwen 3 32B).
  • 모델별로 문화적 페르소나 (Persona) 를 부여하여 동일한 설문 조사를 수행했습니다.
• 실험 설계:
  • 주 실험: 각 모델에 대해 4 상황 × 12 감정 × 3 문화 페르소나 × 190 회 샘플링 (통계적 안정성 확보를 위해).
  • 비교 분석: 인간 응답 분포와 LLM 응답 분포를 비교하기 위해 Mann-Whitney U 검정 (방향성) 과 Wasserstein 거리 (차이의 크기) 를 사용. ANOVA 는 LLM 의 낮은 분산으로 인해 적합하지 않아 배제.
• Ablation Study (변수 분석):
  • 샘플링 온도 (Temperature): 응답 다양성 증가가 정렬 (Alignment) 을 개선하는지 확인.
  • 프롬프트 언어: 라틴 아메리카 페르소나에 스페인어 대신 영어 프롬프트를 사용하여 문화적 지식 인코딩 방식 분석.
  • 응답 유도 형식: 독립적 점수 매기기 (Likert) vs. 강제 선택 (Pairwise Forced-choice) 형식 비교.

3. 주요 결과 (Key Results)

A. 문화적 패턴의 체계적 불일치 (Systematic Misalignment)

• 참여적 vs. 비참여적 감정: 인간 데이터에서는 LA 가 참여적 감정을, EA 가 비참여적 감정을 더 강하게 표현했으나, 모든 LLM 은 두 문화군 모두에서 참여적 감정을 비참여적 감정보다 훨씬 강하게 표현했습니다.
• 특이점: 훈련 데이터에 가장 풍부하게 포함된 유럽계 미국인 (EA) 페르소나조차도 인간과 정반대의 패턴 (참여적 감정 우세) 을 보였습니다. 이는 LLM 이 문화적 뉘앙스를 학습하지 못했음을 시사합니다.
• 긍정적 참여적 감정의 과대표현: 모델들은 EA 페르소나에게 특히 긍정적 참여적 감정 (친근함, 존중 등) 을 과도하게 부여하는 경향이 있었습니다.

B. 응답의 결정론적 성향 및 동질성 (Determinism and Homogeneity)

• 낮은 다양성: 인간 응답은 16 점 척도 전체에 고르게 분포했으나, LLM 은 소수의 점수 (주로 34 점) 에 응답이 집중되었습니다. 유효한 응답 카테고리 수 ($N_{eff}$) 는 인간 (약 5) 에 비해 모델 (약 2~3) 에서 현저히 낮았습니다.
• 모델 간 동질성: 서로 다른 아키텍처의 모델들 간 상관관계 (0.72) 가 모델과 인간 간 상관관계 (0.47) 보다 훨씬 높았습니다. 즉, 모델들은 인간보다 서로 더 유사한 편향된 응답을 생성합니다.

C. Ablation Study 결과

• 샘플링 온도: 온도를 높여 응답 다양성을 증가시켰으나, 문화적 정렬 (Alignment) 은 개선되지 않았습니다. 오히려 Qwen 모델의 경우 온도를 높이면 정렬이 더 나빠졌습니다. 이는 LLM 이 단순히 샘플링 부족이 아니라, 응답 공간의 잘못된 영역으로 편향되어 있음을 의미합니다.
• 프롬프트 언어: 라틴 아메리카 페르소나에 스페인어 대신 영어 프롬프트를 사용했을 때 오히려 정렬이 개선되었습니다. 이는 LLM 의 훈련 코퍼스가 영어 중심이며, 영어로 표현된 문화적 맥락에 대한 지식이 더 잘 인코딩되어 있음을 시사합니다.
• 강제 선택 형식: 두 감정을 직접 비교하는 형식은 전체적인 표현력 (Expressiveness) 에서는 정렬을 개선했으나, 참여적/비참여적 감정의 상대적 표현 비율에 대한 근본적인 편향은 해결하지 못했습니다.

4. 주요 기여 (Key Contributions)

1. 사회적 감정의 문화적 정렬 평가 프레임워크: 기존 기본 감정을 넘어, 사회적 관계와 문화적 규범 (개인주의 vs 집단주의) 이 교차하는 '사회적 감정' 영역에서 LLM 의 한계를 체계적으로 평가한 최초의 연구 중 하나입니다.
2. 데이터 풍부 문화의 실패 발견: 훈련 데이터가 풍부한 유럽계 미국인 (EA) 문화조차 LLM 이 제대로 표현하지 못함을 입증하여, "데이터가 많으면 편향이 해결된다"는 통념을 반박했습니다.
3. 결정론적 편향의 정량화: LLM 이 인간의 자연스러운 감정 반응 다양성을 재현하지 못하고, 소수의 모달 (Modal) 응답으로 수렴하는 현상을 통계적으로 증명했습니다.
4. 언어와 문화의 역설적 관계: 비모국어 (영어) 프롬프트가 오히려 특정 문화 (라틴 아메리카) 에 대한 정렬을 개선한다는 발견을 통해, LLM 의 문화적 지식 인코딩 메커니즘에 대한 새로운 통찰을 제공했습니다.

5. 의의 및 시사점 (Significance)

• 실무적 위험: LLM 이 정신 건강 챗봇이나 교육 도구로 배포될 때, 문화적으로 부적절한 감정 표현 (예: 개인주의적 사용자에게 과도한 상호의존적 위로를 제공하거나, 집단주의적 사용자에게 개인적 성취를 강요하는 등) 을 할 경우 신뢰도 하락 및 실제 피해가 발생할 수 있음을 경고합니다.
• 연구 방법론적 제언: LLM 을 인간 연구의 대체제 (Proxy) 로 사용할 때, 단순한 평균 응답 비교가 아닌 응답 분포의 다양성과 문화적 뉘앙스를 반드시 검증해야 함을 강조합니다.
• 향후 방향: 현재 LLM 은 문화적 정렬을 위해 단순히 데이터를 늘리는 것만으로는 부족하며, 문화적 맥락에 대한 깊은 이해와 편향을 제거하는 새로운 정렬 기법 (Alignment Techniques) 이 필요함을 시사합니다.

이 논문은 AI 가 인간의 복잡한 사회적·문화적 정서적 상호작용에 참여하기 위해서는 단순한 언어 능력 이상의 **문화적 정서적 정렬 (Cultural-Emotional Alignment)**이 필수적임을 강력하게 주장합니다.