Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대형 언어 모델 (LLM) 은 코딩, 작문, 스토리텔링 등 구조화된 작업에서 인간 수준의 성능을 보여주고 있습니다. 그러나 유머 (Humor) 는 언어, 인지, 사회적 맥락이 교차하는 매우 복잡하고 문화적으로 내재된 영역으로, LLM 의 정렬 (Alignment) 을 평가하는 중요한 차원임에도 불구하고 아직 충분히 탐구되지 않았습니다.
• 문제: LLM 이 인간의 유머 감각을 얼마나 잘 이해하고 공유하는지, 그리고 LLM 간의 유머 판단이 인간과 얼마나 일치하는지 체계적으로 평가할 수 있는 벤치마크가 부족합니다. 특히, LLM 이 유머를 '진짜' 이해하는지, 아니면 학습 데이터나 추론 구조의 산물 (artifacts) 에 반응하는 것인지 구분하기 어렵습니다.
• 목표: 'Cards Against Humanity (CAH)' 게임을 활용하여 5 개의 최첨단 LLM 과 인간의 유머 선호도 정렬 (Humor Alignment) 을 정량적으로 비교하고, LLM 의 유머 판단 메커니즘을 분석하는 것입니다.

2. 방법론 (Methodology)

2.1 데이터셋 및 실험 설정

• 데이터 소스: 온라인 플랫폼 'CAH Lab'에서 수집된 2023 년 11 월부터 2025 년 4 월까지의 게임 로그를 사용했습니다.
• 실험 설계:
  • 라운드: 총 9,894 라운드 (필터링 후 9,612 라운드 사용) 를 대상으로 실험을 수행했습니다.
  • 과제: 검은 카드 (질문/프롬프트) 가 주어졌을 때, 10 개의 흰 카드 (후보 답변) 중 가장 재미있는 것을 선택하는 작업.
  • 참여자: 5 개의 최첨단 LLM (GPT-5.2, Gemini 3 Flash, Claude Opus 4.5, Grok 4, DeepSeek-V3.2) 과 인간 플레이어.
  • 반복 실험: 위치 편향 (Position Bias) 을 통제하기 위해 각 라운드를 2 회 (R=2) 반복 실행했으며, 각 반복마다 흰 카드의 순서를 무작위로 섞었습니다.

2.2 평가 지표

1. 인간-LLM 정렬 (Human-LLM Alignment): LLM 이 인간이 선택한 '승자 카드'와 일치하는 비율 (정확도).
2. LLM 간 합의 (LLM-LLM Agreement): 서로 다른 LLM 들이 동일한 라운드에서 같은 카드를 선택하는 비율.
3. 내부 일관성 (Intra-model Consistency): 동일한 LLM 이 순서가 바뀐 동일한 라운드에서 일관된 선택을 하는지 확인.
4. 편향 분석:
   • 위치 편향 (Position Bias): 카드가 제시된 순서 (위치 1~10) 에 따른 선택 분포의 균일성 검정 (Chi-square test).
   • 주제 편향 (Topic Bias): 선택된 카드의 주제 (예: 신체, 성, 정치 등) 분포 분석.
   • 결합 분석: 위치와 주제만으로 LLM 의 선택을 예측할 수 있는지 확인하기 위해 조건부 로지스틱 모델 (Conditional Logit Model) 을 피팅하여 예측 정확도를 측정.

3. 주요 기여 (Key Contributions)

1. 유머 정렬 평가 프레임워크 제시: 5 개의 최첨단 LLM 을 CAH 게임에 참여시켜 인간과 비교하는 체계적인 평가 프레임워크를 구축했습니다.
2. 정렬 한계 규명: 모든 평가된 LLM 이 무작위 추측 (10%) 보다 높은 정확도를 보였으나, 인간과의 정렬은 여전히 낮음 (13~18%) 을 발견했습니다.
3. LLM 간 높은 합의 발견: 흥미롭게도 LLM 들은 인간보다 서로의 유머 판단에 훨씬 더 높은 일치를 보였습니다. 이는 인간과 다른 'LLM 고유의 유머 감각'이 형성되었음을 시사합니다.
4. 편향 메커니즘 규명: LLM 의 유머 선택이 단순한 유머 이해가 아니라, 체계적인 위치 편향과 특정 주제 선호도에 크게 영향을 받음을 규명했습니다. 이 두 가지 요인만으로 LLM 의 선택을 상당 부분 설명할 수 있었습니다.

4. 실험 결과 (Results)

4.1 인간-LLM 정렬 (Human-LLM Alignment)

• 정확도: 모든 모델이 무작위 베이스라인 (10%) 을 상회했으나, 절대적인 정확도는 13%~18% 사이로 낮았습니다.
  • Claude (가장 높음), Grok, Gemini 순서로 높았으며, DeepSeek 와 GPT 는 상대적으로 낮았습니다.
  • 단순한 인기 기반 베이스라인 (19.11%) 이나 부스팅 트리 앙상블 (19.77%) 보다도 LLM 의 성능이 낮거나 비슷했습니다.
• 인구통계학적 분석: 다양한 인구통계학적 그룹 (성별, 정치적 성향 등) 간에 LLM 의 정렬 편차가 크다는 증거는 발견되지 않았습니다. 즉, 낮은 정렬은 특정 그룹과의 불일치 때문이 아니라 전반적인 한계로 보입니다.

4.2 LLM 간 합의 및 일관성 (LLM Agreement)

• 상호 합의: 서로 다른 LLM 들 간의 선택 일치율은 21.4%44.9% 로, 인간-LLM 일치율 (1318%) 을 크게 상회했습니다.
• 내부 일관성: 동일한 모델이 순서가 바뀐 동일한 라운드에서 일관되게 선택하는 비율은 49.5%~63.3% 로 매우 높았습니다. 이는 LLM 이 인간보다 자기 자신과 더 잘 일치하는 '안정적이지만 인간과 다른 유머 프로필'을 가지고 있음을 의미합니다.

4.3 편향 분석 (Bias Analysis)

• 위치 편향: 모든 모델이 균일한 분포에서 유의미하게 벗어났습니다.
  • DeepSeek 는 3 번째 위치를, Grok 는 10 번째 (마지막) 위치를, Claude 는 앞쪽 위치를 선호하는 등 모델별 뚜렷한 패턴이 존재했습니다.
• 주제 편향:
  • LLM 들은 인간보다 신체 관련 유머 (Bodily humor) 와 성적 주제 (Sexual themes) 를 훨씬 더 자주 선택했습니다.
  • 반면, 인간이 선호하는 정치/사회 (Politics/Society) 및 정체성/인구통계 (Identity/Demographics) 관련 주제는 LLM 들이 덜 선택했습니다.
• 예측 모델 결과: 위치와 주제 정보만으로 LLM 의 선택을 예측하는 로지스틱 모델의 정확도는 Grok (36.1%), DeepSeek (35.1%), Gemini (33.9%) 의 경우 1/3 이상을 설명했습니다. 이는 LLM 의 유머 판단이 깊은 맥락 이해보다는 표면적인 패턴 (위치, 주제) 에 의존할 가능성이 높음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 핵심 통찰: LLM 은 인간의 유머 감각을 부분적으로 포착하지만, 현재 기술 수준에서는 인간 수준의 정렬에 도달하지 못했습니다. 더 중요한 것은 LLM 들이 인간보다 서로에게 더 가깝다는 점입니다. 이는 LLM 들이 훈련 데이터와 정렬 과정 (RLHF 등) 을 통해 인간과 다른 공유된 유머 관념을 형성했음을 의미합니다.
• 원인 분석: LLM 의 유머 판단은 진정한 유머 이해보다는 구조적 편향 (위치, 주제 선호) 과 안전성 중심의 미세 조정 (Safety-oriented fine-tuning) 에 의해 좌우될 가능성이 큽니다. CAH 의 전복적이고 부조리한 유머 스타일은 현재 LLM 의 안전 필터와 충돌할 수 있습니다.
• 미래 방향:
  • 더 넓은 문화적 배경을 가진 모델과 데이터셋을 통한 확장.
  • 밈 (Meme) 이나 풍자 글쓰기 등 다른 유머 형식으로의 일반화 검증.
  • 인구통계학적 분류가 아닌 '유머 스타일'에 기반한 인간 하위 그룹과의 정렬 연구.

이 연구는 LLM 이 유머와 같은 고차원적인 사회적 능력을 평가할 때, 단순한 정확도 측정을 넘어 모델의 내부적 편향과 구조적 한계를 면밀히 살펴야 함을 강조합니다.