Dark & Stormy: Modeling Humor in Sentences from the Bulwer-Lytton Fiction Contest

1. 연구 배경 및 문제 제기 (Problem)

• 기존 연구의 한계: 기존의 계산 언어학적 유머 연구는 풍자적 헤드라인, 말장난 (puns), 짧은 일격문 (one-liners) 등 친숙한 형태의 유머에 집중되어 있습니다.
• 미개척 영역: 의도적으로 '나쁜' 유머 (intentionally bad humor) 로 분류되는 텍스트는 충분히 연구되지 않았습니다. 이러한 텍스트는 유머의 인식, 생성, 편집에 있어 기존 모델들이 어떻게 반응하는지, 그리고 인간과 AI 가 어떻게 다른 스타일을 구현하는지 이해하는 데 중요한 단서를 제공합니다.
• 연구 목표:
  1. 표준 유머 데이터셋과 Bulwer-Lytton Fiction Contest (BLFC) 의 문장들이 어떻게 다른지 규명.
  2. 대규모 언어 모델 (LLM) 이 생성한 BLFC 스타일의 문장과 인간이 작성한 문장을 비교 분석.

2. 데이터셋 구축 (Data)

• BL (Bulwer-Lytton) 데이터셋: 1996 년부터 2024 년까지의 BLFC 웹사이트에서 수집한 1,778 개의 인간 작성 문장. 각 문장에는 장르, 수상 여부 등의 메타데이터가 포함됨.
• Synthetic BL 데이터셋: 인간이 작성한 문장의 스타일을 모방하도록 프롬프트 (One-shot) 를 통해 생성된 1,000 개씩의 문장.
  • 사용 모델: DeepSeek-V3.1, OpenAI GPT-5, GPT-4.1, gpt-oss-120b.
• 베이스라인 데이터셋:
  • novel-openings: 소설의 첫 문장 (크라우드소싱).
  • combo-humor: 다양한 유머 (말장난, 풍자, Reddit/Twitter 유머 등) 가 혼합된 데이터셋.
  • PotD: 말장난 (Pun) 전용 데이터셋.

3. 방법론 (Methodology)

연구는 다음과 같은 네 가지 주요 분석 단계를 거쳤습니다.

1. 유머 감지 모델 평가 (Humor Detection):
   • Baranov et al. (2023) 이 훈련한 RoBERTa 기반 유머 감지 모델과 말장난 감지 모델을 사용하여 BL 문장의 유머 점수 (0~1) 를 측정.
2. 문학적 장치 분석 (Literary Devices Analysis):
   • TopicGPT 기반의 프롬프트 프레임워크를 활용하여 문장에서 추출된 8 가지 문학적 장치 (반어, 메타픽션, 비유, 반복, 풍자, 의성어, 은유, 말장난) 를 자동 분류.
   • 인간 어노테이터를 통한 '침입자 과제 (Intruder Task)'로 라벨링의 정확성 검증.
3. 불일치성 (Incongruity) 분석 - Surprisal:
   • 정보 이론적 측정치인 **Surprisal(놀라움)**을 분석. gemma-3-1b-pt 언어 모델을 사용하여 토큰의 로그 확률을 계산.
   • 고 Surprisal 토큰 (예상치 못한 단어) 이 문장 내 어디에 분포하는지 확인.
4. 새로운 형용사 - 명사 구 (Novel Adjective-Noun Bigrams) 분석:
   • DCLM 대규모 코퍼스를 기준으로 형용사 - 명사 (AN) 구의 빈도를 분석.
   • 기존 코퍼스에서 드물게 나타나는 '이질적 (deviant)' AN 구의 비율을 측정하여 텍스트의 독창성과 부조화를 정량화.

4. 주요 결과 (Key Results)

• 유머 감지 모델의 실패:

  • 기존 유머 감지 모델은 BL 문장을 유머로 인식하지 못함. 점수가 소설의 첫 문장 (novel-openings) 과 유사하게 낮게 나왔으며, 표준 유머 데이터셋 (combo-humor) 과는 확연히 구별됨.
  • 말장난 감지 모델 역시 BL 문장의 말장난을 제대로 인식하지 못함 (BL 문장은 말장난 외에도 다양한 장치가 복합적으로 작용하기 때문).

• 문학적 장치의 차이:

  • BL 문장은 **반어 (Irony), 메타픽션 (Metafiction), 비유 (Simile)**를 표준 유머 데이터셋이나 소설 시작 문장보다 훨씬 많이 사용함.
  • LLM 의 과장된 모방: 생성된 LLM 문장들은 인간 작성 문장의 형식을 모방하지만, **비유 (Simile), 은유 (Metaphor), 의성어 (Onomatopoeia)**를 과도하게 사용하여 효과가 과장됨.

• Surprisal 분포의 차이:

  • Human BL: 고 Surprisal 토큰이 문장 전체에 고르게 분포 (Flat distribution).
  • Standard Humor: 고 Surprisal 토큰이 문장 초반부에 집중되거나 끝부분에 작은 피크가 있음.
  • LLM: 인간 작성 BL 보다 고 Surprisal 토큰의 수가 훨씬 많음 (DeepSeek: 6.2, GPT-5: 9.2 vs 인간: 5.1). 특히 GPT-5 는 분포가 매우 평탄하여 인간과 다른 패턴을 보임.

• 새로운 AN 구 (Novel ANs) 의 과다 생성:

  • BL 문장은 표준 데이터셋보다 훨씬 많은 수의 '이질적인' 형용사 - 명사 구를 포함함.
  • LLM 의 특징: LLM 은 인간 작성 BL 보다 더 많은 새로운 AN 구를 생성함 (DeepSeek: 5.3 개/문장 vs 인간: 2.7 개/문장). 이는 LLM 이 '나쁜 유머'의 본질인 '부조화'를 의도치 않게 과장하여 구현함을 시사.

5. 기여 및 의의 (Contributions & Significance)

1. 새로운 데이터셋 및 연구 영역 제시: 의도적으로 '나쁜' 유머를 연구하기 위한 최초의 체계적인 코퍼스 (BLFC 기반) 를 구축하고 분석함. 이는 유머의 스펙트럼을 확장하는 데 기여함.
2. 유머 모델링의 한계 규명: 기존 유머 감지 모델이 '나쁜 유머'나 복잡한 문학적 장치가 결합된 텍스트를 인식하지 못함을 증명. 유머 연구가 단순한 패턴 인식을 넘어 문맥과 스타일 이해로 나아가야 함을 시사.
3. LLM 의 스타일 모방 특성 규명: LLM 이 특정 스타일 (의도적 나쁨) 을 프롬프트로 모방할 때, 인간은 적절히 조절하는 반면 LLM 은 특정 특징 (과도한 비유, 낯선 단어 조합) 을 **과장 (Exaggeration)**하여 구현한다는 사실을 발견. 이는 LLM 의 생성 메커니즘과 인간 창의성의 차이를 이해하는 중요한 통찰을 제공.
4. 계산적 유머 연구의 방향성: 유머가 단순히 '재미있는 것'이 아니라 '예상 위반 (Incongruity)'과 '문학적 장치의 복합적 사용'에서 비롯될 수 있음을 보여주며, 향후 유머 생성 및 평가 모델 개발에 새로운 기준을 제시함.

결론

이 논문은 Bulwer-Lytton Fiction Contest 의 문장을 통해 '의도적으로 나쁜 유머'가 기존 유머 데이터셋과 어떻게 다른지, 그리고 LLM 이 이를 어떻게 모방하고 과장하는지를 체계적으로 분석했습니다. 연구 결과는 유머 감지 모델의 한계를 드러냈을 뿐만 아니라, LLM 이 창의적인 텍스트를 생성할 때 인간의 미묘한 조절 능력을 넘어서는 '과도한 특징 추출' 경향을 보임을 입증하여, 향후 LLM 기반 유머 연구 및 평가에 중요한 기준을 마련했습니다.