기술 요약: AI 유머 연구를 위한 유머 데이터 객체 재정의

문제 제기

기존 AI 유머 연구는 주로 텍스트 객체를 기반으로 유머를 "존재함" 또는 "존재하지 않음"의 이진 분류 작업으로 취급합니다. 이러한 접근법은 유머를 상호작용, 맥락, 설명을 포함하는 사회적 행동으로 정의하는 심리학적 정의를 간과합니다. 현재 데이터셋은 유머가 성공하거나 실패하는 '이유'를 이해하는 데 필요한 풍부한 구조적 요소를 결여하고 있습니다. 예를 들어, 관련된 사회적 역할 (화자 vs 수신자), 반응 뒤에 있는 구체적인 추론, 또는 실패한 시도 이후의 회복 전략 등이 포함되지 않습니다. 더 나아가, 기존 유머 데이터셋은 종종 TED 강연이나 시트콤과 같은 멀티모달 소스의 대본에 의존하는데, 이는 중요한 시각적 단서, 타이밍, 또는 전달 방식을 생략하여 AI 모델에게 불완전한 맥락을 제공합니다.

방법론

저자들은 "유머" 데이터 객체를 재정의하고, 대형 언어 모델 (LLM) 을 사용하여 구조화된 유머 추론 데이터를 생성하는 파이프라인을 제안합니다.

1. 유머 데이터 객체

본 논문은 유머 데이터 포인트를 오중항 $(C, X; Y, R; Z)$으로 정의합니다:

• $C$ (맥락): 사회적 대화 또는 선행 맥락.
• $X$ (시도): 화자의 유머러스한 발화나 펀치라인.
• $Y$ (반응): 수신자가 유머를 느꼈는지 ($1$) 아니면 그렇지 않았는지 ($0$)를 나타내는 이진 레이블.
• $R$ (추론): 유머가 성공하거나 실패한 이유를 상세히 설명하는 수신자의 설명.
• $Z$ (회복): 실패한 시도 이후 화자의 대응 (예: 사과, 회피). $Y=1$인 경우 'n/a'로 표시됨.
  초기 작업은 주로 $R$(설명) 생성에 집중했습니다.

2. 데이터셋 구축 및 프롬프트 반복

연구진은 관찰 가능한 반응을 포함한 기존 데이터셋, 구체적으로 SMILE 데이터셋 (TED+시트콤) 을 활용했습니다. 그들은 지역적 텍스트 맥락 ($C$), 후보 펀치라인 ($X$), 그리고 관찰된 반응 ($Y$) 을 추출했습니다.

추론 ($R$) 을 생성하기 위해 팀은 LLM(기초 모델: gpt-4o-mini) 을 사용한 반복적 프롬프트 전략을 도입했습니다:

• 프롬프트 1 (초기): 모델에게 단계별 추론, 인과 흐름도, 최종 설명, 그리고 환각 플래그가 포함된 구조화된 JSON 출력을 생성하도록 요청했습니다. 이 프롬프트는 텍스트가 충분하다고 가정했으며, 맥락이 부족할 때도 강제로 설명을 생성하게 했습니다.
• 프롬프트 2 (수정): 31 개의 예시에 대한 수동 검토를 통해 상당한 오류가 발견된 후 개발되었습니다. 이 프롬프트는 모델이 명시적으로 다음을 수행하도록 요구했습니다:
  1. 대본만으로도 유머 설명을 뒷받침하기에 충분한지 평가.
  2. 맥락 누락, 정렬 오류, 또는 멀티모달 의존성과 같은 데이터 품질 문제를 플래그로 표시.
  3. 텍스트가 부적절할 때 환각된 설명을 생성하지 않도록 방지.

3. 평가 및 확장

팀은 동일한 31 개의 예시에 대해 두 프롬프트의 출력을 수동으로 평가했습니다. 평가 기준에는 근거성 ($C$ 및 $X$ 에 대한 의존성), 완전성, 진정한 유머 메커니즘의 식별, 그리고 지지되지 않는 사실의 부재가 포함되었습니다. 프롬프트 2 의 성공에 이어, 팀은 307 개의 설명 예제를 생성하는 데이터셋을 만들기 위해 생성 프로세스를 확장했습니다.

주요 결과

• 프롬프트 개선: 31 개 예제 테스트 세트에 대한 수동 평가는 수정된 프롬프트로 인해 상당한 개선을 보여주었습니다.
  • 프롬프트 1: 31 개 출력 중 17 개가 허용 가능; 14 개는 오류.
  • 프롬프트 2: 31 개 출력 중 27 개가 허용 가능; 4 개만 오류.
• 오류 분석: 초기 실패는 네 가지 유형으로 분류되었습니다:
  1. 불완전한 맥락: 대본이 유머를 이해하는 데 필요한 배경 정보가 부족함.
  2. 설명되지 않은 고유 명사: 모델이 실제 세계 참조 (예: "FedEx days") 를 설명하지 못함.
  3. 멀티모달 의존성: 유머가 텍스트에 존재하지 않는 시각적 단서, 제스처, 또는 타이밍에 의존함.
  4. 신뢰할 수 없는 대본: 오타나 정렬되지 않은 웃음 표시로 인해 일관성 없는 설명이 생성됨.
• 확장: 수정된 프롬프트는 307 개의 구조화된 데이터 포인트를 성공적으로 생성했습니다. 특히, 소스 텍스트에 결함이 있을 때 설명을 환각하려는 경향을 줄이고 대신 데이터의 불충분함을 플래그로 표시하도록 개선되었습니다.
• 자동 최적화: DSPy/GEPA 를 사용한 자동 프롬프트 최적화 실험은 수동 정제 이상의 성능 향상을 가져오지 못했으며, 이는 인간이 수행한 오류 분석이 개선의 주된 동력임을 시사합니다.

의의 및 기여

본 논문은 AI 유머 연구 분야에 다음과 같은 기여를 주장합니다:

1. 데이터 객체 재정의: 유머를 맥락, 시도, 반응, 추론, 회복을 포함하는 사회적 상호작용으로 포착하는 이진 레이블을 넘어선 구조화된 오중항으로 이동.
2. 확장 가능한 데이터 합성: 불완전한 소스 대본에서도 잘 설계된 LLM 프롬프트를 사용하여 대규모 구조화된 유머 추론 데이터를 생성할 수 있음을 입증. 이는 데이터 증강 및 합성을 위한 방법을 제공합니다.
3. 멀티모달리티 및 맥락 처리: 효과적인 유머 설명 생성을 위해서는 모델을 강제로 설명하게 하는 대신, 텍스트의 충분성을 명시적으로 평가하고 멀티모달 의존성을 플래그로 표시해야 함을 확립.
4. 미래 연구의 기반: 생성된 데이터셋과 정의된 데이터 객체는 유머 이해, 데이터 합성, 그리고 사회적 인식을 갖춘 AI 모델 개발에 대한 향후 연구를 위한 기준선을 제공합니다.

저자들은 307 개 예제 데이터셋이 금표준이 아닌 예비 자원임을 명시하며, 다양한 실패 모드 전반에 걸쳐 설명의 품질을 체계적으로 평가하고, 유머 생성 모델 훈련에서 데이터셋의 유용성을 탐구하기 위한 향후 연구가 필요함을 겸손한 태도로 강조합니다.