Leveraging Large Language Models for Sarcastic Speech Annotation in Sarcasm Detection

1. 연구 배경 및 문제 제기 (Problem)

• 비꼬는 말 (Sarcasm) 탐지의 어려움: 비꼬는 말은 어조 (tone) 와 문맥 (context) 을 통해 문자 그대로의 의미를 반전시키는 복잡한 의사소통 수단입니다. 인간은 이를 직관적으로 이해하지만, 자동화 시스템은 어휘, 억양, 문맥적 단서의 복합적인 조합을 해석하는 데 어려움을 겪습니다.
• 데이터 부족 및 한계: 기존 음성 기반 비꼬는 말 탐지 연구는 데이터의 부재와 일반화 문제 [1, 2, 3] 로 인해 제한적입니다.
  • 다중 모달 데이터의 한계: MUStARD, MUStARD++ 와 같은 기존 공개 데이터셋은 TV 드라마 등에서 추출된 영상, 텍스트, 음성을 모두 포함합니다. 그러나 실제 응용 (팟캐스트, 라디오, 전화 통화 등) 에서는 시각적 맥락 없이 음성만으로 비꼬는 말을 탐지해야 하는 경우가 많습니다.
  • 시각 의존성: 기존 데이터셋의 일부 라벨은 표정이나 제스처와 같은 시각적 단서에 의존하므로, 오디오 전용 모델의 성능이 저하될 수 있습니다.
• 텍스트 기반 탐지의 한계: NLP 분야에서는 텍스트 기반 비꼬는 말 탐지가 진전되었으나, 음성의 미세한 단서 (억양, 피치, 템포, 강조) 는 텍스트로 포착되지 않아 음성 특화 데이터셋이 절실합니다.

2. 제안된 방법론 (Methodology)

저자들은 대규모 언어 모델 (LLM) 을 활용하여 대규모 비꼬는 말 음성 데이터셋을 생성하는 3 단계 주석 파이프라인을 제안했습니다.

2.1. 자동 데이터 수집 및 전처리

• 데이터 소스: 자연스러운 비꼬는 표현이 풍부한 'Overly Sarcastic Podcast (OSPod)'의 30 에피소드를 사용했습니다.
• 전처리: 오픈소스 전처리 파이프라인인 Emilia-Pipe를 사용하여 원본 오디오에서 발화 단위 (utterance) 별 고품질 음성 세그먼트를 추출하고, 전사 (transcription), 시간戳, 화자 정보를 생성했습니다.
• 결과: 총 11,024 개의 세그먼트를 확보하고 노이즈 및 불명확한 구간을 제거하여 양질의 이모달 (음성 + 텍스트) 데이터를 준비했습니다.

2.2. LLM 을 활용한 초기 주석 (LLM Annotations)

• 모델: GPT-4o와 LLaMA 3를 주석가로 활용했습니다.
• 프롬프트 설계: 문맥, 언어적 단서 (과장, 모순, 부조리), 어조, 암시적 의미에 초점을 맞춘 구조화된 프롬프트와 Few-shot 예시를 제공하여 LLM 이 정확히 비꼬는 말 여부를 판별하도록 유도했습니다.
• 동시 주석: 두 모델이 독립적으로 각 세그먼트에 대해 '비꼬는 말 (Sarcastic)' 또는 '아님 (Not Sarcastic)' 라벨을 부여했습니다.

2.3. 인간 검증 (Human Verification)

• 갈등 해결: 두 LLM 간의 라벨이 일치하지 않는 경우 (전체 11,024 개 중 2,884 개) 를 식별했습니다.
• 전문가 검토: 음성학 (Phonetics) 전문 박사 과정 학생 2 명이 모호한 사례를 수동으로 검토하고, 제 3 의 주석자가 최종 결정을 내렸습니다.
• 주석 기준: LLM 주석 시 누락된 억양 (Prosody) 정보를 인간 검증 단계에서 특히 중점적으로 고려하여 라벨을 수정했습니다.

3. 주요 기여 (Key Contributions)

1. LLM 기반 주석의 타당성 입증: 인간 주석자에 대한 의존도를 줄이면서도 고품질의 이모달 비꼬는 말 음성 데이터셋을 생성할 수 있는 LLM 활용 파이프라인의 실현 가능성을 증명했습니다.
2. 검증된 주석 방법론: 공개 데이터셋 (MUStARD++) 을 사용하여 LLM 기반 주석의 품질과 탐지 모델 성능을 검증했습니다.
3. 대규모 데이터셋 'PodSarc' 공개: 제안된 파이프라인을 통해 생성된 대규모 고품질 비꼬는 말 음성 데이터셋 **PodSarc (Podcast Sarcasm)**을 구축하고 공개했습니다. 이 데이터셋은 시각적 단서가 없는 실제 음성 환경 (팟캐스트 등) 에 최적화되어 있습니다.

4. 실험 결과 (Results)

4.1. MUStARD++ 데이터셋에서의 검증

• 주석 품질 평가: GPT-4o 는 MUStARD++ 에서 Macro-F1 67.47% 의 높은 성능을 보이며 비꼬는 말 주석 능력을 입증했습니다.
• 탐지 모델 성능: 인간 주석 (Ground Truth) 으로 학습된 모델과 비교했을 때, LLM 주석만 사용한 모델은 성능이 다소 낮았으나 (F1 60.2% vs 69.1%), **인간 검증이 포함된 제안 파이프라인 (Proposed)**은 중간 수준의 성능 (F1 65.1%~67.4%) 을 보여주어 LLM 주석의 유효성을 확인했습니다.

4.2. PodSarc 데이터셋에서의 성능

• 최고 성능 달성: 제안된 파이프라인으로 생성된 PodSarc 데이터셋을 사용하여 비꼬는 말 탐지 모델을 학습시킨 결과, 음성 (A) 과 텍스트 (T) 를 결합한 이모달 모델이 F1 점수 73.63% 를 기록했습니다.
• 모달리티 비교: 텍스트만 사용하는 모델보다 음성 정보를 추가했을 때 성능이 향상되었으며, 인간 검증이 포함된 라벨 (Proposed) 이 순수 LLM 라벨 (LLM) 보다 더 높은 성능을 보였습니다.
  • 참고: MUStARD++ 에서의 성능 (A+T 기준 61.8%) 보다 PodSarc 에서의 성능 (73.63%) 이 더 높게 나온 이유는, MUStARD++ 의 일부 라벨이 시각적 단서에 의존하는 반면 PodSarc 는 오직 텍스트와 음성만으로 구성된 비꼬는 말에 집중되어 있어 모델이 학습하기 더 적합했기 때문입니다.

5. 의의 및 결론 (Significance)

• 데이터 부족 해결: 대규모 고품질 비꼬는 말 음성 데이터의 부족 문제를 LLM 과 인간 검증의 협업 방식을 통해 해결했습니다.
• 실제 응용 가능성: 시각 정보가 없는 실제 음성 환경 (팟캐스트, 라디오, 전화) 에서 작동하는 강건한 비꼬는 말 탐지 시스템 개발의 기반을 마련했습니다.
• 향후 연구 방향:
  • 비꼬는 말과 과장법 (hyperbole), 아이러니 (irony) 등을 구분하는 정교한 주석 확장.
  • 다양한 언어 및 문화적 배경을 포함하는 데이터셋으로의 확장.
  • LLM 주석 데이터로 학습된 모델이 인간 주석 테스트셋에서 어떻게 전이 (transfer) 되는지에 대한 추가 평가.

이 연구는 LLM 을 활용한 효율적인 데이터 주석 파이프라인을 통해 음성 기반 비꼬는 말 탐지 연구의 새로운 기준 (Benchmark) 을 제시했다는 점에서 중요한 의의를 가집니다.