Leveraging Large Language Models for Sarcastic Speech Annotation in Sarcasm Detection

Título do Trabalho

Aproveitamento de Modelos de Linguagem de Grande Escala (LLMs) para Anotação de Fala Sarcástica na Detecção de Sarcasmo

1. O Problema

A detecção de sarcasmo em fala é um desafio crítico para a tecnologia de processamento de linguagem natural e sistemas de interação humano-computador, mas enfrenta barreiras significativas:

• Escassez de Dados: Existem poucos conjuntos de dados anotados em grande escala especificamente para fala sarcástica.
• Dependência Multimodal: A maioria dos sistemas existentes (como MUStARD e MUStARD++) depende da fusão de características visuais, textuais e de áudio. Isso limita sua aplicabilidade em cenários do mundo real onde apenas o áudio está disponível (ex.: podcasts, rádio, chamadas telefônicas).
• Complexidade do Sarcasmo: O sarcasmo altera o significado fundamental através de tom, contexto e nuances prosódicas (entonação, ritmo, ênfase), que são difíceis de capturar apenas com texto ou modelos puramente acústicos de baixo nível.
• Custo de Anotação: A anotação manual de grandes volumes de dados de fala é lenta, cara e sujeita a inconsistências.

2. Metodologia

Os autores propõem um pipeline de anotação automatizado que combina LLMs com verificação humana para criar um conjunto de dados de fala sarcástica de alta qualidade. O processo segue três etapas principais:

1. Coleta e Processamento Automático de Dados:

   • Utilização do podcast "Overly Sarcastic Podcast" (OSPod) como fonte de dados "in-the-wild" (naturais e espontâneos).
   • Aplicação do pipeline de pré-processamento Emilia-Pipe para segmentar o áudio, gerar transcrições, identificar falantes e remover ruídos/interferências.
   • Resultado inicial: 11.024 segmentos de fala alinhados com suas transcrições.

2. Anotação por LLMs (Dupla Anotação):

   • Dois modelos de linguagem foram utilizados como anotadores independentes: GPT-4o e LLaMA 3 (versão 70B).
   • Prompting: Os modelos receberam prompts estruturados contendo o texto, contexto, dicas linguísticas (exagero, contradição, absurdidade) e exemplos few-shot (poucos exemplos) de sarcasmo e não-sarcasmo.
   • Validação Inicial: Os modelos foram testados no conjunto de dados MUStARD++ para validar sua capacidade de anotação, onde o GPT-4o alcançou um F1 Macro de 67,47%.

3. Verificação Humana e Resolução de Conflitos:

   • Quando os dois LLMs discordavam sobre uma amostra (ocorreu em 2.884 dos 11.024 casos), especialistas humanos (estudantes de doutorado em fonética) revisaram manualmente esses casos.
   • A revisão humana focou em dicas prosódicas (tom, hesitação, ênfase) que os LLMs, baseados apenas em texto, não conseguiam captar totalmente.
   • Um terceiro anotador resolveu os casos onde os revisores humanos também discordavam (acordo inter-anotador Kappa = 0,58).

3. Contribuições Chave

1. Viabilidade de LLMs para Anotação de Fala: Demonstraram que LLMs podem ser usados eficazmente para anotar sarcasmo em fala, reduzindo drasticamente a dependência de anotação humana manual.
2. Criação do Dataset PodSarc: Introdução do PodSarc, um novo conjunto de dados de fala sarcástica em larga escala e bimodal (áudio + texto), contendo aproximadamente 29,42 horas de fala.
   • Tamanho final: 4.026 utterances sarcásticas e 6.998 não sarcásticas.
   • Foco exclusivo em áudio e texto, sem dependência de pistas visuais.
3. Pipeline Validado: Validação da eficácia do pipeline comparando a qualidade da anotação e o desempenho de modelos de detecção em conjuntos de dados públicos (MUStARD++) e no novo dataset.

4. Resultados e Desempenho

Os experimentos foram conduzidos utilizando uma arquitetura de portão colaborativo (collaborative gating) para fusão de características multimodais (Texto e Áudio).

• Validação no MUStARD++:

  • Modelos treinados com anotações humanas (Gold Standard) alcançaram um F1 de 70,8% (Áudio + Texto).
  • Modelos treinados apenas com anotações do GPT-4o tiveram desempenho inferior (61,8% F1).
  • Modelos treinados com o pipeline proposto (LLM + Verificação Humana) alcançaram 67,4% F1, demonstrando que a verificação humana recupera grande parte da qualidade perdida ao usar apenas LLMs.

• Desempenho no PodSarc:

  • O modelo multimodal treinado com as anotações finais do PodSarc (LLM + Verificação Humana) alcançou um F1 de 73,63%.
  • Comparação: O desempenho no PodSarc foi superior ao obtido no MUStARD++ com anotações LLM (71,47% vs 61,8% no cenário A+T). Isso sugere que o PodSarc é mais adequado para cenários de "apenas áudio", pois suas anotações não dependem de pistas visuais que os modelos de detecção não possuem.
  • O componente de texto mostrou-se mais forte que o áudio isolado, mas a combinação de ambos (A+T) sempre superou os modelos unimodais.

5. Significado e Conclusão

• Solução para Escassez de Dados: O trabalho oferece uma solução escalável para a criação de conjuntos de dados de fala sarcástica, um recurso escasso que impede o avanço da pesquisa nessa área.
• Aplicabilidade Real: O dataset PodSarc é especificamente projetado para cenários de "apenas fala" (como assistentes de voz e análise de podcasts), preenchendo uma lacuna deixada por datasets multimodais existentes.
• Equilíbrio Custo-Qualidade: A abordagem híbrida (LLM para volume + humano para precisão em casos ambíguos) prova ser uma estratégia eficiente para criar benchmarks de alta qualidade sem o custo proibitivo de anotação 100% humana.
• Futuro: Os autores sugerem que o pipeline pode ser expandido para distinguir sarcasmo de outras figuras de linguagem (como hipérbole e ironia) e para incluir maior diversidade linguística e cultural.

Em resumo, o artigo estabelece um novo padrão para a detecção de sarcasmo em fala, provando que a combinação de inteligência artificial generativa com supervisão humana especializada pode gerar dados robustos para treinar sistemas de IA mais inteligentes e contextualmente conscientes.