Leveraging Large Language Models for Sarcastic Speech Annotation in Sarcasm Detection

Título: Aprovechamiento de Modelos de Lenguaje Grande (LLM) para la Anotación de Discurso Sarcástico en la Detección de Sarcasmo

1. El Problema

La detección de sarcasmo en el habla es un desafío crítico para la tecnología de voz y la IA conversacional, pero se ve obstaculizada por dos factores principales:

• Escasez de datos: Existen pocos conjuntos de datos anotados a gran escala que se centren específicamente en el sarcasmo en el habla. Los conjuntos existentes (como MUStARD) suelen ser multimodales (texto, audio y video) y de tamaño limitado.
• Dependencia de modalidades visuales: La mayoría de los sistemas actuales dependen de la fusión de características multimodales. Sin embargo, en aplicaciones del mundo real como podcasts, transmisiones de radio o llamadas telefónicas, solo está disponible el audio. Los modelos que requieren contexto visual (expresiones faciales, gestos) tienen un rendimiento reducido en escenarios de "solo audio".
• Complejidad del sarcasmo: El sarcasmo no solo depende del contenido textual, sino de matices prosódicos (entonación, ritmo, énfasis) y contexto, lo que dificulta la creación de representaciones de audio finas sin grandes volúmenes de datos anotados.

2. Metodología

Los autores proponen un pipeline de anotación automatizado asistido por humanos para crear un conjunto de datos masivo. El proceso consta de tres etapas principales (ilustrado en la Figura 1 del artículo):

• A. Recolección y Procesamiento Automático:

  • Se utilizó el Overly Sarcastic Podcast (OSPod) como fuente de datos "en la naturaleza" (in-the-wild).
  • Se aplicó el pipeline de código abierto Emilia-Pipe para segmentar el audio, eliminar ruido, reverberación y solapamientos, y generar transcripciones alineadas con marcas de tiempo y metadatos de hablantes.
  • Se procesaron 30 episodios, obteniendo 11,024 segmentos de habla.

• B. Anotación con LLMs:

  • Se emplearon dos modelos de lenguaje grande: GPT-4o y LLaMA 3 (versiones 8B y 70B).
  • Se diseñaron prompts específicos que incluían el texto crudo, el contexto, pistas lingüísticas (exageración, contradicción) y ejemplos few-shot (pocos ejemplos) para guiar a los modelos en la identificación del sarcasmo.
  • Ambos modelos anotaron independientemente cada segmento como "sarcástico" o "no sarcástico", generando también una justificación textual.

• C. Verificación Humana:

  • Se identificaron los casos donde los LLMs discrepaban (2,884 de 11,024 segmentos).
  • Dos estudiantes de doctorado especializados en fonética revisaron manualmente estos casos conflictivos, prestando especial atención a las pistas prosódicas que los LLMs no podían ver (ya que solo procesaban texto).
  • Un tercer anotador resolvió los desacuerdos restantes.
  • El resultado final es el conjunto de datos PodSarc.

3. Contribuciones Clave

1. Viabilidad de LLMs para anotación: Demuestran que los LLMs pueden facilitar la anotación de sarcasmo en habla, reduciendo drásticamente la dependencia de anotadores humanos para la creación inicial de datos.
2. Validación del enfoque: Validan la metodología comparando el rendimiento de los modelos entrenados con etiquetas generadas por LLMs frente a etiquetas humanas en un conjunto de datos público (MUStARD++).
3. Creación de PodSarc: Presentan PodSarc, un nuevo conjunto de datos a gran escala y de alta calidad para la detección de sarcasmo en habla bimodal (texto + audio), diseñado específicamente para entornos donde no hay contexto visual.

4. Resultados

• Rendimiento de los LLMs en anotación: En el conjunto de datos MUStARD++, GPT-4o logró el mejor rendimiento con un F1 Macro promedio del 67.47%, superando a las variantes de LLaMA 3. Esto confirma la competencia de los LLMs en la tarea de detección.
• Desempeño del modelo de detección en PodSarc:
  • Se entrenaron modelos utilizando una arquitectura de compuerta colaborativa (similar a la de MUStARD++) que fusiona características de texto (BART) y audio (MFCC, espectrogramas Mel, características prosódicas).
  • El modelo entrenado con las anotaciones finales de PodSarc (LLM + verificación humana) alcanzó un F1 de 73.63% en la configuración multimodal (Audio + Texto).
  • Los modelos multimodales superaron consistentemente a los unimodales (solo texto o solo audio), destacando la importancia del contexto textual.
  • Los modelos entrenados con etiquetas puramente generadas por LLMs (sin verificación humana) también mostraron buenos resultados (F1 71.47%), aunque ligeramente inferiores a los verificados por humanos.
• Comparación con MUStARD++: Los modelos entrenados en PodSarc superaron a los entrenados en MUStARD++ (73.63% vs 70.8% en multimodal). Esto se atribuye a que PodSarc se alinea mejor con la tarea de "solo audio/texto", mientras que MUStARD++ incluye pistas visuales que los modelos de este estudio no podían utilizar.

5. Significado e Impacto

• Solución a la escasez de datos: El trabajo aborda directamente la falta de datos anotados para el sarcasmo en habla, permitiendo la creación de conjuntos de datos masivos de manera eficiente.
• Aplicabilidad en el mundo real: Al centrarse en datos de audio y texto sin depender de video, el enfoque es directamente aplicable a sistemas de IA conversacional en podcasts, llamadas telefónicas y asistentes de voz, donde el contexto visual no está disponible.
• Eficiencia de costos: La combinación de LLMs con una verificación humana selectiva (solo en casos de desacuerdo) ofrece una ruta escalable y rentable para la creación de datasets de alta calidad, reduciendo la carga de trabajo manual.
• Futuro de la investigación: Abre nuevas direcciones para distinguir el sarcasmo de otras formas de habla no literal (hipérbole, ironía) y para mejorar la diversidad lingüística y cultural en los datos de entrenamiento.

En conclusión, el artículo demuestra que es posible construir un sistema robusto de detección de sarcasmo en habla utilizando un pipeline híbrido (LLM + humano), resultando en un nuevo estándar de datos (PodSarc) que impulsa la investigación en interacción humano-computadora más natural y precisa.