Modeling Sarcastic Speech: Semantic and Prosodic Cues in a Speech Synthesis Framework

Resumen Técnico: Modelado de la Expresión Sarcástica mediante Claves Semánticas y Prosódicas

Planteamiento del Problema
El sarcasmo es un fenómeno pragmático donde los hablantes transmiten significados que divergen del contenido literal, apoyándose en una compleja interacción entre la incongruencia semántica y la expresión prosódica. Aunque los hablantes suelen utilizar estrategias prosódicas (por ejemplo, entonación exagerada, énfasis estresado) para señalar el sarcasmo, el modelado computacional de este fenómeno sigue siendo un desafío. Los enfoques existentes suelen tener dificultades porque:

1. Entrelazamiento de Claves: En el habla natural, las claves semánticas y prosódicas están entrelazadas, lo que dificulta su manipulación sistemática e independiente para estudiar sus contribuciones específicas.
2. Limitaciones de Detección vs. Síntesis: La mayor parte del trabajo previo se centra en la detección de sarcasmo (clasificación) más que en la síntesis. Pasar a la síntesis es crucial para comprender cómo las claves contribuyen a la percepción y para permitir que los sistemas interactivos desplieguen activamente fenómenos pragmáticos.
3. Subtileza y Contexto: El sarcasmo es más sutil y dependiente del contexto que las emociones generales (por ejemplo, la ira o la alegría), lo que dificulta su captura mediante características acústicas diseñadas a mano o controles prosódicos simples. Además, los corpus de habla sarcástica anotados de alta calidad son escasos, lo que limita los enfoques puramente basados en datos.

Metodología
Los autores proponen un marco de modelado de habla sarcástica mejorado con LLM y Generación Aumentada por Recuperación (RAG) que trata el sarcasmo como la integración de la interpretación semántica y la realización prosódica. La arquitectura, basada en el modelo VITS (Variational Inference with adversarial learning for Text-to-Speech), consta de tres componentes principales:

1. Codificación Semántica Consciente del Sarcasmo (PEFT):

   • Para capturar características semánticas de alto nivel indicativas de la intención sarcástica, los autores emplean el Ajuste Fino de Parámetros Eficientes (PEFT) utilizando Adaptación de Bajo Rango (LoRA) en un modelo LLaMA 3-8B.
   • El modelo se ajusta con el conjunto de datos de titulares de noticias sarcásticos (Misra & Arora, 2023) para aprender marcadores de discurso de la intención sarcástica.
   • El resultado es una secuencia de incrustaciones (embeddings) semánticas contextualizadas ($E_s$) que sirven como una representación controlable de la intención sarcástica para el modelo de síntesis.

2. Generación Aumentada por Recuperación (RAG) para la Prosodia:

   • Para proporcionar ejemplares prosódicos realistas sin selección manual, el sistema integra un módulo RAG.
   • Se construye una base de datos de enunciados sarcásticos a partir del conjunto de datos MUStARD++. Cada entrada incluye el enunciado y su representación semántica precomputada (usando el mismo codificador LLaMA 3 adaptado con LoRA).
   • Para un texto de entrada dado, el sistema calcula la similitud de coseno entre la incrustación semántica de la entrada y las entradas de la base de datos para recuperar los $K$ superiores (establecido en 3) enunciados sarcásticos semánticamente alineados.
   • Estos enunciados recuperados se codifican mediante WavLM para extraer incrustaciones prosódicas de longitud fija ($E_w$), que capturan patrones característicos de entonación y énfasis.

3. Síntesis de Voz Integrada:

   • El modelo de síntesis utiliza un mecanismo de atención cruzada (cross-attention) donde las incrustaciones de fonemas actúan como consultas (queries) y las incrustaciones semánticas conscientes del sarcasmo actúan como claves (keys) y valores (values).
   • Las incrustaciones prosódicas recuperadas se proyectan linealmente y se añaden a la salida de la atención cruzada para modular el decodificador.
   • Esto permite la generación de habla condicionada simultáneamente a fonemas, semántica consciente del sarcasmo y estilos prosódicos recuperados.

Configuración Experimental y Condiciones
El estudio evalúa el marco a través de una serie de experimentos perceptuales y objetivos comparando cuatro condiciones principales:

• Línea Base (Baseline): VITS estándar sin guía específica de sarcasmo.
• Solo Semántica (Semantic-only): Habla condicionada por incrustaciones de BERT, LLaMA 3 preentrenado o LLaMA 3 ajustado con LoRA.
• Solo Prosodia (Prosody-only): Habla guiada por ejemplares prosódicos recuperados (RAG) con condicionamiento semántico neutral.
• Combinada (Combined): Habla que incorpora tanto las incrustaciones semánticas ajustadas con LoRA como los ejemplares prosódicos recuperados.

Resultados Clave

• Modelado Semántico: El ajuste fino de LLaMA 3 con LoRA mejoró significativamente el rendimiento de la detección de sarcasmo en texto (el F1-score aumentó de aproximadamente ~65.5% para el LLaMA 3 base a 72.5%), demostando que la adaptación dirigida captura eficazmente las claves de discurso del sarcasmo.
• Métricas Objetivas: La condición Combinada logró el mejor F1-score de detección de sarcasmo (62.5%) en audio sintetizado, superando las condiciones que utilizaban solo claves semánticas o solo prosódicas. Las métricas acústicas (MCD, tono, energía) se mantuvieron estables en todas las condiciones, lo que indica que las mejoras se debieron a la manipulación de claves de alto nivel y no a cambios en la fidelidad de la señal.
• Percepción Subjetiva (MOS):
  • Naturalidad (NMOS): El sistema combinado mantuvo una alta naturalidad (2.7 ± 0.1), comparable a la línea base y significativamente mejor que el uso de incrustaciones de LLaMA 3 sin adaptar (2.0 ± 0.1), que los oyentes consideraron antinatural.
  • Expresividad del Sarcasmo (SMOS): Las condiciones Combinada y Solo LoRA alcanzaron las calificaciones de sarcasmo más altas (3.8 ± 0.2). Aunque el sistema combinado no mostró un aumento aditivo estadísticamente masivo sobre la condición Solo LoRA en las calificaciones subjetivas, logró los puntajes de detección objetiva más altos.
  • Las incrustaciones de propósito general (BERT, LLaMA 3 sin adaptar) no lograron mejorar la percepción del sarcasmo y, en el caso de LLaMA 3 sin adaptar, degradaron la naturalidad.

Significancia y Reivindicaciones
El artículo sostiene que sus hallazgos resaltan los papeles complementarios de la semántica y la prosodia en la interpretación pragmática. Específicamente:

1. Complementariedad: Las claves semánticas y prosódicas contribuyen conjuntamente al reconocimiento del sarcasmo. Si bien las claves prosódicas por sí solas mejoran el reconocimiento, la integración de la semántica consciente del sarcasmo (vía LoRA) y los ejemplares prosódicos (vía RAG) produce el rendimiento más robusto tanto en la detección objetiva como en la percepción subjetiva.
2. Mecanismo del Sarcasmo: Los resultados respaldan las explicaciones teóricas de que el sarcasmo surge de la interacción entre el significado y la entrega, en lugar de características lingüísticas o acústicas aisladas.
3. Contribución Metodológica: El estudio demuestra que los modelos basados en síntesis pueden servir como herramientas efectivas para modelar el comportamiento del habla. Al manipular independientemente las claves, el marco permite la exploración sistemática de cómo diferentes factores contribuyen a la percepción pragmática.
4. Modelado Pragmático: El trabajo ilustra cómo los avances en los LLM (para el condicionamiento semántico-pragmático) y los métodos basados en recuperación (para el anclaje prosódico expresivo) pueden combinarse para modelar fenómenos pragmáticos sutiles que son difíciles de capturar con los sistemas convencionales de TTS emocional.

Los autores concluyen que su marco proporciona una forma fundamentada de condicionar el TTS a las claves relevantes del sarcasmo, ofreciendo un enfoque flexible y cognitivamente basado para la generación de habla expresiva. Señalan que el trabajo futuro debería centrarse en ir más allá de los enunciados aislados hacia la detección y generación conscientes del discurso.