VowelPrompt: Hearing Speech Emotions from Text via Vowel-level Prosodic Augmentation

Resumen Técnico: VowelPrompt: Escuchando las Emociones del Habla a través de la Augmentación Prosódica a Nivel de Vocal

Planteamiento del Problema
El Reconocimiento de Emociones en el Habla (SER, por sus siglas en inglés) es una tarea multimodal compleja que requiere la integración del contenido lingüístico y la expresividad vocal, particularmente de características prosódicas como la frecuencia fundamental (F0), la intensidad y la dinámica temporal. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han mostrado potencial para razonar sobre transcripciones textuales, suelen omitir la información prosódica detallada, lo que limita su eficacia e interpretabilidad. Los enfoques existentes enfrentan un compromiso: los modelos de lenguaje-audio (por ejemplo, AudioPaLM, Emotion-LLaMA) integran codificadores acústicos pero dependen de embeddings opacos de "caja negra" que dificultan la interpretabilidad y el despliegue basado solo en texto; por el contrario, los métodos de prompting basados solo en texto que aumentan las transcripciones con descripciones prosódicas suelen utilizar resúmenes de nivel de enunciado que son demasiado generales, lo que desdibuja las señales emocionales de grano fino. Además, la evidencia fonética sugiere que las vocales, al ser núcleos sonorizados con propiedades acústicas estables, son los principales portadores de la prosodia afectiva, sin embargo, los pipelines modernos de SER extraen características de manera uniforme en todos los fonemas, lo que potencialmente diluye el poder discriminativo de las señales específicas de las vocales.

Metodología
Los autores proponen VowelPrompt, un marco de trabajo fundamentado lingüísticamente que aumenta el reconocimiento de emociones basado en LLM con pistas prosódicas interpretables a nivel de vocal. La metodología consta de tres componentes principales:

1. Extracción de Características Acústicas a Nivel de Vocal:

   • Alineación Forzada: Dada una locución y su transcripción, un pipeline de alineación forzada estándar (por ejemplo, Montreal Forced Aligner) obtiene los límites temporales precisos de los fonemas.
   • Selección de Vocales: El sistema aisla los segmentos vocálicos (monoptongos y diptongos) basándose en el Alfabeto Fonético Internacional (IPA), excluyendo las regiones consonánticas para centrarse en los núcleos sonorizados y ricos en resonancia.
   • Extracción de Descriptores: Para cada segmento vocálico, el sistema computa Descriptores de Bajo Nivel (LLDs): promedio de tono (F0) y pendiente, variación de tono (desviación estándar), promedio de intensidad (energía RMS) y variación, y duración del segmento.
   • Normalización y Discretización: Las características se someten a una normalización z por hablante y una normalización por tipo de vocal para asegurar la comparabilidad entre hablantes y vocales. Los valores continuos se discretizan mediante el uso de cuantiles en categorías ordinales (por ejemplo, "muy bajo", "alto").
   • Conversión a Lenguaje Natural: Estos valores discretizados se mapean de forma determinista en descripciones concisas de lenguaje natural (por ejemplo, "F0 alto, ascendente, fuerte, prolongado") para cada vocal.

2. Construcción del Prompt:
   Los descriptores de lenguaje natural generados se adjuntan a la transcripción textual. Esto permite que un LLM basado solo en texto razone conjuntamente sobre la semántica léxica y la variación prosódica localizada a nivel de segmento sin requerir la entrada de audio bruto durante la inferencia.

3. Adaptación del Modelo en Dos Etapas:
   Para adaptar los LLMs a esta entrada enriquecida, los autores emplean un pipeline de entrenamiento de dos etapas:

   • Ajuste Fino Supervisado (SFT): Una fase de arranque en frío donde el LLM se ajusta con datos aumentados con descriptores a nivel de vocal. El modelo aprende a generar tanto la etiqueta de emoción correcta como un rastro de razonamiento interpretable (encerrado en etiquetas <thought>) condicionado al texto y a las características prosódicas.
   • Aprendizaje por Refuerzo con Recompensa Verificable (RLVR): Tras el SFT, el modelo se refina utilizando la Optimización de Política Relativa de Grupo (GRPO). Esta etapa optimiza dos recompensas verificables: la precisión (coincidencia con la etiqueta real) y la adherencia al formato (asegurar que la salida contenga bloques de razonamiento y respuesta válidos). Una penalización KL restringe las actualizaciones respecto a la referencia de SFT para evitar el desvío.

Contribuciones Clave

1. Aumentación Interpretativa a Nivel de Vocal: El artículo introduce un método para extraer características de tono, intensidad y duración específicamente de los segmentos vocálicos alineados temporalmente, convirtiéndolos en lenguaje natural. Esto cierra la brecha entre los embeddings acústicos opacos y los prompts legibles por humanos, permitiendo que los LLM razonen sobre la estructura prosódica de grano fino.
2. Pipeline de Entrenamiento de Dos Etapas: Los autores diseñan un régimen de adaptación específico que combina SFT para el alineamiento y RLVR (vía GRPO) para mejorar la calidad del razonamiento, forzar una salida estructurada y mejorar la robustez a través de dominios y hablantes.
3. Generalización Multilingüe y de Dominio Cruzado: Al anclar la selección de vocales a los estándares del IPA y aplicar la normalización a nivel de lengua, el marco se extiende a entornos multilingües (inglés, alemán, francés) y demuestra robustez en escenarios de transferencia de dominio cruzado.

Resultados Experimentales
Se realizaron evaluaciones extensas en cinco conjuntos de datos de referencia: IEMOCAP, MELD, CaFE (francés), EmoDB (alemán) y ASVP-ESD (multilingüe).

• Rendimiento Zero-Shot: En IEMOCAP y MELD, VowelPrompt superó consistentemente tanto a las líneas base de solo transcripción como a los métodos de aumentación prosódica a nivel de oración (por ejemplo, SpeechCueLLM). Por ejemplo, en IEMOCAP con GPT-4o, VowelPrompt mejoró la Precisión No Ponderada (UACC) hasta en un 7.80% respecto a la línea base de solo transcripción.
• Rendimiento de Ajuste Fino: Bajo ajuste fino supervisado (SFT) y SFT con GRPO, VowelPrompt alcanzó resultados de vanguardia. En IEMOCAP con LLaMA-3-8B-Instruct, alcanzó un F1 Ponderado de 73.46% (SFT) y 73.02% (SFT & GRPO), superando a líneas base como InstructERC y SALMONN.
• Dominio Cruzado y Multilingüe: En transferencias de dominio cruzado (por ejemplo, de IEMOCAP a MELD), VowelPrompt mostró una generalización superior, mejorando en un 5.12% respecto a las líneas base de nivel de oración bajo SFT & GRPO. En entornos zero-shot multilingües (CaFE, EmoDB) y adaptación supervisada multilingüe (ASVP-ESD), el método superó consistentemente a los enfoques competidores, demostrando una transferibilidad efectiva sin supervisión específica del idioma.

Significancia y Reivindicaciones
El artículo afirma que VowelPrompt ofrece un enfoque práctico y científicamente transparente para el reconocimiento de emociones consciente de la prosodia. Al aprovechar la evidencia fonética bien establecida sobre el papel de las vocales en la prosodia afectiva, el marco permite que los LLM alcancen una alta precisión sin depender de audio bruto o codificadores acústicos de caja negra. Los autores enfatizan que el sistema proporciona representaciones intermedias interpretables, vinculando explícitamente los patrones acústico-prosódicos con las categorías emocionales. Esto permite procesos de razonamiento verificables por humanos, abordando el problema de la "opacidad" de los sistemas de SER basados en aprendizaje profundo mientras mantiene la flexibilidad del despliegue basado solo en texto. El trabajo demuestra que las características de grano fino, fundamentadas lingüísticamente, pueden mejorar significativamente las capacidades de razonamiento de los LLM en tareas multimodales.