Resumen Técnico: SYMPATHEIA – Asistente de Voz Emocionalmente Adaptativo con Acondicionamiento de Afecto Continuo

Declaración del Problema

Los sistemas de diálogo hablado empáticos requieren la capacidad de inferir el estado emocional de un usuario para generar respuestas apropiadas. Sin embargo, el habla cotidiana suele contener señales afectivas débiles, neutras o ambiguas que son difíciles de inferir de manera fiable únicamente a partir de señales léxicas o acústicas. Los sistemas actuales enfrentan dos limitaciones principales:

1. Ambigüedad en el habla: Muchos métodos están optimizados para señales emocionales de alta intensidad, fallando al manejar los estados afectivos sutiles o mixtos comunes en la conversación natural. Carecen de mecanismos para combinar las señales de habla ambiguas con señales emocionales externas (por ejemplo, expresiones faciales o bioseñales).
2. Representación Discreta: La emoción se modela frecuentemente utilizando categorías discretas fijas (por ejemplo, "feliz", "triste"). Esto restringe la interacción natural, ya que la expresión emocional en el mundo real varía entre los hablantes y las culturas. Las representaciones continuas, como la valencia–activación (VA), son más adecuadas para capturar este matiz, pero están subutilizadas en la generación de habla a habla (speech-to-speech).

Metodología

Los autores presentan SYMPATHEIA, un marco de diálogo de habla a habla diseñado para generar respuestas semánticamente apropiadas y emocionalmente alineadas. El sistema integra la inferencia de afecto implícito de la voz del usuario con un control de afecto explícito opcional mediante una interfaz de VA continua.

Arquitectura del Sistema

• Núcleo (Backbone): El modelo está construido sobre GLM-4-Voice-9B, un modelo de lenguaje y habla de extremo a extremo.
• Tokenización: El audio de entrada se codifica en tokens de habla discretos utilizando un tokenizador WhisperVQ (12.5 Hz).
• Acondicionamiento: Un par de valencia–activación continuo ($z = (v, a)$) se inserta en el prompt del sistema como User emotion (valence=v, arousal=a).
  • Interfaz VA: Las coordenadas VA ($v, a \in [-1, 1]$) sirven como una interfaz compartida para módulos externos de detección de emociones (expresión facial, bioseñales como EEG/ECG o descripciones textuales).
  • Agnóstico a la Modalidad: Los sensores externos mapean sus salidas nativas al plano VA mediante un mapeo ponderado por probabilidad hacia una coordenada esperada, lo que permite que el modelo de diálogo sea agnóstico a la modalidad de detección específica.
• Estrategia de Entrenamiento: El modelo es ajustado mediante Adaptación de Bajo Rango (LoRA) en el conjunto de datos SYMPATHEIA-18k.
  • Anclajes VA: El entrenamiento utiliza 12 anclajes de emociones con nombre (por ejemplo, feliz, triste, enojado) mapeados a coordenadas VA específicas. Esto fomenta que el modelo aprenda un espacio afectivo continuo en lugar de etiquetas de clase aisladas.
  • Dropout: Para garantizar la robustez, la condición VA se elimina aleatoriamente para un tercio de las muestras de entrenamiento no neutras, obligando al modelo a inferir el afecto a partir de las señales del habla cuando las señales externas están ausentes.

Conjunto de Datos: SYMPATHEIA-18k

Para abordar la falta de datos de habla a habla condicionados por la emoción, los autores construyeron SYMPATHEIA-18k, un corpus sintético de 18,000 pares de consulta–respuesta:

• División Emocional (~12k): Empareja consultas de usuario ricas en afecto con respuestas emocionalmente apropiadas para enseñar la alineación semántica y acústica.
• División Neutra (6k): Empareja 500 consultas emocionalmente neutras con 12 respuestas diferentes (una para cada emoción objetivo). Esto aísla el control de afecto explícito, entrenando al modelo para depender de la condición VA cuando el habla no proporciona evidencia emocional.
• Generación: El texto fue generado utilizando Qwen3-32B con estrategias empáticas específicas, y el audio fue sintetizado utilizando Qwen3-TTS para asegurar una prosodia y un ritmo consistentes con la emoción.

Contribuciones Clave

1. Marco SYMPATHEIA: Un modelo nativo de voz que combina la inferencia de afecto implícita basada en el habla con el acondicionamiento de VA continuo y explícito proveniente de sensores externos o interfaces de usuario.
2. Conjunto de Datos SYMPATHEIA-18k: Un conjunto de datos sintético a gran escala que presenta interacciones tanto expresivas como neutras, diseñado específicamente para entrenar modelos para distinguir entre estados afectivos y utilizar señales de afecto externas.
3. Interfaz Multimodal Modular: Un diseño de sistema que permite que diversas fuentes de afecto externas (rostro, bioseñales, texto) guíen la generación de la respuesta a través de una interfaz VA unificada sin requerir cambios arquitectónicos en el núcleo del diálogo.

Resultados

El artículo evalúa SYMPATHEIA frente a fuertes líneas base de diálogo hablado (incluyendo GLM-4-Voice, Qwen3-Omni y OpenS2S) a través de varias métricas:

• Calidad de Respuesta Empática: SYMPATHEIA alcanzó las puntuaciones más altas en evaluaciones de empatía automatizadas y estudios humanos de Puntuación de Opinión Media (MOS) de Emoción. Superó significativamente a las líneas base, particularmente en entornos que requieren control de afecto explícito (consultas Neutrales con prompts de VA).
• Variabilidad de la Respuesta: A diferencia de las líneas base que a menudo producían respuestas idénticas independientemente de la emoción objetivo, SYMPMATEIA demostró una menor similitud semántica y léxica a través de diferentes condiciones emocionales, lo que indica que logra adaptar el contenido y el tono basándose en la señal de afecto.
• Alineación Prosódica: El análisis de las características prosódicas (F0, energía, tasa de habla) mostró que la generación de habla de SYMPATHEIA correlaciona significativamente con las coordenadas VA objetivo. Los objetivos de mayor activación resultaron en una mayor variabilidad de tono y tasas de habla más rápidas, mientras que la valencia influyó en la energía y el contenido espectral.
• Integración Multimodal: La integración de señales externas (rostro, EEG, ECG, texto) mejoró las puntuaciones de empatía sobre la condición de "sin señal". Las expresiones faciales y las descripciones textuales produjeron las mayores ganancias, mientras que las señales fisiológicas proporcionaron mejoras a pesar de ser más ruidosas.
• Estudios de Ablación:
  • El ajuste fino no degradó las capacidades conversacionales generales del modelo (medidas por UTMOS, BERTScore y ASR-WER).
  • El modelo permaneció efectivo cuando las coordenadas VA fueron perturbadas con ruido gaussiano, demostrando tolerancia a errores de detección ascendentes y la capacidad de manejar valores fuera de los anclajes.

Significado y Reivindicaciones

El artículo postula que el acondicionamiento de afecto continuo es un mecanismo práctico y efectivo para construir asistentes de voz emocionalmente adaptativos. Al desacoplar la detección de la generación mediante una interfaz VA compartida, SYMPATHEIA puede integrar diversos sistemas de reconocimiento de emociones manteniendo un núcleo de diálogo robusto.

Los autores afirman que su enfoque aborda la brecha crítica de manejar el habla ambigua o neutra permitiendo que las señales externas guíen el tono emocional de la respuesta. Enfatizan que, aunque la evaluación actual depende en gran medida de jueces automatizados y datos sintéticos, los resultados sugieren que el control de VA explícito ayuda a organizar tanto las estrategias de respuesta semántica como las acústicas, conduciendo a interacciones más empáticas.

Limitaciones Reconocidas:

• Los datos de entrenamiento son sintéticos y pueden no capturar completamente la disfluencia y la dinámica de largo alcance de la conversación espontánea del mundo real.
• El plano VA es una representación compacta; un solo punto no puede capturar completamente las emociones mezcladas o los cambios rápidos dentro de un turno.
• No existe un mapeo universal de etiquetas de emociones discretas a coordenadas VA a través de las culturas o individuos.
• Las evaluaciones actuales son principalmente automatizadas; el trabajo futuro requiere la evaluación humana de conversaciones espontáneas de larga duración para validar la empatía percibida y la confianza en despliegues reales.