Resumo Técnico: SYMPATHEIA – Assistente de Voz Emocionalmente Adaptável com Condicionamento Afetivo Contínuo

Declaração do Problema

Sistemas de diálogo falado empáticos requerem a capacidade de inferir o estado emocional de um usuário para gerar respostas apropriadas. No entanto, a fala cotidiana frequentemente contém pistas afetivas fracas, neutras ou ambíguas que são difíceis de inferir de forma confiável apenas por sinais lexicais ou acústicos. Os sistemas atuais enfrentam duas limitações primárias:

1. Ambiguidade na Fala: Muitos métodos são otimizados para pistas emocionais de alta intensidade, falhando em lidar com os estados afetivos sutis ou mistos comuns na conversação natural. Eles carecem de mecanismos para combinar pistas de fala ambíguas com sinais emocionais externos (ex: expressões faciais ou sinais biológicos).
2. Representação Discreta: A emoção é frequentemente modelada usando categorias discretas fixas (ex: "feliz", "triste"). Isso restringe a interação natural, pois a expressão emocional varia entre os falantes e culturas. Representações contínuas, como valência–excitação (VA), são mais adequadas para capturar essa nuance, mas são subutilizadas na geração de fala para fala (speech-to-speech).

Metodologia

Os autores introduzem o SYMPATHEIA, um framework de diálogo de fala para fala projetado para gerar respostas semanticamente apropriadas e emocionalmente alinhadas. O sistema integra a inferência de afeto implícito da fala do usuário com o controle de afeto explícito opcional via uma interface VA contínua.

Arquitetura do Sistema

• Backbone: O modelo é construído sobre o GLM-4-Voice-9B, um modelo de linguagem-fala de ponta a ponta.
• Tokenização: O áudio de entrada é codificado em tokens de fala discretos usando um tokenizador WhisperVQ (12,5 Hz).
• Condicionamento: Um par de valência–excitação contínuo ($z = (v, a)$) é inserido no prompt do sistema como User emotion (valence=v, arousal=a).
  • Interface VA: As coordenadas VA ($v, a \in [-1, 1]$) servem como uma interface compartilhada para módulos externos de detecção de emoção (expressão facial, sinais biológicos como EEG/ECG ou descrições textuais).
  • Agnóstico à Modalidade: Sensores externos mapeiam suas saídas nativas para o plano VA usando um mapeamento ponderado por probabilidade para uma coordenada esperada, permitindo que o modelo de diálogo permaneça agnóstico à modalidade de detecção específica.
• Estratégia de Treinamento: O modelo é ajustado (fine-tuned) usando Adaptação de Baixo Posto (LoRA) no conjunto de dados SYMPATHEIA-18k.
  • Âncoras VA: O treinamento utiliza 12 âncoras de emoções nomeadas (ex: feliz, triste, bravo) mapeadas para coordenadas VA específicas. Isso incentiva o modelo a aprender um espaço afetivo contínuo em vez de rótulos de classe isolados.
  • Dropout: Para garantir a robustez, a condição VA é descartada aleatoriamente para um terço das amostras de treinamento não neutras, forçando o modelo a inferir o afeto a partir de pistas de fala quando os sinais externos estão ausentes.

Conjunto de Dados: SYMPATHEIA-18k

Para abordar a falta de dados de fala para fala condicionados por emoção, os autores construíram o SYMPATHEIA-18k, um corpus sintético de 18.000 pares de consulta–resposta:

• Divisão Emocional (~12k): Pares que conectam consultas do usuário ricas em afeto com respostas emocionalmente apropriadas para ensinar o alinhamento semântico e acústico.
• Divisão Neutra (6k): Pares 500 consultas emocionalmente neutras com 12 respostas diferentes (uma para cada emoção alvo). Isso isola o controle de afeto explícito, treinando o modelo para depender da condição VA quando a fala não fornece evidência emocional.
• Geração: O texto foi gerado usando Qwen3-32B com estratégias empáticas específicas, e o áudio foi sintetizado usando Qwen3-TTS para garantir prosódia e ritmo consistentes com a emoção.

Principais Contribuições

1. Framework SYMPATHEIA: Um modelo nativo de voz que combina a inferência de afeto implícita baseada em fala com o condicionamento VA contínuo e explícito de sensores externos ou interfaces de usuário.
2. Dataset SYMPATHEIA-18k: Um grande conjunto de dados sintéticos apresentando interações expressivas e neutras, especificamente projetado para treinar modelos a distinguir entre estados afetivos e utilizar sinais de afeto externos.
3. Interface Multimodal Modular: Um design de sistema que permite que diversas fontes de afeto externas (rosto, sinais biológicos, texto) guiem a geração de resposta através de uma interface VA unificada, sem exigir mudanças arquitetônicas no backbone de diálogo.

Resultados

O artigo avalia o SYMPATHEIA contra fortes baselines de diálogo falado (incluindo GLM-4-Voice, Qwen3-Omni e OpenS2S) através de várias métricas:

• Qualidade de Resposta Empática: O SYMPATHEIA alcançou as pontuações mais altas em avaliações de empatia automatizadas e estudos humanos de Opinião Média (MOS) de Emoção. Ele superou significativamente os baselines, particularmente em configurações que exigem controle de afeto explícito (consultas Neutras com prompts VA).
• Variabilidade de Resposta: Diferente dos baselines que frequentemente produziam respostas idênticas independentemente da emoção alvo, o SYMPATHEIA demonstrou menor similaridade semântica e lexical entre diferentes condições emocionais, indicando que ele consegue adaptar o conteúdo e o tom com base no sinal de afeto.
• Alinhamento Prosódico: A análise de características prosódicas (F0, energia, taxa de fala) mostrou que a fala gerada pelo SYMPATHEIA correlaciona-se significativamente com as coordenadas VA alvo. Alvos de maior excitação resultaram em maior variabilidade de pitch e taxas de fala mais rápidas, enquanto a valência influenciou a energia e o conteúdo espectral.
• Integração Multimodal: A integração de pistas externas (rosto, EEG, ECG, texto) melhorou as pontuações de empatia em relação à condição de "sem pista". Expressões faciais e descrições textuais renderam os maiores ganhos, enquanto sinais fisiológicos proporcionaram melhorias, apesar de serem mais ruidosos.
• Estudos de Ablação:
  • O ajuste fino (fine-tuning) não degradou as capacidades conversacionais gerais do modelo (medidas por UTMOS, BERTScore e ASR-WER).
  • O modelo permaneceu eficaz quando as coordenadas VA foram perturbadas com ruído Gaussiano, demonstrando tolerância a erros de detecção de montante e a capacidade de lidar com valores fora das âncoras.

Significância e Alegações

O artigo postula que o condicionamento de afeto contínuo é um mecanismo prático e eficaz para construir assistentes de voz emocionalmente adaptáveis. Ao desacoplar a detecção da geração via uma interface VA compartilhada, o SYMPATHEIA pode integrar diversos sistemas de reconhecimento de emoção enquanto mantém um backbone de diálogo robusto.

Os autores alegam que sua abordagem aborda a lacuna crítica de lidar com a fala ambígua ou neutra, permitindo que sinais externos guiem o tom emocional da resposta. Eles enfatizam que, embora a avaliação atual dependa fortemente de juízes automatizados e dados sintéticos, os resultados sugerem que o controle VA explícito ajuda a organizar tanto as estratégias de resposta semântica quanto as acústicas, levando a interações mais empáticas.

Limitações Reconhecidas:

• Os dados de treinamento são sintéticos e podem não capturar totalmente a desfluência e a dinâmica de longo horizonte da conversa espontânea do mundo real.
• O plano VA é uma representação compacta; um único ponto não pode capturar totalmente emoções mistas ou mudanças rápidas dentro de um turno.
• Não existe um mapeamento universal de rótulos de emoções discretas para coordenadas VA entre diferentes culturas ou indivíduos.
• As avaliações atuais são primariamente automatizadas; trabalhos futuros exigem avaliação humana em conversas espontâneas de longa duração para validar a empatia percebida e a confiança em implantações reais.