🤖 AI

Self-EmoQ: Plutchik-Guided Value-based Planning to Drive Streaming Emotional TTS

O artigo propõe o Self-EmoQ, um framework baseado em aprendizado por reforço que utiliza a roda das emoções de Plutchik para permitir que um LLM planeje proativamente estados emocionais antes da geração de texto, impulsionando assim um sistema de texto para fala emocional de alta qualidade e em streaming que supera os baselines existentes tanto na determinação da emoção quanto na qualidade da resposta.

Autores originais: Yue Zhao, Hongyan Li, Yong Chen, Luo Ji

Publicado 2026-06-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yue Zhao, Hongyan Li, Yong Chen, Luo Ji

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tendo uma conversa com um robô muito inteligente. Normalmente, esses robôs são ótimos em entender suas palavras e responder com os fatos corretos. Mas, quando se trata de sentimento, eles costumam tropeçar. Eles podem esperar até terem terminado de digitar um parágrafo inteiro para decidir: "Ah, eu deveria soar triste agora", e então tentar forçar essa tristeza em sua voz. Quando isso acontece, é tarde demais; o tom não combina com as palavras, e a conversa parece robótica e estranha.

O artigo "Self-EmoQ" propõe uma nova maneira de consertar isso. Pense nisso como ensinar o robô a planejar seu humor antes mesmo de abrir a boca.

Aqui está como o artigo detalha isso, usando algumas analogias simples:

1. O Problema: O Robô "Atrasado"

Nos sistemas atuais, o robô age como um músico que ouve uma música, espera a música inteira terminar e só então tenta adivinhar qual era a emoção que a música deveria ter.

O Problema: Em uma conversa em tempo real, via streaming (onde as palavras e a voz saem instantaneamente), o robô precisa saber a emoção antes de começar a falar para que a voz combine com as palavras conforme elas estão sendo geradas.
A Solução do Artigo: Em vez de reagir depois do fato, o robô decide sua emoção primeiro, como um diretor dizendo a um ator: "Você está bravo", antes da cena começar. Isso permite que a voz do robô soe naturalmente brava desde a primeira palavra.

2. O Cérebro: Um "Planejador Estratégico"

Os autores construíram um módulo especial chamado Self-EmoQ. Pense neste módulo como um jogador de xadrez estratégico sentado dentro do cérebro do robô.

Como funciona: Antes de o robô gerar uma única palavra de uma resposta, este "jogador de xadrez" olha para o histórico da conversa e pergunta: "Qual é o melhor movimento emocional a fazer agora para manter o fluxo da conversa de forma natural?"
A Ferramenta: Ele utiliza uma técnica chamada Aprendizado por Reforço (Reinforcement Learning). Imagine que o robô está jogando um videogame onde o objetivo não é apenas vencer, mas manter o "fluxo emocional" do jogo suave. Ele ganha pontos (recompensas) por fazer boas escolhas emocionais e perde pontos por fazer escolhas estranhas.

3. O Livro de Regras: A "Roda das Emoções" de Plutchik

Como o robô sabe o que é um "bom" movimento emocional? Ele não apenas adivinha; ele segue um livro de regras específico baseado em uma teoria psicológica chamada Roda das Emoções de Plutchik.

A Analogia: Imagine que as emoções são cores em uma roda de cores.
- Cores adjacentes (como Azul e Verde) se misturam naturalmente.
- Cores opostas (como Vermelho e Verde) colidem e parecem estranhas se você mudar entre elas instantaneamente.
A Alegação do Artigo: O robô usa essa teoria da "roda de cores" para pontuar suas decisões. Se o usuário está triste e o robô subitamente salta para uma "Alegria Extasiante" (uma emoção oposta), o livro de regras diz: "Isso é um movimento ruim, você perde pontos". Se o robô passa de "Tristeza" para "Simpatia" (emoções adjacentes), ele ganha pontos. Isso garante que as mudanças de humor do robô façam sentido para os humanos.

4. O Resultado: Uma Conversa Fluida

Os pesquisadores testaram isso em quatro diferentes conjuntos de dados de conversação (como chats cotidianos e roteiros de filmes).

O Desfecho: O robô Self-EmoQ foi melhor em escolher a emoção certa do que os robôs que apenas "adivinhavam" (prompting) ou robôs que apenas memorizaram dados passados (fine-tuning).
A Voz: Como o robô decidiu a emoção primeiro, a síntese de voz (TTS) pôde transmitir o áudio perfeitamente. A voz soava naturalmente triste, brava ou feliz enquanto as palavras estavam sendo faladas, em vez de tentar forçar a emoção depois do fato.

Resumo

Em suma, o Self-EmoQ é um sistema que ensina uma IA a planejar seus sentimentos como um humano faz — decidindo um humor com base no contexto e nas regras da interação humana antes de falar. Isso permite que a IA fale e soe emocionalmente consistente em tempo real, tornando a conversa muito mais natural e menos parecida com um computador lendo um roteiro.

O artigo confirma que isso funciona bem em testes, mostrando que o robô faz melhores escolhas emocionais e fala de forma mais expressiva, mas não afirma que esta tecnologia esteja pronta para terapia clínica ou usos médicos específicos ainda; o foco é melhorar a qualidade da IA conversacional.

Resumo Técnico: Self-EmoQ

Declaração do Problema

Os atuais sistemas de IA conversacional integrados com Text-to-Speech (TTS) carecem de um mecanismo para a determinação de autoemoção que opere de forma eficaz em cenários de streaming. Em aplicações industriais de tempo real, a geração de texto e a síntese de fala são frequentemente vinculadas de tal forma que segmentos de áudio são produzidos conforme os tokens de texto são gerados. No entanto, os módulos tradicionais de Reconhecimento de Emoção em Conversa (ERC) só conseguem identificar estados emocionais após a conclusão de toda a resposta textual. Essa latência impede o condicionamento imediato do módulo TTS, que requer um rótulo emocional no início da geração para modular a prosódia e o estilo acústico.

Embora métodos existentes como a Predição de Emoção em Conversa (EPC) ou estratégias baseadas em prompts tentem prever emoções antecipadamente, eles frequentemente sofrem de um planejamento subótimo devido à falta de atualizações de parâmetros (em prompting) ou são limitados pela supervisão de conjuntos de dados, restringindo sua capacidade de otimizar a qualidade da conversa a longo prazo e de generalizar para situações versáteis. O desafio central é tratar a emoção não meramente como um rótulo estático a ser reconhecido, mas como uma variável de decisão controlável que pode ser explicitamente planejada para impulsionar o alinhamento emocional coordenado entre as modalidades de texto e fala em um pipeline de streaming.

Metodologia

Os autores propõem o Self-EmoQ, um novo framework que integra Aprendizado por Reforço (RL) baseado em valor com a geração de Large Language Models (LLM) para determinar a autoemoção antes da geração da resposta.

1. Formulação como um MDP

A tarefa de diálogo emocional é formalizada como um Processo de Decisão de Markov (MDP) ao nível da ocorrência (utterance):

Estado ( $S$ ): A concatenação do histórico do diálogo, informações de contexto e a consulta atual do usuário.
Ação ( $A$ ): A seleção da autoemoção do sistema a partir de um conjunto discreto (baseado na taxonomia de Plutchik).
Recompensa ( $R$ ): Uma função de recompensa híbrida combinando:
- Recompensa de Imitação: Baseada em rótulos de emoção reais nos conjuntos de dados de treinamento.
- Recompensa Teórica (Pontuação Plutchik): Uma pontuação orientada pela teoria gerada pelo GPT-4o. Esta pontuação avalia três dimensões: Alinhamento Emocional, Plausibilidade de Transição de Emoção (aderindo à estrutura topológica da roda de Plutchik, onde transições adjacentes são naturais e as opostas são menos plausíveis) e Consistência Emoção–Função (correspondendo à função comportamental associada à emoção).
Transição: O histórico é atualizado com a emoção selecionada, o texto gerado e a ocorrência subsequente do usuário.

2. Arquitetura Self-EmoQ

Módulo de Planejador: Um módulo plug-and-play inicializado a partir de um LLM pré-treinado (Llama3.1-1B-Instruct). Ele é ajustado (fine-tuned) para fornecer valores de estado-ação ( $Q$ -values) em vez de tokens de texto diretamente.
Estimativa de Q-Value: Semelhante ao StraQ*, o modelo estima $Q(s, a)$ calculando a média das log-probabilidades dos tokens de saída quando a ação (emoção) é apresentada como uma opção de múltipla escolha no prompt.
Treinamento: O módulo é treinado utilizando princípios de Deep Q-Network (DQN). A perda é minimizada via Equação de Bellman, otimizando para a recompensa cumulativa descontada de longo prazo.
Pipeline de Streaming: Uma vez treinado, o módulo determina a emoção ótima ( $a^* = \arg\max_a Q(s, a)$ ) antes que o LLM gere o texto da resposta. Este rótulo de emoção é então injetado no prompt para a geração de texto e usado para condicionar o modelo Emo-TTS (CosyVoice2), permitindo que o TTS sintetize a fala com a prosódia emocional correta em um fluxo de streaming.

Principais Contribuições

Framework de Planejamento de Emoção: Os autores introduzem um framework que determina a autoemoção via RL baseado em valor antes da geração de texto, permitindo a condução de sistemas de TTS em streaming.
Recompensa Orientada pela Teoria: Eles projetam um mecanismo de recompensa fundamentado na Roda de Emoções de Plutchik. Isso permite que o agente aprenda não apenas a imitar trajetórias de datasets, mas a alinhar-se com comportamentos, padrões de transição e funções emocionais humanas.
Implementação em Streaming: O artigo implementa e verifica um pipeline completo de streaming para geração de linguagem e fala emocional, demonstrando que o planejamento emocional pré-determinado pode manter alta qualidade em implantações de tempo real.

Resultados Experimentais

O método foi avaliado em quatro datasets: DailyDialog, EmoryNLP, MELD e IEMOCAP.

Determinação de Emoção: O Self-EmoQ superou os baselines de prompting (0-shot, ECoT, Plan-and-Solve, Metacognitive Prompting) e os baselines supervisionados (SFT, FSM, EMDP) em métricas de ranking (Recall@3/5, NDCG, MRR). Demonstrou capacidade superior em ranquear ações emocionalmente apropriadas.
Geração de Resposta: O framework alcançou pontuações mais altas em BLEU-2, ROUGE-L, CIDEr e Distinct-2, indicando que uma melhor tomada de decisão emocional no nível da política se traduz em respostas de texto de maior qualidade.
Avaliação Humana: Em um estudo envolvendo 10 avaliadores, o Self-EmoQ alcançou melhorias estatisticamente significativas sobre os baselines em fluência, intensidade emocional, aceitabilidade, eficácia, sensibilidade, alinhamento e satisfação geral.
TTS Downstream: Em configurações de streaming (Setting C), o Self-EmoQ manteve alta qualidade de fala (medida por SpeechBERTScore e PESQ), enquanto outros métodos que dependem de reconhecimento de emoção pós-geração (Setting B) ou que carecem de planejamento sofreram quedas significativas de qualidade ao serem forçados em um paradigma de streaming.
Estudos de Ablação: Os resultados confirmaram que a abordagem de RL sem SFT prévio, o uso do LLM para estimativa de Q-value (em vez de um cabeçote MLP) e a inclusão de histórico de diálogo e descrições foram todos críticos para o desempenho. O peso da pontuação de Plutchik ( $w$ ) mostrou-se dependente do dataset, equilibrando a consistência orientada pela teoria com as anotações do dataset.

Significância e Alegações

O artigo afirma que o Self-EmoQ aborda uma lacuna crítica na IA conversacional industrial: a incapacidade de integrar cognição emocional em pipelines de TTS em streaming. Ao tratar a emoção como uma variável de decisão estratégica otimizada via RL, o framework permite que agentes planejem trajetórias emocionais de longo prazo em vez de apenas reagir ao contexto imediato.

Os autores enfatizam que sua abordagem vai além da simples predição baseada em dados (limitada pelas anotações de datasets) para a tomada de decisão emocional estratégica. Ao aproveitar a teoria de Plutchik, o sistema aprende a gerar transições que são psicologicamente plausíveis e funcionalmente consistentes, resultando em interações mais naturais e empáticas. O sucesso do deployment em um pipeline de streaming confirma que o planejamento prévio de emoções não compromete, mas sim melhora, a coerência e a expressividade da geração de texto e fala em aplicações de tempo real.

O artigo conclui com limitações modestas, observando o overhead computacional do uso de LLMs para pontuação de recompensa e a restrição do espaço de ação às emoções discretas definidas pela teoria de Plutchik, o que pode limitar a representação de estados emocionais mistos ou de granularidade fina.