Discourse Diversity in Multi-Turn Empathic Dialogue

Título: Diversidade de Discurso em Diálogos Empáticos Multi-turno

Autores: Hongli Zhan, Emma S. Gueorguieva, Javier Hernandez, Jina Suh, Desmond C. Ong, Junyi Jessy Li.

---

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) sejam frequentemente avaliados como altamente empáticos em cenários de resposta única (single-turn), o artigo identifica uma falha crítica quando esses modelos são aplicados em conversas multi-turno: a rigidez e a repetição de movimentos de discurso.

• Formulaicidade: LLMs tendem a reutilizar os mesmos padrões lexicais, templates sintáticos e, crucialmente, a mesma sequência de "táticas" empáticas (ex: validação, conselho, pergunta) ao longo de uma conversa.
• O "Stickiness" (Aderência) de Táticas: Os autores definem "stickiness" como a probabilidade de uma tática usada em um turno $t-1$ ser reutilizada no turno $t$.
• Descoberta Chave: Em conversas multi-turno, LLMs reutilizam táticas a uma taxa quase duas vezes maior que a de apoiadores humanos (0.50–0.56 vs. 0.27).
• Limitação das Métricas Atuais: Métricas padrão de similaridade (como BLEU e BERTScore) falham em detectar essa repetição no nível da função discursiva. Um modelo pode parecer semanticamente diverso, mas estar preso em um ciclo de táticas empáticas repetitivas (ex: dar conselhos seguidos por validação, repetidamente), o que reduz a eficácia do suporte emocional a longo prazo.

2. Metodologia

A. Taxonomia e Anotação

Os autores utilizam uma taxonomia de 10 táticas empáticas (baseada em literatura psicológica e trabalho anterior), incluindo: validação, questionamento, parafraseamento, conselho, reavaliação cognitiva, auto-revelação, etc.

• Tagger Automático: Treinaram um classificador de nível de frase (usando LoRA adapters sobre Llama-3.1-8B) para detectar a presença dessas 10 táticas em cada resposta, alcançando um F1 médio de 0.80.

B. Análise Empírica

Analisaram 322 conversas de suporte emocional (humano-LLM) e 50 conversas (humano-humano).

• Resultados da Análise: Confirmaram que LLMs tendem a superutilizar "Conselho" e "Informação" e subutilizar "Questionamento". A "aderência" (stickiness) das táticas é significativamente maior em LLMs do que em humanos, criando um ciclo de repetição que os usuários percebem negativamente (correlacionado com menor vontade de reengajar).

C. Proposta: MINT (Multi-turn Inter-tactic Novelty Training)

Para resolver isso, os autores introduzem o MINT, um framework de Aprendizado por Reforço (RL) que otimiza a diversidade de movimentos de discurso.

• Formulação do Problema: Tratado como um problema de RL em nível de turno, onde o objetivo é gerar respostas que sejam empáticas e diversificadas em relação aos turnos anteriores.
• Função de Recompensa Híbrida:
  1. Recompensa de Qualidade Empática ($Q$): Baseada no framework Lend-an-Ear, avaliando a qualidade intrínseca da resposta (validação, compreensão, etc.).
  2. Recompensa de Diversidade de Táticas ($D$):
     • Novidade Inter-turno (KL Divergence): Calcula a divergência de Kullback-Leibler ($D_{KL}$) entre a distribuição de táticas do turno atual e a do turno anterior. Penaliza a repetição de padrões recentes.
     • Amplitude Intra-turno (Entropia): Calcula a entropia ($H$) da distribuição de táticas dentro de uma única resposta, incentivando o uso de múltiplas táticas em uma mesma mensagem (evitando respostas monolíticas).
• Otimização: Utilizam o algoritmo GRPO (Group Relative Policy Optimization) para treinar modelos base (Qwen3-1.7B e Qwen3-4B), normalizando as recompensas de qualidade e diversidade para operarem na mesma escala.

3. Contribuições Principais

1. Evidência Multi-turno: São os primeiros a demonstrar que a repetição de movimentos de discurso, documentada anteriormente apenas em turnos únicos, persiste e se agrava em conversas multi-turno, e que essa falha é invisível para métricas de similaridade padrão.
2. Framework MINT: Introduzem o primeiro framework de RL projetado especificamente para otimizar a diversidade de funções discursivas (táticas) condicionada ao histórico da conversa, em vez de apenas diversidade lexical ou qualidade isolada.
3. Protocolo de Avaliação Validado: Desenvolvem um protocolo de avaliação em nível de turno para empatia percebida que atinge concordância nível especialista ($\kappa_w = 0.58$).

4. Resultados

Os experimentos foram realizados em modelos de 1.7B e 4B parâmetros, comparando o MINT contra baselines como Vanilla (prompting simples), PsychoCounsel (RL apenas por qualidade) e métodos de diversidade a nível de token.

• Melhoria na Empatia Agregada: O MINT (especificamente a variante $Q + D_{KL}$) melhorou a empatia agregada em 25,3% em média sobre a linha de base Vanilla.
• Redução da Repetição: Reduziu a "stickiness" de táticas em 26,3% no modelo de 4B, superando todas as baselines.
• Comparação com Diversidade de Token: Métodos que otimizam apenas a diversidade a nível de token (ex: R1-Zero-Div) falharam em reduzir a repetição de táticas, confirmando que a diversidade lexical não se traduz automaticamente em diversidade estratégica de suporte.
• Qualidade vs. Diversidade: O MINT conseguiu reduzir drasticamente conselhos não solicitados (Unsolicited Advice) e aumentar o encorajamento à elaboração, sem sacrificar a qualidade empática.
• Avaliação Humana: Em exemplos qualitativos, o MINT produziu respostas que se adaptavam fluidamente às necessidades do usuário, enquanto modelos Vanilla ou PsychoCounsel tendiam a repetir padrões ou ficar presos em ciclos de validação/conselho.

5. Significado e Conclusão

O trabalho demonstra que o que falta aos modelos atuais não é a capacidade de gerar empatia isolada, mas a habilidade de variar estrategicamente seus movimentos de discurso ao longo do arco de uma conversa.

• Implicação Prática: Para que LLMs sejam ferramentas viáveis de suporte emocional contínuo, eles devem evitar a monotonia tática. A diversidade de discurso é um objetivo de treinamento aprendível.
• Impacto Futuro: O framework MINT oferece um caminho para alinhar LLMs com princípios de terapia e suporte psicológico que exigem adaptação dinâmica, e o código/dados são disponibilizados publicamente para fomentar pesquisas futuras.

Em suma, o artigo estabelece que a diversidade de funções discursivas é uma métrica essencial e tratável para melhorar a eficácia de assistentes de IA em diálogos emocionais de longo prazo.