Resumo Técnico: EIBench e CTC-GRPO para Gestão de Emoções

Declaração do Problema

A inteligência emocional (IE) em Grandes Modelos de Linguagem (LLMs) é atualmente avaliada principalmente através de tarefas de compreensão estática ou geração de diálogo de resposta única. No entanto, a gestão de emoções eficaz é inerentemente interativa e dinâmica; requer que um modelo não apenas reconheça a emoção de um usuário, mas que ativamente melhore o estado emocional e relacional do usuário ao longo de múltiplos turnos. Os benchmarks existentes frequentemente focam em escopos estreitos, como diálogos de busca de apoio (ex: SAGE) ou conclusão de objetivos em cenários sociais (ex: SOTOPIA), falhando em cobrir cenários críticos como manter limites sob pressão, reparar a confiança após erros do modelo ou construir rapport proativamente. Além disso, o aprendizado por reforço padrão com recompensas verificáveis (RLVR) tem dificuldades neste domínio porque tarefas subjetivas carecem de uma única resposta "correta", e recompensas terminais falham em fornecer o feedback denso, ao nível do turno, necessário para creditar ações específicas que alteram o estado do usuário.

Metodologia

1. EIBench: Um Benchmark Baseado em Simulador

Os autores introduzem o EIBench, um benchmark projetado para avaliar e treinar LLMs em gestão de emoções de múltiplos turnos.

• Taxonomia: Os cenários são organizados por uma taxonomia $2 \times 2$ baseada no alvo da regulação (usuário vs. si mesmo) e na fonte da situação (evento do lado do usuário vs. ação do lado do modelo). Isso resulta em quatro tipos distintos de cenas:
  • Suporte (Support): Acalmar o sofrimento do usuário causado por eventos externos.
  • Defesa (Defense): Manter limites e tom sob pressão do usuário.
  • Reparação (Repair): Reconstruir a confiança após erros do modelo.
  • Charme (Charm): Construir rapport proativamente em interações iniciadas pelo modelo.
• Dataset: O benchmark contém 2.222 cenários (2.009 para treinamento, 213 para teste).
• Simulação e Pontuação: Um simulador de LLM desempenha o papel do usuário, atualizando um estado de emoção–relação ($a_\tau, t_\tau$) após cada turno com base na resposta do modelo.
  • $a_\tau$: Intensidade da emoção negativa (0–100).
  • $t_\tau$: Estado relacional/confiança (0–100).
  • Âncoras: Cada cenário define âncoras de início ($s_{start}$), sucesso ($s_{succ}$) e falha ($s_{fail}$). A pontuação final é calculada medindo o progresso da trajetória em direção à âncora de sucesso ou falha em relação ao início, normalizada para $[-1, 1]$.
• Utilidade Dupla: O simulador serve tanto como ambiente de avaliação (usando a recompensa do resultado final) quanto como ambiente de treinamento (fornecendo atualizações de estado por turno como feedback denso).

2. CTC-GRPO: Centered Turn-Credit GRPO

Para otimizar LLMs para esta tarefa, os autores propõem o Centered Turn-Credit GRPO (CTC-GRPO), uma extensão do Group Relative Policy Optimization (GRPO).

• Motivação: O GRPO padrão atribui o mesmo crédito de nível de trajetória a todos os turnos com base no resultado final. No diálogo emocional de múltiplos turnos, isso obscurece quais turnos específicos melhoraram ou pioraram o estado do usuário.
• Recompensa de Processo: As atualizações de estado por turno do simulador ($\Delta a_\tau, \Delta t_\tau$) são convertidas em uma recompensa de processo local ($r^{proc}_\tau$) que recompensa melhorias imediatas no estado do usuário, independentemente do resultado final.
• Atribuição de Crédito Centralizada: Para evitar que a recompensa de processo altere a vantagem geral da trajetória (que é determinada pelo resultado final), o método centraliza a recompensa de processo dentro de cada rollout:
  $$A^{(k)}_\tau = A^{trace,(k)} + \alpha (r^{proc,(k)}_\tau - \bar{r}^{proc,(k)})$$
  Onde $A^{trace,(k)}$ é a vantagem de trajetória padrão, $\alpha$ é um hiperparâmetro de peso, e o termo entre parênteses é o desvio da recompensa de processo do turno em relação à média da recompensa de processo do rollout. Isso garante que a recompensa de processo redistribua o crédito entre os turnos sem deslocar o sinal do nível do resultado.

Principais Contribuições

1. Benchmark EIBench: Um benchmark abrangente, baseado em simulador, cobrindo quatro cenários distintos de gestão de emoções (Suporte, Defesa, Reparação, Charme) com um dataset de 2.222 cenários e um protocolo de avaliação de rastreamento de estado.
2. Leaderboard e Validação: Avaliação de 15 LLMs de código aberto e fechados, revelando que os modelos atuais se destacam em suporte e construção de rapport, mas lutam significativamente com a manutenção de limites (Defesa). Os rankings são validados via um segundo simulador (DeepSeek-V4-Pro) e uma arena de comparação humana pareada.
3. Algoritmo CTC-GRPO: Um novo método de RL que utiliza mudanças de estado rastreadas pelo simulador como recompensas de processo densas ao nível do turno. Ele otimiza com sucesso políticas de diálogo de múltiplos turnos sem exigir modelos julgadores adicionais para feedback intermediário.

Resultados Experimentais

• Desempenho de Baseline: No leaderboard do EIBench, os modelos geralmente performam bem em cenas de Suporte e Charme, mas pontuam negativamente em Defesa (manutenção de limites), indicando uma fraqueza em equilibrar calor humano com restrição sob pressão.
• Desempenho do CTC-GRPO:
  • In-Domain: Treinar o Qwen3-8B com CTC-GRPO melhorou seu escore no EIBench de −22.4 para +22.4. A variante 32B atingiu +28.7, superando todos os sistemas de código fechado avaliados no simulador de treinamento.
  • Cross-Simulator: As melhorias transferiram-se para o simulador não visto DeepSeek-V4-Pro (8B: −23.7 $\to$ +16.6; 32B: +5.8 $\to$ +18.9), embora os ganhos tenham sido ligeiramente menores em cenas subjetivas (Charme/Suporte) comparadas às concretas (Reparação/Defesa).
  • Out-of-Distribution (OOD): Os modelos treinados mostraram ganhos significativos em benchmarks externos:
    • SAGE: Melhoria de +12.4.
    • EQBench3: Melhoria de +20.9% no escore de rubrica, ocupando o 6º lugar no leaderboard público.
• Estudos de Ablação:
  • Remover a recompensa de processo por turno causou o colapso do desempenho (Média: +22.4 $\to$ −4.9), confirmando a necessidade de feedback denso.
  • Remover o mecanismo de centralização reduziu significamente o desempenho (+22.4 $\to$ +10.0), validando que a centralização é crucial para isolar o crédito do nível do turno sem distorcer o sinal do resultado.
  • Remover o piso $\sigma_{min}$ na normalização do GRPO levou a um treinamento instável e menores recompensas finais.
• Capacidade Geral: A avaliação em matemática (AIME 2025), raciocínio (GPQA), codificação (HumanEval+) e seguimento de instruções (IFEval) mostrou que o treinamento CTC-GRPO preservou amplamente as capacidades gerais, com apenas pequenas diminuições em raciocínio matemático difícil.

Significância e Alegações

O artigo alega que os estados de usuário rastreados pelo simulador fornecem um sinal viável tanto para a avaliação quanto para o treinamento da gestão de emoções de múltiplos turnos, preenchendo a lacuna entre a avaliação estática e a interação dinâmica. Os autores demonstram que:

1. Os LLMs atuais possuem capacidades de IE desiguais, sendo fortes em papéis de suporte, mas fracos em gestão defensiva de limites.
2. O CTC-GRPO utiliza efetivamente o feedback denso ao nível do turno derivado das transições de estado para otimizar políticas de diálogo, superando abordagens de RL padrão que dependem apenas de recompensas terminais.
3. Esta abordagem melhora o desempenho não apenas no benchmark específico, mas também generaliza para tarefas de raciocínio social fora de distribuição, sugerindo que aprender a gerir estados emocionais é uma habilidade transferível.

Os autores mantêm uma postura modesta, reconhecendo limitações como o ruído inerente na pontuação do simulador baseado em LLM e a dificuldade variável entre os tipos de cena (com a Defesa permanecendo como a mais desafiadora). Eles observam que a implementação atual utiliza um único hiperparâmetro para todas as cenas, deixando espaço para trabalhos futuros em estratégias de otimização específicas para cada cena.