Resumo Técnico: Modelos de Mundo Cognitivo para Avaliação de Influência Social em Nível de Processo

1. Definição do Problema

Sistemas de Diálogo de Influência Social (SID) visam alterar os estados cognitivos internos de um usuário — especificamente crenças, desejos, intenções e emoções — em vez de apenas completar tarefas externas. Enquanto os Diálogos Orientados a Tarefas focam na conclusão de objetivos e os Diálogos Não Cooperativos no resolução de conflitos, o SID exige a medição do processo de mudança cognitiva.

Os métodos de avaliação atuais falham em capturar este critério orientado ao processo:

• Métricas de Texto Superficiais (BLEU/ROUGE): Ignoram completamente o objetivo de influência social.
• LLM-as-Judge (LLM como Juiz): Fornecem pontuações terminais de caixa-preta que não revelam nada sobre a trajetória da evolução do estado cognitivo.
• Avaliação Humana: Cara, não escalável e incapaz de rastrear mudanças cognitivas granulares a nível de turno.
• Simuladores de Usuário Existentes: Predizem as falas do usuário, mas falham em modelar o "porquê" subjacente (estados internos BDI/E), deixando crenças, desejos, intenções e emoções não observados.

O desafio central é desenvolver um framework de avaliação que se mova do julgamento terminal para o rastreamento de processo, quantificando como um agente altera mensuravelmente o estado cognitivo interno de um usuário ao longo de uma conversa.

2. Metodologia: O Modelo de Mundo Cognitivo (CogWM)

Os autores propõem o CogWM, um modelo de usuário baseado em LLM que reformula a avaliação de diálogo de "o que o usuário disse" para "como o estado cognitivo interno do usuário evoluiu?".

2.1 Estrutura Central

O CogWM opera como um preditor conjunto de Enunciados do Usuário ($U_t$) e Estados Cognitivos BDI/E ($S_t$).

• Dimensões BDI/E:
  • Crença (Belief): O que o usuário acredita, sabe ou julga.
  • Desejo (Desire): O que o usuário quer, precisa ou prefere.
  • Intenção (Intention): O que o usuário planeja, decide ou se compromete a fazer.
  • Emoção (Emotion): O estado afetivo atual do usuário e sua intensidade.
• Entrada/Saída: Dado um perfil de usuário ($P$), contexto da tarefa ($C$) e histórico de diálogo ($H_{<t}$), o CogWM prevê o próximo estado $S_t$ e o enunciado $U_t$.
• Papel Duplo: Funciona tanto como um Simulador de Usuário (gerando respostas e estados realistas) quanto como uma Plataforma de Avaliação (quantificando a influência de um agente sobre o usuário simulado).

2.2 Construção de Dados: Summarize-and-Allocate (SaA)

Para treinar o CogWM, os autores construíram um conjunto de dados de 150.454 amostras de turnos de usuário em quatro cenários: Suporte Emocional (ESConv), Persuasão para Doação de Caridade (P4G), Recomendação Conversacional (DuRecDial) e Domínio Aberto (DailyDialog).

• Pipeline de Anotação: Um método de dois estágios foi desenvolvido:
  1. Sumarização Global: Extrai itens BDI globais e pontuações do diálogo completo.
  2. Alocação Temporal: Atribui estados BDI/E por turno com fundamentação em evidências e os vincula à sumarização global.
• Qualidade: A validação humana mostrou um recall global de BDI de 0,79 e um $\kappa$ de Cohen para emoção de 0,69.

2.3 Framework de Avaliação: Sistema de Três Níveis

A avaliação é estruturada em três níveis hierárquicos:

1. Fidelidade de Nível de Turno: Avalia a qualidade de resposta única usando 8 métricas automáticas (ex: similaridade semântica, MAE) e 5 métricas semânticas de LLM-as-Judge.
2. Dinâmica de Estado de Nível de Trajetória: Modela a evolução multi-turno usando quatro indicadores adaptados da análise de séries temporais financeiras:
   • AUC: Desempenho cumulativo (Área Sob a Curva).
   • $\Delta$: Mudança líquida entre os estados inicial e final.
   • PSR: Frequência de melhoria (Razão de Passo Positivo).
   • Mono: Consistência direcional.
3. Pontuação Composta de Nível de Tarefa: Agrega métricas de trajetória em duas pontuações:
   • CTS (Pontuação de Trajetória Composta): Uma soma ponderada ($0,40 \cdot AUC + 0,30 \cdot PSR + 0,30 \cdot \Delta$) que mede a influência cognitiva global.
   • GO (GoodOutcome - Bom Resultado): Um indicador binário de se o diálogo alcançou um resultado comportamental específico (ex: doação, aceitação).

3. Principais Contribuições

1. Framework de Avaliação BDI/E de Três Níveis: Adapta o modelo clássico BDI para a era dos LLMs, permitindo a avaliação decomponível, desde a fidelidade do nível de turno até o impacto da trajetória global.
2. Pipeline de Anotação SaA: Um método escalável para gerar mais de 150 mil amostras anotadas com estados BDI/E explícitos e interpretáveis em quatro distintos cenários de influência social.
3. Modelo CogWM: Um modelo treinado conjuntamente (baseado em Qwen3-14B) que prevê tanto o estado cognitivo quanto o texto. Ele alcança 77,6% de precisão de emoção, uma melhora de 2,1$\times$ sobre o GPT-5.5, e supera significativamente os baselines no rastreamento de crenças, desejos e intenções.
4. Validação Empírica de Processo vs. Resultado: Através de 3.600 testes de discriminação multi-agente, o estudo demonstra que a melhoria da trajetória cognitiva (CTS) e os resultados comportamentais (GO) não são equivalentes. Um agente pode alcançar um resultado comportamental positivo (GO=true) enquanto falha em produzir uma mudança cognitiva significativa (trajetória plana), e vice-versa.

4. Resultados Experimentais

4.1 Fidelidade de Simulação

• Predição de Estado: O CogWM-14B alcançou 77,6% de precisão de emoção, superando o GPT-5.5 (36,4%) e o DeepSeek-V4-Pro (31,0%). Também liderou em similaridade semântica de BDI e precisão de pontuação quantitativa (MAE).
• Geração de Enunciados: O CogWM alcançou uma Razão de Comprimento (LenR) de 1,01 (correspondência quase perfeita com o ground truth), enquanto os baselines de API tendiam a gerar respostas excessivamente longas (LenR > 1,8).
• Necessidade de Treinamento Conjunto: Estudos de ablação confirmaram que o rastreamento de estado cognitivo não pode ser adquirido apenas via distribuição de entrada compartilhada; a otimização conjunta explícita da predição de estado e geração de texto é necessária.

4.2 Discriminação de Agentes

Em testes comparando seis agentes comerciais (GPT-5.5, Llama-4-Scout, DeepSeek-V4-Pro, etc.):

• Ranking: O Llama-4-Scout ficou em primeiro lugar com um CTS de +0,233, demonstrando capacidade superior de impulsionar trajetórias cognitivas positivas.
• Tipologia: Os agentes foram categorizados como "All-round" (Llama), "Sprint" (Qwen: alta mudança líquida, mas menor ganho cumulativo), "Steady" (Claude) e "Hollow" (Gemini: baixo desempenho em todas as métricas).
• Impacto do CoT: O prompting de Cadeia de Pensamento (Chain-of-Thought) afetou os agentes de forma assimétrica, melhorando significativamente a trajetória emocional do GPT-5.5, mas oferecendo ganhos marginais para agentes já fortes.
• Divergência CTS vs. GO: O estudo destacou que altas pontuações de GO (sucesso da tarefa) não garantem altas pontuações de CTS (melhoria cognitiva). Por exemplo, no suporte emocional, alguns agentes alcançaram GO=true através de um fechamento polido sem gerar mudanças cognitivas reais, uma nuance capturada apenas pelo CTS.

5. Significância e Alegações

O artigo afirma mudar o paradigma da avaliação de Diálogo de Influência Social do julgamento terminal para o rastreamento de processo. Ao tornar o estado cognitivo interno do usuário explícito e auditável, o CogWM oferece:

• Interpretabilidade: As conclusões da avaliação podem ser rastreadas até turnos específicos e dimensões BDI/E.
• Granularidade: Captura mudanças cognitivas sutis que métricas superficiais perdem.
• Escalabilidade: Permite a avaliação automatizada de baixo custo de cenários complexos de influência social.

Os autores posicionam o CogWM não apenas como uma métrica, mas como uma infraestrutura de IA social (análoga aos túneis de vento para aeronaves) que permite aos desenvolvedores observar o impacto cognitivo dos agentes antes da implantação, oferecendo assim uma ferramenta concreta para prevenir a IA manipuladora e garantir a influência social responsável. O trabalho enfatiza que a verdadeira influência social requer mudanças mensuráveis no estado interno do usuário, não apenas a conclusão de uma transação.