Resumo Técnico: Pense Três Vezes Antes de Falar (TTBYS)

1. Definição do Problema

Sistemas de diálogo persuasivo exigem a capacidade de inferir e raciocinar sobre os estados mentais latentes de um usuário, uma habilidade conhecida como Teoria da Mente (ToM). Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham avançado nesse domínio, as abordagens existentes frequentemente dependem de estratégias simples de prompting e carecem de conhecimento suficiente sobre ToM. Consequentemente, elas falham frequentemente em capturar as dependências intrínsecas entre os estados mentais (Crenças, Desejos e Intenções), levando a representações fragmentadas e raciocínio instável em interações de múltiplas voltas.

As benchmarks atuais (por exemplo, NegotiationToM, ToMATO, PersuasiveToM) indicam que os LLMs lutam com a inferência confiável de estados mentais devido à falta de conhecimento prévio. Além disso, a maioria dos métodos existentes trata os estados mentais como variáveis independentes, em vez de modelar sua evolução sequencial, o que limita a interpretabilidade e a eficácia de longo prazo em cenários persuasivos complexos.

2. Metodologia

2.1 A Tarefa ToM-PD e o Framework BDI

Os autores formalizam a tarefa de Diálogo Persuasivo Baseado em ToM (ToM-PD), fundamentada no framework Crença–Desejo–Intenção (BDI). Diferentemente da evolução direta dos estados próprios (Crença $\to$ Desejo $\to$ Intenção $\to$ Ação), a tarefa ToM-PD é modelada como um processo de inferência reverso e passo a passo. O agente observa as falas externas do persuadido e deve inferir iterativamente:

1. Intenção ($i_t$): O objetivo imediato da fala.
2. Desejo ($d_t$): A atitude do usuário em relação ao alvo da persuasão (modelado como -1: relutante, 0: hesitante, 1: disposto).
3. Crença ($b_t$): As visões ou preocupações subjacentes que impulsionam o desejo.
4. Estratégia ($s_t$): A resposta persuasiva ótima baseada nos estados inferidos.

2.2 O Framework TTBYS

Para abordar os desafios de instabilidade e falta de conhecimento, o artigo propõe o Pense Três Vezes Antes de Falar (TTBYS), um framework de raciocínio passo a passo aprimorado por conhecimento. O TTBYS aproveita tanto experiências prévias explícitas quanto implícitas para guiar os LLMs através de três estágios distintos de raciocínio:

• Primeiro Pensamento (Inferência de Desejo):

  • O diálogo atual é resumido em uma intenção de alto nível ($i$).
  • Este resumo é usado para recuperar as $N$ melhores experiências históricas semanticamente semelhantes de uma base de conhecimento.
  • Uma distribuição de probabilidade de desejos é construída a partir das experiências recuperadas ($P_{ex}$).
  • Esta é fundida linearmente com a distribuição de probabilidade intuitiva do LLM ($P_{ag}$) para determinar a previsão final de desejo: $d^*_t = \arg \max (\alpha \cdot P_{ag} + (1-\alpha) \cdot P_{ex})$.

• Segundo Pensamento (Inferência de Crença):

  • Usando o desejo inferido ($d^*$) e o resumo do diálogo, o sistema recupera experiências relevantes contendo informações sobre crenças.
  • Essas experiências recuperadas são injetadas diretamente no contexto do LLM como conhecimento explícito.
  • O LLM gera a descrição da crença ($b^*$) condicionada ao diálogo, ao desejo inferido e aos exemplos recuperados.

• Terceiro Pensamento (Previsão de Estratégia):

  • O sistema realiza uma recuperação conjunta usando o resumo do diálogo e a crença inferida.
  • Similar ao Primeiro Pensamento, uma distribuição de estratégia orientada por experiências é fundida com a distribuição do LLM usando um coeficiente $\beta$ para selecionar a estratégia ótima.

2.3 O Dataset ToM-BPD

Para facilitar a pesquisa, os autores construíram Diálogos Persuasivos Amplos Baseados em ToM (ToM-BPD), um dataset anotado em grande escala derivado da benchmark PersuasiveToM.

• Anotações: Inclui rótulos granulares para o desejo do persuadido (valores discretos -1, 0, 1) e crença (declarações em linguagem natural), bem como a estratégia do persuasor.
• Taxonomia: As estratégias são categorizadas em três grupos (Socioemocional, Cognitiva, Interativa) e nove técnicas granulares baseadas no Modelo de Probabilidade de Elaboração (ELM) e na Entrevista Motivacional.
• Controle de Qualidade: O dataset passou por anotação rigorosa com pré-anotação semi-automática, verificação humana em múltiplas rodadas e testes de qualificação para anotadores.

3. Contribuições Principais

1. Formulação da Tarefa: Introdução da tarefa ToM-PD, que modela explicitamente as dependências sequenciais entre os estados mentais (Intenção, Desejo, Crença) para aprimorar a interpretabilidade.
2. Proposta de Framework: Desenvolvimento do TTBYS, um framework aprimorado por conhecimento que integra experiências estruturadas de ToM para melhorar a robustez e a consistência do raciocínio de LLMs em diálogos persuasivos.
3. Construção de Dataset: Lançamento do ToM-BPD, um dataset multi-domínio com anotações granulares de estados mentais, validado através de experimentos extensivos e estudos de caso.

4. Resultados Experimentais

Os autores avaliaram o TTBYS em seis LLMs de ponta (incluindo LLaMA-3.1-8B, Qwen-3-8B, Mixtral-7B e modelos de código fechado como GPT-5 e Gemini-3-Pro).

• Avaliação Estática:

  • Desempenho: O Qwen-3-8B equipado com TTBYS superou o GPT-5 em 1,20% na previsão de desejo, 22,80% na previsão de crença e 16,97% na previsão de estratégia.
  • Comparação: O TTBYS superou consistentemente o prompting zero-shot vanilla, o Chain-of-Thought (CoT) e outras bases aprimoradas por ToM (Hypothetical Minds, Metamind) em todos os backbones de código aberto.
  • Ablação: O estudo confirmou que uma fusão equilibrada de sinais baseados em experiências e baseados em LLM (via coeficientes $\alpha$ e $\beta$) produz resultados ótimos. O aumento da quantidade de experiências recuperadas geralmente melhorou o desempenho, particularmente nos estágios Primeiro e Terceiro Pensamento.

• Avaliação Interativa:

  • Interações simuladas em cenários de compra de produtos, atividades comunitárias e diálogo empático mostraram que o TTBYS (usando Qwen-3-8B) superou significativamente as bases do GPT-5 em Identificação (revelação de estados mentais) e eficácia de Persuasão.
  • Embora o GPT-5+CoT tenha mostrado consistência ligeiramente maior, o TTBYS demonstrou capacidade superior de adaptar estratégias com base na inferência precisa de estados mentais.

• Estudos de Caso:

  • A análise qualitativa demonstrou que o TTBYS conseguiu capturar crenças sutis (por exemplo, incerteza sobre a relevância da privacidade online para a revitalização rural) que os modelos de base perderam, levando a previsões de desejo mais precisas e seleção de estratégia apropriada.

5. Significado e Alegações

O artigo alega que o TTBYS avança significativamente o estado da arte em diálogos persuasivos orientados por ToM ao:

• Aprimorar a Interpretabilidade: Ao decompor o processo de persuasão em etapas explícitas (Desejo $\to$ Crença $\to$ Estratégia) e utilizar raciocínio estruturado, a tomada de decisão do sistema torna-se mais transparente e rastreável.
• Melhorar a Robustez: A integração de experiências prévias mitiga a instabilidade dos LLMs na inferência de estados mentais latentes, permitindo que modelos de código aberto menores igualem ou superem modelos de código fechado maiores.
• Fornecer uma Base: A tarefa ToM-PD e o dataset ToM-BPD oferecem uma benchmark padronizada para pesquisas futuras na modelagem de estados mentais dinâmicos em interações sociais.

Os autores reconhecem limitações, notando que o tamanho do dataset é relativamente pequeno e que a abordagem ainda não foi validada em um sistema persuasivo real totalmente implantado. Eles enfatizam que, embora o framework seja projetado para aplicações pró-sociais, salvaguardas são necessárias para prevenir o uso potencial em contextos manipulativos.