Theory of Mind in Action: The Instruction Inference Task in Dynamic Human-Agent Collaboration

Resumo Técnico: Teoria da Mente em Ação na Colaboração Humano-Agente

1. Problema e Motivação

A colaboração eficaz entre humanos e agentes de IA depende da capacidade do agente de entender instruções dadas por um humano (o "principal"). No entanto, a comunicação natural raramente é literal; frequentemente, as instruções são incompletas ou ambíguas, exigindo que o agente infira intenções não verbalizadas com base no contexto compartilhado e no estado mental do colaborador.

• O Desafio: Agentes tradicionais tendem a interpretar instruções literalmente, falhando quando o contexto pragmático é necessário para deduzir o objetivo real.
• A Lacuna: Embora os Grandes Modelos de Linguagem (LLMs) mostrem capacidades emergentes de raciocínio linguístico, a maioria das avaliações de "Teoria da Mente" (ToM) baseia-se em benchmarks estáticos (como histórias narrativas ou testes de crença falsa). Falta uma avaliação em ambientes dinâmicos, orientados a objetivos e colaborativos, onde o agente deve agir com base em instruções vagas.

2. Metodologia

A. Tarefa: Inferência de Instrução (Instruction Inference)
Os autores introduzem uma nova tarefa para avaliar a ToM em um ambiente colaborativo chamado "Doors, Keys, and Gems".

• Cenário: O agente (Tomcat) deve ajudar o principal a coletar uma joia (gem) abrindo portas e usando chaves em um grid.
• Tipos de Instrução: Baseado na teoria da implicatura conversacional de Grice, as instruções são categorizadas em:
  • Claras: Seguem todas as máximas conversacionais.
  • Incompletas: Violam a máxima da Quantidade (faltam detalhes críticos).
  • Ambíguas: Violam a máxima da Maneira (possuem múltiplas interpretações plausíveis).
• Objetivo: O agente deve inferir a intenção do principal (qual joia deseja), planejar ações ótimas e executar a tarefa, mesmo com instruções vagas.

B. O Agente: Tomcat
O "Tomcat" é um agente baseado em LLM projetado para exibir raciocínio de Teoria da Mente. Foram implementadas duas variantes de prompting:

1. CP (Commonsense Prompt): Baseia-se em conhecimento de senso comum e dois exemplos detalhados de walkthroughs do problema.
2. Fs-CoT (Few-shot Chain-of-Thought): Utiliza sete exemplos de input-output que demonstram um raciocínio estruturado passo a passo (inferência de intenção, classificação da instrução, geração de resposta e plano de ação).

C. Modelos e Avaliação

• LLMs Testados: GPT-4o, DeepSeek-R1 e Gemma-3-27B.
• Participantes Humanos: 52 participantes (estudantes de STEM) realizaram a mesma tarefa sob as mesmas condições da variante CP para servir como baseline.
• Métricas de Avaliação:
  • Precisão de Intenção (Intent Accuracy): O agente identificou corretamente o objetivo?
  • Viabilidade e Otimidade da Ação (Action Feasibility/Optimality): As ações executadas são possíveis no grid e são as mais eficientes?
  • Viabilidade e Otimidade do Plano (Plan Feasibility/Optimality): O plano gerado considera os próximos passos do principal e a sequência correta?
  • Precisão de Instrução: O agente classificou corretamente se a instrução era clara ou obscura?

3. Contribuições Principais

1. Tarefa de Inferência de Instrução: Introdução de um novo benchmark que avalia a ToM em um ambiente colaborativo dinâmico com instruções incompletas/ambíguas, diferindo de benchmarks baseados apenas em narrativa.
2. Agente Tomcat: Desenvolvimento de um agente LLM capaz de raciocinar sobre contexto pragmático e ações do principal, comparando duas abordagens de prompting (CP vs. Fs-CoT).
3. Avaliação Empírica Rigorosa: Comparação direta entre variantes de LLMs e 52 participantes humanos, utilizando métricas quantitativas e testes estatísticos robustos.

4. Resultados Chave

• Desempenho do Fs-CoT vs. CP:

  • A variante Fs-CoT superou consistentemente a variante CP em todos os modelos e métricas. O uso de exemplos de raciocínio estruturado (few-shot) foi crucial para melhorar a inferência de intenções e o planejamento.
  • GPT-4o (Fs-CoT): Alcançou desempenho comparável aos participantes humanos em precisão de intenção e otimidade do plano.
  • DeepSeek-R1 (Fs-CoT): Também alcançou desempenho comparável aos humanos, superando significativamente sua própria variante CP.
  • Gemma-3-27B: Mesmo com Fs-CoT, não atingiu o nível dos humanos, sugerindo limitações de capacidade do modelo para raciocínio complexo de ToM, embora tenha melhorado drasticamente em relação à variante CP.

• Análise Estatística:

  • Testes de significância (McNemar, Kruskal-Wallis, Chi-quadrado) confirmaram que as variantes Fs-CoT do GPT-4o e DeepSeek-R1 não diferem estatisticamente dos humanos em métricas críticas de ToM.
  • A variante CP subiu consistentemente em relação aos humanos, indicando que o prompting básico é insuficiente para tarefas colaborativas complexas.

• Impacto do Modelo:

  • GPT-4o: Beneficiou-se do alinhamento estrutural com o prompting (RLHF), tratando os exemplos como instruções de formatação e raciocínio.
  • DeepSeek-R1: Embora otimizado para raciocínio autônomo (GRPO), a adição de exemplos não degradou o desempenho (contrariando algumas hipóteses anteriores), mas melhorou a consistência.
  • Gemma-3-3-27B: Beneficiou-se da ativação de padrões de raciocínio distilados, mas a capacidade limitada do modelo impediu o alcance do nível humano.

5. Significado e Conclusões

• Viabilidade da ToM em IA: O estudo demonstra que LLMs, quando adequadamente orientados com exemplos de raciocínio estruturado (Fs-CoT), podem exibir capacidades de Teoria da Mente comparáveis às humanas em tarefas colaborativas dinâmicas.
• Importância do Contexto: A capacidade de inferir intenções não ditas e planejar ações futuras baseadas no estado mental do colaborador é essencial para a colaboração humano-agente real.
• Limitações e Futuro: A performance varia conforme o tamanho e a arquitetura do modelo. Modelos menores (como Gemma-3-27B) ainda lutam com a complexidade do raciocínio de múltiplos passos.
• Implicações: Os resultados sugerem que a evolução de chatbots transacionais para "agentes cognitivos relacionais" depende não apenas do tamanho do modelo, mas de estratégias de prompting que ativem explicitamente o raciocínio de ToM e a modelagem de estados mentais compartilhados.

Em suma, o artigo prova que a Teoria da Mente não é apenas uma capacidade teórica, mas uma habilidade prática que pode ser ativada em agentes de IA através de técnicas específicas de prompting, permitindo colaborações mais naturais e eficazes em ambientes incertos.