Resumo Técnico: ALMANAC

Declaração do Problema

Os avanços recentes em agentes de Grandes Modelos de Linguagem (LLM) dotaram-nos de capacidades cognitivas complexas, como o raciocínio de múltiplos passos e o uso de ferramentas, posicionando-os como potenciais colaboradores humanos. No entanto, uma colaboração eficaz exige mais do que a conclusão de tarefas; requer a manutenção e o alinhamento contínuos de modelos mentais — especificamente, o auto-raciocínio sobre as próprias ações, a percepção da intenção do parceiro e a compreensão dos objetivos compartilhados da equipe.

A pesquisa e os benchmarks atuais de colaboração humano-agente (ex: ToolBench, WebArena, MultiAgentBench) avaliam primariamente os agentes em trocas direcionadas a tarefas e conclusão de tarefas independentes. Eles carecem de dados autênticos de colaboração humana que incluam anotações de modelos mentais ao nível da ação. Os conjuntos de dados de interação humano-humano existentes capturam interações observáveis (diálogos, resultados), mas omitem o conteúdo cognitivo crítico subjacente aos comportamentos colaborativos. Consequentemente, a comunidade carece de dados necessários para guiar os agentes em direção à competência colaborativa ao nível do processo e à capacidade de simular comportamentos colaborativos humanos e inferir estados mentais subjacentes.

Metodologia

Construção do Conjunto de Dados: ALMANAC

Para abordar esta lacuna, os autores apresentam o ALMANAC (Action-Level Mental model ANnotations for Agent Collaboration), um conjunto de dados derivado da Tarefa do Mapa (Map Task), uma clássica tarefa de roteamento diádico das ciências sociais.

• Design da Tarefa: Dois participantes (um Guia e um Seguidor) colaboram para reproduzir uma rota em um mapa via comunicação baseada em texto e ações no espaço de trabalho (desenhar, apagar). O Guia vê a rota completa; o Seguidor vê apenas marcos de referência (landmarks).
• Condições Experimentais: O estudo manipula a visibilidade da tela como um fator entre sujeitos:
  • $C_{not\_visible}$: O Guia não pode ver o desenho em tempo real do Seguidor.
  • $C_{visible}$: O Guia pode visualizar a tela ao vivo do Seguidor.
• Estrutura de Anotação: Baseada em teorias de processos de trabalho em equipe, consciência situacional e terreno comum (common ground), a estrutura captura modelos mentais ao nível da ação através de um processo de duas etapas:
  1. Pontos de Verificação Durante a Sessão: Nos 25%, 50% e 75% do progresso da tarefa, os participantes fornecem relatórios breves e em tempo real sobre os objetivos da equipe, intenção do parceiro e auto-raciocínio via gravação de voz.
  2. Rotulagem Retrospectiva Pós-Sessão: Imediatamente após a tarefa, os participantes revisam sua trajetória de ações e capturas de tela. Para cada ação, eles fornecem:
     • Racional de texto livre: Explicando o processo cognitivo por trás da ação.
     • Rótulos estruturados: Seleções categóricas para Objetivo da Equipe, Percepção da Intenção do Parceiro e Auto-raciocínio, juntamente com um indicador de status de alinhamento.
• Escala de Dados: O conjunto de dados compreende 2.987 ações de colaboração de 50 participantes em 25 sessões diádicas. As ações são padronizadas em representações de grade discretas para facilitar o processamento por LLM sem depender de compreensão de imagem.

Experimentos de Benchmark

Os autores avaliaram seis LLMs (quatro de código aberto/proprietários: Qwen3.6-35B, Llama 3.3 70B, GPT-5.5, Claude 4.6 Sonnet; e dois ajustados/fine-tuned: Qwen3-4B, Qwen3-30B-A3B) em duas tarefas:

1. Predição de Comportamento do Próximo Turno: Predizer a próxima ação (mensagem, desenhar, apagar, etc.) dada a história de interação e a persona.
2. Predição de Modelo Mental: Predizer o estado mental do participante (objetivo da equipe, intenção do parceiro, auto-raciocínio, racional) para o próximo turno.

Os experimentos compararam o prompting padrão, o ajuste fino (fine-tuning) no ALMANAC e a inclusão de anotações de modelos mentais de verdade fundamental (ground-truth) como sinais de entrada.

Principais Contribuições

1. Conjunto de Dados ALMANAC: O primeiro conjunto de dados de colaboração humana que pareia comportamentos colaborativos autênticos com anotações de modelos mentais ao nível da ação, informadas por teoria.
2. Estrutura de Anotação: Um design inovador combinando pontos de verificação durante a sessão com rotulagem retrospectiva pós-sessão para capturar modelos mentais dinâmicos e racionais de texto livre na granularidade de ações individuais.
3. Avaliação Empírica (Benchmarking): Uma avaliação abrangente de seis LLMs demonstrando que, embora as anotações de modelos mentais forneçam sinais úteis para prever o comportamento colaborativo, os modelos atuais têm dificuldade em inferir processos de raciocínio privados.

Resultados

Predição de Comportamento do Próximo Turno

• Assimetria de Papéis: Predizer a próxima ação do Guia (limitada a mensagens) foi trivial (100% de precisão), enquanto predizer a ação do Seguidor (envolvendo desenhar, apagar e interpretar) foi significativamente mais difícil.
• Impacto da Visibilidade: Os modelos geralmente tiveram melhor desempenho na condição $C_{not\_visible}$ do que na $C_{visible}$. Os autores atribuem isso à maior variabilidade comportamental e à dependência de correções visualmente fundamentadas na condição visível, que são mais difíceis de inferir apenas pelo histórico de texto.
• Impacto dos Modelos Mentais: Adicionar anotações de modelos mentais de verdade fundamental como sinal de entrada geralmente melhorou o desempenho na predição das ações dos Seguidores, particularmente para a precisão do desenho na condição $C_{not\_visible}$. Isso sugere que os comportamentos dos Seguidores são mais fundamentados em estados de raciocínio latentes do que as ações dos Guias.
• Ajuste Fino (Fine-Tuning): Modelos menores ajustados no ALMANAC (Qwen3-4B) alcançaram desempenho comparável a modelos proprietários maiores, indicando que a supervisão direcionada em dados específicos de colaboração pode fechar a lacuna com modelos maiores.

Predição de Modelo Mental

• Hierarquia de Preditibilidade: Objetivo da Equipe e Intenção do Parceiro foram significativamente mais fáceis de predizer do que o Auto-raciocínio. Isso se alinha à observação de que componentes compartilhados são frequentemente refletidos no diálogo e no progresso, enquanto o auto-raciocínio captura motivações privadas não expressas explicitamente.
• Assimetria de Papéis: Modelos mentais do Seguidor foram mais fáceis de predizer do que os do Guia. O raciocínio dos Guias envolve planejamento espacial complexo e monitoramento do parceiro, que é difícil de inferir apenas do histórico de interação.
• Eficácia do Ajuste Fino: Modelos ajustados (especificamente o Qwen3-4B) mostraram desempenho superior na predição dos modelos mentais e racionais dos Seguidores em comparação com modelos baseados em prompt, sugerindo que o ALMANAC fornece supervisão eficaz para aprender o raciocínio relevante à colaboração.
• Limitações: Nenhum modelo único superou consistentemente os outros em todas as condições. A baixa precisão na predição do auto-raciocínio destaca o desafio de inferir modelos mentais privados.

Significância e Alegações

O artigo alega que o ALMANAC fornece um recurso fundamental para o desenvolvimento de agentes de LLM que funcionem como verdadeiros parceiros colaborativos, em vez de meros solucionadores de tarefas.

• Valor Diagnóstico: Os resultados indicam que, embora as anotações de modelos mentais ofereçam sinais além do histórico de interação, os LLMs atuais não utilizam confiavelmente essas informações para inferir o raciocínio privado. A lacuna entre a predição de estados compartilhados (objetivo da equipe) e estados privados (auto-raciocínio) destaca uma limitação fundamental na capacidade dos modelos atuais de simular os processos cognitivos que impulsionam uma colaboração eficaz.
• Competência de Nível de Processo: Ao fundamentar a avaliação em dados humanos autênticos com anotações informadas por teoria, o ALMANAC abre um caminho para agentes que possam manter e alinhar modelos mentais ao longo de uma colaboração, abordando um déficit crítico nos benchmarks atuais de agentes que focam apenas na conclusão de tarefas.
• Escopo Modesto: Os autores reconhecem limitações, incluindo a dependência de relatos retrospectivos (sujeitos ao viés de memória), o tamanho modesto do conjunto de dados em comparação com benchmarks de larga escala de NLP, e a restrição a um único domínio de tarefa (Tarefa do Mapa). Eles observam que trabalhos futuros são necessários para estender esses achados a diversos domínios do mundo real e explorar abordagens multimodais para melhor compreensão espacial.