Resumo Técnico: ToM-SWE: Modelagem de Modelo Mental do Usuário para Agentes de Engenharia de Software

Declaração do Problema

Avanços recentes em agentes de codificação baseados em Large Language Models (LLMs) permitiram que eles planejem, editem, executem e testem bases de código complexas. No entanto, esses sistemas enfrentam uma limitação fundamental: eles têm dificuldade em inferir e rastrear a intenção do usuário, particularmente quando as instruções são subespecificadas ou dependentes de contexto. Os agentes atuais operam tipicamente de maneira estateless (sem estado), tratando cada sessão como independente e carecendo de mecanismos para manter um contexto persistente sobre os objetivos, preferências e restrições em evolução de um usuário. Isso leva a esforço desperdiçado, mal-entendidos e resultados potencialmente inseguros em cenários de alto risco. Além disso, benchmarks existentes como o SWE-bench avaliam primariamente a resolução de problemas técnicos em tarefas bem especificadas, falhando em avaliar a capacidade de um agente de sustentar interações significativas de longo horizonte com diversos usuários.

Metodologia

Para abordar essas lacunas, os autores introduzem o ToM-SWE, um framework que integra o raciocínio de Teoria da Mente (ToM) em agentes de engenharia de software. A ToM, neste contexto, refere-se à capacidade de modelar o estado mental de um usuário (objetivos, preferências, intenções) com base em instruções e no histórico de interação.

Arquitetura de Agente Duplo

A inovação central é uma arquitetura de agente duplo que separa as preocupações:

1. Agente SWE Primário: Focado exclusivamente em tarefas de codificação (geração, depuração, execução).
2. Agente ToM Dedicado: Um parceiro leve responsável por modelar o estado mental do usuário.

O agente ToM opera em dois modos complementares:

• ToM Intra-Sessão (In-Session ToM): Durante a codificação ativa, ele infere o estado mental subjacente do usuário (por exemplo, a "verdadeira" intenção por trás de instruções ambíguas) consultando o histórico de interação e fornecendo sugestões ao agente SWE.
• ToM Pós-Sessão (After-Session ToM): Após a sessão, ele processa o histórico de interação para refinar e atualizar um modelo de usuário persistente.

Sistema de Memória Hierárquica

O agente ToM utiliza um sistema de memória hierárquica de três níveis implementado como um banco de dados externo:

• Nível 1 (Armazenamento de Sessão Bruta): Armazena históricos completos de sessões anteriores.
• Nível 2 (Modelo de Usuário Baseado em Sessão): Mantém análises por sessão, incluindo intenção da sessão, padrões de interação e preferências de codificação.
• Nível 3 (Modelo de Usuário Geral): Agrega padrões entre sessões em clusters de preferências, resumos de estilo de interação e resumos de estilo de codificação.

O agente SWE interage com o agente ToM através de duas ferramentas específicas: consult tom (para recuperar informações relevantes do estado mental do usuário durante uma sessão) e update memory (para acionar o agente ToM para processar e atualizar a hierarquia de memória após uma sessão).

Framework de Avaliação: Benchmark de SWE com Estado (Stateful SWE Benchmark)

Os autores introduzem o Stateful SWE benchmark, o primeiro benchmark projetado para avaliar agentes em interações de longo horizonte e múltiplas sessões.

• Configuração: Ele combina 15 perfis distintos de desenvolvedores (derivados de 453 sessões reais humano-agente) com 500 instâncias do SWE-bench.
• Simulação: Os agentes interagem com um simulador de usuário impulsionado por LLM condicionado a perfis específicos (variando em verbosidade, tempo de questionamento e preferências de codificação).
• Desafio: Os agentes devem aproveitar os históricos de interações anteriores para rastrear os estados mentais dos usuários e adaptar seu comportamento, em vez de depender apenas da instrução atual.

Principais Contribuições

1. Framework ToM-SWE: Uma nova arquitetura de agente duplo que desacopla a execução de codificação da modelagem do modelo mental do usuário, permitindo otimização especializada e rastreamento de usuário persistente sem sobrecarregar o contexto do agente de codificação.
2. Benchmark Stateful SWE: Um novo conjunto de avaliação que testa a capacidade dos agentes de se adaptarem a diferentes usuários ao longo de múltiplas sessões, indo além da resolução de tarefas estáticas de turno único.
3. Validação Empírica: Avaliação abrangente tanto no novo Stateful SWE benchmark quanto no existente Ambiguous SWE-bench, juntamente com um estudo humano real.

Resultados

Desempenho do Benchmark Offline

O agente proposto, ToMCodeAct (construído sobre a plataforma OpenHands), foi comparado com o agente de ponta CodeAct e uma linha de base RAGCodeAct (que recupera o histórico bruto sem modelagem explícita).

• Ambiguous SWE-bench: O ToMCodeAct alcançou uma taxa de resolução de problemas de 63,4% (usando Claude Sonnet 4), superando os 51,9% do CodeAct (+11,5% de melhoria).
• Stateful SWE-bench: O ToMCodeAct alcançou uma taxa de resolução de 59,7%, um aumento substancial sobre os 18,1% do CodeAct (+41,6 pontos percentuais).
• Satisfação do Usuário: O ToMCodeAct pontuou significativamente mais alto em satisfação do usuário (3,62 vs. 2,57 para o CodeAct), medido por um simulador de usuário condicionado ao perfil que avalia o alinhamento de preferências e comunicação.
• Análise: O estudo descobriu que simplesmente recuperar dados de sessão brutos (RAG) era insuficiente; a abstração explícita das preferências do usuário em um modelo mental foi crítica. Além disso, foi encontrada uma forte correlação positiva ($r=0,74$) entre a resolução da tarefa e a satisfação do usuário, embora os agentes ToM também tenham recebido altas pontuações de satisfação mesmo quando as tarefas falharam, desde que a qualidade do processo e a comunicação estivessem alinhadas com as preferências do usuário ("bônus de bom esforço").

Estudo Humano "In-the-Wild"

Um estudo observacional de três semanas foi conduzido com 17 desenvolvedores profissionais usando uma CLI aprimorada com ToM para suas tarefas de codificação diárias escolhidas por conta própria.

• Taxa de Aceitação: Desenvolvedores aceitaram ou aceitaram parcialmente as sugestões do ToM 86% das vezes (174 sugestões em 209 sessões).
• Utilidade: O feedback indicou que as sugestões do ToM ajudaram a escrever explicitamente regras que os usuários haviam discutido em conversas anteriores, criaram perfis de usuário precisos e melhoraram a eficiência do fluxo de trabalho.
• Sensibilidade ao Contexto: As taxas de sucesso foram mais altas para consultas moderadamente subespecificadas com contexto técnico suficiente (ex: 92% para "Code Understanding"), mas caíram para consultas extremamente vagas.

Significância e Alegações

O artigo afirma que o ToM-SWE demonstra que a colaboração eficaz humano-IA na engenharia de software requer agentes que possam inferir, manter e agir sobre modelos mentais específicos do usuário ao longo do tempo.

• Além da Capacidade Técnica: Fortes capacidades de codificação são insuficientes sem a habilidade de modelar a intenção e as preferências do usuário, especialmente quando as instruções são de alto nível e subespecificadas.
• Qualidade do Processo Importa: Os resultados destacam que a satisfação do usuário não é determinada apenas pelo sucesso da tarefa (testes unitários), mas também pela qualidade do processo de interação, estilo de comunicação e alinhamento com as preferências do usuário.
• Necessidade Arquitetural: O design de agente duplo é apresentado como um mecanismo crucial para reduzir a distração de contexto para o agente de codificação, enquanto permite a modelagem de usuário especializada e persistente.
• Impacto Prático: A alta taxa de aceitação em um cenário do mundo real sugere que a modelagem de estado de usuário é um aprimoramento viável e valioso para agentes de codificação práticos, potencialmente aumentando a produtividade do desenvolvedor e reduzindo o atrito na depuração e manutenção interativa.

Os autores permanecem modestos quanto à privacidade e generalização, reconhecendo que a modelagem de usuário levanta riscos de manipulação ou vigilância e que seus perfis são derivados de um subconjunto específico de desenvolvedores. Eles enfatizam a necessidade de implantação responsável, consentimento explícito e memória controlada pelo usuário.