Resumo Técnico: Dialogue-SWEBench

Declaração do Problema

Os benchmarks atuais para agentes de codificação, como o SWE-Bench, avaliam sistemas em um cenário totalmente autônomo, onde os agentes recebem uma especificação de problema completa e correta logo no início. Essa abordagem falha em capturar a natureza interativa da engenharia de software do mundo real, onde os usuários frequentemente se envolvem em diálogos para corrigir, rejeitar ou esclarecer as saídas do agente. Estudos indicam que os usuários corrigem as saídas dos agentes 44% das vezes, mas os agentes raramente buscam esclarecimentos (1-2%). Além disso, os benchmarks existentes frequentemente pressupõem que uma especificação perfeita está disponível, enquanto problemas do mundo real são frequentemente subespecificados ou vagos. Consequentemente, existe uma lacuna significativa entre as métricas de avaliação atuais e as capacidades reais exigidas para agentes de codificação interativos e orientados por diálogo.

Metodologia

Benchmark Dialogue-SWEBench

Os autores introduzem o Dialogue-SWEBench, um benchmark projetado para avaliar a capacidade de agentes de codificação de resolver problemas reais de engenharia de software (SWE) estritamente através de diálogo com um usuário. O benchmark é construído reformulando tarefas do SWE-Bench Verified:

• Transformação de Entrada: Em vez de fornecer o texto completo da questão como uma especificação estática, a tarefa começa com uma consulta inicial fixa do usuário ($u_1$) que reflete a intenção do usuário, mas omite detalhes críticos necessários para a resolução.
• Loop Interativo: Os agentes operam em um ambiente onde podem realizar ações de codificação padrão (editar arquivos, executar testes) e uma nova ação message_user. Esta ação permite que o agente consulte o usuário, recebendo uma resposta simulada como uma observação.
• Terminação: O loop termina quando o agente emite uma ação finish, enviando um patch de git. O sucesso é determinado se o patch passa em todos os testes de execução associados.

Simulador de Usuário

Para garantir uma avaliação fiel e reproduzível, os autores projetaram um simulador de usuário baseado em persona usando um modelo LLaMa 3.3 70B quantizado.

• Fundamentação de Conhecimento: O simulador é condicionado ao texto original completo da questão do GitHub ($I_{text}$), mas é restrito de acessar o repositório de código ou executar código por conta própria. Ele deve agir como um usuário que conhece o problema, mas não consegue implementar a solução.
• Mecanismo de Autorrevisão: Para evitar alucinações e manter as restrições ambientais (por exemplo, o usuário não pode executar código), o simulador emprega uma etapa de autorrevisão. Uma resposta candidata do usuário é gerada, validada pelo mesmo LLM quanto a violações (como alegar que executou código ou quebrar o personagem) e revisada, se necessário, antes de ser retornada ao agente.
• Personas: Para aumentar a diversidade do diálogo, cada problema recebe uma persona de usuário específica (ex: "cauteloso", "perfeccionista", "pragmático") que influencia o tom e o comportamento das respostas simuladas.

Agente Guiado por Esquema (Schema-Guided Agent)

Os autores propõem um novo agente de codificação guiado por esquema para melhorar o desempenho do diálogo. Este agente utiliza prompts para manter uma representação interna estruturada (um "esquema") do estado do diálogo.

• Fluxo de Trabalho: O agente primeiro determina o tipo de problema (ex: bug, funcionalidade) e elabora um esquema com chaves para detalhes críticos (ex: "comportamento esperado", "passos de reprodução").
• Gestão de Estado: Os valores são marcados como DESCONHECIDO até serem discutidos. O agente é instruído a preencher essas lacunas através do diálogo antes de prosseguir para a exploração de código e geração de patch. Esta estrutura é projetada para guiar o agente na formulação de perguntas direcionadas e de busca de informação, em vez de fazer suposições.

Métricas de Avaliação

• Taxa de Resolução: A métrica primária é a porcentagem de diálogos que resultam em um patch que passa em todos os testes de execução.
• Qualidade do Diálogo: Os autores introduzem avaliações automáticas para Naturalidade (facilidade de compreensão) e Coerência (progressão lógica em direção à solução) usando um LLM-as-a-Judge (Gemma 4 31B-IT), validadas contra anotações humanas.

Principais Contribuições

1. Dialogue-SWEBench: Um conjunto de dados de benchmark que transforma 500 problemas reais de SWE em tarefas interativas e orientadas por diálogo, onde os agentes devem resolver problemas sem uma especificação inicial completa.
2. Simulador de Usuário: Um simulador inovador, de código aberto, baseado em persona, com um mecanismo de autorrevisão para produzir respostas de usuário realistas e em conformidade com as restrições para avaliação online.
3. Agente Guiado por Esquema: Uma nova arquitetura de agente que utiliza esquemas de diálogo para rastrear explicitamente informações ausentes, resultando em melhor desempenho sobre as bases de comparação (baselines).
4. Avaliação Automática de Diálogo: Um framework de LLM-as-a-Judge para avaliar a naturalidade e a coerência dos diálogos de agentes de codificação.

Resultados

Os autores avaliaram modelos de ponta fechados (GPT-5, GPT-5-mini) e de pesos abertos (Qwen 3 Coder, Devstral 2 Small) usando três configurações de agente: OpenHands (pronto para uso), OH Interactive (base para resolução de ambiguidade) e seu proposto agente Guiado por Esquema.

• Desempenho: O agente guiado por esquema alcançou a maior taxa média de resolução (46,9%) entre todos os modelos, superando o OpenHands (32,9%) e o OH Interactive (44,1%). Ele alcançou isso com o menor custo médio.
• Capacidade de Diálogo vs. Codificação: Os resultados indicam que modelos de codificação mais fortes não se traduzem necessariamente em melhores agentes de diálogo. Por exemplo, o GPT-5-mini frequentemente igualou ou superou o GPT-5 maior em taxas de resolução, incorrendo em uma fração do custo e produzindo diálogos mais naturais.
• Busca de Informação: Existe uma forte correção entre o número de movimentos de diálogo de busca de informação e as taxas de resolução. O agente guiado por esquema utilizou consistentemente mais movimentos de busca de informação do que as bases de comparação, o que foi crítico para o sucesso.
• Estudos de Ablação: Remover o simulador de usuário (forçando a resolução de turno único) reduziu drasticamente o desempenho (ex: o GPT-5-mini caiu de 68,0% para 40,0%), confirmando que o diálogo de múltiplos turnos é essencial para resolver essas tarefas.
• Análise de Qualidade: Embora o GPT-5 tenha alcançado alta resolução em tarefas difíceis, sofreu com pontuações de naturalidade mais baixas devido à verbosidade e repetição. A abordagem guiada por esquema geralmente melhorou a coerência.

Significância

O artigo argumenta que a capacidade de diálogo é uma dimensão distinta e atualmente subestudada do desempenho de agentes de codificação. Os achados sugerem que simplesmente escalar modelos de codificação ou fornecer melhores especificações é insuficiente para o deployment no mundo real. Em vez disso, a capacidade de engajar em diálogos de múltiplos turnos e busca de informação é um fator crítico para resolver problemas reais de engenharia de software. Os autores postulam que pesquisas futuras devem abordar a interseção entre as capacidades de codificação e de diálogo para construir agentes que possam colaborar efetivamente com usuários humanos, em vez de operar como sistemas totalmente autônomos e dependentes de especificações.