Resumo Técnico: DoVer – Depuração Automática Baseada em Intervenção para Sistemas Multiagentes de LLM

Declaração do Problema

Sistemas multiagentes baseados em Grandes Modelos de Linguagem (LLM) são cada vez mais implantados para tarefas complexas, mas depurar suas falhas permanece um gargalo significativo. Diferente dos erros de software tradicionais (ex: travamentos), esses sistemas frequentemente executam sem interrupções, mas produzem resultados incorretos ou insatisfatórios devido a rastros de interação longos e ramificados e desalinhamento entre agentes.

A abordagem predominante para depurar esses sistemas baseia-se na atribuição de falhas baseada em logs, onde um LLM analisa os logs de execução para identificar o agente e a etapa específicos responsáveis por uma falha. O artigo identifica duas limitações fundamentais neste paradigma:

1. Falta de Validação: A depuração baseada apenas em logs gera hipóteses sem verificação, levando a atribuições não testadas e potencialmente incorretas.
2. Atribuição Mal Definida: Em configurações multiagentes, as falhas frequentemente derivam de interações complexas onde múltiplas intervenções distintas podem, de forma independente, reparar uma tarefa. Consequentemente, atribuir a falha a um único passo ou agente "decisivo" é frequentemente ambíguo e carece de uma verdade fundamental única.

Os autores demonstram, através de um estudo de reprodução do conjunto de dados Who&When (WW), que as anotações de verdade fundamental (ground-truth) para etapas de falha são frequentemente incertas (15–30% de discordância entre anotadores) devido a múltiplas tentativas dentro de uma única sessão, ambiguidade na coordenação entre agentes e desafios de alinhamento entre anotadores. Essa incerteza limita severamente a precisão dos modelos de atribuição baseados em logs.

Metodologia: Estrutura DoVer

Para abordar essas limitações, os autores propõem o DoVer (Do-then-Verify), uma estrutura de depuração baseada em intervenção. Em vez de depender apenas da análise estática de logs, o DoVer operacionaliza a depuração como um processo dinâmico de geração de hipóteses seguido de verificação ativa por meio de intervenções direcionadas.

O pipeline do DoVer consiste em quatro estágios:

1. Segmentação de Tentativas (Trial Segmentation):
   O sistema segmenta um log de execução longo em "tentativas" distintas com base em atualizações de planejamento (etapas de replanejamento). Essa decomposição reconhece que os sistemas de agentes modernos frequentemente empregam loops no estilo ReAct com múltiplos ciclos de planejamento-execução. Segmentar o log permite intervenções independentes e paralelas em cadeias causais específicas, em vez de tratar toda a sessão como um bloco monolítico.

2. Atribuição de Falha (Geração de Hipótese):
   Para cada tentativa, o sistema gera uma hipótese ($h_i$) identificando um agente e um passo suspeitos de serem falhos, juntamente com uma justificativa. Este estágio aproveita os métodos existentes de atribuição baseados em logs, mas trata a saída como uma hipótese testável em vez de uma verdade fundamental definitiva.

3. Geração de Intervenção:
   A hipótese é convertida em uma intervenção concreta e acionável. A estrutura foca em intervenções ao nível do orquestrador para manter a generalidade entre diferentes arquiteturas de agentes. As intervenções são categorizadas em:

   • Instruções Modificadas: Edição das mensagens do orquestrador para os subagentes para esclarecer a intenção, corrigir argumentos ou fornecer contexto ausente.
   • Atualizações de Plano: Revisão do plano de alto nível do orquestrador (ex: reordenar ou decompor etapas) para contornar a falha identificada.
     O sistema evita modificar o código ou as capacidades do subagente diretamente, focando, em vez disso, na camada de passagem de mensagens.

4. Execução e Verificação de Intervenção:
   O sistema reproduz a trajetória a partir do ponto de intervenção, preservando todo o contexto anterior. Ele então avalia o resultado usando duas métricas primárias:

   • Taxa de Sucesso da Tentativa: Se a intervenção transforma uma tentativa falha em uma bem-sucedida.
   • Progresso Realizado: Uma métrica detalhada que mede se a intervenção avança o sistema em direção ao sucesso (ex: alcançando mais marcos/milestones), mesmo que o sucesso total não seja atingido.
   • Validação de Hipótese: O sistema classifica os resultados como Validados (sucesso), Refutados (a falha persiste apesar da execução fiel), Parcialmente Validados (progresso feito, mas sem sucesso total) ou Inconclusivos (intervenção não executada devido a restrições de ferramentas).

Principais Contribuições

1. Estrutura DoVer: A introdução de um pipeline de depuração baseado em intervenção que desloca o paradigma da análise estática de logs para a depuração ativa de "fazer-então-verificar".
2. Análise da Incerteza da Verdade Fundamental: Uma análise detalhada demonstrando que a atribuição de falhas baseada em logs é fundamentalmente limitada pela ambiguidade das etiquetas de verdade fundamental em sistemas multiagentes, particularmente devido a múltiplas tentativas e desalinhamento entre agentes.
3. Validação Empírica: Evidência experimental mostrando que o DoVer não apenas recupera uma parte significativa dos casos falhos, mas também fornece validação ou refutação explícita de hipóteses de falha, reduzindo a dependência de anotações humanas ruidosas.

Resultados Experimentais

Os autores avaliaram o DoVer em dois frameworks de agentes (Magentic-One e AutoGen2) através de múltiplos conjuntos de dados (GAIA, AssistantBench e GSMPlus).

• Recuperação de Falhas:
  • No Magentic-One com os datasets GAIA e AssistantBench, o DoVer transformou 18–28% das tentativas falhas em sucessos.
  • No dataset GSMPlus usando o framework AutoGen2, o DoVer alcançou uma taxa de transformação de 49% nos casos falhos.
• Medição de Progresso:
  • As intervenções resultaram em progresso quantificável (medido pelo alcance de marcos) em até 16% dos casos, mesmo quando o sucesso total não foi alcançado.
• Validação de Hipótese:
  • O DoVer validou ou refutou com sucesso 30–60% das hipóteses de falha, dependendo da complexidade da tarefa.
  • Casos inconclusivos (onde o sistema falhou ao executar a intervenção) destacaram lacunas específicas de capacidade dos subagentes (ex: falta de ferramentas como "scroll-to-bottom"), sugerindo um caminho para o aprimoramento direcionado de ferramentas.
• Agnosticismo de Modelo:
  • Estudos de ablação mostraram que o DoVer performa efetivamente com modelos de código aberto (Qwen3-8B, Qwen3-32B), diminuindo a lacuna de desempenho com modelos proprietários (GPT-4o) ao utilizar prompting de poucos disparos (few-shot).
• Comparação:
  • O DoVer superou significativamente as linhas de base de autoaperfeiçoamento (Self-Refine e CRITIC), que alcançaram 0% de recuperação nos mesmos datasets, demonstrando a superioridade da intervenção in-situ sobre o refinamento ao final do traço.

Significância e Alegações

O artigo afirma que o DoVer representa um mecanismo prático e escalável para melhorar a confiabilidade de sistemas agênticos. Ao deslocar o foco da "precisão de atribuição" (que é frequentemente mal definida) para a "depuração orientada a resultados" (medindo reparo e progresso), o DoVer oferece uma abordagem mais robusta para a depuração.

Os autores enfatizam que a intervenção serve como uma ferramenta prática para:

1. Reduzir a Carga de Anotação: A validação explícita via execução reduz a dependência de rótulos humanos ambíguos.
2. Identificar Gargalos Sistêmicos: Os casos "Inconclusivos" servem como uma ferramenta de diagnóstico para expor lacunas específicas de capacidade dos subagentes (ex: limitações de ferramentas) que requerem refinamento humano ou automatizado.
3. Permitir Sistemas de Autoaperfeiçoamento: A estrutura faz a ponte entre a análise de falhas e o reparo prático, lançando as bases para sistemas multiagentes mais robustos, verificáveis e capazes de autoaperfeiçoamento.

Os autores mantêm a modéstia, observando que seus resultados são evidências de viabilidade dentro de frameworks e domínios de tarefas específicos (busca na web e matemática) e não garantias universais, e que trabalhos futuros são necessários para abordar cargas de trabalho de produção de longa duração e restrições de segurança crítica.