Verified Multi-Agent Orchestration: A Plan-Execute-Verify-Replan Framework for Complex Query Resolution

O artigo apresenta o VMAO, um framework de orquestração multiagente que utiliza um ciclo iterativo de planejamento, execução, verificação e replanejamento baseado em DAGs para melhorar significativamente a completude e a qualidade das respostas a consultas complexas de pesquisa de mercado em comparação com abordagens de agente único.

O essencial

Imagine que você precisa organizar uma pesquisa de mercado complexa, como descobrir por que a satisfação dos clientes caiu e como isso afetou os lucros da empresa. Se você pedir isso para um único especialista (um "agente" de IA), ele pode tentar fazer tudo sozinho: pesquisar dados, analisar números, ler notícias e escrever o relatório. O problema? Ele pode se perder, esquecer de checar uma fonte importante ou não ter tempo para aprofundar tudo.

Agora, imagine que, em vez de uma pessoa, você contrata uma equipe inteira de especialistas, cada um com uma função específica: um vai buscar dados financeiros, outro vai ler feedback de clientes, um terceiro vai analisar a concorrência e um quarto vai escrever o relatório final.

O problema de ter uma equipe é: como garantir que todos trabalharam bem, que ninguém esqueceu nada e que o resultado final é confiável? É aqui que entra o VMAO (Orquestração Multi-Agente Verificada), o sistema apresentado neste artigo.

Aqui está como o VMAO funciona, usando uma analogia de uma cozinha de restaurante de luxo:

1. O Plano (O Chefe de Cozinha)

Em vez de deixar o cozinheiro improvisar, o sistema primeiro cria um mapa de tarefas (um gráfico). Ele divide a pergunta grande em pequenas perguntas menores.

• Exemplo: "Preciso saber o preço das ações (Tarefa A), ler as notícias de ontem (Tarefa B) e comparar com o concorrente (Tarefa C)."
• O sistema sabe que a Tarefa C depende do resultado da Tarefa A. Ele organiza isso como uma linha de montagem inteligente.

2. A Execução (A Cozinha em Paralelo)

Aqui está a mágica: enquanto um cozinheiro (agente) está cortando legumes, outro já está grelhando a carne. O sistema permite que várias tarefas sejam feitas ao mesmo tempo, desde que não dependam uma da outra. Isso torna tudo muito mais rápido do que fazer tudo um por um.

3. A Verificação (O Degustador Crítico)

Este é o coração do sistema. Depois que os pratos (respostas) são preparados, eles não vão direto para a mesa. Eles passam por um Degustador Especialista (uma IA verificadora).

• O Degustador não é o cozinheiro; ele é um crítico gastronômico.
• Ele prova o prato e pergunta: "Está completo? Falta sal? A carne está crua? A fonte do ingrediente está correta?"
• Se o Degustador disser: "Falta o tempero da Tarefa B" ou "A Tarefa C está fraca", ele não joga tudo fora. Ele manda de volta para a cozinha com instruções específicas.

4. O Replanejamento (Ajuste Fino)

Com base no feedback do Degustador, o sistema decide o que fazer:

• Repetir: "Cozinheiro da Tarefa B, tente de novo, você não achou a notícia certa."
• Adicionar: "Ninguém pediu para verificar o preço do concorrente? Adicione essa tarefa agora!"
• Manter: "A Tarefa A está perfeita, deixe-a como está."

Esse ciclo de Planejar -> Executar -> Verificar -> Replanejar continua até que o prato esteja perfeito.

5. O Fim (O Serviço)

Quando o sistema atinge um nível de qualidade suficiente (ou gasta o orçamento de tempo/dinheiro), ele para de iterar e o "Garçom" (agente de síntese) junta todas as partes, cita as fontes e entrega o relatório final ao cliente.

---

Por que isso é importante? (Os Resultados)

Os autores testaram isso em 25 perguntas complexas de pesquisa de mercado e compararam com:

1. Um único especialista (fazer tudo sozinho).
2. Uma linha de montagem fixa (fazer tudo em ordem, sem verificar se está bom no meio do caminho).

O resultado foi impressionante:

• Completude: O sistema VMAO conseguiu responder a tudo o que era necessário muito melhor (subindo de uma nota 3,1 para 4,2 em uma escala de 5).
• Qualidade das Fontes: As informações estavam muito mais bem fundamentadas e citadas (subindo de 2,6 para 4,1).

A Analogia Final: O "Segurança" do Sistema

Pense no VMAO como um sistema de segurança de um banco.

• Um único agente é como um único guarda tentando proteger todo o banco sozinho. Ele pode ficar cansado e deixar uma porta aberta.
• O VMAO é como ter vários guardas (agentes) patrulhando áreas diferentes, mas com um centro de comando (o verificador) que monitora todas as câmeras. Se o centro de comando vê uma porta aberta (uma lacuna na resposta), ele imediatamente aciona o guarda correto para fechar a porta antes que o ladrão entre.

Resumo em uma frase:
O VMAO transforma uma equipe de IAs em um time coeso e autocrítico, onde um "chefe" verifica o trabalho de todos e manda refazer o que estiver ruim, garantindo que a resposta final seja completa, precisa e confiável, mesmo para perguntas muito difíceis.

Resumo técnico

1. Problema

Os sistemas multiagente baseados em Grandes Modelos de Linguagem (LLMs) emergiram como uma solução para tarefas complexas que exigem colaboração entre agentes especializados. No entanto, existem desafios críticos na coordenação desses sistemas, especialmente em domínios como pesquisa de mercado, onde:

• Coordenação Estrutural: Como decompor consultas complexas em sub-tarefas distribuídas entre agentes heterogêneos?
• Garantia de Qualidade: Como assegurar a completude e a precisão das respostas sem supervisão humana constante?
• Critérios de Parada: Quando o sistema deve parar de iterar e sintetizar a resposta final?

Abordagens existentes (como debates entre agentes ou frameworks de role-playing) muitas vezes carecem de decomposição estruturada de tarefas, mecanismos formais de verificação de completude ou adaptação dinâmica quando lacunas são identificadas. Sistemas de produção exigem confiabilidade e capacidade de refinar resultados automaticamente.

2. Metodologia: VMAO (Verified Multi-Agent Orchestration)

O VMAO é um framework que coordena agentes especializados através de um loop iterativo orientado por verificação. A arquitetura opera em cinco fases principais:

A. Arquitetura e Taxonomia de Agentes

Os agentes são organizados em três níveis funcionais (Tier):

1. Tier 1 (Coleta de Dados): Agentes RAG, Web, Financeiros e de Concorrência que recuperam informações de fontes diversas.
2. Tier 2 (Análise): Agentes de Análise e Raciocínio que processam os dados brutos.
3. Tier 3 (Saída): Agentes de Documentação e Visualização que geram entregáveis finais.

B. Planejamento e Execução (DAG)

• Decomposição: Um QueryPlanner (baseado em LLM) decompõe a consulta complexa em um Grafo Acíclico Direcionado (DAG) de sub-questões.
• Dependências: Cada sub-questão possui identificadores de dependência, tipo de agente necessário e prioridades.
• Execução Paralela: Um DAGExecutor executa as sub-questões em "ondas" (waves). Questões independentes são executadas em paralelo, enquanto as dependentes aguardam os resultados das etapas anteriores. O contexto das dependências é propagado automaticamente para as consultas subsequentes.

C. Verificação e Replanejamento Adaptativo

• Verificador (ResultVerifier): Um LLM atua como um orquestrador independente, avaliando a completude de cada resultado (escala 0-1), identificando aspectos faltantes, contradições e recomendando ações (aceitar, tentar novamente, escalar).
• Replanejamento (AdaptiveReplanner): Se lacunas forem detectadas, o sistema não reinicia do zero. Ele:
  • Retenta sub-questões com pontuação baixa.
  • Gera novas sub-questões para cobrir aspectos específicos faltantes.
  • Preserva resultados anteriores válidos, fundindo-os com novas tentativas para refinação progressiva.

D. Condições de Parada e Síntese

O sistema utiliza condições de parada configuráveis para equilibrar qualidade e custo:

• Limiar de completude (ex: 80% das sub-questões respondidas).
• Retornos decrescentes (melhoria < 5%).
• Orçamento de tokens ou limite máximo de iterações.
• Síntese Hierárquica: Para grandes conjuntos de resultados, a síntese é feita em grupos (por tipo de agente) antes de integrar tudo em uma resposta final com atribuição de fontes.

3. Principais Contribuições

1. Execução Paralela Consciente de Dependências: Implementação de um DAG onde o contexto flui automaticamente entre sub-questões dependentes, permitindo execução eficiente e ordenada.
2. Replanejamento Orientado por Verificação: Uso de um verificador baseado em LLM como sinal de coordenação de alto nível. Isso desacopla a lógica de orquestração da implementação individual dos agentes, permitindo adaptação dinâmica quando a qualidade é insuficiente.
3. Condições de Parada Configuráveis: Mecanismos explícitos para gerenciar o trade-off entre a qualidade da resposta e o uso de recursos (tokens/tempo), evitando loops infinitos ou custos excessivos.
4. Arquitetura Modular: Uso do Protocolo de Contexto de Modelo (MCP) para conectar agentes a ferramentas específicas (42 ferramentas únicas em 8 servidores), facilitando a escalabilidade horizontal e a tolerância a falhas.

4. Resultados Experimentais

O framework foi avaliado em 25 consultas de pesquisa de mercado curadas por especialistas, cobrindo análise de desempenho, inteligência competitiva, investigação financeira e avaliação estratégica.

• Comparação: O VMAO foi comparado com uma abordagem de Agente Único e um Pipeline Estático (sequência pré-definida sem verificação).
• Métricas de Desempenho (Escala 1-5):
  • Completude da Resposta: O VMAO aumentou a pontuação de 3.1 (Agente Único) para 4.2.
  • Qualidade da Fonte: O VMAO aumentou a pontuação de 2.6 para 4.1.
• Análise de Custos:
  • O VMAO consumiu em média 850K tokens e 900 segundos, comparado a 100K tokens e 165 segundos do Agente Único.
  • Aumento de custo justificado pela melhoria significativa na qualidade e na capacidade de cobrir nuances complexas.
• Eficácia por Categoria: Os maiores ganhos ocorreram em consultas de "Avaliação Estratégica" (+53% de completude), onde a decomposição inicial frequentemente falha em capturar todos os aspectos, exigindo iteração e verificação.

5. Significado e Conclusão

O trabalho demonstra que a verificação no nível de orquestração é um mecanismo eficaz para garantir a qualidade em sistemas multiagente. Diferente de métodos estáticos, o VMAO reconhece que a decomposição inicial de problemas complexos é imperfeita e utiliza um ciclo de "Planejar-Executar-Verificar-Replanejar" para corrigir lacunas dinamicamente.

• Impacto: O framework oferece uma solução viável para tarefas de pesquisa profunda onde a supervisão humana contínua é inviável, garantindo que as respostas sejam não apenas geradas, mas validadas quanto à completude e rastreabilidade.
• Limitações e Futuro: O custo computacional é alto (8.5x mais tokens que um agente único) e a verificação baseada em LLM pode não detectar erros factuais sutis se a informação estiver bem citada, mas incorreta. Futuros trabalhos visam condições de parada aprendidas e testes com diversas famílias de modelos.

Em suma, o VMAO estabelece um novo padrão para a orquestração de agentes, priorizando a qualidade verificável e a adaptação iterativa sobre a simples execução sequencial de tarefas.