PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows

Resumo Técnico: PROTEA

Declaração do Problema
Fluxos de trabalho de Modelos de Linguagem de Grande Escala (LLM) multiagente, que compõem múltiplas chamadas de LLM específicas de função em um grafo acíclico direcionado (DAG), frequentemente superam as linhas de base de prompt único. No entanto, refinar esses sistemas é uma tarefa complexa de depuração em nível de sistema. Falhas na saída final frequentemente derivam de erros sutis nas saídas de nós intermediários que se propagam a jusante. As ferramentas de avaliação atuais (por exemplo, AgentBench, OpenAI Evals, RAGAs) geralmente focam em métricas de sucesso de ponta a ponta ou avaliação em nível de componente (como relevância de recuperação), mas carecem de diagnóstico consciente do grafo. Consequentemente, os desenvolvedores devem inspecionar manualmente longos rastros de execução para inferir qual nó modificar e como revisar seu prompt. Além disso, em configurações de produção realistas, as equipes frequentemente possuem rótulos apenas para a saída terminal, tornando a criação de saídas de referência para cada nó intermediário custosa e impraticável.

Metodologia: O Framework PROTEA
O PROTEA é uma interface unificada, offline e orientada a testes, projetada para o refinamento iterativo de fluxos de trabalho de LLM multiagente. Ele opera em um loop de iteração de conjunto fixo: executar o fluxo de trabalho, avaliar nós intermediários, localizar gargalos, revisar prompts e reavaliar. O sistema é construído em torno de três mecanismos principais:

1. Avaliação de Nó Reversa: Para abordar a escassez de referências intermediárias, o PROTEA gera expectativas de nível de nó candidatas a partir da referência da resposta final e do contexto do grafo. Formalmente, começando pelo sinal de supervisão do nó final ($y^*_{final}$), o sistema usa um passo de geração de referência ($M_{gen}$) para inferir a saída necessária para nós a montante com base nos requisitos a jusante. Isso permite que o sistema avalie nós intermediários em ordem topológica reversa, comparando as saídas observadas ($y_v$) contra essas expectativas geradas ($\hat{y}_v$) para produzir pontuações e racionalizações.
2. Diagnóstico Baseado em Grafo: O PROTEA sobrepõe estados por nó (PASS/AVISO/FALHA) e racionalizações do avaliador diretamente ao grafo do fluxo de trabalho. Os nós são classificados por status e pontuação, orientando os desenvolvedores para gargalos prováveis sem exigir inspeção manual de rastros.
3. Refinamento Localizado de Prompt: Para um nó selecionado, o PROTEA propõe revisões de prompt direcionadas ($I'_v$) com base na racionalização do avaliador. Estas são apresentadas como comparações "antes/depois" editáveis. O sistema impõe restrições para preservar a passagem de variáveis, formatos de saída e para prevenir o vazamento de conteúdo específico do teste nos prompts. Após a aceitação, o fluxo de trabalho é executado automaticamente novamente no conjunto de testes offline para rastrear trajetórias de pontuação e verificar melhorias.

Principais Contribuições

• Interface Unificada para Refinamento Iterativo: O PROTEA integra execução, avaliação, diagnóstico e edição de prompts em um único loop, reduzindo o esforço manual necessário para traduzir evidências de avaliação em correções.
• Inferência Reversa para Supervisão: O sistema introduz um método para gerar expectativas de nós intermediários a partir de respostas finais, permitindo depuração eficaz mesmo quando a verdade fundamental intermediária não está disponível.
• Fluxo de Trabalho Centrado no Desenvolvedor: Diferentemente de métodos de otimização automática (por exemplo, DSPy, OPRO) que otimizam contra uma função objetivo de forma autônoma, o PROTEA traz à tona gargalos candidatos e propõe revisões inspecionáveis, permitindo que os desenvolvedores adotem, editem ou revertam mudanças no contexto.

Resultados Experimentais
Os autores avaliaram o PROTEA por meio de dois estudos de fluxo de trabalho adjacentes à produção, um teste de estresse de iteração automática e um estudo formativo com usuários envolvendo seis desenvolvedores experientes de LLM.

• Estudos Adjacentes à Produção:
  • Inspeção de Documentos: Em um fluxo de trabalho empresarial de 5 nós, o refinamento iterativo melhorou a precisão de inspeção de documentos de 64,3% para 83,9%.
  • Recomendação Conversacional: Em um fluxo de trabalho de recomendação de 6 nós, a métrica Hit@5 melhorou de 0,30 para 0,38.
  • Em ambos os casos, o sistema ajudou a rastrear a propagação de restrições e reduziu a necessidade de ler rastros longos de ponta a ponta.
• Teste de Estresse de Iteração Automática:
  • O sistema foi testado em 11 fluxos de trabalho gerados independentemente. Em um subconjunto de 5 fluxos de trabalho com prompts iniciais mínimos, o modo "AUTO LOOP" (ciclo automatizado de proposta-manutenção) alcançou melhores pontuações finais do que uma linha de base sem reescrita em 4 de 5 casos.
  • Ganhos notáveis incluíram um salto de 0,186 para 0,800 em um fluxo de trabalho de agendamento de cursos.
  • Limitações foram observadas em tarefas com critérios quase binários (por exemplo, problemas de palavras de correspondência exata), onde a falta de sinais graduados para raciocínio intermediário dificultou a otimização.
• Estudo com Usuários:
  • Seis desenvolvedores experientes encontraram valor na localização em nível de grafo, nas racionalizações por nó e na capacidade de comparar revisões de prompts com reexecuções automáticas.
  • Os participantes identificaram prioridades futuras, incluindo calibração do avaliador, integração com ferramentas existentes (CI/CD) e suporte a versionamento.

Significância e Alegações
O artigo afirma que o PROTEA aborda uma lacuna crítica no ciclo de vida da engenharia de LLM: a dificuldade de depurar sistemas complexos e multiagente onde a supervisão é limitada às saídas finais. Ao combinar inferência reversa com uma interface de desenvolvedor no loop, o PROTEA permite refinamento rápido e orientado a testes sem exigir rotulagem manual exaustiva de etapas intermediárias. Os autores posicionam a ferramenta como complementar à otimização automática de prompts; enquanto métodos como DSPy otimizam o comportamento do programa contra um objetivo, o PROTEA foca no fluxo de trabalho do desenvolvedor para grafos multiagente concretos, trazendo à tona gargalos específicos e acionáveis e correções localizadas. Os resultados sugerem que tal interface pode melhorar significativamente o desempenho do fluxo de trabalho (por exemplo, +19,6% de precisão na inspeção de documentos) enquanto reduz a carga cognitiva associada ao rastreamento de erros através de grafos de agentes complexos.