Resumo Técnico: Da Intenção à Execução: Composição de Fluxos de Trabalho Agentes com Recomendação de Agentes

1. Declaração do Problema

A proliferação rápida de agentes de IA especializados (tanto de propósito geral quanto específicos de domínio) criou um desafio combinatório em Sistemas Multi-Agentes (MAS): identificar eficientemente o "melhor" agente para uma tarefa específica dentro de um vasto e crescente registro. Abordagens tradicionais para o design de fluxos de trabalho agentes sofrem com uma sobrecarga manual significativa, exigindo intervenção humana para:

• Composição de Planos: Projetar manualmente a sequência de tarefas.
• Seleção de Agentes: Mapear manualmente tarefas para agentes específicos.
• Criação de Grafos de Execução: Construir manualmente a lógica para interação entre agentes.

Além disso, os métodos de recuperação existentes (baseados em palavras-chave ou buscas simples de contexto em LLM) são inadequados para ecossistemas de agentes em grande escala. Frequentemente falham em capturar nuances semânticas, lutam com o problema da "agulha no palheiro" à medida que os registros se expandem e carecem da capacidade de otimizar para restrições globais (por exemplo, latência, custo, segurança) em vez de apenas similaridade local de tarefas.

2. Metodologia: O Framework AutoMAS

Os autores propõem o AutoMAS, um framework automatizado projetado para converter intenções de usuários em aplicações multi-agentes funcionais com intervenção humana mínima. A arquitetura do sistema compreende quatro componentes principais:

2.1 Planejador

O planejador aceita uma intenção do usuário em linguagem natural e gera um plano estruturado. Diferentemente de sequências lineares, o plano é representado como uma Máquina de Estados Finitos (FSM) para acomodar lógica não sequencial, recursão e caminhos dinâmicos. O planejador pode aproveitar memórias episódicas e semânticas (bancos de dados de planos anteriores) para refinar o plano gerado via Geração Aumentada por Recuperação (RAG).

2.2 Grafo de Chamada de Variáveis (VCG)

O VCG atua como um mecanismo de roteamento dinâmico. Ele mapeia as tarefas na FSM para agentes recuperados de um registro. Crucialmente, o VCG suporta múltiplas rotas de execução baseadas em:

• Redundância: Agentes alternativos para a mesma tarefa para garantir tolerância a falhas.
• Otimização Dinâmica: Seleção de rotas com base em fatores ambientais em tempo real (por exemplo, desligamentos de rede) ou restrições do usuário (por exemplo, menor latência versus menor custo).

2.3 Recomendador de Agentes (AR)

O núcleo do sistema é um sistema híbrido de recuperação em duas etapas, projetado para mapear descrições de tarefas em linguagem natural para agentes em um registro.

• Etapa 1: Recuperador Rápido: Utiliza busca híbrida (combinando embeddings vetoriais densos com correspondência de palavras-chave esparsas, por exemplo, BM25) para identificar rapidamente um conjunto amplo de agentes candidatos (alta recuperação).
• Etapa 2: Reordenador Baseado em LLM: Pega os principais candidatos da Etapa 1 e os reordena usando um Modelo de Linguagem de Grande Porte (LLM). Esta etapa fornece uma compreensão semântica matizada do ajuste tarefa-agente, priorizando a precisão no topo da lista.
• Enriquecimento de Descrição de Agente: Para melhorar a qualidade da recuperação, o sistema gera consultas sintéticas a partir das descrições dos agentes no momento da ingestão. Essas consultas são anexadas à descrição original, e seus embeddings são médios para criar uma representação semântica mais robusta para o armazenamento vetorial.

2.4 Mecanismo de Crítica

Uma terceira etapa, opcional, envolve um Agente de Crítica que realiza uma revisão holística das recomendações de agentes contra o plano geral e as restrições do usuário.

• No Ciclo (Específico de Tarefa): Avalia se o agente recomendado se encaixa na descrição específica da tarefa.
• Fora do Ciclo (Específico de Plano): Avalia a otimalidade global da seleção de agentes, garantindo compatibilidade de entrada-saída em todo o Grafo de Chamada de Variáveis e adesão a restrições como custo, latência e segurança.
• A crítica não reordena os agentes, mas pode sugerir refinamentos ao plano de tarefas ou à seleção de agentes se a configuração atual for subótima.

2.5 Humano no Ciclo (HIL)

O framework suporta intervenção humana tanto no momento do design (para melhorar a estrutura da aplicação) quanto em tempo de execução (para resolver ambiguidades ou corrigir erros detectados via nós supervisores no grafo de execução).

3. Contribuições Principais

1. Composição Automatizada de MAS: Um pipeline completo que automatiza a transição da intenção do usuário para um fluxo de trabalho de agentes executável, substituindo etapas de composição manual.
2. Recuperação Híbrida em Duas Etapas: Uma arquitetura escalável para seleção de agentes que combina recuperação rápida por vetor/palavra-chave com reordenamento baseado em LLM, abordando as limitações de escalabilidade das abordagens baseadas em janela de contexto.
3. Enriquecimento de Descrição de Agente: Uma técnica para aprimorar a representação semântica de agentes gerando e medindo consultas sintéticas derivadas das descrições dos agentes durante a fase de indexação.
4. Mecanismo de Crítica Global: A integração de um agente de crítica que avalia a seleção de agentes não apenas localmente, mas contra a topologia global do fluxo de trabalho e as restrições do usuário, melhorando a robustez da composição final.
5. Grafos de Execução Dinâmicos: O uso de um Grafo de Chamada de Variáveis para permitir roteamento redundante e dinâmico, permitindo que o sistema se adapte a falhas em tempo de execução e restrições de otimização.

4. Resultados Experimentais

Os autores avaliaram o sistema usando o conjunto de dados ToolE (para recomendação de agentes) e o conjunto de dados TaskBench (para planejamento e composição ponta a ponta).

4.1 Desempenho de Recomendação de Agentes

• Embedding e Reordenamento: A combinação de grandes embeddings (text-embedding-3-large) e um reordenador LLM (gpt-4o ou o1) melhorou significativamente a precisão (nDCG@1) em comparação com baselines de apenas recuperador.
• Enriquecimento e Filtragem: O enriquecimento da descrição do agente (média de embeddings de consultas sintéticas) consistentemente melhorou a Recuperação (Recall) e o mAP. Adicionar uma etapa de filtragem (onde o reordenador descarta candidatos irrelevantes) produziu os maiores ganhos, alcançando uma Recuperação de 0,8398 e mAP de 0,8173.
• Comparação: A abordagem proposta superou o método state-of-the-art Re-Invoke, que depende de fornecer a lista completa de ferramentas como contexto para um LLM. A abordagem AutoMAS alcançou maior recuperação e precisão enquanto é mais escalável para registros de agentes maiores.

4.2 Desempenho de Planejamento Ponta a Ponta

Avaliado no TaskBench (abrangendo APIs de Vida Diária, Hugging Face e Multimídia):

• Métricas Semânticas: Usando LLM como Juiz, o sistema alcançou uma taxa de correspondência geral de 59,3% e uma razão passo a passo de 0,742, indicando que, embora a redação exata possa diferir, a intenção semântica e a seleção de ferramentas estavam amplamente corretas.
• Métricas Estruturadas: Sob avaliação de previsão estruturada (focando em nomes de ferramentas, argumentos e sequência), o sistema mostrou alta fidelidade. Para a categoria "Vida Diária", alcançou um F1 de Nome de Ferramenta/Nó de 0,9064 e Semelhança de Sequência de 0,8956.
• Impacto da Crítica: Integrar o mecanismo de crítica com correção iterativa melhorou ainda mais as métricas. Para "Vida Diária", o F1 de Nome de Ferramenta/Nó aumentou de 0,9064 para 0,9161, e a Semelhança de Sequência melhorou de 0,8956 para 0,9034, demonstrando que a crítica corrige efetivamente erros de ordenação e estruturais.

5. Significado e Alegações

O artigo afirma que o AutoMAS representa um passo significativo em direção ao design escalável e automatizado de sistemas multi-agentes.

• Escalabilidade: Diferentemente de abordagens que alimentam registros inteiros de agentes no contexto de um LLM (limitado por contagens de tokens e custo), a arquitetura de recuperação em duas etapas proposta escala efetivamente para registros com milhares de agentes.
• Robustez: A inclusão do Grafo de Chamada de Variáveis e do Mecanismo de Crítica garante que o sistema não seja apenas preciso na seleção de agentes individuais, mas também robusto na construção de um fluxo de trabalho globalmente ótimo que adere a restrições.
• Limitações Modestas: Os autores reconhecem que reordenadores baseados em LLM podem exibir vieses inerentes (por exemplo, favorecer agentes de menor custo mesmo quando instruídos de outra forma) e que o mecanismo de como a crítica melhora as consultas de recuperação requer investigação adicional. Eles também observam que, embora sua abordagem escale melhor, atualmente não pode alterar dinamicamente a seleção de agentes além do conjunto recuperado, ao contrário de frameworks onde o LLM tem contexto completo de todas as ferramentas para escolher.

Em conclusão, o trabalho demonstra que uma abordagem multi-etapa combinando recuperação rápida, reordenamento semântico, enriquecimento de descrição e crítica holística é essencial para construir sistemas multi-agentes confiáveis e ponta a ponta capazes de lidar com intenções de usuários complexas em ecossistemas de agentes em grande escala.