Learning to Recommend Multi-Agent Subgraphs from Calling Trees

Resumo Técnico: Aprendendo a Recomendar Subgrafos de Multiagentes a partir de Árvores de Chamada

Formulação do Problema
O artigo aborda uma lacuna crítica em Sistemas Multiagentes (MAS) à medida que os mercados de agentes se expandem para conter milhares de agentes heterogêneos. Embora os sistemas de recomendação existentes se destaquem ao classificar itens individuais com base em registros planos de usuário-item (ex: e-commerce), eles falham em abordar a natureza estruturada, sequencial e dependente de interação da orquestração de agentes. Em MAS, selecionar um agente não é uma decisão terminal, mas uma intervenção que altera o estado do sistema, induz dependências e afeta a compatibilidade de escolhas subsequentes. O desafio central é que muitos agentes são funcionalmente sobrepostos; portanto, a seleção não pode ser tratada como um problema de recuperação pura. Um orquestrador deve escolher agentes que sejam não apenas relevantes, mas também confiáveis, compatíveis com o contexto de execução atual e capazes de cooperar com outros agentes selecionados. O artigo formula isso como um problema de decisão restrito, onde o objetivo é recomendar ou um único agente (Nível de Agente) ou uma equipe de agentes conectada (Nível de Sistema/Subgrafo) para executar uma subtarefa.

Metodologia
Os autores propõem um framework de recomendação restrita de dois estágios genérico, fundamentado em árvores de chamada históricas (traços de execução que capturam chamadas pai-filho, dependências de ramificação e padrões de cooperação local) em vez de logs planos. O framework opera em duas fases:

1. Construção de Viabilidade (Recuperação): Um módulo de recuperação filtra o enorme pool de agentes para construir um conjunto de candidatos semanticamente relevantes e compacto ($A_{feasible}$ para agentes ou $G_{feasible}$ para sistemas de agentes) condicionado à subtarefa e ao contexto atuais. Este estágio depende de mecanismos de recuperação prontos para uso (ex: similaridade de embedding ou chamada de ferramentas baseada em LLM) para reduzir o espaço de busca.
2. Otimização de Utilidade (Reclassificação): Dentro do conjunto viável, um modelo de pontuação aprendido realiza a otimização de utilidade para selecionar a melhor opção. Este estágio leva em conta relevância, confiabilidade e efeitos de interação.

O artigo define duas instâncias específicas deste framework:

• SARL (Aprendizado de Recomendação de Agente Único): Seleciona o próximo agente/ferramenta individual. Utiliza uma função de pontuação paramétrica $s_\theta(t, a)$ que incorpora codificação de consulta de tarefa, capacidade do agente, relações estruturadas em grafos, confiabilidade histórica e efeitos contextuais conscientes de lista.
• ASRL (Aprendizado de Recomendação de Sistema de Agentes): Seleciona uma pequena equipe de agentes conectada (subgrafo). Generaliza a unidade de decisão para um grupo, utilizando uma função de pontuação $s_\theta(t, g)$ que agrega capacidades coletivas, padrões de cooperação interna e adequação estrutural dentro do grafo global.

Ambos os modelos são treinados usando traços de orquestradores históricos, minimizando uma função de perda (ex: entropia cruzada softmax) sobre os resultados de execução observados, com restrições garantindo que o agente ou sistema selecionado pertença ao conjunto viável.

Principais Contribuições

1. Formulação do Problema: O artigo identifica e formaliza a recomendação de agentes em MAS como um problema de decisão restrito, destacando as limitações das suposições tradicionais de independência de nível de item em ambientes multiagentes.
2. Framework Unificado: Introduz um framework de "dividir para conquistar" de dois estágios que separa a construção de viabilidade da otimização de utilidade, suportando recomendações tanto de nível de agente quanto de nível de sistema (subgrafo).
3. Benchmark de Dados Estruturados: Os autores constroem um benchmark unificado de árvore de chamada ao normalizar logs de invocação de oito corpora multiagentes heterogêneos (incluindo Agent-data-protocol, GTA, MCPToolBench++, etc.) em uma representação estruturada compartilhada, permitindo uma avaliação consistente.
4. Validação Empírica: Experimentos extensivos demonstram que a abordagem proposta supera consistentemente estratégias de baseline fortes (recuperação direta, classificação por similaridade de cosseno e seleção de LLM de passagem única) em termos de precisão Top-1, estabilidade e coerência de execução.

Resultados

• Agente Único (SARL): Em seis conjuntos de dados de escala moderada, o SARL (recuperação por LLM + reclassificação) alcançou uma precisão Top-1 superior em comparação com as baselines de recuperação direta e similaridade de cosseno (ex: 79,85% vs. 40,0% no Agent-data-protocol). Os resultados indicam que, embora a recuperação forneça um forte conjunto de candidatos, a reclassificação supervisionada é crucial para resolver ambiguidades e selecionar o agente mais confiável.
• Nível de Sistema (ASRL): A abordagem ASRL alcançou uma precisão Top-1 quase perfeita (100% na maioria dos datasets) em todos os benchmarks. O artigo observa que a recuperação em nível de grafo gera maior recall e reduz a ambiguidade semântica em comparação com a seleção de agente único, permitindo que o ranker aprendido identifique o subgrafo correto de forma mais confiável.
• Escalabilidade: A análise de complexidade de tokens mostra que o design de dois estágios iguala o custo de tokens Big-O da recuperação direta, oferecendo ganhos significativos de desempenho, tornando-o viável para grandes pools de agentes onde a pontuação direta por LLM é computacionalmente proibitiva.

Significância e Alegações
O artigo afirma que a orquestração eficaz de multiagentes requer ir além da seleção isolada de agentes para o raciocínio sobre subgrafos completos e o aproveitamento da supervisão por árvore de chamada. Ao fundamentar as recomendações em estruturas de execução históricas, o framework proposto permite a construção de equipes de agentes coerentes e executáveis, em vez de apenas listas compatíveis de ferramentas. Os autores afirmam que esta abordagem melhora significamente a confiabilidade, coordenação e qualidade de execução ponta a ponta de MAS em larga escala.

O artigo também inclui uma declaração de impacto reconhecendo riscos potenciais, como a amplificação de vieses presentes nos logs históricos (ex: viés de popularidade) e o potencial para redução da diversidade do mercado. Sugere-se que implementações práticas devem incluir restrições explícitas de segurança, orçamento e política dentro do conjunto viável para mitigar esses problemas.