Resumo Técnico: Escalonamento de Roteamento de Agentes Empresariais

Declaração do Problema

À medida que os assistentes de Large Language Model (LLM) evoluem para camadas de orquestração, eles roteiam cada vez mais as solicitações dos usuários para bibliotecas crescentes de ferramentas e agentes especializados. Embora plataformas como OpenAI e Anthropic tenham introduzido mecanismos (ex: busca baseada em namespace, recuperação BM25) para gerenciar esse crescimento, os mecanismos específicos de degradação de desempenho conforme os catálogos escalam permanecem subcaracterizados.

Este artigo aborda a questão crítica: Como a precisão de roteamento de etapa única degrada à medida que o catálogo de agentes escala de um tamanho gerenciável para uma biblioteca de escala empresarial? Os autores focam em um ambiente de produção caracterizado por "sobreposição semântica densa", onde ferramentas funcionalmente similares (ex: múltiplos clientes de e-mail, assistentes de escrita ou rastreadores de projetos) criam ambiguidade significativa de roteamento, um cenário menos comum em benchmarks centrados em APIs.

Metodologia

Configuração Experimental

O estudo utiliza um catálogo de produtividade empresarial real e implantado, composto por 110 agentes e 584 ferramentas individuais. A avaliação abrange pontos de escala de 10 a 110 agentes (51 a 584 ferramentas).

• Modelos: Três modelos de fronteira foram avaliados: GPT-5.1, GPT-5.4 (OpenAI) e Claude Sonnet 4.5 (Anthropic).
• Dados:
  • Consultas Sintéticas: 4.105 consultas geradas pelo GPT-4o, categorizadas como explícitas (nomeando a ferramenta) e implícitas (descrevendo a necessidade). O estudo foca primariamente em consultas implícitas, que representam o tráfego real de produção.
  • Consultas de Produção: 1.435 enunciados anotados por humanos amostrados do tráfego ao vivo, anotados por três linguistas para estabelecer uma verdade fundamental dinâmica que considere a sobreposição semântica.
• Métricas: Precisão multirrótulo, recall e pontuação F1, computadas contra um conjunto válido dinâmico (ferramenta alvo + quaisquer outras ferramentas também válidas presentes na dobra de escala específica).

Estrutura de Diagnóstico

Os autores utilizam uma Análise de Oráculo para decompor as falhas de roteamento em dois hiatos distintos:

1. Hiato de Recuperação (Retrieval Gap): A perda de desempenho causada pela incapacidade do modelo de apresentar a ferramenta correta a partir do catálogo completo.
2. Hiato de Confusão (Confusion Gap): A perda de desempenho que persiste mesmo quando a ferramenta correta é garantida como presente (o "teto do oráculo" cai conforme o catálogo cresce).

Intervenções

O estudo avalia o encurtamento baseado em embeddings (shortlisting) como uma intervenção primária. Isso envolve o uso de um recuperador denso (text-embedding-3-large) para pré-filtrar o catálogo completo para uma lista curta de $k=20$ ferramentas antes que o roteador LLM tome sua decisão final. Isso é comparado contra:

• Roteamento plano (sem encurtamento).
• Busca de ferramenta nativa da plataforma (busca de namespace da OpenAI).
• Abordagens de nível de pacote (roteamento hierárquico, embedding de nível de pacote).
• Recuperadores ajustados (ToolRet-e5).
• Recuperação lexical (BM25).

Principais Resultados

1. Degradação de Escalonamento

A precisão do roteamento degrada significativamente conforme o catálogo se expande.

• Queda de F1: Em consultas implícitas, as pontuações F1 caem entre 16 a 23 pontos percentuais em todos os modelos conforme o catálogo cresce de 51 para 584 ferramentas.
• Movido pelo Recall: A degradação é impulsionada principalmente por um colapso no recall (caindo de ~55% para ~37%), enquanto a precisão cai de forma mais moderada. O modelo perde cada vez mais ferramentas válidas em vez de selecionar ferramentas inválidas.
• Teto do Oráculo: Mesmo com recuperação perfeita (uma lista curta de oráculo), o teto de F1 cai 10 pontos percentuais (de 79% para 69%). Isso revela um hiato de confusão onde o modelo tem dificuldade em distinguir entre ferramentas semanticamente similares, mesmo quando apresentadas juntas.

2. Eficácia do Encurtamento (Shortlisting)

O encurtamento baseado em embeddings ($k=20$) recupera com sucesso uma parte significativa do desempenho perdido.

• Recuperação: O encurtamento recupera +10 a +11 pontos percentuais em F1 na escala total em todos os três modelos e dois provedores.
• Validação de Produção: No tráfego real anotado por humanos, a recuperação é ainda mais pronunciada, variando de +10 a +17 pontos percentuais, apesar de o desempenho base absoluto ser 10 a 15 pontos inferior ao dos dados sintéticos.
• Redução de Erros: O encurtamento reduz as falhas de roteamento de 31% para 10% na escala total. O trade-off é uma taxa de erro de encurtamento estável de 9% (casos onde a ferramenta correta não está incluída no top 20).

3. Desempenho Comparativo

• Nível de Ferramenta vs. Nível de Pacote: A recuperação ao nível de ferramenta supera consistentemente as abordagens de nível de pacote (roteamento hierárquico, embedding de nível de pacote) em 2 a 4 pontos percentuais. Métodos de nível de pacote frequentemente diluem o conjunto de candidatos com ferramentas irmãs irrelevantes.
• Denso vs. Lexical: A recuperação por embedding denso (52,5% F1) supera significativamente a correspondência lexical (BM25, 32,8% F1) e os recuperadores ajustados treinados em dados centrados em APIs (48,7% F1). O BM25 falha porque as ferramentas empresariais compartilham uma alta sobreposição de vocabulário.
• Consistência do Modelo: Embora modelos mais fortes (ex: GPT-5.4, Sonnet) forneçam uma base superior, eles seguem a mesma curva de degradação. O encurtamento fornece um delta de melhoria consistente, independentemente da força do modelo base.

Significância e Alegações

O artigo afirma fornecer um diagnóstico controlado e fundamentado em produção da "lei de escala" para o roteamento de agentes. Suas principais contribuições são:

1. Decomposição de Falha: Ele distingue entre erros de recuperação (o modelo não consegue encontrar a ferramenta) e erros de confusão (o modelo não consegue escolher entre ferramentas similares). Isso esclarece que, embora uma melhor recuperação possa resolver a maioria dos problemas de escala, um hiato de confusão fundamental permanece que a recuperação sozinha não consegue fechar.
2. Validação do Encurtamento: Demonstra que o encurtamento baseado em embeddings é uma intervenção altamente eficaz e escalável que recupera ~10–17pp de F1, tornando-se uma estratégia viável para sistemas empresariais com centenas de ferramentas.
3. Limitações das Plataformas Atuais: O estudo sugere que os recursos de busca nativos da plataforma (como a busca de namespace da OpenAI) oferecem apenas um alívio parcial e estagnam em tamanhos de catálogo maiores, enquanto o encurtamento customizado via embedding continua a escalar efetivamente.
4. Especificidade de Domínio: Os autores observam que estas descobertas são específicas para domínios com sobreposição semântica densa (como produtividade empresarial). Domínios com ferramentas funcionalmente distintas podem degradar mais lentamente, mas o padrão qualitativo de degradação movido pelo recall é provavelmente transferível.

O artigo conclui que, embora o hiato de recuperação seja endereçável através de uma melhor seleção de candidatos (encurtamento), o hiato de confusão (pelo menos 10pp) requer inovações arquiteturais ou de prompt além da simples recuperação, como a deduplicação de descrições ou clarificação de múltiplos turnos.