Resumo Técnico: Roteamento de Agentes de Aprendizado a partir de Experiência Inicial

Declaração do Problema

Agentes de Modelo de Linguagem (LLM) demonstram capacidades robustas em raciocínio complexo, planejamento e uso de ferramentas, mas incorrem em alta latência e custos computacionais. Por outro lado, a inferência direta de LLM é rápida e custo-efetiva, mas frequentemente pouco confiável para tarefas que excedem seus limites de capacidade. O desafio central abordado neste trabalho é o roteamento de consultas entre inferência de LLM leve e execução completa de agente em cenários realistas de início frio (cold-start). Nestes cenários, as consultas recebidas carecem de dados de desempenho anteriores ou rótulos de verdade fundamental, tornando o treinamento supervisionado padrão de um roteador impraticável. A pesquisa existente foca majoritariamente no roteamento dentro de espaços homogêneos (por exemplo, entre diferentes LLMs ou entre diferentes agentes), deixando o problema de roteamento híbrido entre LLMs e agentes amplamente inexplorado.

Metodologia: BoundaryRouter

Os autores propõem o BoundaryRouter, um framework de roteamento sem treinamento projetado para tomar decisões de roteamento sem supervisão de verdade fundamental. O sistema opera através de três mecanismos principais:

1. Aprendizado a partir de Experiência Inicial

Para superar o problema de início frio, o BoundaryRouter constrói uma memória de experiência inicial ($M$) compacta.

• Construção: Um pequeno conjunto de sementes de perguntas ($D_{seed}$) é executado tanto no LLM leve quanto no agente completo.
• Dados Registrados: Para cada consulta, o sistema registra a pergunta de entrada, as saídas de ambos os solucionadores ($y_{LLM}, y_{Agent}$) e suas respectivas latências ($t_{LLM}, t_{Agent}$).
• Restrição: Crucialmente, nenhuma resposta de verdade fundamental, rótulos de correção ou recompensas são armazenados. A memória captura diferenças comportamentais sistemáticas (por exemplo, padrões de resposta e tempo de execução) entre os dois sistemas.

2. Roteamento Aumentado por Recuperação

No momento da inferência, para uma nova consulta $x$:

• O sistema recupera os $K$ registros mais similares da memória de experiência inicial usando um recuperador híbrido (combinando correspondência lexical esparsa e similaridade semântica densa).
• Esses casos recuperados servem como evidência, permitindo que o roteador compare a consulta atual com os comportamentos históricos de ambos os solucionadores para inferir regularidades (por exemplo, se uma formulação semelhante levou anteriormente a raciocínio multi-etapa específico do agente ou picos de latência).

3. Cadeia de Pensamento (CoT) Guiada por Rubrica

Para garantir que as decisões estejam alinhadas com critérios comportamentais específicos em vez de raciocínio aberto, o LLM de roteamento emprega CoT guiada por rubrica.

• Em vez de raciocínio de forma livre, o roteador segue uma rubrica de decisão fixa codificada no prompt.
• Esta rubrica direciona o modelo a avaliar explicitamente os casos recuperados com base em dimensões observáveis (características da resposta e tempos de resposta) para equilibrar a qualidade esperada da resposta contra a latência.
• A saída é uma decisão de roteamento binária: $Route(x) \in \{LLM, Agente\}$.

Contribuições Principais

1. O Framework BoundaryRouter

O artigo introduz um método de roteamento inovador e sem treinamento que aproveita a experiência comportamental inicial e o raciocínio estruturado. Ele permite roteamento confiável em cenários de início frio onde rótulos de verdade fundamental estão indisponíveis, preenchendo a lacuna entre a inferência de LLM rápida e de baixo custo e a execução de agente robusta e de alto custo.

2. Benchmark RouteBench

Para avaliar sistematicamente este problema, os autores introduzem o RouteBench, um benchmark projetado especificamente para o roteamento LLM-agente.

• Composição: Derivado dos conjuntos de dados GAIA e MMLU, inclui saídas de solucionadores emparelhadas, dados de latência e rótulos de roteamento anotados por humanos baseados em uma regra determinística (prioridade de correção, desempate de eficiência e fallback de falha).
• Conjuntos de Avaliação: Avalia a generalização em três dimensões:
  • Conjunto Base: Tarefas no domínio.
  • Conjunto Rephrase: Consultas perturbadas linguisticamente para testar robustez.
  • Conjunto Avançado: Tarefas fora do domínio para testar mudança de distribuição.
• Métricas: Utiliza precisão ao nível de instância, pontuações F1 ao nível de solucionador e um RouteBenchScore composto para medir a eficácia geral do roteamento.

Resultados Experimentais

Os experimentos foram conduzidos no RouteBench usando 14 modelos contemporâneos (incluindo GPT-5, Gemini-3-Pro e Claude Sonnet 4) como backbone de roteamento.

• Compromisso Desempenho vs. Custo: O BoundaryRouter reduziu o tempo médio de inferência em 60,6% em comparação com o uso exclusivo do agente, enquanto melhorou o desempenho em 28,6% sobre a inferência direta de LLM.
• Comparação com Baselines:
  • Comparado ao roteamento baseado em prompt (sem experiência), o BoundaryRouter melhorou a qualidade do roteamento em 37,9%.
  • Comparado ao roteamento apenas por recuperação (sem raciocínio guiado por rubrica), melhorou o desempenho em 8,2%.
• Generalização: O método manteve forte desempenho no conjunto Avançado (fora do domínio), demonstrando que sinais comportamentais iniciais combinados com raciocínio restrito por rubrica podem generalizar além da distribuição de treinamento.
• Estratificação de Modelos: Entre os modelos de fronteira, GPT-5, Gemini-3-Pro-Preview e Gemini-2.5-Pro alcançaram o desempenho de roteamento mais forte, particularmente no manuseio de mudanças fora do domínio.

Significado e Alegações

O artigo afirma que sinais comportamentais iniciais, quando combinados com raciocínio guiado por rubrica, podem permitir roteamento confiável entre LLMs e agentes mesmo na ausência de rótulos de verdade fundamental ou supervisão de roteamento.

• Praticidade: O framework oferece um caminho prático para coordenação escalável em sistemas de raciocínio heterogêneos sem a necessidade de dados de treinamento supervisionado caros.
• Insight sobre Dificuldade de Roteamento: Os resultados destacam que o roteamento permanece um problema desafiador mesmo em cenários no domínio, com desempenho degradando significativamente sob mudanças de distribuição para modelos mais fracos.
• Direção Futura: Embora o trabalho atual foque no roteamento binário entre um único LLM e um único pipeline de agente, os autores sugerem que esta abordagem estabelece as bases para cenários mais complexos envolvendo múltiplos agentes ou ferramentas heterogêneas.

Os autores enfatizam que suas descobertas demonstram a viabilidade do uso de experiência inicial auto-gerada como uma referência leve para guiar decisões ao nível do sistema, deslocando o paradigma da seleção estática de modelos para coordenação dinâmica e orientada por experiência.