Resumo Técnico: Quantas Ferramentas um Agente LLM Deve Visualizar? Uma Resposta Corrigida pelo Acaso

1. Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) requerem um sistema de recuperação para selecionar uma lista curta de ferramentas candidatas de um registro antes que o modelo tente executar uma tarefa. Uma escolha crítica de design é determinar a profundidade de busca $K$ (o número de ferramentas apresentadas). Sistemas atuais tipicamente empregam uma $K$ fixa (por exemplo, mostrar as 5 ou 10 melhores ferramentas) independentemente da dificuldade da consulta. Esta abordagem enfrenta dois desafios conflitantes:

• Poucas ferramentas demais: A ferramenta correta pode ser excluída da lista curta, levando a uma falha imediata.
• Muitas ferramentas demais: O modelo tem dificuldade em identificar a ferramenta correta entre distratores excessivos, e os custos de tokens aumentam significativamente (aprox. 20k tokens para 100 ferramentas).

Não há uma métrica padrão para avaliar se uma profundidade escolhida $K$ é apropriada para uma consulta ou registro específico. Métricas de recuperação existentes (como $nDCG@K$) são projetadas para recuperação de documentos e não levam em conta as restrições específicas da seleção de ferramentas, onde o tamanho do conjunto é pequeno (50–500 ferramentas) e a chance aleatória desempenha um papel significativo no sucesso.

2. Metodologia

2.1 A Métrica Bits-sobre-Aleatório (BoR)

O artigo introduz a métrica Bits-sobre-Aleatório (BoR) como uma ferramenta de avaliação corrigida pelo acaso para a profundidade de busca. O BoR mede a taxa de sucesso do sistema em relação à probabilidade de sucesso via seleção aleatória na mesma profundidade.

• Fórmula: $BoR = \log_2(P_{obs} / P_{rand})$
  • $P_{obs}$: A taxa de sucesso observada (fração de consultas onde a ferramenta correta está no top $K$).
  • $P_{rand}$: A probabilidade de incluir pelo menos um item relevante por acaso, calculada usando a distribuição hipergeométrica. Para consultas de ferramenta única ($R_q=1$), $P_{rand} = K/N$, onde $N$ é o tamanho do registro.
• Interpretação:
  • $BoR = 0$: O desempenho é equivalente à chance aleatória.
  • $BoR > 0$: O desempenho supera a chance aleatória.
  • Propriedade de Auto-Poda: À medida que $K$ aumenta, $P_{rand}$ aumenta. Consequentemente, o sinal de recompensa (BoR) diminui naturalmente à medida que a lista curta cresce, mesmo que $P_{obs}$ permaneça constante. Isso cria uma penalidade intrínseca para profundidade desnecessária sem exigir penalidades de profundidade projetadas.

2.2 Formulação de Aprendizado por Reforço (RL)

Os autores enquadram a seleção de $K$ como um Processo de Decisão de Markov (MDP) para testar a utilidade da métrica BoR:

• Estado: O agente observa as pontuações de similaridade das ferramentas examinadas até o momento, a profundidade atual $k_t$, o tamanho do registro $N$ e o teto do BoR.
• Ação: Decisão binária: PARAR (apresentar a lista curta atual ao LLM) ou CONTINUAR (examinar o próximo candidato).
• Recompensa:
  • Se o agente parar e a ferramenta correta estiver presente: Recompensa = $-\log_2(P_{rand})$.
  • Se a ferramenta correta não estiver presente: Recompensa = 0.
  • Um pequeno custo por etapa desencoraja a exploração desnecessária, mas não codifica uma preferência específica de profundidade.
• Agentes: O estudo utiliza agentes deliberadamente simples (DQNs e Q-learning tabular) para sondar as propriedades da métrica, em vez de propor uma arquitetura de produção.

2.3 Baselines

A abordagem BoR é comparada contra:

1. $K$-Fixo: Apresentar as top $K$ ferramentas para todas as consultas.
2. Ablação F1: Um agente RL treinado com uma recompensa baseada em F1 ($F1 = 2/(K+1)$ quando recall=1) para testar se a consciência de profundidade sozinha, sem correção de acaso, induz comportamento adaptativo.

3. Resultados Principais

A avaliação abrange três benchmarks (BFCL, MetaTool, ToolBench), múltiplos avaliadores (BM25, MiniLM, BGE) e tamanhos de registro variando de 20 a 3.251 ferramentas.

3.1 Profundidade Adaptativa vs. Profundidade Fixa

• BFCL (370 ferramentas): O agente BoR alcançou 90,3% de cobertura com uma profundidade média de $K=7,4$, quase igualando a cobertura de uma profundidade fixa de $K=50$ (90,8%) enquanto apresentava 7x menos ferramentas.
• ToolBench (3.251 ferramentas): Uma profundidade fixa de $K=5$ alcançou uma cobertura agregada maior (64,7%) do que o agente BoR (61,9%). No entanto, a baseline fixa falhou completamente em consultas "difíceis" (onde a ferramenta correta foi classificada de 6º a 20º). O agente BoR adaptou sua profundidade para $K=5,7$ nessas consultas difíceis, recuperando 16,7% dos casos que a $K$-fixa perdeu completamente.
• MetaTool: O agente BoR demonstrou sensibilidade ao tamanho do registro e à qualidade do avaliador. Com um avaliador BM25 fraco, ele expandiu a profundidade significativamente ($K=80,7$) para compensar a classificação ruim, enquanto a baseline F1 permaneceu rasa independentemente da qualidade do avaliador.

3.2 Qualidade do Avaliador e Adaptação

O sinal de recompensa BoR adapta-se à qualidade do avaliador subjacente:

• Com avaliadores de embedding fortes (MiniLM), o agente parou cedo ($K \approx 1,4$) porque a ferramenta correta apareceu no topo.
• Com avaliadores fracos (BM25 no MetaTool), o agente expandiu a busca ($K \approx 80,7$) para manter a seletividade, enquanto a baseline F1 falhou em adaptar, parando cedo e perdendo a ferramenta correta.

3.3 Validação de Escolha de Ferramenta a Jusante

Usando o Claude Sonnet 4.6 no BFCL, os autores validaram se listas mais curtas e adaptativas melhoram a capacidade do LLM de selecionar a ferramenta correta do conjunto apresentado:

• Precisão de Escolha: Quando a ferramenta correta estava presente, o Claude a selecionou 93,1% das vezes com as listas curtas do agente BoR ($K=2,2$), comparado a 87,1% com uma $K$ fixa de 5.
• Dificuldade Média: Em consultas onde a ferramenta correta foi classificada de 2º a 5º, o agente BoR melhorou a precisão de escolha para 76,8% versus 60,9% para $K$ fixa de 5.
• Conclusão: Reduzir o número de distratores (carga de distratores) melhora a precisão de tomada de decisão do LLM, mesmo que a taxa agregada de "encontrado" seja ligeiramente inferior a uma baseline de alta $K$ fixa.

4. Significado e Alegações

O artigo alega as seguintes contribuições e significados:

1. Primeira Métrica Corrigida pelo Acaso para Profundidade: Introduz o BoR como a primeira métrica especificamente projetada para avaliar a profundidade de busca na seleção de ferramentas, corrigindo a probabilidade de sucesso aleatório, um fator frequentemente ignorado em métricas de recuperação padrão.
2. Recompensa de Auto-Poda: Demonstra que o BoR fornece naturalmente um sinal de recompensa que diminui com a profundidade, permitindo que um agente RL aprenda pontos de parada ótimos sem penalidades de profundidade projetadas.
3. Eficiência Adaptativa: O estudo mostra que políticas adaptativas podem alcançar cobertura comparável a grandes listas curtas fixas, enquanto reduzem significativamente o consumo de tokens e a confusão do modelo.
4. Utilidade Diagnóstica: A métrica pode identificar avaliadores quebrados ou fracos (por exemplo, quando um agente é forçado a pesquisar todo o registro para encontrar uma ferramenta, indicando que o avaliador é ineficaz).
5. Impacto a Jusante: Fornece evidências de que a profundidade adaptativa não apenas recupera ferramentas com mais eficiência, mas também melhora a capacidade a jusante do LLM de escolher a ferramenta correta, reduzindo a carga cognitiva.

Limitações Reconhecidas:
Os autores notam que o BoR otimiza para seletividade em vez de recall máximo; portanto, baselines de $K$-fixo podem às vezes alcançar cobertura agregada maior se uma profundidade uniforme acontecer de ser suficiente para a maioria das consultas. Os agentes RL usados são sondas simples, não sistemas de produção, e a avaliação foca em se a ferramenta foi apresentada, não na correção dos argumentos de execução da ferramenta.