Quantifying the Accuracy and Cost Impact of Design Decisions in Budget-Constrained Agentic LLM Search

Este estudo apresenta uma avaliação controlada do sistema BCAS para quantificar como a profundidade de busca, a estratégia de recuperação e o orçamento de conclusão afetam a precisão e o custo em sistemas RAG agênticos com restrições orçamentárias, fornecendo diretrizes práticas para sua configuração.

O essencial

Imagine que você tem um detetive particular (o modelo de Inteligência Artificial) e um orçamento mensal limitado para pagar por ele.

O seu objetivo é fazer o detetive responder perguntas difíceis. Mas há um problema: cada vez que o detetive liga para um informante (faz uma "pesquisa" na internet) ou escreve um relatório longo (gera texto), você paga uma taxa. Se ele gastar todo o seu dinheiro em uma única ligação muito longa, ele não consegue investigar mais nada. Se ele fizer muitas ligações curtas e inúteis, também gasta o orçamento.

Este artigo é como um manual de instruções para gerenciar esse orçamento de forma inteligente. Os autores criaram um sistema chamado BCAS (que é basicamente um "gerente de finanças" para o detetive) para testar como diferentes estratégias afetam a qualidade da resposta e o custo final.

Aqui está o resumo do que eles descobriram, usando analogias do dia a dia:

1. O Problema: "Mais Inteligente" nem sempre é "Melhor"

Antes, as pessoas achavam que a única solução era usar o detetive mais inteligente e caro do mercado. Mas, na vida real, você tem um limite de dinheiro. O artigo pergunta: "Se eu tiver pouco dinheiro, o que devo fazer para obter a melhor resposta?"

2. A Descoberta Principal: A Regra dos "3 Passos"

Os pesquisadores testaram quantas vezes o detetive deveria ligar para informantes antes de dar a resposta.

• A Analogia: Imagine que você está procurando um livro em uma biblioteca gigante.
  • Se você perguntar a um bibliotecário apenas uma vez, ele pode te dar o livro errado.
  • Se você perguntar duas ou três vezes (investigando por ângulos diferentes), a chance de achar o livro certo aumenta muito.
  • O Pulo do Gato: Depois da terceira investigação, você começa a ter "retorno decrescente". Fazer a 4ª ou 5ª ligação gasta dinheiro, mas raramente traz uma informação nova que mude a resposta.
• Conclusão: É melhor fazer 3 pesquisas curtas e inteligentes do que 1 pesquisa gigante e cara.

3. O Segredo da Qualidade: "O Olho Humano" (Re-ranking)

Eles testaram diferentes formas de buscar informações.

• A Analogia: Imagine que você pede a um amigo para listar os 100 melhores restaurantes da cidade.
  • O amigo traz uma lista bagunçada (busca básica).
  • O amigo traz uma lista mista de palavras-chave e avaliações (busca híbrida).
  • Mas o verdadeiro truque é ter um segundo especialista que lê essa lista de 100 restaurantes e escolhe apenas os top 5 melhores para você.
• Conclusão: Usar uma busca inteligente e depois ter um "filtro" (chamado re-ranking) que escolhe os melhores resultados é o que mais melhora a resposta, gastando pouco dinheiro extra.

4. O Tamanho da Resposta: "Menos é Mais" (para alguns casos)

Muitas pessoas acham que dar mais espaço para o detetive escrever (mais "tokens") é sempre melhor.

• A Analogia: Se você tem um quebra-cabeça complexo (perguntas que exigem juntar várias peças de informação), você precisa de uma mesa grande para espalhar as peças e montar a imagem.
• O Pulo do Gato: Para perguntas simples, uma mesa pequena basta. Mas para perguntas complexas, se a mesa for muito pequena (orçamento de texto curto), o detetive não consegue juntar as peças e a resposta fica ruim.
• Conclusão: Aumente o espaço para escrever apenas se a pergunta for muito complexa e exigir que o detetive "pense" e junte várias informações. Para perguntas simples, economize esse dinheiro e use-o para fazer mais pesquisas.

5. O Detetive "Genial" vs. O "Aprendiz"

Eles testaram desde modelos pequenos e baratos até modelos gigantes e caros.

• A Analogia: Um detetive júnior (modelo pequeno) geralmente precisa de mais ajuda (mais pesquisas e um plano prévio) para ter sucesso. Um detetive veterano (modelo grande) já sabe o que fazer, então dar a ele um plano prévio não ajuda tanto.
• Conclusão: Se você usa um modelo pequeno e barato, invista em mais pesquisas e em um bom plano. Isso faz ele performar tão bem quanto os modelos caros, mas gastando muito menos.

Resumo Prático para o Seu Bolso

Se você fosse montar um sistema de IA hoje com orçamento limitado, o artigo diz para seguir esta ordem de prioridades:

1. Primeiro: Dê ao sistema permissão para fazer 3 pesquisas (em vez de apenas 1).
2. Segundo: Use uma busca inteligente que filtra os melhores resultados (o "olho humano").
3. Terceiro: Só aumente o tamanho da resposta final se a pergunta for realmente difícil e exigir muita explicação.

Em suma: Não gaste todo o seu dinheiro tentando fazer o detetive escrever um romance. Gaste-o fazendo o detetive investigar bem o caso antes de escrever a conclusão. É assim que se economiza dinheiro e se ganha precisão.

Resumo técnico

Resumo Técnico: Quantificando o Impacto de Precisão e Custo de Decisões de Design em Buscas Agênicas com Restrição Orçamentária

1. O Problema

Os sistemas de Geração Aumentada por Recuperação (RAG) evoluíram de pipelines estáticos para sistemas agênicos, onde Grandes Modelos de Linguagem (LLMs) planejam e executam estratégias de recuperação iterativa de forma autônoma. Embora o foco tenha sido maximizar a qualidade da recuperação e a precisão das respostas, uma dimensão crítica permanece subexplorada: as restrições de orçamento computacional.

Em implantações reais, o custo de múltiplas chamadas de API, a latência de buscas sequenciais e a sobrecarga computacional de processar muitos documentos são desafios significativos. A maioria dos estudos existentes relata melhorias de precisão com uso permissivo de ferramentas, mas poucos quantificam como decisões de design (profundidade de busca, estratégias de recuperação, limites de tokens) afetam conjuntamente a qualidade e o custo sob orçamentos fixos e restritos.

2. Metodologia

Os autores apresentam o BCAS (Budget-Constrained Agentic Search), um harness de avaliação agnóstico ao modelo projetado para medir o desempenho sob restrições explícitas de orçamento.

• Framework BCAS:

  • Gestão de Orçamento Explícita: O modelo recebe sinais sobre o orçamento restante de chamadas de busca e tokens de conclusão a cada passo.
  • Ciclo de Execução: O agente raciocina, seleciona uma ferramenta (busca ou resposta), executa, observa o resultado e atualiza o orçamento. A busca é bloqueada se o limite for atingido.
  • Componentes Modulares: Permite desligar/ligar funcionalidades como pre-planning (planejamento prévio), reflection (reflexão sobre o progresso), e diferentes estratégias de recuperação (BM25, Híbrido, Re-ranking).
  • Prompt Único: Utiliza um único template de prompt para todos os modelos, garantindo que as diferenças de desempenho reflitam a sensibilidade à estrutura compartilhada e não o ajuste fino de prompts.

• Configuração Experimental:

  • Modelos: 6 LLMs variados (o4-mini, DeepSeek V3, GPT-4.1-mini, Gemma 3 27B, Qwen 3 14B, LLaMA 3.1 8B).
  • Benchmarks: 3 conjuntos de dados de QA multi-hop: TriviaQA (fatos simples), HotpotQA (síntese multi-hop) e 2WikiMultihopQA (relações complexas).
  • Variáveis Testadas:
    • Profundidade de busca (1, 2, 3, ilimitado).
    • Limites de tokens de conclusão (500, 1K, 2K, 4K, 16K).
    • Estratégias de Recuperação: BM25, Busca Híbrida (Lexical + Densa), e Re-ranking.

3. Principais Contribuições

1. Framework BCAS: Uma ferramenta de avaliação reprodutível que expõe o consumo de orçamento (buscas e tokens) como variáveis controláveis, permitindo comparações justas sob orçamentos fixos.
2. Análise de Trade-off Precisão-Custo: Quantificação empírica de como decisões de design impactam o custo e a precisão, oferecendo diretrizes práticas para configurações de produção.
3. Descoberta de Padrões de Escalonamento: Identificação de que modelos menores podem superar modelos maiores em cenários de busca única quando recebem orçamentos de busca iterativa adequados.

4. Resultados Chave

• RQ1: Desempenho entre Tamanhos de Modelo:

  • A busca iterativa reduz a lacuna de capacidade. Modelos menores (ex: Qwen 14B) com buscas ilimitadas e planejamento superam modelos maiores (ex: o4-mini) em buscas únicas em tarefas complexas como HotpotQA.
  • Modelos menores beneficiam-se desproporcionalmente de orçamentos de busca adicionais.

• RQ2: Ajuste de Componentes (Orçamento Fixo):

  • Re-ranking Híbrido: A combinação de busca híbrida (BM25 + Vetorial) com re-ranking leve produziu o maior ganho médio de precisão (+9,29 pontos no HotpotQA).
  • Planejamento e Reflexão: Têm impacto significativo em modelos menores (ganhos de 4 a 12 pontos), mas efeitos marginais em modelos grandes (como o4-mini), que já possuem raciocínio interno robusto.
  • Hierarquia de Eficácia: Para a maioria dos modelos, melhorar a qualidade da evidência (Re-ranking) é mais eficaz do que adicionar camadas complexas de raciocínio externo.

• RQ3: Trade-off Precisão-Orçamento:

  • Profundidade de Busca: A precisão melhora consistentemente até cerca de 3 buscas, após o que os retornos diminuem (plateau).
  • Orçamento de Tokens:
    • Em HotpotQA, aumentar os tokens de 4K para 16K trouxe ganhos significativos, indicando que a tarefa é limitada pela capacidade de síntese e não apenas pela recuperação.
    • Em 2WikiMultihopQA, orçamentos de tokens restritos (500-2K) combinados com múltiplas buscas superaram configurações de busca única com muitos tokens. Isso ocorre porque orçamentos apertados forçam o modelo a fazer chamadas de ferramentas eficientes e sucintas, evitando respostas verbosas que esgotam o orçamento sem agregar informação.

• Anomalia o4-mini: O modelo o4-mini mostrou resistência a melhorias externas (planejamento/reflexão), sugerindo que seu raciocínio interno já otimiza o processo. No entanto, a reflexão ajudou em tarefas extremamente complexas (2WikiMultihopQA), permitindo revisões estratégicas.

5. Significado e Recomendações Práticas

O estudo fornece uma ordem de priorização para a alocação de orçamento em pipelines agênicos:

1. Priorizar Profundidade de Busca: Alocar orçamento para permitir múltiplas buscas (até ~3) é mais eficaz do que aumentar o tamanho da janela de geração em uma única passagem.
2. Melhorar a Qualidade da Evidência: Implementar busca híbrida com re-ranking é o segundo passo mais crítico para ganhos de precisão consistentes.
3. Expandir Tokens de Geração: Aumentar o limite de tokens de saída deve ser feito apenas se a tarefa exigir síntese complexa de múltiplas fontes (como no HotpotQA). Para tarefas de recuperação pura, orçamentos de tokens moderados (500-2K) combinados com buscas iterativas são mais eficientes.

Conclusão Geral:
O trabalho desloca o foco da otimização de "leaderboards" para a engenharia de sistemas sob restrições. Ele demonstra que, em cenários de orçamento limitado, a estratégia de "buscar mais vezes com menos tokens por vez" e "refinar a recuperação" supera a estratégia de "gerar respostas longas em uma única tentativa". O BCAS oferece a base para que desenvolvedores tomem decisões de configuração baseadas em dados reais de custo e precisão.