Resumo Técnico: Controle de Orçamento no Tempo de Inferência para Agentes de Busca com LLM

1. Formulação do Problema

O artigo aborda o desafio de implantar agentes de busca com Modelos de Linguagem de Grande Escala (LLM) sob orçamentos duplos explícitos e rígidos: um limite de chamadas de ferramentas ($B_{tool}$) e um limite de tokens de saída ($B_{tok}$). Embora trabalhos anteriores tenham explorado a escalabilidade no tempo de teste por meio de amostragem repetida ou auto-refinamento, essas abordagens frequentemente tratam a computação como um recurso apenas de tokens. Para agentes de busca, no entanto, um orçamento extra pode levar a recuperações redundantes, ramificações desperdiçadas e crescimento frágil do contexto se não for gerenciado explicitamente.

O problema central é formulado como um problema de controle no tempo de inferência em dois estágios:

1. Alocação de Ações no Tempo de Busca: Em cada etapa, o agente deve decidir como alocar o orçamento duplo restante entre ações heterogêneas: recuperar evidências (BUSCAR), decompor a pergunta (DECOMPOR) ou comprometer-se com uma resposta (RESPOSTA). Essas ações diferem em custo e retorno potencial, e a escolha ótima depende do estado atual das evidências e do orçamento restante.
2. Finalização no Tempo de Resposta: Após o término da busca, o agente deve decidir se mantém a resposta base da trajetória ($a_{base}$) ou a substitui por um candidato refinado ($a_{ref}$). Essa decisão deve equilibrar o ganho potencial em exatidão contra o risco de "dano de intervenção"—apagar estruturas de ponte corretas ou alterar semânticas comparativas por meio de reescritas desnecessárias.

O objetivo é maximizar a recompensa esperada $E[R(\hat{a}, y)]$ sujeita às restrições de orçamento duplo e a uma restrição sobre o dano esperado da substituição da resposta ($E[L_{harm}] \leq \rho_{harm}$).

2. Metodologia

O método proposto, VOI (Valor da Informação), é um controlador sem treinamento e em dois estágios construído sobre uma espinha dorsal genérica de busca em árvore (inspirada no BAVT).

Estágio 1: Alocação de Orçamento no Tempo de Busca

O controlador seleciona a próxima ação pontuando opções viáveis usando uma pontuação VOI no Nível da Tarefa. Essa pontuação é uma estimativa operacional do valor marginal da tarefa por unidade de orçamento, distinta do ganho de informação de Shannon ou de modelos de valor aprendidos.

• Construção de Utilidade: Para cada ação $k$, uma utilidade no nível da tarefa $u_t(k)$ é calculada como:
  $$u_t(k) = \hat{\Delta}_t(k) + \Psi_t(k) - \Pi_t(k; b_t)$$
  • $\hat{\Delta}_t(k)$: Um sinal de progresso derivado de um crítico.
  • $\Psi_t(k)$: Sinais estruturais (por exemplo, estrutura de ponte, pressão de loop, prontidão).
  • $\Pi_t(k; b_t)$: Um termo de penalidade dependente do orçamento que aumenta para ações BUSCAR e DECOMPOR quando o orçamento restante é apertado, atuando como um proxy para o custo sombra do oráculo.
• Normalização e Guardas: A utilidade é normalizada por uma escala de orçamento específica da ação para produzir a pontuação VOI $r_t(k)$. Um operador de guarda determinístico $G_t$ ajusta então essa pontuação para impor comportamentos conservadores (por exemplo, suprimir respostas prematuras, impor busca mínima para perguntas composicionais).
• Seleção: A ação com a maior pontuação executável guardada é selecionada e executada.

Estágio 2: Finalização no Tempo de Resposta

Uma vez concluída a busca, um finalizador seletivo e fundamentado em evidências avalia se deve reescrever a resposta.

• Compromisso Ganho-Risco: O finalizador compara a resposta base $a_{base}$ e um candidato refinado $a_{ref}$ (construído a partir da mesma trajetória). Ele intervém apenas se o ganho esperado de exatidão superar o risco de danificar a resposta.
• Conjunto Seguro ($S_{safe}$): A reescrita é restrita a cenários de baixo risco, como corrigir polaridade sim/não, escolhas binárias, incompatibilidades de slots tipados ou completar factoides suportados.
• Abstenção: O sistema absteve-se de reescrever se a trajetória contiver estruturas de ponte não resolvidas, semânticas comparativas ou suporte direto ausente, pois a reescrita agressiva nesses casos frequentemente prejudica a correção.
• Zero-Overhead: Este estágio não adiciona novas chamadas de ferramentas ou chamadas de inferência de LLM; é uma política de seleção determinística sobre candidatos existentes.

3. Contribuições Principais

1. Formulação em Dois Estágios: O artigo formaliza a inferência consciente de orçamento em agentes de busca com LLM como um problema acoplado de alocação de ações no tempo de busca e finalização de resposta controlada por risco sob orçamentos duplos rígidos.
2. Controle VOI no Nível da Tarefa: Introduz um pontuador sem treinamento que classifica ações com base no valor marginal estimado da tarefa por unidade de orçamento, incorporando penalidades dependentes do orçamento e sinais estruturais sem aprender um modelo de valor.
3. Finalização Controlada por Risco: Propõe um seletor de resposta conservador que intervém apenas para erros locais de forma de resposta, evitando explicitamente a destruição de caminhos corretos de raciocínio multi-hop.
4. Validação Empírica: O método é avaliado em quatro benchmarks de QA multi-hop (HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle), três backbones de LLM (Qwen3-32B, Qwen3.5-122B, GPT-5.4-Mini) e quatro níveis de orçamento sob uma auditoria de orçamento rígido e compartilhado.

4. Resultados Experimentais

• Ganhos Agregados: O VOI produz ganhos agregados positivos sobre quatro baselines auditadas (BAVT, BATS, AFlow, Search-o1) em todas as configurações testadas. No Qwen3-32B, alcança o melhor F1 em 7 de 16 células de conjunto de dados-orçamento e empatia pelo melhor em outras 2, superando as baselines em 14/16, 10/16, 16/16 e 15/16 células, respectivamente.
• Sensibilidade ao Orçamento: As melhorias mais significativas ocorrem em regimes de orçamento baixo e médio-baixo, onde a alocação cuidadosa de ações é crítica para evitar esgotar recursos em ações de baixo rendimento.
• Ablação de Componentes:
  • Controle no Tempo de Busca: A remoção do termo de penalidade dependente do orçamento causa a maior queda de desempenho, confirmando que a alocação de ações consciente do orçamento é o principal motor dos ganhos.
  • Finalização: O Estágio 2 (finalização) fornece ganhos significativos (até 41,9% do ganho total no MuSiQue) principalmente quando a trajetória de busca é adequada, mas contém erros locais de forma de resposta. Contribui menos em conjuntos de dados onde os erros são estruturais (por exemplo, MuSiQue).
• Eficiência: O controlador VOI reduz o tempo médio de inferência em 27,2% em média em comparação com o BAVT, pois evita operações de baixo valor que, de outra forma, consumiriam o orçamento.

5. Significado e Alegações

O artigo afirma que o controle de orçamento no tempo de inferência é essencial para agentes de busca com LLM, governando tanto como o orçamento é gasto durante a busca quanto como a resposta final é comprometida.

• Escalabilidade Não Monotônica: Os resultados demonstram que orçamentos maiores nem sempre produzem melhores respostas; sem controle explícito, orçamentos aumentados podem levar a buscas redundantes e finalização mais ruidosa.
• Condições de Fronteira: A eficácia do método não é uniforme. Mostra retornos decrescentes em backbones mais fortes (por exemplo, Qwen3.5-122B) e em regimes de alto orçamento, onde baselines como o BATS permanecem competitivas.
• Segurança e Implantabilidade: Ao modelar explicitamente o risco de substituição de resposta e impor auditorias de orçamento rígidas, a abordagem torna o comportamento do agente mais previsível e inspecionável, o que é crucial para implantação em ambientes com restrições de custo ou sensíveis à latência.

Os autores enfatizam que seu método não reivindica otimalidade global da árvore de busca, mas sim fornece um mecanismo de controle local e no nível de decisão que melhora significativamente o desempenho sob restrições rigorosas de recursos.