Resumo Técnico: Controle Adaptativo de Informação para Raciocínio de LLM Aumentado por Busca

Declaração do Problema

Agentes de raciocínio aumentados por busca, que intercalam o raciocínio de múltiplos passos com a recuperação externa, enfrentam um gargalo crítico: a aquisição descontrolada de informação. Embora as abordagens existentes dependam de aprendizado por reforço (RL) baseado em resultados utilizando recompensas terminais esparsas (ex: correção da resposta final), essa supervisão oferece orientação limitada para decisões intermediárias sobre quando recuperar, quanto recuperar e em qual granularidade expor a evidência.

Consequentemente, os agentes exibem comportamentos subótimos:

1. Sobre-recuperação (Over-retrieval): Acúmulo de evidências redundantes ou ruidosas, levando à saturação do contexto e à degradação da qualidade da decisão.
2. Interrupção Prematura (Premature Stopping): Terminar a busca precocemente quando evidências adicionais seriam benéficas.
3. Instabilidade de Treinamento: Recompensas esparsas tornam a otimização sensível a erros em trajetórias de raciocínio longas, particularmente ao partir de modelos base mais fracos.

Métodos atuais tipicamente abordam a qualidade da recuperação, o comportamento de parada ou a expansão de evidência de forma isolada, falhando em tratar a aquisição de informação como um problema de controle unificado sob RL.

Metodologia: DEEPCONTROL

Os autores propõem o DEEPCONTROL, um framework de controle de informação adaptativo que regula a aquisição de informação através de dois eixos complementares: extensão (se deve continuar a recuperação) e resolução (quanta detalhe expor). O framework opera durante o treinamento de RL online e é projetado para ser internalizado pela política para operação autônoma no tempo de teste.

1. Utilidade da Informação

O núcleo do framework é a Utilidade da Informação, uma estimativa dependente do estado do valor marginal da evidência recuperada. Ela combina duas métricas:

• Novidade: Mede o grau de sobreposição entre os nós folha recém-recuperados e a evidência recuperada anteriormente (calculado via similaridade semântica em um espaço de embedding compartilhado).
• Efetividade: Mede a melhoria na probabilidade do modelo gerar a resposta correta após a injeção de nova evidência.
  A utilidade $U(e_l)$ para um passo de busca $l$ é definida como:
  $$U(e_l) = \rho \cdot \text{Novidade}(e_l | s_{t_l}) + (1 - \rho) \cdot \text{Efetividade}(e_l | u, s_{t_l})$$
  onde $\rho$ equilibra os dois componentes. Esta utilidade serve como um sinal de treinamento intermediário denso, contrastando com as recompensas de resultado esparsas.

2. Mecanismos de Controle de Eixo Duplo

O framework implementa o controle através de dois mecanismos específicos guiados pelo sinal de utilidade:

• Controle de Granularidade (Resolução):
  Em vez de injetar passagens brutas e de comprimento total, o sistema utiliza uma estratégia de expansão seletiva hierárquica. As fontes recuperadas são modeladas como árvores (ex: Documento $\to$ Seção $\to$ Parágrafo). O agente recebe inicialmente apenas resumos de nível raiz. Ele então realiza ações explícitas de expandir para revelar conteúdo de granularidade mais fina. Durante o treinamento, o controlador identifica nós folha de alta utilidade e rastreia seus ancestrais para gerar conjuntos de expansão alvo, supervisionando o modelo para priorizar evidências de alto valor enquanto limita o crescimento do contexto.

• Controle de Continuidade de Busca (Extensão):
  O sistema intervém na decisão do agente de parar ou continuar a busca com base em limiares de utilidade:

  • Terminação: Se a utilidade permanecer abaixo de um limiar $\delta_{stop}$ por $m_{stop}$ passos consecutivos, um sinal de "Parar busca" é injetado.
  • Continuação: Se a utilidade permanecer alta ($\ge \delta_{cont}$) mas o agente tentar terminar enquanto sua confiança na resposta correta é baixa, um sinal de "Continuar busca" é injetado.

3. RL de Forçamento de Controle com Recozimento (Annealed Control-Forcing)

Para garantir que a política internalize esses comportamentos em vez de depender de intervenção externa no tempo de teste, o DEEPCONTROL emprega um esquema de forçamento de controle com recozimento:

• Modos de Rollout: Durante o treinamento, o agente alterna entre um modo "Controlado" (onde o controlador injeta sinais) e um modo "Autônomo" (onde o agente age sozinho).
• Currículo: A probabilidade do modo controlado ($p$) é reduzida gradualmente (recozida) ao longo das épocas de treinamento. O início do treinamento utiliza controle frequente para estabilizar o aprendizado e guiar a exploração; as fases posteriores reduzem o controle, forçando a política a internalizar comportamentos eficazes de aquisição.
• Design de Recompensa: Uma recompensa composta combina um score F1 baseado em resultado com penalidades por violações de uso de ferramentas e não conformidade com o controle, garantindo que o agente aprenda a seguir os sinais de controle durante a fase de treinamento.

Principais Contribuições

1. Utilidade da Informação: Uma medida inovadora e dependente do estado do valor marginal da evidência recuperada que combina novidade e efetividade, servindo como um sinal prático para controle intermediário.
2. Framework de Controle Unificado: A introdução de dois mecanismos de controle complementares — controle de continuidade de recuperação (regulando a extensão) e controle de granularidade (regulando a resolução) — tratados como um problema unificado sob RL.
3. Internalização por Recozimento: Uma estratégia de treinamento que remove gradualmente o controle externo, permitindo que a política internalize comportamentos eficazes de aquisição de informação para um desempenho confiável no tempo de teste sem intervenção externa.

Resultados Experimentais

Os autores avaliaram o DEEPCONTROL em sete benchmarks cobrindo QA Geral (NQ, TriviaQA, PopQA) e QA Multi-hop (HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle) usando os modelos Qwen2.5-3B e Qwen2.5-7B.

• Ganhos de Desempenho: O DEEPCONTROL superou consistentemente as bases fortes, incluindo o Search-R1 (um método de RL aumentado por busca de última geração).
  • No Qwen2.5-7B, ele melhorou a média de Exact Match (EM) em +9.4 pontos sobre o Search-R1.
  • No Qwen2.5-3B, ele melhorou a média de EM em +8.6 pontos.
• Estabilidade de Treinamento: O framework demonstrou recompensas e estabilidade de treinamento superiores em comparação com PPO e GRPO vanilla, particularmente ao prevenir o colapso de recompensa e a degeneração de formato de ação.
• Melhorias Comportamentais: A análise mostrou redução nos erros de "recuperação insuficiente" e "evidência de suporte ausente". O agente aprendeu a adaptar sua profundidade de busca à dificuldade da tarefa (ex: menos passos para QA simples, mais para multi-hop).
• Robustez: O método permaneceu eficaz quando o recuperador subjacente foi alterado de E5 (denso) para BM25 (esparso), indicando que o mecanismo de controle não está vinculado a um backend de recuperação específico.

Significância e Alegações

O artigo afirma que o controle adaptativo de informação é um componente crítico e anteriormente pouco abordado na pesquisa aumentada por busca. Os autores argumentam que simplesmente melhorar a qualidade da recuperação ou a capacidade de raciocínio é insuficiente se o agente não conseguir regular efetivamente como e quando consome a informação.

Ao formular a aquisição de informação como um problema de controle regulado pela utilidade, o DEEPCONTROL aborda os problemas de "saturação de contexto" e "evidência redundante" que assolam os agentes atuais. O trabalho demonstra que o controle explícito e adaptativo durante o treinamento — especificamente através do recozimento dos sinais de controle — permite que os modelos internalizem estratégias de busca sofisticadas, levando a ganhos significativos em precisão de raciocínio e estabilidade de treinamento sem a necessidade de controle externo no tempo de inferência. Os autores posicionam isso como um passo em direção a agentes mais robustos e eficientes em recursos, capazes de operar em ambientes de informação complexos.