Resumo Técnico: RECON (Reasoning with Condensation)

Problema

Agentes de busca treinados por Aprendizado por Reforço (RL) operam por meio de um loop de Raciocínio Integrado a Ferramentas (TIR) de múltiplos turnos. Neste paradigma, um agente intercala spans de raciocínio com chamadas de ferramentas (ex: consultas de busca), anexando observações brutas do ambiente (passagens recuperadas, páginas da web) literalmente ao seu contexto após cada turno. Embora eficaz para tarefas que exigem muito conhecimento, esse mecanismo leva a problemas significos de escalabilidade e desempenho:

1. Inflação de Contexto: Observações brutas são frequentemente verbosas, redundantes ou vagamente relevantes. À medida que o rollout avança, o contexto cresce linearmente com o número de turnos, inflando os custos de tokens e a latência.
2. Diluição de Sinal: O acúmulo de informações ruidosas e irrelevantes enfraquece o raciocínio subsequente, aumentando o risco de alucinação e degradando a precisão.
3. Instabilidade de Treinamento: Ao contrário do RAG (Geração Aumentada por Recuperação) de passagem única, onde a compressão de contexto é um passo de pós-processamento único, o cenário de RL de múltiplos turnos exige compressão em cada etapa de observação. Métodos existentes falham em satisfazer as restrições específicas deste cenário:
   • Operação por etapa: A compressão deve ocorrer em cada chamada de ferramenta, não apenas uma vez.
   • Desacoplamento: O compressor deve permanecer congelado durante a otimização da política de RL; a otimização conjunta do compressor e da política desestabiliza o treinamento de PPO (Otimização de Política Próxima).
   • Saída Abstrativa: A saída comprimida deve ser legível por humanos e abstrativa para manter um traço de raciocínio auditável, ao contrário da compressão de vetores latentes ou poda de tokens rígida.

Metodologia: RECON

Os autores introduzem o RECON (Reasoning with Condensation), um framework que insere um compressor de observação dedicado e congelado no loop de raciocínio do agente de busca. O sistema é instanciado dentro do pipeline Search-R1.

Arquitetura

O RECON situa-se entre a ferramenta de busca e o agente. Em vez de alimentar documentos recuperados brutos diretamente ao agente, cada observação recuperada é roteada através de um sumarizador aprendido. O sumarizador condensa a informação em um resumo conciso e focado na consulta antes da reinjeção no contexto do agente.

Currículo de Treinamento

O sumarizador (um modelo leve de 3B) é treinado via um currículo de dois estágios e permanece congelado durante o treinamento de RL do agente:

1. Estágio 1: Pré-treinamento de Relevância:

   • Objetivo: Equipar o modelo com a capacidade de discriminar passagens úteis de irrelevantes.
   • Dados: Dataset de QA MS MARCO.
   • Tarefa: Classificação binária para identificar a passagem relevante de verdade entre candidatos para uma determinada consulta.
   • Significância: Este estágio fornece um prior de relevância forte. Estudos de ablação mostram que remover este estágio faz com que o agente de 7B colapse durante o treinamento de RL.

2. Estágio 2: Destilação Multi-Aspecto:

   • Objetivo: Alinhar o sumarizador com propriedades de sumarização de alta qualidade e preferidas por humanos.
   • Dados: Destilados do GPT-4o-mini usando consultas semente de NQ e HotpotQA.
   • Aspectos: O modelo é treinado para gerar resumos otimizando seis aspectos específicos: Correção Factual, Completude, Cobertura, Coerência, Clareza e Logística.
   • Implementação: Os autores utilizam o aspecto de Clareza para os experimentos, pois ele gera os resumos mais curtos (média de 581 caracteres) enquanto preserva fatos importantes, reduzindo efetivamente a distração.

Integração com Search-R1

• Treinamento: O agente é treinado usando PPO. O sumarizador está congelado. Devido à redução do comprimento do contexto por turno, os autores aumentaram o orçamento de recuperação (de 3 para 5 passagens) e o orçamento máximo de turnos (de 3 para 5 turnos) sem exceder os limites originais de contexto.
• Inferência: O sumarizador é invocado uma vez por etapa de recuperação. O pipeline sobrepõe a inferência do sumarizador com a chamada de busca para minimizar o overhead de latência.

Principais Contribuições

1. Definição de Restrições de Design: O artigo articula as restrições únicas para a compressão de observação em agentes de busca treinados por RL (por chamada de ferramenta, congelado durante o RL, abstrativo) e demonstra que satisfazê-las não é trivial (especificamente, a necessidade do estágio de pré-treinamento de relevância).
2. Framework Plug-and-Play: O RECON é implementado como um componente modular para o Search-R1. O currículo de dois estágios produz um compressor de 3B reutilizável que suporta diferentes aspectos de sumarização sem necessidade de retreinamento.
3. Validação Empírica: O framework é avaliado em sete benchmarks de QA, demonstrando melhorias tanto em eficiência quanto em precisão.

Resultados

Avaliado em backbones Qwen2.5-3B e Qwen2.5-7B através de sete datasets (incluindo Natural Questions, HotpotQA, 2WikiMultihopQA, etc.):

• Precisão:
  • Agente 3B: A média de Correspondência Exata (EM) melhorou em 14,5% (0,303 $\to$ 0,347).
  • Agente 7B: A média de EM melhorou em 3,0% (0,431 $\to$ 0,444).
  • QA Multi-hop: Os maiores ganhos foram observados em tarefas multi-hop (HotpotQA, 2Wiki, Musique, Bamboogle), onde reconciliar evidências através de múltiplos turnos é crítico.
• Eficiência:
  • Comprimento de Contexto: Reduzido em 35% em média.
  • Velocidade de Treinamento: Melhorou em 5,4% (13,9 horas vs. 14,7 horas para 500 passos em 3B).
  • Latência de Inferência: Reduzida em 30,9% em tempo de relógio (wall-clock time).
  • Turnos: O agente exigiu menos chamadas de ferramenta para chegar a uma resposta devido ao contexto mais limpo.

Achados de Ablação:

• Remover o Estágio 1 (Pré-treinamento de Relevância) e depender apenas da destilação do Estágio 2 causou o colapso do treinamento do agente de 7B e reduziu o desempenho do agente de 3B abaixo do baseline.
• Usar um backbone ajustado para instrução (Qwen2.5-3B-Instruct) também rendeu melhorias consistentes, embora menores.

Significância e Limitações

Significância:
O artigo estabelece a compressão de observação aprendida como um componente chave para construir agentes de busca práticos e escaláveis treinados por RL. Ao desacoplar o compressor da política e treiná-lo via um currículo específico, o RECON resolve o problema de "explosão de contexto" inerente aos loops de TIR de múltiplos turnos. Os autores argumentam que, à medida que os agentes de busca se movem em direção a tarefas de horizonte longo (ex: navegação web, descoberta científica), a compressão de observação transita de uma otimização útil para uma necessidade prática.

Limitações e Alegações Modestas:

• Escopo da Métrica: A métrica primária é a Correspondência Exata (EM), que não captura explicitamente a fidelidade da resposta ou taxas de alucinação. Os autores reconhecem isso e observam que uma auditoria manual de 100 amostras revelou uma taxa de perda de informação de 14% (ex: entidades nomeadas omitidas, detalhes temporais/numéricos perdidos), embora a capacidade do agente de emitir chamadas de acompanhamento mitigue parcialmente isso.
• Escopo do Baseline: A comparação é feita principalmente contra o Search-R1 e baselines padrão. Os autores não comparam diretamente com métodos de compressão de passagem única (como RECOMP ou LLMLingua) porque adaptar esses métodos para o cenário de RL por chamada de ferramenta e congelado é uma questão de pesquisa não trivial por si só.
• Escalabilidade: Os ganhos são mais pronunciados no agente de 3B do que no de 7B. Os autores sugerem que políticas maiores podem tolerar melhor o ruído, ou que o sumarizador de 3B pode ter capacidade limitada em relação a uma política de 7B+. Se o RECON escala para agentes de 13B/70B permanece uma questão aberta.
• Viés de Destilação: O sumarizador é destilado do GPT-4o-mini, herdando potenciais vieses ou erros factuais do modelo professor.

Os autores concluem que o RECON fornece uma abordagem concreta e modular para a compressão de observação, sendo necessário trabalho futuro para estendê-lo a ecossistemas de ferramentas mais ricos e ambientes mais diversos.