SubSearch: Intermediate Rewards for Unsupervised Guided Reasoning in Complex Retrieval

• Modelagem de Recompensas Intermediárias (Intrínsecas):
  O sistema calcula recompensas em cada etapa do traço de raciocínio, baseadas apenas no estado do modelo e na interação com o buscador:

  1. Recompensa de Resposta (R_answer): Métrica binária baseada na correspondência exata (EM) entre a resposta gerada e a resposta dourada (gold answer).
  2. Recompensa de Resolvibilidade da Subconsulta (R_answerability): Mede quão bem o motor de busca responde a uma subconsulta específica. É calculada como a similaridade de cosseno entre o embedding da subconsulta e os top-k documentos recuperados. Isso atua como um sinal contínuo de cobertura de informação.
  3. Recompensa de Decomposição (R_decomposition): Avalia a qualidade da divisão da consulta em sub-consultas. É composta por:
     • Cobertura Semântica: Garante que a soma das sub-consultas mantenha a mesma informação da consulta original (evita "deriva de consulta").
     • Divisibilidade (Splitability): Maximiza a relevância de cada subconsulta em relação ao pai, enquanto garante que as sub-consultas sejam mutuamente exclusivas (evita redundância).
  4. Recompensa de Formato (r_format): Penaliza violações de sintaxe (ex: tags não fechadas) para estabilizar o treinamento.

• Agregação de Recompensas:
  O SubSearch utiliza uma agregação adaptativa de recompensa residual. A recompensa final ($r$) combina a recompensa de resposta com as recompensas intermediárias ponderadas por um fator $\beta$ que se adapta durante o treinamento. Se o modelo falha em obter a resposta correta, a recompensa intermediária ganha mais peso para guiar o raciocínio; se acerta, o foco retorna à recompensa de resultado.
  $$r = R_{answer} + \beta_t \cdot r_{intermediate} \cdot (1 - R_{answer})$$

• Algoritmo de Treinamento:
  O modelo é treinado usando Otimização de Política Relativa em Grupo (GRPO), uma variante eficiente do PPO que não requer um modelo de valor (critic) separado, utilizando apenas uma referência de política para regular a divergência KL.

3. Contribuições Chave

1. Recompensas Intrínsecas de Processo: Propõe um método que deriva sinais de recompensa para etapas intermediárias diretamente do estado do modelo e da qualidade da recuperação, eliminando a necessidade de modelos de recompensa externos ou anotação humana cara.
2. Framework de Decomposição Dinâmica: Introduz um template que incentiva a decomposição paralela e sequencial de consultas, permitindo que o agente adapte sua estratégia de busca à complexidade da pergunta.
3. Eficiência de Dados: Demonstra que é possível treinar agentes de raciocínio robustos sem dados de trajetórias de raciocínio anotados (SFT), superando métodos que dependem de supervisioned fine-tuning (SFT) em conjuntos de dados específicos.
4. Agregação Adaptativa: Desenvolve um mecanismo de agregação de recompensas que equilibra a exploração de passos intermediários com a exploração da resposta final, evitando que o modelo ignore passos críticos apenas para chegar a uma resposta adivinhada.

4. Resultados Experimentais

Os experimentos foram conduzidos em 7 benchmarks (incluindo Natural Questions, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, MuSiQue e Bamboogle), comparando o SubSearch com métodos de inferência direta, RAG, SFT e outros agentes baseados em RL (como Search-R1, ZeroSearch, R-Search).

• Desempenho Geral: O SubSearch superou consistentemente outros agentes baseados em RL sem SFT (SFT-Free) em tarefas de QA simples e multi-hop.
• Ganhos Significativos:
  • Em HotpotQA: +6.5 pontos EM sobre o Search-R1-base.
  • Em 2WikiMultiHopQA: +7.7 pontos EM.
  • Em Bamboogle: +13.5 pontos EM (ganho substancial, indicando melhor navegação em raciocínio complexo).
• Comparação com SFT: O SubSearch alcançou desempenho competitivo (e em alguns casos superior) em relação a métodos que utilizam SFT com dados anotados (como InForage e O2-Searcher), demonstrando que o design de recompensas intrínsecas é uma alternativa escalável e eficiente em dados.
• Ablação:
  • A decomposição de consultas por si só já trouxe melhorias, mas a adição de recompensas intermediárias (resolvibilidade e decomposição) foi crucial para o ganho final, especialmente em datasets com estrutura composicional.
  • A função de agregação adaptativa mostrou-se superior a somas ponderadas simples, pois evita punir traços de raciocínio que contêm passos intermediários úteis, mesmo que a resposta final inicial esteja errada.

5. Significado e Conclusão

O SubSearch representa um avanço significativo na direção de raciocínio intensivo em informação autônomo. Ao substituir a supervisão externa cara por sinais intrínsecos derivados da própria interação do agente com o motor de busca, o trabalho:

• Reduz a barreira de entrada para o treinamento de agentes de raciocínio complexos.
• Mitiga o problema de "hacking de recompensa" ao incentivar a qualidade de cada passo do raciocínio, não apenas o resultado final.
• Oferece uma alternativa viável e eficiente em dados ao Supervised Fine-Tuning (SFT) para tarefas de recuperação e raciocínio.

O trabalho sugere que a otimização direta do gerador com recompensas de processo intrínsecas é uma via promissora para construir agentes de IA capazes de integrar motores de busca de forma mais robusta e inteligente para responder a consultas complexas do mundo real.