Rethinking On-policy Optimization for Query Augmentation

1. O Problema

A melhoria da eficácia da recuperação de informações (IR) frequentemente exige a reformulação ou expansão de consultas (queries). Em cenários do mundo real onde o recuperador (retriever) não pode ser modificado (ex.: APIs de serviços proprietários ou sistemas de busca fechados), a melhoria deve vir do lado da consulta.

Existem duas abordagens principais baseadas em Grandes Modelos de Linguagem (LLMs) para essa tarefa, mas elas não foram comparadas sistematicamente sob condições experimentais consistentes:

1. Abordagem Baseada em Prompting (Zero-shot/Few-shot): O LLM gera um "pseudo-documento" ou expande a consulta diretamente usando seu conhecimento paramétrico (ex.: HyDE, Query2Doc). É simples e não requer treinamento, mas pode introduzir termos espúrios e não é otimizado explicitamente para métricas de recuperação.
2. Abordagem Baseada em Aprendizado por Reforço (RL): O modelo é ajustado (fine-tuned) para reescrever consultas diretamente, otimizando métricas de recuperação (como Recall ou NDCG) através de recompensas. Embora promissor (ex.: DeepRetrieval), é computacionalmente caro, depende de dados rotulados e sua eficácia em comparação com o prompting simples é incerta.

O artigo questiona: Em condições de comparação conscientes do custo computacional, quando a geração de pseudo-documentos sem treinamento é suficiente e quando a otimização on-policy oferece benefícios reais?

2. Metodologia

Os autores realizaram uma comparação empírica rigorosa entre métodos de prompting e métodos baseados em RL, seguida pela proposta de um método híbrido.

• Configuração Experimental:

  • Benchmarks: Avaliação em tarefas de busca de evidências (evidence-seeking), recuperação ad hoc e recuperação de ferramentas (tool retrieval).
  • Recuperadores: Uso de recuperadores esparsos (BM25) e densos (E5-base-v2, Contriever).
  • Comparação de Custo Computacional: Para garantir uma comparação justa, os autores alocaram mais recursos de inferência para o método de prompting (usando LLMs maiores, como GPT-4o-mini e modelos de 32B/120B) para equilibrar o custo de treinamento pesado exigido pelo RL (que usa modelos menores, 3B/7B, mas com múltiplos GPUs para treinamento).
  • Baselines: Comparação entre o método de RL DeepRetrieval (que reescreve a consulta diretamente) e uma linha de base simples de prompting chamada SPQE (Simple Pseudo-document Query Expansion), que gera um documento hipotético para expandir a consulta.

• Proposta Híbrida (OPQE):

  • Os autores propõem o On-policy Pseudo-document Query Expansion (OPQE).
  • Inovação: Em vez de instruir a política do RL a reescrever a consulta original ($q \to q'$), a política é treinada para gerar um pseudo-documento ($d_H$) que é concatenado à consulta original.
  • Mecanismo: O modelo aprende a gerar documentos que maximizam a recompensa de recuperação, combinando a estrutura generativa flexível do prompting com a otimização direcionada do RL.

3. Principais Contribuições

1. Comparação Sistemática: Primeira avaliação abrangente comparando métodos de prompting zero-shot contra otimização on-policy (RL) em diversos cenários de IR.
2. Descoberta Chave: Sob uma configuração consciente do custo computacional, métodos simples de prompting (especialmente com LLMs poderosos) frequentemente igualam ou superam métodos baseados em RL mais complexos e caros. O RL mostra ganhos inconsistentes, dependendo fortemente do tipo de recuperador (esparsos vs. densos) e da tarefa.
3. Novo Método Híbrido (OPQE): Introdução de uma abordagem que aplica otimização on-policy à geração de pseudo-documentos, e não à reescrita direta da consulta. Isso resulta no melhor desempenho geral, superando tanto o prompting puro quanto o RL de reescrita direta.

4. Resultados e Análise

• Prompting vs. RL (DeepRetrieval):

  • Recuperadores Esparsos (BM25): O método de prompting (SPQE) foi consistentemente o melhor, superando o RL. O RL às vezes até degradou o desempenho em recuperadores densos.
  • Recuperadores Densos: O RL mostrou-se mais competitivo em alguns casos, mas o prompting com LLMs grandes (como GPT-4o-mini) ainda manteve desempenho superior ou equivalente.
  • Recuperação de Ferramentas (Tool Retrieval): O RL melhorou a completude em recuperadores esparsos, mas falhou em recuperadores densos. O SPQE foi robusto em ambos.
  • Ranking Geral: O SPQE alcançou o melhor ranking geral (Borda rank 1), enquanto os modelos RL (DR-3B e DR-7B) ficaram atrás.

• Desempenho do OPQE (Método Híbrido):

  • O OPQE superou tanto o SPQE quanto o DeepRetrieval em quase todos os cenários.
  • Densidade: No cenário de recuperação densa, o OPQE-7B alcançou a melhor pontuação média (58.1 em ad hoc), superando o DR-7B (57.5) e o SPQE (56.6).
  • Esparsidade: O OPQE foi altamente competitivo, fechando a lacuna com o SPQE e superando o DR-7B.
  • Análise de Treinamento: As curvas de recompensa mostraram que o OPQE começa com uma "base quente" (warm start) superior devido ao conhecimento interno do LLM (pseudo-documentos de alta qualidade), enquanto o RL padrão precisa aprender do zero. O OPQE também alinha melhor o processo de aprendizado com a natureza simétrica de documentos-para-documentos dos recuperadores densos.

5. Significado e Conclusão

O trabalho desafia a suposição de que o treinamento por RL é sempre necessário ou superior para a expansão de consultas.

• Eficiência de Recursos: Em muitos casos, usar um LLM grande em modo zero-shot (prompting) é mais eficiente e eficaz do que treinar um modelo menor com RL.
• Sinergia: A melhor estratégia não é escolher entre prompting ou RL, mas sim combiná-los. Usar a estrutura de geração de pseudo-documentos do prompting como base para a otimização on-policy (OPQE) permite que o modelo refine seu conhecimento interno para maximizar métricas de recuperação específicas.
• Implicações Práticas: Para sistemas onde o treinamento de RL é inviável (devido a custos ou mudanças frequentes de domínio), o prompting robusto é uma linha de base forte. Quando o treinamento é possível, a reformulação da tarefa para geração de pseudo-documentos (OPQE) oferece o estado da arte.

O código e a implementação do OPQE foram disponibilizados como open source para facilitar a reprodutibilidade.