Document Optimization for Black-Box Retrieval via Reinforcement Learning

1. O Problema

A expansão de documentos é uma técnica clássica para melhorar a qualidade da recuperação de informações (retrieval), permitindo que o processamento seja feito offline antes da indexação. No entanto, a aplicação direta dessa técnica em retrievers modernos (baseados em redes neurais) frequentemente degrada o desempenho. A expansão ingênua tende a introduzir ruído que ofusca o sinal discriminativo necessário para a correspondência semântica, em vez de melhorá-lo.

O desafio central é que o objetivo de otimização é definido sobre texto discreto, e a qualidade de uma reescrita só é revelada através do seu comportamento downstream (como ela afeta a classificação na recuperação). Além disso, muitas vezes não se tem acesso aos gradientes ou aos pesos internos do sistema de recuperação (cenário black-box), o que impede o uso de métodos de ajuste padrão baseados em gradiente.

2. Metodologia

Os autores redefinem a expansão de documentos como um problema de otimização de documentos, utilizando Aprendizado por Reforço (RL) para aprender transformações que alinhem melhor os documentos à distribuição esperada de consultas sob um retriever específico.

• Formulação como RL: Um modelo de linguagem (LM) ou modelo de linguagem-vision (VLM) instruído atua como uma política ($\pi$). A política recebe um documento original $d$ e gera uma transformação candidata $\tilde{d}$ (que pode ser uma expansão, compressão, reestruturação ou reescrita).
• Recompensa Contrafactual: Para avaliar uma transformação, o método calcula o impacto no desempenho de recuperação se o documento original fosse substituído pelo transformado, mantendo o restante da coleção fixo.
  • A recompensa é baseada na variação do nDCG@k (Normalized Discounted Cumulative Gain).
  • A fórmula considera ganhos para consultas relevantes ($Q^+$) e penalidades para consultas irrelevantes ($Q^-$).
  • Isso isola o efeito da transformação na classificação, incentivando o modelo a melhorar o ranking para consultas corretas e suprimir correspondências espúrias.
• Otimização (GRPO): O treinamento utiliza Group Relative Policy Optimization (GRPO). Para cada documento, a política amostra um grupo de candidatos, calcula as vantagens relativas entre eles e atualiza a política. Isso elimina a necessidade de uma função de valor explícita, reduzindo a variância.
• Acesso Black-Box: O método requer apenas acesso às classificações (ranks) do retriever, não necessitando de acesso aos seus pesos internos ou gradientes. Isso o torna aplicável a retrievers de vetor único, multi-vetor e lexicais (como BM25).

3. Principais Contribuições

1. Mudança de Paradigma: Transição da "expansão de documentos" (adicionar termos) para "otimização de documentos" (transformar o documento em um surrogate orientado à recuperação, que pode ser mais curto ou reestruturado).
2. Framework Black-Box: Desenvolvimento de um método que melhora retrievers proprietários (como os da OpenAI) sem acesso aos seus parâmetros, usando apenas o sinal de ranking.
3. Versatilidade: O método é agnóstico à arquitetura do retriever, funcionando eficazmente com modelos de vetor único, multi-vetor e lexicais.
4. Eficiência Offline: A transformação ocorre inteiramente offline. Uma vez otimizados, os documentos podem ser indexados e usados sem adicionar complexidade ou custo computacional no momento da consulta (query-time).

4. Resultados Experimentais

Os autores avaliaram a abordagem em duas tarefas principais: Recuperação de Documentos Visuais (VDR) e Recuperação de Código.

• Cenário Black-Box (Retrievers Fechados):
  • Aplicar a otimização ao modelo OpenAI text-embedding-3-small melhorou o nDCG@5 em código (de 58.7 para 66.8) e em VDR (de 53.3 para 57.6).
  • Destaque: O modelo pequeno otimizado superou ligeiramente o modelo OpenAI text-embedding-3-large (que é 6.5x mais caro) em tarefas de código e VDR.
• Cenário Open-Weights (Retrievers Abertos):
  • A otimização de documentos é competitiva com o fine-tuning do retriever.
  • A combinação de otimização de documentos + fine-tuning do retriever (Adaptação Conjunta) produziu os melhores resultados.
  • Exemplo: O retriever Jina-ColBERT-V2 melhorou de 55.8 para 63.3 em VDR e de 48.6 para 61.8 em código quando combinado com a otimização.
  • Para o BM25 (lexical), a melhoria foi drástica, saltando de 15.6 para 46.6 em nDCG@5 para código.
• Análise de Transformações:
  • Ao contrário da expansão ingênua que aumenta o tamanho do documento, a política aprendida tende a criar representações mais compactas e refinadas (reduzindo o tamanho médio de ~382 tokens para ~346 tokens em comparação com transformações zero-shot), mantendo apenas a informação útil.
  • As transformações melhoram a proximidade relativa entre o documento e a consulta no espaço de representação, afastando-o de negativos irrelevantes.

5. Significância e Conclusão

O trabalho demonstra que otimizar o espaço de documentos (lado do dado) é uma direção promissora e subexplorada para melhorar sistemas de recuperação.

• Eficiência de Custo: Permite que modelos de embedding menores e mais baratos superem modelos maiores e mais caros através de pré-processamento inteligente.
• Flexibilidade: Oferece uma solução viável para melhorar sistemas de recuperação proprietários onde o fine-tuning do modelo de base não é possível.
• Futuro: Sugere que a interação entre otimização do lado do documento e adaptação do lado do modelo é sinérgica, abrindo caminho para pesquisas futuras em outros domínios além de texto e código.

Em resumo, o artigo propõe que, em vez de apenas tentar melhorar o modelo de busca, podemos "ensinar" os documentos a serem encontrados mais facilmente, utilizando RL para moldá-los especificamente para a arquitetura de busca alvo.