Resumo Técnico: STORM (Stepwise Token Optimization with Reward-Guided Beam Search)

Declaração do Problema

A Recuperação de Informação (IR) moderna enfrenta um compromisso entre eficiência e eficácia. Modelos neurais densos e esparsos aprendidos oferecem alto desempenho de recuperação, mas exigem índices especializados que devem ser reconstruídos sempre que o modelo muda, incorrendo em custos de infraestrutura significativos. Por outro modo, recuperadores léxicos como o BM25 permanecem altamente eficientes e transparentes em índices invertidos padrão, mas sofrem com o problema do "desajuste de vocabulário" (vocabulary mismatch), onde documentos relevantes contêm termos ausentes na consulta do usuário.

Embora os Grandes Modelos de Linguagem (LLMs) possam reescrever consultas para mitigar essa lacuna, as abordagens existentes apresentam limitações:

1. Reescritores baseados em prompts frequentemente geram termos bem formados, mas ineficazes para recuperação, ou pseudo-documentos longos, incorrendo em alta latência de inferência sem consultar o recuperador durante a geração.
2. Abordagens de Aprendizado por Reforço (RL) que treinam contra recompensas de recuperação tipicamente observam a recompensa apenas após a geração da sequência completa. Essa supervisão ao nível da sequência cria um gargalo de exploração, tornando difícil identificar quais termos léxicos específicos contribuíram para a recompensa, levando a uma convergência lenta ou ao colapso em expansões genéricas.

Metodologia

Os autores introduzem o STORM (Stepwise Token Optimization with Reward-guided beaM search), um framework auto-supervisionado para expansão léxica de consultas que converte recompensas de recuperação em sinais ao nível do token.

Mecanismo Central: Busca em Feixe Guiada por Recompensa (Reward-Guided Beam Search)

Ao contrário da busca em feixe (beam search) padrão, que seleciona candidatos com base na verossimilhança, o STORM utiliza o próprio sistema de recuperação como um guia durante o processo de geração.

• Pontuação Passo a Passo (Stepwise Scoring): Em cada etapa de geração, sequências de palavras-chave candidatas são pontuadas contra um índice invertido BM25.
• Poda (Pruning): Ramos com baixas recompensas de recuperação são podados imediatamente. Isso concentra a exploração em um vocabulário que é demonstravelmente eficaz para a recuperação, em vez de depender apenas do conhecimento paramétrico interno do LLM.
• Ciclo de Treinamento: O framework adapta a arquitetura de Redes Cooperativas Generativas (GCN). Em vez de um discriminador aprendido, utiliza uma função de recompensa de recuperação predefinida.
  • Distribuição de Proposta: Amostras de treinamento são extraídas de uma mistura de amostragem de núcleo (nucleus sampling) padrão e uma busca em feixe guiada por recompensa.
  • Objetivo: A política é atualizada para minimizar a divergência KL entre a política e uma distribuição alvo ponderada pela recompensa de recuperação.

Função de Recompensa

A função de recompensa $R(\hat{y})$ combina três componentes para otimizar a qualidade da recuperação enquanto penaliza a ineficiência:

1. Qualidade de Recuperação: Medida por nDCG@100 contra pseudo-rótulos de cross-encoder (destilados do OpenSearch Project MS-MARCO Hard Negatives).
2. Penalidade de Vocabulário: Um termo de penalidade baseado na frequência do documento (DF) dos termos gerados, desencorajando o modelo de emitir termos de alta frequência e não discriminativos.
3. Regularização de Comprimento: Um termo de log-verossimilhança que atua como um prior para a seleção de tokens e regulariza o comprimento da sequência, evitando a geração de strings excessivamente longas ou pouco informativas.

Principais Contribuições

1. Treinamento Auto-Supervisionado: Um método para reescrita de consultas léxica que não requer reescritas escritas por humanos; a supervisão é derivada inteiramente da pontuação do recuperador sobre as expansões geradas.
2. Exploração ao Nível do Token: A introdução da busca em feixe estocástica guiada por recompensa, que transforma o feedback de recuperação atrasado ao nível da sequência em um sinal imediato ao nível do token, guiando o modelo para descobrir vocabulário eficaz para recuperação durante a geração.
3. Eficiência de Baixa Infraestrutura: O STORM alcança uma eficácia competitiva mantendo latências de inferência comparáveis ao BM25 puro, pois gera strings curtas de palavras-chave em vez de pseudo-documentos completos.

Resultados Experimentais

Os autores avaliaram o STORM em benchmarks in-domain, out-of-domain e multilíngues usando backbones Qwen3 variando de 0.6B a 8B parâmetros.

• In-Domain (TREC DL, MS-MARCO): O STORM supera consistentemente reescritores baseados em prompt (HyDE, MuGI, W2P) e baselines de RL (QUESTER) em todos os tamanhos de modelo. Com 8B, ele iguala ou supera reescritores de LLM competitivos.
• Out-of-Domain (BEIR): O STORM alcança o maior nDCG@10 médio em 12 coleções BEIR. Notavelmente, mesmo o modelo STORM de 0.6B supera todos os baselines de 0.6B em média, demonstrando uma generalização robusta.
• Zero-Shot Multilíngue (MIRACL): Treinado exclusivamente em dados de inglês do MS-MARCO, o STORM-8B transfere o conhecimento zero-shot para 18 idiomas, alcançando um nDCG@10 médio de 48.4. Isso supera recuperadores densos dedicamente multilíngues (mDPR, mContriever, mColBERT) em média, apesar de depender de um backend puramente léxico.
• Comparação com Modelos Proprietários: O STORM-8B (Qwen3) supera vários reescritores de consulta baseados no modelo muito maior GPT-4.1 (ex: MuGI-GPT4, Q2D-GPT4) em média nos datasets in-domain e BEIR, sugerindo que o sinal de recompensa é mais eficaz do que o prompting de cadeia de pensamento (chain-of-thought) para tarefas de recuperação.
• Eficiência: O STORM mantém a latência de recuperação equivalente ao BM25 puro (~0.01s), apesar de emitir consultas com significativamente mais termos (até 8x mais). Isso é alcançado porque a função de recompensa penaliza termos de alta frequência que causariam travessias de índice custosas. A latência de geração também é menor do que os reescritores de LLM concorrentes (ex: 4.39s para STORM-8B vs. 34.2s para W2P).

Significância e Alegações

O artigo posiciona o STORM como uma alternativa competitiva e de baixa infraestrutura à recuperação neural densa. Sua principal significância reside em demonstrar que:

• A expansão léxica pode ser otimizada efetivamente sem índices densos ou modelos proprietários massivos.
• A decodificação guiada por recompensa é uma ferramenta generalista viável para alinhar a geração com objetivos de recuperação não diferenciáveis, resolvendo o gargalo de exploração inerente ao RL ao nível da sequência.
• A transferência zero-shot para configurações multilíngues é alcançável com uma abordagem puramente léxica, desafiando a suposição de que o emparelhamento semântico denso é estritamente necessário para a recuperação cross-lingual.

Os autores concluem que o STORM oferece um equilíbrio robusto entre eficácia e eficiência, tornando-o uma solução prática para mecanismos de busca e sistemas de Geração Aumentada por Recuperação (RAG) onde reconstruções de índice são custosas ou a latência é crítica.

Limitações

Os autores reconhecem que, embora o STORM reduza a lacuna para recuperadores esparsos aprendidos (como SPLADE-v2) em tarefas in-domain, ele não os iguala totalmente, provavelmente devido à incapacidade de capturar relações contextuais ricas codificadas por mecanismos de ponderação de termos em modelos densos. Além disso, o comprimento ideal de geração depende do dataset, exigindo um compromisso entre latência e eficácia.