A Systematic Study of Pseudo-Relevance Feedback with LLMs

Este estudo sistematiza o impacto das fontes e modelos de feedback na eficácia do Feedback de Relevância Pseudo (PRF) com LLMs, demonstrando que a escolha do modelo de feedback é crítica e que a melhor estratégia depende do uso de texto gerado pelo LLM ou de documentos recuperados, conforme a força do recuperador inicial.

O essencial

Imagine que você está procurando uma receita de bolo de chocolate perfeita na internet. Você digita "bolo de chocolate" no Google, e ele te mostra uma lista de sites. Mas e se, em vez de apenas clicar no primeiro link, o sistema pudesse "ler" os melhores sites da lista, entender o que eles têm de bom, e depois reformular sua busca para encontrar ainda mais receitas deliciosas?

Isso é o que chamamos de Feedback de Relevância Pseudo (PRF). É como dar um "empurrãozinho" inteligente na sua busca.

Nos últimos tempos, os pesquisadores começaram a usar Inteligências Artificiais Avançadas (LLMs) para fazer esse trabalho de "ler e entender" os sites. Mas surgiu um problema: ninguém sabia exatamente qual era a melhor maneira de usar essa IA. Será que a IA deve inventar a resposta sozinha? Ou deve ler os sites reais? E como ela deve usar essa informação para melhorar a busca?

Neste estudo, os autores (Nour Jedidi e Jimmy Lin, da Universidade de Waterloo) decidiram fazer uma "caça ao tesouro" para descobrir a melhor estratégia. Eles trataram o problema como se tivessem duas alavancas principais para controlar:

1. A Fonte do Feedback (De onde vem a informação?):

   • Opção A (O Sonho): A IA inventa um texto do zero, como se fosse um especialista respondendo à sua pergunta. (Chamado de HyDE no papel).
   • Opção B (A Realidade): A IA lê os documentos reais que o buscador encontrou. (Chamado de Corpus).
   • Opção C (O Casamento): A IA faz as duas coisas ao mesmo tempo.

2. O Modelo de Feedback (Como a informação é usada?):

   • É como a IA decide misturar os ingredientes. Ela apenas joga tudo junto? Ela dá mais peso às palavras importantes? Ela usa uma fórmula matemática antiga e testada (como a de Rocchio) ou uma média simples?

O Que Eles Descobriram? (As Lições do Dia)

Aqui estão as descobertas principais, traduzidas para analogias do dia a dia:

1. A "Receita" importa tanto quanto os "Ingredientes"
Eles descobriram que, se você usar a IA para inventar a resposta (Opção A), a forma como você mistura essa resposta na busca é crucial. É como ter ingredientes de primeira, mas se você não seguir o passo a passo certo da receita (o modelo de feedback), o bolo fica ruim. Usar a "fórmula clássica" (Rocchio) funcionou muito melhor do que apenas jogar as palavras no meio da frase.

2. Inventar vs. Ler: O Dilema do Custo-Benefício

• A IA Inventando (HyDE): É como pedir para um chef de cozinha genial criar uma receita do zero. É rápido, barato e geralmente funciona muito bem. É a solução mais eficiente para a maioria das pessoas.
• A IA Lendo (Corpus): É como pedir para o chef ler 10 livros de culinária antes de cozinhar. Isso pode dar um resultado ainda melhor, mas só vale a pena se você tiver um ajudante muito bom (um buscador inicial forte) para trazer os livros certos. Se o ajudante trouxer livros ruins, o chef vai se confundir. Além disso, ler livros demora muito mais.

3. Misturar as Fontes: Nem sempre é melhor
A ideia de "jogar tudo junto" (ler os livros E inventar a receita) parece boa, mas os resultados foram mistos.

• Para buscadores modernos e rápidos (chamados dense retrievers), misturar as fontes de forma independente funcionou muito bem.
• Para buscadores tradicionais (como o BM25), misturar as fontes só ajudou se os documentos lidos fossem de altíssima qualidade. Se não fossem, era melhor deixar a IA trabalhar sozinha.

4. O Fator Tempo (Latência)
Aqui está o grande "pulo do gato":

• Pedir para a IA inventar a resposta é super rápido. É como pedir um café expresso.
• Pedir para a IA ler documentos reais é como pedir um café especial que exige moer o grão, filtrar e esperar. Quanto mais documentos ela precisa ler, mais lento fica o sistema.
• Conclusão: Se você quer velocidade e um bom resultado, deixe a IA inventar. Se você tem tempo sobrando e quer o resultado absolutamente perfeito, peça para ela ler documentos de alta qualidade (desde que você tenha um bom buscador inicial).

A Grande Metáfora Final

Pense na busca na internet como procurar um tesouro em uma ilha.

• O buscador inicial é o barco que te leva até a praia.
• O Feedback (PRF) é o mapa que você desenha depois de olhar a praia.

O estudo diz:

• Você pode desenhar o mapa baseado no que você imagina que tem na ilha (IA inventando). É rápido e geralmente te leva perto do tesouro.
• Você pode desenhar o mapa baseado no que você realmente viu na praia (IA lendo documentos). Isso é mais preciso, mas só funciona se o seu barco (o buscador inicial) já te deixou em uma praia boa. Se o barco te deixou no meio do mar, olhar a água não vai te ajudar a encontrar o tesouro.
• E, finalmente, a forma como você desenha o mapa (o modelo de feedback) é tão importante quanto o que você vê. Um mapa rabiscado às pressas não vale nada, mesmo que você tenha visto o tesouro.

Resumo da Ópera:
Para a maioria das aplicações práticas hoje em dia, deixar a Inteligência Artificial inventar a resposta (sem ler documentos reais) é a melhor escolha: é rápido, barato e funciona muito bem. Usar documentos reais só vale a pena se você tiver um sistema de busca inicial muito poderoso e não se importar em esperar um pouco mais.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "A Systematic Study of Pseudo-Relevance Feedback with LLMs", apresentado em português:

Título do Estudo

Um Estudo Sistemático de Feedback de Relevância Pseudo (PRF) com Modelos de Linguagem de Grande Escala (LLMs)

1. Problema e Motivação

As técnicas modernas de Feedback de Relevância Pseudo (PRF) têm passado a utilizar Modelos de Linguagem de Grande Escala (LLMs) para melhorar a representação de consultas. No entanto, a literatura atual apresenta uma lacuna crítica: os métodos existentes tendem a entrelaçar duas dimensões de design fundamentais nas suas avaliações empíricas, tornando difícil isolar o impacto de cada uma:

1. Fonte de Feedback: De onde o texto de feedback é derivado (documentos do corpus, texto gerado pelo LLM, ou uma combinação de ambos).
2. Modelo de Feedback: Como esse texto é utilizado para atualizar a representação da consulta (ex: concatenação de strings, média vetorial, algoritmos clássicos como Rocchio ou RM3).

A falta de controle sobre variáveis como o número de termos de feedback, o número de documentos ou o recuperador a jusante impede uma comparação justa. O objetivo deste trabalho é preencher essa lacuna através de uma avaliação sistemática e controlada dessas dimensões.

2. Metodologia

Os autores realizaram um estudo em larga escala utilizando 13 tarefas de baixo recurso do conjunto de dados BEIR.

• Métodos Avaliados (Fontes de Feedback):
  • Apenas Corpus (PRF-Umbrela): Utiliza o modelo Umbrela para avaliar a relevância de documentos recuperados inicialmente e selecionar os melhores para feedback.
  • Apenas LLM (HyDE): Gera documentos hipotéticos de resposta ("fake") usando o LLM (zero-shot) como feedback.
  • Corpus & LLM (Umbrela-HyDE e PRF-HyDE): Combina as duas fontes. Umbrela-HyDE concatena vetores independentes; PRF-HyDE usa documentos do corpus como exemplos em contexto (in-context) para guiar a geração do LLM.
• Modelos de Feedback (Atualização da Consulta):
  • Recuperadores Esparsos (BM25): Comparação entre concatenação de strings, RM3 e o algoritmo Rocchio.
  • Recuperadores Densos (Contriever, Contriever MSM): Comparação entre atualização por média vetorial simples e atualização por Rocchio vetorial.
• Configuração Experimental:
  • LLM Base: Qwen3-14B.
  • Recuperadores: BM25, Contriever e Contriever MS-MARCO.
  • Controle: O número de documentos de feedback foi padronizado (máximo de 8) para garantir comparabilidade justa entre os métodos.
  • Métrica: nDCG@20.

3. Contribuições Principais e Resultados

O estudo responde a quatro perguntas de pesquisa (RQs) com as seguintes descobertas:

RQ1: Impacto do Modelo de Feedback

• A escolha do modelo de feedback é crítica, especialmente para métodos que geram feedback diretamente via LLM (HyDE, PRF-HyDE).
• Para recuperadores densos, o uso do algoritmo Rocchio superou significativamente a simples média vetorial (melhorias de ~4.4 pontos no HyDE e ~3.1 pontos no PRF-HyDE com Contriever).
• Para BM25, o Rocchio também mostrou vantagem sobre RM3 quando usado com feedback gerado por LLM, embora a diferença fosse menor com feedback de corpus.

RQ2: Corpus vs. LLM ("Fake" Documents)

• Cenário de Recuperador Único: O feedback derivado de documentos hipotéticos gerados pelo LLM (HyDE) geralmente supera o feedback derivado apenas de documentos do corpus, a menos que o número de candidatos do corpus seja massivamente aumentado (o que aumenta a latência).
• Cenário com Recuperador Inicial Forte: Se o recuperador inicial for forte (ex: Contriever MSM ou BM25 com muitos candidatos), o feedback do corpus pode superar o do LLM.
• Insight Surpreendente: O uso de documentos reais recuperados por um sistema forte (como HyDE com BM25) para alimentar um modelo de PRF (PRF-HyDE) foi mais eficaz do que os próprios documentos hipotéticos gerados pelo HyDE, aumentando a eficácia em 3,6%.
• Eficiência: O feedback "Apenas LLM" (HyDE) é a solução mais custo-efetiva, equilibrando bem eficácia e latência.

RQ3: Combinação de Fontes

• Recuperadores Densos: A combinação de fontes (Umbrela-HyDE) oferece uma vantagem clara sobre o uso de fontes únicas. A estratégia de combinar vetores independentemente (concatenação) funciona melhor.
• BM25: A combinação é benéfica apenas se os documentos do corpus forem de alta qualidade (provenientes de um recuperador inicial forte). A forma de combinar (sequencial vs. paralelo) tem menos impacto do que a qualidade da fonte de dados.

RQ4: Latência

• O método Apenas LLM (HyDE) é o mais eficiente em todos os cenários.
• Métodos que utilizam feedback do corpus (PRF-Umbrela) sofrem penalidades de latência significativas à medida que o número de documentos candidatos avaliados aumenta, especialmente em corpora com documentos longos.
• A melhoria de eficácia ao avaliar mais documentos do corpus vem com um custo de latência desproporcional em comparação com o HyDE.

4. Significado e Conclusões

Este trabalho fornece uma compreensão mais clara do espaço de design do PRF com LLMs, desentrelaçando variáveis que antes eram confundidas. As principais implicações práticas são:

1. Importância do Modelo de Feedback: Ao desenvolver novos métodos de PRF com LLMs para recuperadores densos, não se deve assumir que a média vetorial é suficiente; o algoritmo Rocchio deve ser considerado como padrão.
2. Escolha da Fonte: Para aplicações onde a latência é crítica ou não há um recuperador inicial forte, o HyDE (Apenas LLM) é a escolha superior. O uso de feedback do corpus só vale a pena se houver um recuperador inicial robusto e se a latência adicional for aceitável.
3. Limitações de Recuperadores Densos: O estudo revela que recuperadores densos (como Contriever) não aproveitam totalmente o PRF. Curiosamente, o BM25 (recuperador esparso) superou consistentemente o Contriever MS-MARCO quando ambos usaram o mesmo conteúdo de feedback, sugerindo que o PRF pode ser mais eficaz em espaços vetoriais esparsos ou que os modelos densos atuais têm dificuldade em integrar sinais de feedback complexos.
4. Melhores Práticas: O estudo sugere que a combinação de fontes (Umbrela-HyDE) é a estratégia mais robusta para recuperadores densos, enquanto para BM25, a qualidade do recuperador inicial é o fator determinante para o sucesso do PRF.

Em suma, o artigo estabelece um novo padrão para a avaliação de PRF com LLMs, demonstrando que a eficácia não depende apenas de quão bom é o LLM, mas de como o feedback é estruturado e integrado ao sistema de recuperação.