Resumo Técnico: Quão Importante é o Recall para Medir a Qualidade da Recuperação?

Declaração do Problema

Em sistemas de Geração Aumentada por Recuperação (RAG), a qualidade dos documentos recuperados (a seleção "top-K") impacta diretamente a qualidade da resposta gerada por um Modelo de Linguagem de Grande Escala (LLM). Métricas padrão de recuperação, como a medida F, dependem do Recall ($R = n_p / N_p$), o que exige conhecer o número total de documentos relevantes ($N_p$) na base de conhecimento (KB) para uma determinada consulta.

No entanto, em KBs realistas, de grande escala e em evolução, $N_p$ é tipicamente desconhecido antecipadamente. Consequentemente, o Recall não pode ser calculado, tornando a medida F e métricas similares inaplicáveis para avaliação em tempo real. Estratégias existentes para contornar isso incluem a criação de benchmarks fixos (que se tornam obsoletos conforme a KB muda), a estimativa de $N_p$ via agrupamento ou extrapolação, ou o uso de métricas que não exigem $N_p$ (por exemplo, nDCG). O artigo investiga qual abordagem melhor se correlaciona com a qualidade real da resposta gerada pelo LLM quando o número total de documentos relevantes é desconhecido.

Metodologia

Construção do Conjunto de Dados

Os autores construíram um conjunto de dados de benchmark ("retrieval-response") compreendendo consultas, documentos positivos (relevantes) e documentos negativos (irrelevantes) de quatro fontes:

1. ARXIV: Resumos científicos.
2. HotpotQA: Parágrafos e frases.
3. MSMARCO: Snippets de busca na web.
4. Natural Questions: Consultas da web.

O conjunto de dados apresenta um número relativamente baixo de documentos relevantes ($N_p \in [2, 15]$). Os autores variaram o tamanho da recuperação $K$ em uma faixa relativa a $N_p$ (tanto $K < N_p$ quanto $K \ge N_p$).

Configuração de Recuperação e Avaliação

• Embeddings: Quatro modelos de embedding populares (all-MiniLM-L12-v2, multilingual-e5-small, e5-small-v2, multi-qa-MiniLM-L6-cos-v1) foram usados para recuperar os documentos top-K.
• Geração de Resposta: Um LLM (GPT-4o-mini) gerou respostas baseadas apenas nos documentos recuperados top-K.
• Avaliação de Qualidade: As respostas geradas foram comparadas com uma resposta "ideal" (gerada usando todos os documentos positivos). O LLM atribuiu uma pontuação de qualidade (escala Likert de 1–5) com base na completude do conteúdo e no alinhamento.
• Validação: A pontuação do LLM foi validada contra julgamentos humanos, mostrando forte correlação ($\alpha$ de Krippendorff $\approx 0,77–0,82$).

Métricas Comparadas

O estudo avaliou a correlação entre as seguintes métricas de recuperação e a pontuação de qualidade da resposta do LLM:

1. Medida F: Exige conhecimento exato de $N_p$.
2. Fe (F-estimado): Usa uma estimativa grosseira de $N_p$ (contagem de positivos nos top $2K$) em vez do verdadeiro $N_p$.
3. nDCG: Não requer $N_p$; leva em conta a ordem de classificação dos documentos.
4. T (Proposta): Uma nova métrica definida como $T = \frac{(1-\alpha)n_p - \alpha n_n}{K}$, onde $n_p$ é o número de positivos e $n_n$ é o número de negativos nos top-K. Ela foi projetada para ser independente de $N_p$.

Os autores analisaram correlações de Spearman, Pearson e Kendall Tau em diferentes conjuntos de dados, modelos de embedding e razões $K/N_p$.

Principais Resultados

1. Correlação com a Qualidade da Resposta

• Desempenho da Métrica: A métrica T proposta geralmente performou tão bem ou melhor do que a métrica padrão F em cenários onde $K < N_p$ ou $K \approx N_p$ (especificamente em ARXIV e HotpotQA-sentences).
• Limitações do nDCG: O nDCG geralmente mostrou correlação mais baixa com a qualidade da resposta do que F ou T, exceto em casos específicos com altas razões $K/N_p$ em conjuntos de dados complexos (como ARXIV). Nestes cenários de alta razão, a ordem dos documentos (relevantes primeiro, irrelevantes depois) tornou-se crítica para o LLM, favorecendo o nDCG.
• Estimativa vs. Realidade: Surpreendentemente, o Fe (usando uma $N_p$ estimada dos top $2K$) às vezes superou a métrica F verdadeira em altas razões $K/N_p$. Os autores hipotetizam que documentos relevantes aparecendo nos top $2K$ são inerentemente mais importantes para o LLM do que aqueles que aparecem depois, tornando a $N_p$ "estimada" um melhor proxy para os documentos relevantes úteis.

2. Impacto da Razão $K/N_p$

• Baixa/Moderada $K/N_p$: Quando o número de documentos recuperados é comparável ou menor que o total de documentos relevantes, a presença de documentos irrelevantes (negativos) é o principal motor da baixa qualidade da resposta. Métricas focadas no equilíbrio de positivos e negativos (como T e F) performam melhor.
• Alta $K/N_p$: Quando $K$ excede significativamente $N_p$, o conjunto de dados contém muitos documentos irrelevantes. Aqui, a ordenação desses documentos importa. Se o LLM receber documentos relevantes cedo no contexto, o desempenho é maior. É aqui que o nDCG ganha vantagem, embora permaneça inferior a T e F em conjuntos de dados mais simples (MSMARCO, Natural Questions).

3. Sensibilidade do Modelo de Embedding

A escolha da métrica de recuperação mostrou-se mais dependente do tipo de conjunto de dados e da razão $K/N_p$ do que do modelo de embedding específico utilizado.

Principais Contribuições

1. Introdução da Métrica T: Os autores propõem uma medida simples e normalizada de qualidade de recuperação (T) que não requer conhecimento do número total de documentos relevantes ($N_p$). Ela equilibra a contagem de documentos relevantes ($n_p$) contra os irrelevantes ($n_n$) dentro do top-K.
2. Benchmark Abrangente: Criação de um conjunto de dados diversificado vinculando configurações de recuperação (vários $K$, $N_p$ e embeddings) a respostas geradas por LLM e pontuações de qualidade, facilitando o estudo da qualidade de recuperação na ausência de recall de verdade fundamental (ground-truth).
3. Insights Empíricos:
   • Demonstrou que T é uma alternativa robusta a F para avaliação do mundo real onde $N_p$ é desconhecido.
   • Mostrou que o nDCG não é universalmente superior; sua vantagem limita-se a altas razões $K/N_p$ em conjuntos de dados complexos onde a ordem dos documentos impacta significativamente o desempenho do LLM.
   • Observou que estimar $N_p$ via top $2K$ (Fe) pode às vezes produzir melhores correlações com a qualidade da resposta do que usar a $N_p$ verdadeira, sugerindo que documentos relevantes "iniciais" carregam mais peso para LLMs.

Significado e Alegações

O artigo alega que, em configurações RAG realistas onde o número total de documentos relevantes é desconhecido, o Recall não é estritamente necessário para medir a qualidade da recuperação de forma eficaz.

• Utilidade Prática: A métrica T oferece uma solução "bem fundamentada e conveniente" para avaliações da vida real, evitando a necessidade de benchmarks fixos ou técnicas complexas de estimativa de $N_p$.
• Nuance Contextual: O estudo destaca que a métrica "melhor" depende do contexto operacional (especificamente a razão $K/N_p$ e a complexidade dos documentos). Enquanto F (ou T) é geralmente suficiente, o nDCG pode ser preferido apenas ao lidar com janelas de recuperação grandes ($K \gg N_p$) em dados complexos onde a ordenação de documentos irrelevantes confunde o LLM.
• Avaliação Centrada no LLM: O trabalho reforça a mudança em direção à avaliação de sistemas de recuperação com base em seu impacto a jusante na qualidade da resposta do LLM, em vez de apenas métricas abstratas de recuperação de informação.

Os autores permanecem modestos quanto ao escopo, observando que seus experimentos focaram em faixas moderadas de $N_p$ e que considerações de latência para avaliação em tempo real (por exemplo, usar LLMs para rotular relevância sob demanda) não foram totalmente exploradas.