Resumo Técnico: Os Rerankers de LLM Podem Prever o Próprio Desempenho de Classificação?

Declaração do Problema

A eficácia da recuperação varia significamente entre as consultas; algumas são bem cobertas pela coleção, enquanto outras sofrem com ambiguidade, incompatibilidade de vocabulário ou falta de documentos relevantes. Consequentemente, um sistema que apresenta bom desempenho médio pode ainda retornar resultados ruins para consultas específicas, o que é particularmente prejudicial quando passagens no topo do ranking são apresentadas aos usuários ou alimentadas em LLMs de recuperação aumentada (RAG).

A Predição de Desempenho de Consulta (QPP - Query Performance Prediction) visa estimar a qualidade do ranking antes que os julgamentos de relevância estejam disponíveis. No entanto, os métodos existentes funcionam tipicamente como módulos separados colocados após a recuperação ou o reranking. Este artigo investiga o QPP interno ao reranker: a questão de saber se um reranker de LLM pode estimar a qualidade do ranking que acabou de produzir. Este cenário é distinto do QPP padrão porque o sinal de confiança deve originar-se do próprio reranker, aproveitando sua compreensão interna da relevância dos documentos.

Metodologia

O estudo avalia abordagens sem treinamento e baseadas em treinamento usando modelos LLaMA3.1 e Qwen2.5 nos tracks do TREC Deep Learning (2019–2022).

1. Abordagens Sem Treinamento (Training-Free)

Os autores examinam dois métodos que não requerem treinamento supervisionado adicional:

• Autoconsistência Específica de Métrica: O reranker gera um ranking "ganancioso" (greedy) (temperatura $T=0$) e $N=20$ rankings "amostrados" ($T=1$). A consistência é medida entre a lista gananciosa e as listas amostradas usando métricas específicas de IR:
  • Precisão@k: Medida via razão de sobreposição dos itens no top-$k$.
  • NDCG-I@k: Medida via Rank Biased Overlap (RBO) truncado para considerar o desconto baseado na posição.
  • MRR@k: Medida pelo rank recíproco do item no topo da lista gananciosa dentro da lista amostrada.
• Confiança Verbalizada: O modelo é instruído a gerar uma pontuação numérica de confiança (ex: "Confiança: 0,85") juntamente com a lista de ranking.

2. Abordagens Baseadas em Treinamento

Para abordar os problemas de calibração encontrados nos métodos sem treinamento, os autores propõem dois métodos de ajuste fino supervisionado que permitem ao reranker produzir estimativas calibradas com custo de geração mínimo adicional:

• Verb-Num: O modelo é treinado para gerar um valor escalar que representa uma métrica de IR específica (ex: NDCG@10) junto com o ranking.
• Verb-List: O modelo é treinado para gerar uma lista de indicadores de relevância binária (ex: [1, 0, 1, ...]) para os documentos no topo do ranking. Este método é agnóstico à métrica, focando em julgamentos de relevância em vez de cálculo explícito de métricas.

Aumento de Dados: Para superar a escassez de anotações humanas nos dados de treinamento (MS MARCO), os autores utilizam um modelo de raciocínio poderoso (Qwen3-32B) para aumentar as anotações de relevância para os top-10 passagens das consultas de treinamento. Eles empregam balanceamento de rótulos para mitigar potenciais vieses introduzidos pelo modelo anotador.

Principais Descobertas

Desempenho dos Métodos Sem Treinamento

• Autoconsistência: Esta abordagem prova ser um forte sinal sem treinamento. Ela alcança uma correlação de Spearman competitiva com o método não supervisionado de estado da arte (SOTA), QPP-Gen, e é melhor calibrada (menor Erro de Calibração Esperado, ECE) em quase todas as configurações. No entanto, pode ter desempenho inferior em métricas orientadas à precisão (Precisão@k, MRR) em cenários com documentos relevantes densos, onde o modelo pode classificar consistentemente diferentes subconjuntos relevantes no topo, gerando alta qualidade, mas baixa consistência.
• Confiança Verbalizada (Zero-Shot): A confiança verbalizada direta é severamente excessivamente confiante (overconfident). Os rerankers de LLM atribuem pontuações de confiança altas (frequentemente >0,8) para a maioria das consultas, independentemente do desempenho real, levando a uma má calibração e baixa correlação com a verdadeira qualidade do ranking. Esse excesso de confiança persiste mesmo conforme o tamanho do modelo aumenta.

Desempenho dos Métodos Baseados em Treinamento

• Verb-Num e Verb-List: Ambos os métodos supervisionados melhoram significativamente o desempenho de QPP em comparação com os baselines não supervisionados.
  • Verb-Num tende a alcançar maior discriminabilidade (maior correlação de Spearman), provavelmente porque modela explicitamente o cálculo da métrica.
  • Verb-List alcança melhor calibração (menor ECE) e requer apenas alguns tokens de saída adicionais. Ele aprende julgamentos de relevância sem a complexidade de calcular pontuações de métricas exatas, tornando suas previsões numericamente mais próximas do desempenho real, embora possa perder nuances posicionais.
• Eficiência: Ao contrário do QPP-Gen, que requer inferência separada para cada documento recuperado, os métodos verbalizados introduzem um overhead mínimo ao gerar apenas alguns tokens após a produção do ranking.

Significância e Contribuições

O artigo faz três contribuições primárias:

1. Formulação de QPP Interno ao Reranker: Identifica a conexão entre QPP e calibração de confiança em Question Answering (QA), formulando um novo cenário onde o reranker serve como seu próprio estimador de qualidade.
2. Análise de Sinais de Confiança: Demonstra que, embora a autoconsistência específica de métrica seja um sinal competitivo e bem calibrado, a confiança verbalizada direta em LLMs sofre de excesso de confiança severo sem intervenção.
3. Métodos de Treinamento Propostos: Introduz Verb-Num e Verb-List, duas técnicas supervisionadas que permitem aos rerankers de LLM produzir estimativas calibradas da qualidade do ranking com custo de geração adicional mínimo.

Os autores concluem que, embora os LLMs lutem para expressar naturalmente a confiança em sua qualidade de ranking, o treinamento supervisionado pode efetivamente ensiná-los a fazê-lo. Direções de trabalhos futuros identificadas incluem a modelagem de relevância de múltiplos níveis, a melhoria do QPP interno ao reranker não supervisionado e a exploração de se o raciocínio de longo horizonte beneficia ainda mais esses modelos.