Reliable Evaluation Protocol for Low-Precision Retrieval

Título: Protocolo de Avaliação Confiável para Recuperação de Baixa Precisão

1. O Problema

A redução da precisão numérica (ex: de FP32 para BF16 ou FP16) é amplamente adotada para melhorar a eficiência e a escalabilidade de sistemas de recuperação de informação (como em RAG - Retrieval-Augmented Generation). No entanto, essa prática introduz um problema crítico: empates espúrios (spurious ties).

• Causa: A baixa precisão reduz a granularidade dos números de ponto flutuante. Isso força muitas pontuações de relevância distintas a colidir no mesmo valor quantizado.
• Consequência: Quando múltiplos documentos recebem a mesma pontuação, os sistemas de avaliação convencionais (como MTEB) quebram esses empates de forma arbitrária (geralmente baseada na ordem de IDs dos documentos).
• Impacto: Essa arbitrariedade introduz uma alta variabilidade nos resultados de avaliação. Métricas como MRR@10 ou nDCG podem variar drasticamente dependendo apenas da ordem interna de processamento, tornando a avaliação pouco confiável e podendo levar a conclusões erradas sobre qual modelo é superior.

2. Metodologia Proposta

Os autores propõem um protocolo de avaliação robusto composto por duas técnicas principais:

A. Pontuação de Alta Precisão (High-Precision Scoring - HPS)

• Conceito: Em vez de executar todo o modelo em alta precisão (o que seria custoso), o HPS realiza apenas o último passo de pontuação (a função de scoring final, como softmax ou sigmoid) em precisão FP32.
• Mecanismo: Os logits (saídas da última camada) são convertidos (upcast) de baixa precisão (BF16/FP16) para FP32 antes de serem transformados em probabilidades ou pontuações finais.
• Vantagem: Isso preserva a granularidade necessária para distinguir documentos com pontuações muito próximas, eliminando a maioria dos empates espúrios, com custo computacional e de memória quase nulo, pois apenas um pequeno tensor de logits é processado em FP32.

B. Métrica de Recuperação Consciente de Empates (Tie-aware Retrieval Metric - TRM)

• Conceito: Uma métrica que não depende de uma única ordenação arbitrária, mas calcula o valor esperado da métrica considerando todas as permutações possíveis dentro de um grupo de empate.
• Componentes de Relato:
  1. Esperança ($\mathbb{E}[M]$): O valor médio da métrica sobre todas as ordenações possíveis dos itens empatados.
  2. Intervalo (Range): A diferença entre o melhor cenário possível ($M_{max}$) e o pior cenário possível ($M_{min}$) para os itens empatados. Um intervalo pequeno indica estabilidade.
  3. Viés (Bias): A diferença entre a métrica obtida pela ordenação arbitrária padrão ($M_{obl}$) e o valor esperado. Isso quantifica se a avaliação padrão está superestimando ou subestimando o desempenho.

3. Contribuições Principais

1. Identificação Formal: São os primeiros a formalizar e analisar como a avaliação de baixa precisão ignora candidatos empatados, resultando em instabilidade e decisões de ranking enganosas.
2. Protocolo HPS + TRM: Propõem uma solução prática que combina a resolução de empates via HPS (baixo custo) com a quantificação de incerteza via TRM.
3. Implementação Leve: O método é projetado para ser integrado facilmente em pipelines existentes, exigindo apenas uma linha de código alterada para o upcast final.
4. Análise de Viés: Demonstram que as métricas convencionais em baixa precisão tendem a superestimar o desempenho devido a vieses nos conjuntos de dados (onde itens relevantes podem estar indexados antes dos irrelevantes).

4. Resultados Experimentais

Os experimentos foram realizados em 12 conjuntos de dados (incluindo MIRACLReranking, AskUbuntu e MTEB-R) com cinco modelos de reclassificação e incorporação (embedding).

• Redução de Instabilidade: O uso de HPS reduziu drasticamente a variabilidade das métricas.
  • Para o modelo Qwen3-Reranker em BF16, o intervalo de variação do MRR@10 caiu de 38,03 pontos percentuais (sem HPS) para 1,21 pontos percentuais (com HPS).
  • O intervalo do nDCG@10 caiu de 25,59 para 1,13 pontos percentuais.
• Correção de Ranking: Em casos críticos, a avaliação padrão (sem HPS) indicava que um modelo era superior a outro (ex: Qwen3 > gte), mas a métrica consciente de empates (TRM) e o protocolo HPS revelaram que a ordem real era a oposta, alinhando-se com o padrão FP32.
• Viés Positivo: Observou-se que as métricas "cegas a empates" em BF16 tendiam a superestimar o desempenho em até +9,08 pontos percentuais devido à forma como os empates eram quebrados.
• Eficiência: O método HPS recupera a estabilidade e a ordem de classificação quase idênticas à inferência completa em FP32, mas com o custo computacional de uma inferência em BF16.

5. Significado e Conclusão

Este trabalho é fundamental para o desenvolvimento de sistemas de IA eficientes. À medida que a indústria adota cada vez mais modelos quantizados e de baixa precisão para reduzir custos de inferência, a avaliação desses modelos torna-se um gargalo se não for confiável.

• Confiabilidade: O protocolo proposto oferece uma base sólida para comparar modelos de baixa precisão, garantindo que as diferenças de desempenho sejam reais e não artefatos numéricos.
• Adoção Prática: Por ser de baixo custo e fácil implementação, o HPS + TRM deve se tornar o padrão para benchmarks de recuperação (como MTEB) e pipelines de produção em RAG.
• Impacto Futuro: Melhora a confiança na seleção de modelos para aplicações críticas onde a recuperação precisa de documentos relevantes é pré-requisito para a geração de respostas coerentes.

Em resumo, o artigo demonstra que baixa precisão não precisa comprometer a confiabilidade da avaliação, desde que se utilizem protocolos que tratem corretamente a granularidade numérica e a incerteza de ordenação.