Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations

Resumo Técnico: Avaliando Métricas de RAG em Contextos Aplicados

Declaração do Problema
Avaliar sistemas de Geração Aumentada de Recuperação (RAG) continua sendo um desafio significativo, particularmente quando métricas automáticas devem aproximar o julgamento humano. Embora as métricas de "LLM-como-juiz" sejam cada vez mais populares e frequentemente pareçam superiores às métricas clássicas como BLEU, sua relevância em conjuntos de dados específicos é difícil de prever a priori. Os critérios de avaliação variam amplamente (ex: faticidade, relevância, completude) e, sem validação empírica, não está claro se uma métrica específica fornece uma aproximação confiável do critério desejado ou se permite a comparação confiável de diferentes iterações do sistema.

Metodologia
Os autores conduziram um estudo empírico para avaliar a relevância de métricas de RAG de quatro bibliotecas: Ragas, DeepEval, RAGChecker e Opik. O estudo utilizou um conjunto de dados proprietário de 96 pares de pergunta-resposta derivados de documentos comerciais franceses no domínio de telecomunicações.

• Construção dos Dados: Anotadores (funcionários da empresa) criaram perguntas, respostas de referência e trechos de referência (extratos de documentos contendo a informação necessária) a partir de um corpus de 479 documentos. O conjunto de dados inclui vários tipos de perguntas (booleanas, condicionais, "como", etc.) e trechos de comprimentos variados (de 1 a 202 palavras).
• Configuração do Sistema: Um sistema RAG foi implementado utilizando um recuperador híbrido (denso + BM25) para buscar os 5 principais trechos, que foram então alimentados em um gerador GPT-3.5 para produzir as respostas.
• Protocolo de Avaliação:
  • Pontuações de Referência: Dois avaliadores especialistas pontuaram as respostas geradas pelo sistema em uma escala de 1 a 5 baseada em uma rubrica que mede faticidade e relevância. A correlação de Pearson entre os dois avaliadores foi de 0,85, estabelecendo a confiabilidade da linha de base humana.
  • Comparação de Métricas: O estudo calculou as correlações de Pearson entre:
    1. Métricas globais (das quatro bibliotecas) e a média das pontuações de referência humanas.
    2. Métricas de recuperação e uma pontuação de recall de nível de palavra (usada como referência para o desempenho da recuperação).
    3. Métricas de recuperação e as pontuações de referência humanas (baseando-se na premissa de que uma melhor recuperação correlaciona-se com melhores respostas).
  • Escopo: O estudo focou em um único sistema RAG para testar as vantagens e limitações da metodologia, em vez de classificar definitivamente as bibliotecas entre si.

Principais Descobertas

• Métricas Globais: Métricas tradicionais como METEOR mostraram correlações surpreendentemente fortes com as pontuações humanas. Por outro lado, métricas de geração (ex: pontuações de fidelidade/alucinação) e a métrica de moderação do Opik mostraram correlações fracas com as avaliações humanas, provavelmente por não terem acesso às respostas de referência. As métricas do RAGChecker, particularmente o recall, demonstraram correlações muito fortes.
• Métricas de Recuperação: Embora os intervalos de confiança fossem amplos devido ao pequeno tamanho da amostra (N=96), a precisão contextual do DeepEval alcançou uma correlação acima de 0,5 com o recall sem utilizar trechos de referência. Em contraste, as métricas não-LLM do Ragas mostraram correlações muito fracas, potencialmente devido ao uso de distância de Levenshtein em trechos de tamanhos altamente variáveis.
• A Correlação "Surpreendente": Diversas métricas, notadamente o "claim recall" do RAGChecker, exibiram correlações com as pontuações humanas (aproximando-se de 0,7) que foram mais fortes do que sua própria correlação com a métrica de recall de recuperação.

Limitações e Interpretação
Os autores destacam explicitamente uma limitação crítica em relação à interpretação das correlações. Como o estudo avaliou apenas um sistema RAG, é impossível discernir se a alta correlação de uma métrica com as pontuações humanas se deve à sua capacidade de medir a qualidade da recuperação/geração ou à sua sensibilidade às características de entrada (ex: dificuldade da pergunta).

• Exemplo Ilustrativo: Uma métrica que simplesmente pontua com base na dificuldade da pergunta correlacionar-se fortemente com as pontuações humanas (pois perguntas fáceis geram melhores respostas), mas seria inútil para comparar o desempenho do sistema.
• Observação Específica: A alta correlação do "claim recall" do RAGChecker com as pontuações humanas pode refletir parcialmente a facilidade de extração de informações dos trechos recuperados ou a dificuldade da pergunta, em vez da pura qualidade da recuperação.
• Utilidade: Apesar disso, a metodologia identifica com sucesso métricas com baixas correlações, eliminando-as efetivamente como candidatas para o critério de avaliação específico.

Significância e Direções Futuras
O artigo conclui que sua principal contribuição é a aplicação de uma metodologia para testar a confiabilidade das métricas, e não uma classificação definitiva das bibliotecas. Os autores alinham suas descobertas com a literatura recente que sugere que estudos de correlação envolvendo um único sistema são metodologicamente limitados.

O artigo defende que pesquisas e práticas futuras integrem múltiplos sistemas RAG em estudos de correlação. Ao variar os outputs dos sistemas, os pesquisadores podem isolar melhor o comportamento da métrica das características de entrada, reduzindo assim os fatores de confusão e aumentando o poder estatístico para discriminar entre métricas. Os autores sugerem que o desenvolvimento de procedimentos para otimizar o número de sistemas e perguntas necessários para tais estudos ajudaria os profissionais a validar métricas de avaliação de forma mais confiável, minimizando os custos de anotação.