RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation

Resumo Técnico: RubricRAG

1. Problema e Motivação

A avaliação de Grandes Modelos de Linguagem (LLMs) depende cada vez mais de "juízes automatizados" (LLMs como juízes) que geram pontuações escalares ou preferências binárias. Embora convenientes, essas abordagens são opacas: uma única pontuação não explica por que uma resposta é boa ou ruim, quais requisitos foram ignorados ou como melhorar o sistema.

A avaliação baseada em rubricas (critérios explícitos e verificáveis) oferece uma alternativa transparente. No entanto, criar rubricas específicas para cada consulta (query-specific) manualmente é trabalhoso e cognitivamente exigente para especialistas humanos. O desafio central é: podem os LLMs gerar automaticamente rubricas finas e específicas para cada consulta que sejam comparáveis às criadas por humanos e eficazes para avaliação downstream?

O artigo identifica que os LLMs "prontos para uso" (off-the-shelf) tendem a gerar rubricas genéricas, mal alinhadas com as humanas e pouco eficazes na discriminação de respostas boas versus ruins.

2. Metodologia

Os autores propõem e avaliam várias estratégias para a geração de rubricas, utilizando o conjunto de dados OpenAI HealthBench (focado em diálogos médicos) e ResearchRubrics.

Abordagens de Geração Testadas:

1. Zero-Shot: O LLM gera rubricas apenas com instruções de prompt, sem exemplos.
2. Few-Shot: O LLM recebe exemplos aleatórios de pares (consulta, rubrica) do conjunto de treinamento.
3. RubricRAG (Retrieval-Augmented Generation): A contribuição principal. O sistema recupera consultas semanticamente similares do conjunto de treinamento usando um recuperador denso e utiliza as rubricas associadas a essas consultas como exemplos in-context (few-shot) para guiar a geração da nova rubrica.
4. Ajuste Fino Supervisionado (SFT): O modelo é treinado para prever diretamente as rubricas humanas condicionadas à consulta.
5. Otimização de Política por Grupo Relativo (GRPO): Uma abordagem de Aprendizado por Reforço (RL) que otimiza o gerador com recompensas ponderadas por: correção de formato, similaridade com humanos, diversidade e desvio da média.

Métricas de Avaliação:

• Similaridade de Rubricas: Métricas adaptadas de BLEU, ROUGE e um Juiz LLM (Rubric-LLM-Judge) para medir a sobreposição lexical e semântica entre as rubricas geradas e as humanas (Gold).
• Qualidade Intrínseca: Taxas de "Missed" (critérios humanos não cobertos), "Hallucinations" (critérios gerados sem base humana) e "Redundancy" (critérios gerados repetidos).
• Eficácia Downstream:
  • Correlação: Quão bem as pontuações geradas pelo juiz LLM usando rubricas artificiais correlacionam-se com as pontuações usando rubricas humanas.
  • Discriminação: Capacidade do sistema de preferir consistentemente uma resposta "boa" (humana) sobre uma "ruim" (gerada com rubricas aleatórias).

3. Contribuições Principais

1. Novas Métricas de Avaliação: Introdução de métricas específicas para rubricas (Rubric-BLEU, Rubric-ROUGE, Rubric-LLM-Judge) que tratam a rubrica como um conjunto de critérios, não como uma única string, permitindo avaliação permutável e semântica.
2. Análise de Granularidade: Demonstração de que rubricas específicas da consulta (fine-grained) são significativamente mais eficazes para juízes LLM do que rubricas genéricas (eixo ou cluster) ou nenhuma rubrica.
3. RubricRAG: Proposição de uma estratégia simples e eficaz que utiliza a recuperação de conhecimento de domínio (rubricas de consultas similares) para melhorar drasticamente a qualidade da geração.
4. Comparação de Estratégias: Avaliação sistemática mostrando que a recuperação semântica (RAG) supera métodos de pós-treinamento complexos (como SFT e RL) em termos de alinhamento semântico e utilidade prática, sem a necessidade de grandes conjuntos de dados de treinamento.

4. Resultados Chave

• Desempenho Zero-Shot: LLMs padrão geram rubricas de baixa qualidade, com baixa similaridade lexical e semântica com as humanas, sendo muito genéricas e pouco específicas ao contexto.
• Superioridade do RubricRAG:
  • A abordagem RubricRAG alcançou as maiores pontuações de similaridade com rubricas humanas (superando SFT e Few-Shot aleatório).
  • Gerou as melhores correlações downstream (Spearman $\rho \approx 0.545$) com as avaliações humanas.
  • Foi mais eficaz na discriminação entre respostas boas e ruins (Figura 8 do artigo).
• Limitações do SFT e RL: Embora o SFT tenha alcançado alta sobreposição lexical (BLEU/ROUGE), falhou em corresponder à eficácia downstream do RAG. Isso sugere que otimizar apenas para a forma superficial não garante critérios de avaliação semanticamente úteis. O GRPO (RL) teve desempenho misto, muitas vezes pior que o SFT.
• Compensação (Trade-off): O RubricRAG reduziu significativamente as "alucinações" e critérios perdidos em comparação ao Zero-Shot, mas introduziu um aumento na redundância (geração de critérios sobrepostos).
• Granularidade: A Figura 1 do artigo confirma que rubricas finas e específicas aumentam a precisão dos juízes LLM em escolher a resposta correta em comparação com rubricas grosseiras ou nenhuma rubrica.

5. Significado e Conclusão

O trabalho conclui que a geração automática de rubricas específicas para consultas é um caminho promissor para avaliações de LLM mais interpretáveis e acionáveis. No entanto, os modelos atuais não conseguem replicar o design de rubricas humanas apenas com conhecimento prévio.

A descoberta central é que o alinhamento contextual (através da recuperação de exemplos semanticamente similares via RAG) é mais crítico do que o conhecimento interno do modelo ou o ajuste fino massivo. O RubricRAG demonstra que uma estratégia de recuperação simples pode rivalizar ou superar métodos de pós-treinamento complexos, fornecendo um guia mais robusto para juízes LLM.

Implicações Futuras:

• A necessidade de técnicas de pós-processamento (como deduplicação semântica) para mitigar a redundância gerada pelo RAG.
• A importância de focar na utilidade prática da rubrica (capacidade de discriminar respostas) em vez de apenas na similaridade superficial com o texto de referência.
• A viabilidade de criar sistemas de avaliação escaláveis e transparentes para domínios de alto risco (como saúde), combinando recuperação de conhecimento, objetivos de treinamento aprimorados e colaboração humano-AI.