RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation

Resumen Técnico: RubricRAG

1. El Problema

La evaluación de los Grandes Modelos de Lenguaje (LLM) depende cada vez más de "jueces automatizados" (LLM-as-judges) que asignan puntuaciones escalares o preferencias binarias. Aunque convenientes, estos enfoques son opacos: una sola puntuación no explica por qué una respuesta es buena o mala, qué requisitos se omitieron ni cómo mejorar el sistema. Esta falta de interpretabilidad limita su utilidad en el desarrollo de modelos, la curación de conjuntos de datos y la implementación en dominios de alto riesgo (como la salud).

Las evaluaciones basadas en rúbricas (criterios explícitos y verificables) ofrecen una alternativa transparente. Sin embargo, diseñar manualmente rúbricas específicas para cada consulta (query-specific) es laborioso, cognitivamente demandante y poco escalable. Además, no está claro si los LLMs actuales pueden generar rúbricas de alta calidad, interpretables y efectivas que se alineen con las creadas por humanos.

2. Metodología

Los autores investigan si los LLMs pueden generar rúbricas finas y específicas para cada consulta, y proponen una estrategia llamada RubricRAG para mejorar este proceso.

• Tarea: Dada una consulta de usuario $q$, generar un conjunto de criterios de evaluación (rúbricas) con puntuaciones positivas (comportamientos deseables) y negativas (fallos o riesgos).

• Enfoques Comparados:

  1. Zero-shot: El LLM genera rúbricas sin ejemplos previos.
  2. Few-shot: Se proporcionan ejemplos aleatorios de pares (consulta, rúbrica) en el prompt.
  3. Fine-Tuning (SFT): Ajuste fino supervisado del modelo para predecir rúbricas humanas directamente.
  4. Reinforcement Learning (GRPO): Optimización de la política mediante aprendizaje por refuerzo con recompensas multi-objetivo (formato, similitud, diversidad, longitud).
  5. RubricRAG (Propuesta Principal): Recuperación aumentada. Se utiliza un recuperador denso para encontrar consultas similares en el conjunto de entrenamiento y se utilizan sus rúbricas humanas como ejemplos in-context (few-shot) para guiar la generación del modelo. Se evalúa tanto con como sin tokens de "pensamiento" intermedio.

• Métricas de Evaluación:

  • Similitud de Rúbricas: Se proponen nuevas métricas (Rubric-BLEU, Rubric-ROUGE, Rubric-LLM-Judge) que tratan la rúbrica como un conjunto de criterios en lugar de una cadena de texto, calculando precisión y recuperación basadas en la superposición máxima entre criterios generados y de referencia.
  • Calidad Intrínseca: Tasa de alucinaciones (criterios no presentes en la referencia), criterios omitidos y redundancia.
  • Utilidad Descendente: Correlación entre las puntuaciones obtenidas con rúbricas generadas y las de expertos humanos, y la capacidad del juez LLM para discriminar entre respuestas buenas y malas.

• Datos: Se utilizaron dos conjuntos de datos principales: OpenAI HealthBench (consultas médicas con rúbricas de médicos) y ResearchRubrics (tareas de investigación profunda).

3. Contribuciones Clave

1. Nuevas Métricas de Evaluación: Introducción de métricas específicas para rúbricas (Rubric-BLEU, ROUGE y LLM-Judge) que evalúan la alineación semántica y léxica a nivel de criterio individual.
2. Análisis de Generación Zero-shot: Demostración de que los LLMs "de caja" (off-the-shelf) en configuración zero-shot son generadores de rúbricas deficientes, produciendo criterios genéricos y mal alineados con los humanos.
3. Propuesta RubricRAG: Desarrollo de una estrategia simple pero efectiva que recupera conocimiento de dominio (rúbricas de consultas similares) en tiempo de inferencia para guiar la generación.
4. Comparativa de Estrategias: Evaluación exhaustiva que demuestra que la recuperación semántica supera a enfoques más costosos como el ajuste fino (SFT) o el aprendizaje por refuerzo (GRPO) en términos de alineación con humanos y utilidad práctica.

4. Resultados Principales

• Granularidad de la Rúbrica: Las rúbricas específicas por consulta (finas) permiten a los jueces LLM discriminar mejor entre respuestas buenas y malas en comparación con rúbricas globales o la ausencia de rúbricas (ver Figura 1 del artículo).
• Desempeño de Generación:
  • Los enfoques Zero-shot y Few-shot (con ejemplos aleatorios) muestran un rendimiento pobre en similitud léxica y semántica.
  • RubricRAG logra las puntuaciones más altas de similitud con las rúbricas humanas, superando a los métodos de post-entrenamiento (SFT y GRPO).
  • Curiosamente, los métodos de post-entrenamiento (SFT) mejoran la superposición léxica pero no necesariamente la alineación semántica ni la utilidad descendente.
• Calidad de la Generación:
  • Zero-shot: Tiende a generar rúbricas genéricas, poco específicas y con alucinaciones.
  • RubricRAG: Reduce significativamente las alucinaciones y los criterios omitidos, mejorando la cobertura de detalles clínicos o contextuales específicos. Sin embargo, tiende a introducir redundancia (criterios superpuestos), lo que sugiere la necesidad de un post-procesamiento de deduplicación.
• Eficacia Descendente: Las rúbricas generadas con RubricRAG muestran la mayor correlación (Spearman y Pearson) con las puntuaciones de expertos humanos y mejoran la capacidad del juez LLM para preferir respuestas correctas sobre las incorrectas.

5. Significado e Implicaciones

El trabajo demuestra que la generación automática de rúbricas específicas es un camino prometedor hacia evaluaciones de LLM más interpretables y accionables. Los hallazgos clave son:

1. La contextualización es crucial: La recuperación de conocimiento relevante (rúbricas de consultas similares) es más efectiva que depender únicamente del conocimiento previo del modelo o del ajuste fino masivo.
2. La similitud superficial no garantiza utilidad: Optimizar solo para la superposición léxica con rúbricas de referencia (como hace el SFT) no se traduce necesariamente en una mejor evaluación práctica. La alineación semántica y la relevancia contextual son vitales.
3. Compromiso (Trade-off): Aunque RubricRAG mejora la cobertura y reduce errores, introduce redundancia. El futuro de este campo debe centrarse en combinar la recuperación con técnicas de deduplicación semántica o objetivos de entrenamiento que penalicen la repetición.

En conclusión, RubricRAG ofrece una solución escalable y de bajo costo para generar evaluaciones interpretables de alta calidad, superando las limitaciones de los enfoques puramente generativos y sentando las bases para sistemas de evaluación más robustos en dominios críticos como la salud.