🤖 machine learning

Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation

Este artículo identifica la "interferencia de rúbrica" como un problema de consistencia en la evaluación de LLM con múltiples rúbricas y propone el Alineamiento de Rúbrica Autoanclado (SARA, por sus siglas en inglés), un método de autodestilación on-policy que utiliza juicios de rúbrica única como anclajes estables para mejorar significativamente la consistencia de la evaluación a través de conjuntos de datos y familias de modelos sin supervisión externa.

Autores originales: Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el panorama moderno de la inteligencia artificial, los grandes modelos de lenguaje han evolucionado de simples generadores de texto a evaluadores sofisticados. Cada vez se les encomienda más la tarea de calificar el trabajo de otras máquinas, actuando como jueces automatizados para todo, desde consejos médicos hasta razonamiento científico. Para que estos juicios sean justos y detallados, los investigadores se han alejado de la asignación de una única puntuación global. En su lugar, utilizan listas de verificación, conocidas como rúbricas, que desglosan una respuesta en elementos específicos y verificables como la seguridad, la precisión o la completitud. El objetivo es que el modelo verifique cada elemento de la lista de forma independiente, asegurando que una respuesta sea segura incluso si no es perfectamente precisa, o precisa incluso si no es perfectamente segura. Este enfoque promete un nivel de claridad diagnóstica que un solo número no puede proporcionar, permitiendo a los desarrolladores ver exactamente dónde triunfa o falla un sistema.

Sin embargo, un nuevo estudio revela un fallo sutil pero significativo en cómo operan estos jueces automatizados cuando se enfrentan a múltiples elementos de una lista a la vez. Si bien los modelos son excelentes evaluando un solo elemento de forma aislada, su juicio cambia cuando se les pide evaluar varios elementos simultáneamente en un solo paso. Los investigadores descubrieron que la presencia de otros elementos en la lista de verificación interfiere con la evaluación de cualquier elemento individual. Un veredicto sobre la seguridad podría cambiar simplemente porque se añadió una pregunta de precisión a la lista, o porque el orden de las preguntas fue reorganizado. Este fenómeno, que los autores llaman interferencia de la rúbrica, significa que la misma respuesta podría recibir calificaciones diferentes dependiendo del contexto de las otras preguntas que se estén realizando, socavando la fiabilidad del sistema de evaluación automatizada.

Para abordar esto, un equipo de investigadores de la Universidad de Pekín y Tencent desarrolló un método para entrenar a los modelos para que ignoren estas distracciones. Descubrieron que, mientras un modelo tiene dificultades para juzgar múltiples elementos juntos, permanece notablemente estable y consistente cuando juzga cada elemento por separado. Utilizaron esta estabilidad como guía. Los investigadores crearon un proceso de entrenamiento donde el modelo genera una evaluación completa de todos los elementos a la vez, pero luego compara su razonamiento para cada elemento contra una versión "maestra" de sí mismo que había evaluado ese mismo elemento de forma aislada. Al alinear el razonamiento conjunto del modelo con sus propios juicios estables y aislados, le enseñaron a enfocarse en los criterios específicos de cada elemento sin dejarse influir por la presencia de los demás. Esta técnica, que llaman alineación de rúbrica autoanclada, permite que el modelo produzca un informe unificado que sea tan consistente como si hubiera verificado cada casilla por separado.

Los resultados de este enfoque fueron probados a través de tres conjuntos de datos diferentes que cubrían conversaciones médicas, seguimiento de instrucciones generales y preguntas científicas, utilizando varias familias de modelos diferentes. Los hallazgos mostraron una mejora marcada en la consistencia. Por ejemplo, en un conjunto de datos que involucraba preguntas científicas, el porcentaje de muestras donde el modelo dio exactamente el mismo veredicto, ya fuera verificando los elementos juntos o por separado, casi se triplicó después del entrenamiento. Los modelos se volvieron mucho menos sensibles al número de elementos en la lista de verificación; donde los modelos no entrenados cambiaban de opinión a medida que la lista se alargaba, los modelos entrenados mantenían un estándar constante. También se volvieron más robustos frente al orden de las preguntas, dejando de cambiar sus veredictos simplemente porque la lista de verificación se reordenaba.

Crucialmente, los investigadores confirmaron que este aumento en la consistencia no se produjo a costa de la precisión. Los modelos entrenados no solo se volvieron robóticos en su acuerdo; siguieron siendo tan buenos como los modelos originales para determinar si una respuesta era realmente útil o correcta. De hecho, al eliminar la confusión causada por la interferencia, los modelos a veces funcionaron incluso mejor contra los estándares externos. El estudio también demostó que la habilidad aprendida fue general. Un modelo entrenado en un tipo de conjunto de datos pudo aplicar esta nueva capacidad a un conjunto de datos completamente diferente sin necesidad de entrenamiento adicional, lo que sugiere que había aprendido una forma fundamental de separar su razonamiento en lugar de solo memorizar respuestas específicas.

El mecanismo detrás de esta mejora se rastreó a través de los patrones de atención interna del modelo. Cuando el modelo no entrenado evaluaba múltiples elementos, su enfoque se filtraba de un elemento a otro, causando que el análisis de un punto fuera influenciado por el razonamiento de un punto diferente. Después del entrenamiento, esta filtración se redujo significamente. El modelo aprendió a dirigir su atención casi exclusivamente al elemento específico que estaba analizando en ese momento, bloqueando eficazmente el ruido de los otros elementos de la lista. Este cambio permitió al modelo mantener una línea de razonamiento clara e independiente para cada criterio, incluso mientras procesaba todos juntos.

Las implicaciones de este trabajo se extienden a cómo se evalúan y mejoran los sistemas de inteligencia artificial. Dado que estos modelos se utilizan cada vez más para proporcionar retroalimentación para entrenar a otros sistemas, la fiabilidad de esa retroalimentación es primordial. Si el juez es inconsistente, la señal de entrenamiento se vuelve ruidosa y poco fiable. Al demostrar que la interferencia de la rúbrica es un problema real y sistemático, y al proporcionar un método para solucionarlo sin necesidad de que anotadores humanos proporcionen las respuestas correctas, el estudio ofrece un camino práctico a seguir. Sugiere que la evaluación automatizada puede hacerse más robusta y digna de confianza, asegurando que el ciclo de retroalimentación que impulsa la próxima generación de inteligencia artificial esté construido sobre una base de juicio estable y consistente.

Resumen Técnico: Mitigación de la Interferencia de Rúbricas en Jueces LLM mediante la Auto-destilación On-Policy

1. Definición del Problema: Interferencia de Rúbricas

Los modelos de lenguaje de gran tamaño (LLM) se utilizan cada vez más como jueces automatizados para evaluar la generación de texto abierta frente a listas de verificación de rúbricas detalladas. Si bien la evaluación por aislamiento (evaluar cada rúbrica en una llamada de inferencia separada) es el estándar actual, es computacionalmente ineficiente. La evaluación conjunta (evaluar todas las rúbricas en una sola pasada) ofrece mayor eficiencia y narrativas trans-rúbricas coherentes, particularmente para señales de recompensa en línea en RLHF.

Sin embargo, los autores identifican un modo de fallo sistemático en la evaluación conjunta denominado interferencia de rúbricas. Este fenómeno ocurre cuando el veredicto asignado a una rúbrica específica cambia dependiendo de la composición, el orden o la presencia de otras rúbricas co-evaluadas.

Hallazgo clave: En estudios preliminares, solo un tercio de las muestras recibió veredictos completamente consistentes cuando fueron evaluadas bajo conjuntos de rúbricas de diversas composiciones.
Naturaleza del problema: A diferencia de los sesgos conocidos de los jueces (por ejemplo, sesgo de posición, sesgo de verbosidad) que afectan cómo un juez clasifica diferentes respuestas, la interferencia de rúbricas afecta cómo un juez evalúa la misma respuesta bajo diferentes contextos (es decir, diferentes conjuntos de rúbricas).
Sistematicidad: Esto no es ruido de generación; los modelos exhiben una alta auto-concordancia a través de semillas aleatorias, pero los veredictos cambian sistemáticamente basándose en la configuración del conjunto de rúbricas.

2. Metodología: Alineación de Rúbricas Auto-anclada (SARA)

Para mitigar la interferencia sin requerir supervisión humana externa, los autores proponen la Alineación de Rúbricas Auto-anclada (SARA, por sus siglas en inglés). La hipótesis central es que, si bien un modelo tiene dificultades con la evaluación conjunta, produce juicios estables y fiables cuando evalúa las rúbricas de forma aislada. Estos juicios de aislamiento sirven como "anclas" para corregir el razonamiento en modo conjunto.

2.1 Marco de Medición

Antes de proponer la solución, los autores desarrollaron un marco para cuantificar la interferencia utilizando cuatro operaciones controladas:

Expansión: Comparar los veredictos de aislamiento (rúbrica única) contra los veredictos conjuntos (conjunto completo).
Subconjuntos: Comparar los veredictos a través de subconjuntos anidados de diversos tamaños.
Reordenación: Evaluar el mismo conjunto bajo diferentes permutaciones para aislar los efectos posicionales.
Inyección de Ruido: Añadir rúbricas no relacionadas para probar la capacidad del modelo para ignorar el contexto irrelevante.

2.2 El Pipeline de Entrenamiento SARA

SARA utiliza la auto-destilación on-policy para alinear el razonamiento en modo conjunto del modelo con sus propios juicios en modo de aislamiento.

Modelo Estudiante ( $M_\theta$ ): Genera una evaluación completa de múltiples rúbricas en una sola pasada. La salida se descompone en segmentos de análisis (texto de razonamiento) y segmentos estructurales (veredictos, formato).
Modelo Profesor ( $M_\phi$ ): Una copia del estudiante que se actualiza lentamente (mediante el Promedio Móvil Exponencial, EMA). El profesor evalúa cada segmento de rúbrica individual en un contexto de aislamiento (viendo solo esa rúbrica específica y la conversación), generando logits libres de interferencia.
Funciones de Pérdida:
- Pérdida de Divergencia ( $L_{distill}$ ): Alinea los logits del estudiante para los segmentos de análisis con los logits libres de interferencia del profesor. Esto obliga al estudiante a razonar sobre una rúbrica como si fuera la única presente, incluso cuando otras rúbricas son visibles.
- Pérdida de Preservación ( $L_{preserve}$ ): Alinea los logits del estudiante para los segmentos estructurales (veredictos/formato) con los logits del profesor bajo el contexto completo. Esto asegura que la salida estructural siga siendo coherente en la evaluación conjunta.
Aumento de Datos: Durante el entrenamiento, el orden de las rúbricas se baraja y se inyectan rúbricas de ruido (de conversaciones no relacionadas) para exponer al modelo a diversos patrones de interferencia.

3. Configuración Experimental

Datasets: Tres dominios distintos:
- HealthBench: Conversaciones médicas con veredictos binarios (cumplido/no cumplido) y de 2 a 32 rúbricas por muestra.
- FLASK: Seguimiento de instrucciones generales con 3 dimensiones de habilidad fijas (escala 1–5).
- ResearchQA: Preguntas y respuestas científicas con rúbricas de escala 0–4.
Modelos: Familia Qwen3 (8B, 14B, 32B) y Llama-3.1-8B-Instruct.
Baselines: Comparación contra el Ajuste Fino Supervisado (SFT) estándar sobre salidas de aislamiento concatenadas en un formato conjunto (SFTiso).

4. Resultados Clave

SARA mejora consistentemente la consistencia de la evaluación en todos los tamaños de modelo y dominios, manteniendo o mejorando la calidad de la evaluación.

Ganancias en Consistencia: SARA reduce significativamente la brecha entre los veredictos de aislamiento y los conjuntos.
- En ResearchQA, el Exact Match (EM) de Qwen3-8B casi se triplicó (0.22 → 0.59), y el coeficiente $\kappa$ de Cohen mejoró de 0.665 a 0.868.
- En HealthBench, las mejoras fueron constantes en modelos hasta 14B, a pesar de la mayor dificultad base de los veredictos binarios.
- Incluso en FLASK (solo 3 rúbricas fijas), existía una interferencia mensurable, y SARA mejoró el EM de 0.41 a 0.59 para Qwen3-32B.
Preservación de la Calidad: A diferencia de SFTiso, que a menudo causaba una deriva conductual (desplazando la distribución de juicio del modelo lejos del modelo base), SARA preservó el comportamiento original de evaluación.
- La concordancia con el modelo base no entrenado se mantuvo alta (>0.84) en todos los entornos.
- La concordancia con un juez de referencia externo (GPT-4.1) se preservó o mejoró, indicando que reducir la interferencia también mejora la precisión absoluta cuando los juicios de aislamiento base son razonables.
Robustez a Perturbaciones:
- Escalabilidad: A medida que aumentaba el número de rúbricas co-evaluadas ( $K$ ), la Desviación Absoluta Media (MAD) para los modelos base aumentaba abruptamente. SARA suavizó estas curvas, manteniendo la MAD casi constante independientemente del tamaño del conjunto.
- Barajado y Ruido: SARA aproximadamente duplicó las puntuaciones de Exact Match bajo permutación aleatoria de rúbricas e inyección de ruido en comparación con los modelos base.
Transferibilidad: Un modelo entrenado en ResearchQA (SARA $_{rqa}$ ) mejoró el rendimiento en HealthBench y FLASK sin necesidad de un nuevo ajuste fino, confirmando que SARA aprende una capacidad general para desacoplar el razonamiento del contexto en lugar de sobreajustarse a patrones específicos de un dataset.

5. Análisis Mecanístico

El análisis de atención revela cómo SARA logra la reducción de la interferencia:

Concentración Diagonal: SARA aumenta la auto-atención dentro de los segmentos de análisis de salida (de 0.623 a 0.809), lo que significa que el modelo se enfoca en su propio razonamiento para la rúbrica objetivo en lugar de en los análisis de otras rúbricas.
Supresión de Fugas: La atención trans-rúbrica (fuera de la diagonal) en la mitad de la salida cayó un 64%. El modelo base mostraba una "fuga" significativa donde las rúbricas posteriores atendían fuertemente a los análisis de las rúbricas anteriores; SARA casi eliminó esto.
Insensibilidad de Entrada: La atención a otras definiciones de rúbricas de entrada disminuyó, confirmando que el modelo se volvió menos sensible a la presencia de criterios co-evaluados.

6. Significado y Reivindicaciones

El artículo afirma identificar la interferencia de rúbricas como un problema de fiabilidad sistemático y distinto en la evaluación de LLM con múltiples rúbricas. La contribución principal es SARA, un método auto-supervisado que mitiga esta interferencia anclando el razonamiento en modo conjunto a sus propios juicios de aislamiento estables.

Los autores enfatizan que SARA:

No requiere supervisión externa ni anotación humana.
Enseña una capacidad general (desacoplar el razonamiento del contexto) que se transfiere entre datasets y familias de modelos.
Mejora la consistencia sin degradar la calidad de los juicios en relación con el modelo base o referencias externas como GPT-4.1.

Este trabajo sugiere que, para que los jueces de LLM reemplacen de manera fiable las llamadas de aislamiento en entornos de RLHF de alto riesgo o eficientes, deben ser entrenados explícitamente para mantener la invarianza ante variaciones en los contextos de evaluación.