Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges

Resumen Técnico: Rúbricas como Superficie de Ataque

1. El Problema: Vulnerabilidad en los Jueces Basados en LLM

Los pipelines de alineación y evaluación de Modelos de Lenguaje Grandes (LLM) dependen cada vez más de jueces basados en LLM (LLM-as-a-Judge). Estos jueces utilizan rúbricas (instrucciones en lenguaje natural) para guiar su comportamiento y validar respuestas.

El problema central identificado es una vulnerabilidad previamente subestimada llamada Deriva de Preferencia Inducida por Rúbricas (RIPD, por sus siglas en inglés: Rubric-Induced Preference Drift).

• La paradoja: Es posible modificar las rúbricas de manera que parezcan benignas, naturales y cumplan con los estándares de validación en conjuntos de datos de referencia (benchmarks), pero que simultáneamente provoquen un desplazamiento sistemático y direccional en las preferencias del juez sobre dominios objetivo no vistos.
• El riesgo: Dado que las rúbricas actúan como una interfaz de decisión de alto nivel, pequeños cambios en el texto pueden reestructurar cómo el modelo prioriza los criterios, generando sesgos que no son detectables mediante métricas agregadas de benchmarks o revisiones puntuales limitadas.

2. Metodología y Modelo de Amenaza

Los autores proponen un modelo de amenaza realista donde un adversario (un diseñador de rúbricas) tiene acceso a:

• Datos de prueba (probe sets) de dominios de referencia (benchmark) y objetivo (target).
• Capacidad para editar el texto de la rúbrica.
• Restricciones: No tiene acceso a los parámetros internos del modelo juez, ni a sus gradientes, ni puede alterar las entradas de evaluación.

El Ataque: Búsqueda de Rúbricas Sesgadas
El ataque se realiza mediante un proceso de búsqueda evolutiva (black-box) sobre el espacio de las rúbricas en lenguaje natural:

1. Objetivo: Encontrar una rúbrica modificada ($R'$) que mantenga el rendimiento en el benchmark (preservando la precisión de validación) pero que degrade la precisión en el dominio objetivo en comparación con una referencia humana fija.
2. Refinamiento Asimétrico: El algoritmo utiliza dos señales contradictorias para guiar la búsqueda:
   • En el benchmark: Corrige errores para mantener la conformidad.
   • En el dominio objetivo: Intencionalmente invierte las preferencias correctas (tratando aciertos como errores) para forzar un cambio direccional en la rúbrica.
3. Selección: Se elige la rúbrica que maximiza la deriva en el dominio objetivo mientras cumple con las restricciones de tolerancia en el benchmark.

3. Contribuciones Clave

1. Identificación de RIPD: Demostración de que la refinación natural de rúbricas puede inducir una deriva sistemática en las preferencias del juez sin alterar sus parámetros ni los datos de entrada.
2. Ejecutabilidad del Ataque: Prueba de que un atacante puede realizar este ataque utilizando solo ediciones de texto, logrando reducir la precisión en dominios objetivo hasta un 9.5% (en tareas de utilidad) y 27.9% (en tareas de inocuidad), manteniendo al mismo tiempo una alta precisión en el benchmark.
3. Propagación en Pipelines de Alineación: Demostración de que el sesgo introducido en la etapa de evaluación se propaga a través de la generación de etiquetas de preferencia y se internaliza en los modelos finales durante el entrenamiento post-entrenamiento (como DPO o RLAIF), causando una desalineación persistente en el comportamiento de la política.

4. Resultados Experimentales

Los experimentos se realizaron en tareas de Utilidad (Helpfulness) e Inocuidad (Harmlessness) utilizando múltiples modelos juez (Qwen3-14B, Gemma-3-27B, DeepSeek-V3).

• Deriva Sigilosa: Las rúbricas modificadas lograron mantener o incluso mejorar la precisión en los benchmarks (ej. UltraFeedback, SafeRLHF-RMB), pero sufrieron una degradación significativa en los dominios objetivo (ej. Ultra-Real, Anthropic-SafeRLHF).
  • Ejemplo: En tareas de inocuidad con Qwen3-14B, la precisión en el benchmark subió de 0.686 a 0.706, mientras que en el dominio objetivo cayó drásticamente de 0.826 a 0.547.
• Generalización: La deriva inducida por una rúbrica específica se transfirió exitosamente a otros modelos juez, indicando que el sesgo reside en la lógica de la rúbrica y no en el modelo específico.
• Calidad de la Rúbrica: Las rúbricas sesgadas no fueron detectadas como "peores" en comparaciones ciegas por evaluadores LLM independientes; de hecho, a menudo fueron preferidas sobre las rúbricas originales, lo que confirma que la deriva no se debe a una mala especificación, sino a un reajuste sutil de los criterios de decisión.
• Impacto en Políticas Alineadas: Cuando se entrenaron políticas (usando DPO) con las etiquetas generadas por los jueces sesgados:
  • Las políticas resultantes ($\pi_{bias}$) fueron consistentemente preferidas menos que las políticas entrenadas con la rúbrica original ($\pi_{seed}$) por evaluadores externos.
  • La degradación persistió incluso cuando se mezclaron datos de benchmark y objetivo durante el entrenamiento, sugiriendo que las estrategias estándar de mezcla de datos no mitigan este sesgo.

5. Significado e Implicaciones

Este trabajo revela un riesgo sistémico de alineación que va más allá de la fiabilidad del evaluador:

• Las rúbricas son interfaces de control manipulables: No son especificaciones pasivas, sino componentes activos que moldean directamente la estructura de preferencias.
• Fallo de la Validación Estática: La validación basada únicamente en benchmarks es insuficiente para garantizar un comportamiento seguro o alineado en dominios no vistos. Un juez puede parecer perfecto en pruebas estándar y ser profundamente sesgado en la práctica real.
• Propagación del Sesgo: El sesgo introducido en la etapa de evaluación se "incrusta" en los modelos finales, haciendo que la desalineación sea persistente y difícil de corregir sin reentrenar desde cero.

Conclusión: El artículo advierte que el diseño y la validación de rúbricas deben tratarse como componentes críticos del pipeline de alineación, requiriendo nuevas defensas que vayan más allá de la simple verificación de métricas en benchmarks para detectar deriva direccional en dominios específicos.