Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines

Resumen Técnico: ¿Quién se desvió? Atribución válida en cualquier momento en los procesos de evaluación de LLM

1. El Problema

La evaluación continua de productos de Modelos de Lenguaje Extensos (LLM) depende cada vez más de procesos de "LLM-como-juez" (LLM-as-judge), donde un modelo fuerte califica las interacciones para activar alertas cuando el rendimiento se degrada. El supuesto fundamental en estos sistemas es que el juez actúa como una vara de medir fija; por lo tanto, una caída en las puntuaciones implica una regresión en el producto. Sin embargo, el juez es en sí mismo un modelo basado en API sujeto a actualizaciones silenciosas de versiones, cambios en los prompts o cambios en las políticas.

Cuando un sistema de monitoreo activa una alarma, se enfrenta a una ambigüedad: ¿se degradó la calidad del producto o cambió el comportamiento de puntuación del juez? Actuar con la atribución errónea es costoso: los equipos pueden revertir un producto saludable o lanzar una regresión descartando la alarma como un "desvío del juez" (judge drift). Los métodos estadísticos clásicos, como las pruebas z de ventana rodante, fallan en este contexto de monitoreo continuo porque carecen de validez en cualquier momento (anytime-validity); ejecutar una prueba de $\alpha$ fijo en cada paso infla la tasa de falsas alarmas, provocando detecciones espurias incluso en flujos sin desvíos.

2. Metodología

El artículo propone un marco para desenredar el desvío del sistema del desvío del juez utilizando e-procesos válidos en cualquier momento y una regla de atribución anclada en humanos.

A. El Monitor Principal Presupuestado (Detección de Desvío del Sistema)
El sistema emplea un monitor estratificado impulsado por predicción (siguiendo a Csillag et al., 2025b; Angelopoulos et al., 2023) para detectar regresiones de calidad:

• Arquitectura: Un juez económico ($\mu$) califica cada elemento, mientras que un juez fuerte y costoso ($y$) califica un subconjunto muestreado bajo un presupuesto fijo.
• Mecanismo: Para cada celda de (rúbrica $\times$ estrato), un e-proceso impulsado por predicción acumula "riqueza" para probar la hipótesis nula de que la media de la puntuación no ha caído por debajo de una línea base saludable.
• Eficiencia de Costos: El sistema utiliza un disparador de escalada de riqueza de e (e-wealth escalation). A medida que se acumula evidencia de desvío, la probabilidad de muestreo para el juez fuerte aumenta. Esto permite al sistema detectar regresiones en puntos ciegos localizados a aproximadamente un tercio del costo de una evaluación completa, manteniendo la validez en cualquier momento (garantizando que la tasa de falsas alarmas permanezca acotada en cualquier tiempo de parada).

B. La Construcción del Ancla (Detección de Desvío del Juez)
Para resolver la ambigüedad de la atribución, los autores introducen un segundo e-proceso independiente anclado a etiquetas humanas fijas:

• Conjunto de Anclaje ($A$): Una colección fija y de reserva de elementos con etiquetas humanas congeladas ($h$), extraída antes de comenzar el monitoreo.
• Intercalado: A un ritmo constante (por ejemplo, cada $1/\rho$ elementos), el juez fuerte actual vuelve a calificar un elemento de anclaje seleccionado al azar.
• El E-Proceso: Un e-proceso de apuestas rastrea la brecha entre la puntuación actual del juez sobre el ancla y la etiqueta humana congelada.
• Asimetría: Debido a que los elementos de anclaje y las etiquetas humanas son fijos, solo un cambio en el juez puede alterar la distribución de la brecha. El desvío del sistema afecta a los elementos entrantes pero deja la brecha del ancla sin cambios. Esto crea un "espejo unidireccional" que detecta exclusivamente el desvío del juez.

C. La Regla de Atribución (Ventana de Guarda)
El sistema combina los tiempos de parada del proceso principal ($\tau_{sys}$) y del proceso de anclaje ($\tau_{anc}$) utilizando una ventana de guarda ($W$) para emitir un veredicto en $\{ninguno, sistema, juez\}$:

• Veredicto de Juez: Si el proceso de anclaje se dispara primero ($\tau_{anc} < \infty$) y el proceso principal se dispara dentro de la ventana de guarda ($\tau_{sys} \le \tau_{anc} + W$), el veredicto es juez. La lógica es que un juez contaminado invalida la alarma principal.
• Veredicto de Sistema: Si el proceso principal se dispara primero y el proceso de anclaje no se dispara dentro de la ventana de guarda, el veredicto es sistema.
• Condición de Carrera: El diseño depende de una "carrera de atribución". Para prevenir la mala atribución, el proceso de anclaje debe estar provisto para detectar el desvío del juez más rápido de lo que el proceso principal contaminado puede activar falsamente una alarma de sistema.

3. Contribuciones Clave

1. Construcción de Anclaje y Regla de Atribución: Un método novedoso que utiliza un e-proceso anclado en humanos y válido en cualquier momento para separar explícitamente el desvío del juez del desvío del sistema, emitiendo un veredicto de tres estados en lugar de una alarma binaria.
2. Garantías Teóricas:
   • Validez en Cualquier Momento: La familia de anclaje mantiene una tasa de falsas alarmas ($\alpha_{juez}$) acotada en cualquier tiempo de parada dependiente de los datos.
   • Identificación Unidireccional: Se garantiza matemáticamente que el proceso de anclaje es insensible al desvío del sistema; solo puede ser activado por un cambio en el juez.
   • Carrera de Atribución: El artículo establece una ley de diseño donde el proceso de anclaje debe estar provisto para "ganar la carrera" al proceso principal. La mala atribución (falsas alarmas de sistema durante un desvío del juez) es una función del ancho de la ventana de guarda, la tasa de anclaje y el tamaño del conjunto de anclaje.
   • Ortogonalidad: El presupuesto del ancla y la configuración del proceso principal son independientes, lo que permite el ajuste separado de la latencia del juez y la potencia del sistema.
3. Validación Empírica en Desvíos Reales: El método fue probado en dos cambios reales de jueces (un aumento silencioso de versión y una actualización de política de prompt estricto) a través de dos dominios (HelpSteer2 y resumen TL;DR) sin necesidad de reajuste.
4. Superioridad Operativa: El e-proceso propuesto supera significativamente a las bases clásicas (pruebas z de ventana rodante ingenuas y detectores de Page–Hinkley calibrados) en términos de control de falsas alarmas y detección de desvíos sutiles.

4. Resultados

• Precisión de Detección:
  • Aumento Silencioso de Versión: Detectado como desvío del juez en 60/60 ejecuciones con cero mala atribución de juez a sistema.
  • Cambio de Prompt Estricto: Atribuido correctamente en 110/120 ejecuciones (con un ancho de ventana $W=300$) en HelpSteer2. En el dominio TL;DR, donde el cambio de prompt fue más severo, la atribución fue perfecta (240/240).
  • Mala Atribución: La tasa de falsas alarmas de sistema durante el desvío del juez disminuyó monótonamente a medida que aumentaba la ventana de guarda ($W$), confirmando la teoría de la "carrera de atribución".
• Comparación con Baselines:
  • Una prueba z de ventana rodante ingenua (el estándar de la industria) generó falsas alarmas en el 75% de los flujos sin desvío.
  • Un detector de Page–Hinkley calibrado mantuvo su presupuesto de falsas alarmas pero falló en detectar el desvío de versión sutil (solo 8% de detección en HelpSteer2) y requirió datos de calibración de reserva.
• Eficiencia de Costos: El monitor opera a aproximadamente 0.64 del costo de evaluar cada elemento (o 0.21 en un régimen de "más barato pero menos sensible"), manteniendo garantías de detección válidas.

5. Significado y Reivindicaciones

El artículo afirma resolver un modo de falla crítico y no abordado en las operaciones de LLM: la incapacidad de distinguir entre la degradación del producto y la inestabilidad del juez en el monitoreo continuo.

• Impacto Práctico: La construcción proporciona una garantía aguda de que el desvío del juez nunca se cargará silenciosamente al sistema más allá de un presupuesto de error definido ($\alpha_{juez}$). Esto evita que los equipos tomen decisiones operativas costosas e incorrectas (por ejemplo, revertir modelos saludables).
• Contribución Teórica: Demuestra que la validez en cualquier momento no es solo un detalle teórico, sino una necesidad práctica para el monitoreo continuo, ya que los métodos de horizonte fijo estándar fallan catastróficamente bajo pruebas secuenciales.
• Ley de Diseño: El artículo establece que la atribución es una carrera de velocidad. Proporciona una receta concreta de "co-provisión": el presupuesto del ancla debe dimensionarse para asegurar que el proceso de anclaje detecte el desvío del juez más rápido de lo que el proceso principal contaminado puede disparar una falsa alarma de sistema.
• Limitaciones: Los autores señalan modestamente que el método asume que las etiquetas humanas siguen siendo una referencia válida (requiriendo actualizaciones periódicas si los estándares evolucionan) y que no pretende la optimalidad en las estrategias de apuesta o la minimización de la mala atribución a presupuestos fijos, sino la validez e identificación.

En resumen, el artículo presenta un marco robusto y consciente de los costos que transforma la ambigua "alarma de desvío" en una atribución verificable, asegurando que la "vara de medir" sea monitoreada con la misma rigurosidad que el "producto" que mide.