SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks

Resumen Técnico: SafetyRepro: Inestabilidad de Rangos Condicional a la Configuración en Puntos de Referencia de Alineación

Enunciado del Problema
El artículo aborda una brecha crítica en la reproducibilidad de los puntos de referencia de alineación de Modelos de Lenguaje de Gran Escala (LLM). Si bien las comparaciones pareadas (por ejemplo, "El Modelo A es más seguro que el Modelo B") se tratan como veredictos cuantitativos en la literatura, dependen de entornos de evaluación que subespecifican elecciones de configuración críticas. Los evaluadores deben seleccionar plantillas de prompts, configuraciones de decodificación, niveles de pocos ejemplos (few-shot), reglas de puntuación y esquemas de cuantización. Los autores argumentan que estas elecciones a menudo son plausibles pero subespecificadas en los artículos de puntos de referencia, lo que conduce a una falta de reproducibilidad donde el mismo par de modelos puede producir clasificaciones contradictorias dependiendo de la configuración del entorno.

Metodología
Los autores construyen un protocolo de evaluación "sellado con commit" para probar la estabilidad de las clasificaciones pareadas a través de un envelope de configuración finito.

• Cuadrícula Experimental: El estudio evalúa tres modelos de instrucciones ajustados de código abierto de 7–9B (Qwen-2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 y Yi-1.5-9B-Chat) a través de cinco puntos de referencia relacionados con la alineación: TruthfulQA, BBQ, ToxiGen, CrowS-Pairs y XSTest.
• Envelope de Configuración: Se barre una cuadrícula de 612 celdas, variando cuatro ejes por par (modelo, punto de referencia):
  1. Plantilla de Prompt: Cuatro niveles (Mínimo, Enmarcado por rol, Detallado, Cadena de pensamiento).
  2. Decodificación: Tres niveles (Greedy, T=0.3, T=0.7).
  3. Few-shot: Tres niveles (0, 3, 5 disparos).
  4. Puntuación: Dos niveles (Extracción de regex de forma libre vs. argmax de logprob).
• Restricciones: La cuadrícula se fija a cuantización NF4 (simulando hardware de consumidor de 16 GB) y un subconjunto de elementos fijo por punto de referencia para aislar la varianza del entorno de la varianza del muestreo de datos.
• Métricas:
  • Tasa de Desacuerdo Pareado Controlable por el Operador ($\rho_{flip}$): Definida como $\min(N_+, N_-) / |C_b|$, donde $N_+$ y $N_-$ son las conteos de configuraciones donde Modelo A > Modelo B y Modelo B > Modelo A, respectivamente. Esta métrica mide la existencia de inversiones estrictas dentro del envelope.
  • Concordancia de Clasificación ($\tau_R$): Kendall $\tau$ promedio sobre clasificaciones de 3 modelos inducidas.
  • Atribución de Varianza: Un ANOVA de cuatro vías tipo II para partitionar la varianza entre la identidad del modelo y los ejes de implementación (plantilla, decodificación, few-shot).
• Estudio de Caso: Un análisis separado vuelve a ejecutar una única configuración nominal de ancla (Qwen2.5-7B-Instruct) a través de tres paquetes de evaluación principales (lm-evaluation-harness, HELM-lite, Inspect AI) para demostrar la no equivalencia de implementación.

Hallazgos Clave

1. Inestabilidad Universal de Rangos: En cada punto de referencia probado, la elección de configuración por sí sola es suficiente para invertir el veredicto pareado entre modelos. La métrica $\rho_{flip}$ es no nula para todos los puntos de referencia, lo que indica que el ordenamiento estricto no es identificable dentro del envelope probado.
2. Inestabilidad Máxima:
   • XSTest: El punto de referencia más volátil; todas las seis ordenaciones posibles de los tres modelos son alcanzables dentro del envelope completo. Incluso en un "nivel central" (excluyendo CoT de nivel de estrés y decodificación diversa), 5 de 6 ordenaciones permanecen alcanzables.
   • TruthfulQA: Muestra la tasa de desacuerdo pareado más alta ($\rho_{flip} \approx 47.9\%$ en el envelope completo, $\approx 40.7\%$ en el nivel central).
   • BBQ y ToxiGen: También exhiben inestabilidad significativa, con valores de $\rho_{flip}$ alrededor del 43.8% y 35.4% respectivamente.
3. Dominio de Implementación vs. Modelo: La partición de varianza revela que los efectos principales de implementación explican tanto o más de la varianza agregada que la identidad del modelo en tres de los cuatro puntos de referencia de forma libre (BBQ, ToxiGen, XSTest). Solo TruthfulQA está dominado por el modelo. Los efectos de interacción son grandes (41–54%), lo que sugiere que la partición es una dirección cualitativa más que una proporción precisa.
4. Sensibilidad de la Ruta de Puntuación: Cambiar entre el análisis de regex de forma libre y la puntuación de argmax de logprob produce puntuaciones materialmente diferentes (hasta 22.7 puntos porcentuales en BBQ y 21.7 en TruthfulQA en el estudio entre paquetes), confirmando que diferentes rutas de puntuación miden objetos candidatos no equivalentes.
5. No Equivalencia entre Paquetes: Ejecutar la misma configuración nominal a través de tres paquetes de evaluación diferentes produce dispersiones de puntuación de hasta 22.7 puntos porcentuales. Esto se atribuye a la no equivalencia de implementación (objetos candidatos diferentes, plantillas de prompts y mapeos de verdad fundamental) en lugar de un efecto de paquete de un solo eje.

Contribuciones

1. Métrica: La introducción de la tasa de desacuerdo pareado controlable por el operador ($\rho_{flip}$), una métrica condicional a la configuración que cuantifica la existencia de inversiones estrictas de rango dentro de un envelope derivado de la práctica definido.
2. Datos: Una cuadrícula de evaluación de 612 celdas reutilizable que cubre 15 pares (modelo, punto de referencia) con reglas de configuración selladas con commit.
3. Evidencia: Un estudio de caso que demuestra la no equivalencia de implementación a través de tres paquetes de evaluación principales, mostrando que divulgar una configuración es insuficiente para la reproducibilidad de puntuaciones entre diferentes entornos.
4. Herramientas: Una plantilla de divulgación de nivel de investigación (tarjeta GRID) para registrar configuraciones de entorno junto con puntuaciones, reconociendo que, si bien mejora la transparencia, no resuelve el problema de que los reclamantes manipulen vecindarios de configuración.
5. Verificaciones de Robustez: Análisis de un sub-envelope conservador-central (4 configuraciones) y una sonda de escala entre familias (7B vs. 32B/34B) que descarta confusores de una sola familia pero no afirma una ley de escalado general.

Significado y Afirmaciones
El artículo afirma que una clasificación de puntuación de punto de referencia que sitúa al Modelo A por encima del Modelo B es una propiedad del par (modelo, entorno), no de los modelos solos. Los autores afirman que sin divulgar tanto el modelo como la configuración específica del entorno, dichas clasificaciones no pueden reproducirse.

El significado radica en cerrar un "bucle teoría-punto de referencia" proporcionando una prueba de una línea (Proposición 1) para determinar si una clasificación pareada está libre de inversión estricta en una cuadrícula de configuración dada. Los autores enfatizan que sus hallazgos están acotados: no afirman haber medido la "reproducibilidad de la evaluación de LLM" como una población, ni afirman haber resuelto la reproducibilidad. En cambio, demuestran que dentro de un envelope deliberadamente acotado y derivado de la práctica (hardware de consumidor, tamaños de modelo específicos, subconjuntos de elementos fijos), el primitivo "ordenamiento estricto" falla en identificar una verdad estable. El artículo concluye que certificar qué clasificaciones publicadas están identificadas no requiere ni nueva teoría ni nuevo cómputo, sino la aplicación de esta prueba condicional a la configuración.