Resumen Técnico: El Objetivo Móvil – Una Auditoría Longitudinal de la Deriva de la Confiabilidad

1. Planteamiento del Problema

Las prácticas actuales en el reporte de la confiabilidad de los Modelos de Lenguaje de Gran Escala (LLM) suelen tratar las puntuaciones de los benchmarks como certificados estáticos y transferibles. Las tarjetas de modelo (model cards) frecuentemente citan puntuaciones de benchmarks de confianza (por ejemplo, TruthfulQA, BBQ) sin registrar el momento específico de la medición o la versión del checkpoint. En consecuencia, estas puntuaciones se trasladan habitualmente a través de sucesivos checkpoints de la misma línea de lanzamiento (por ejemplo, de "Mistral-7B-Instruct v0.1" a "v0.3") bajo la suposición implícita de que el comportamiento del modelo no ha cambiado.

Este artículo investiga si esta suposición se sostiene. Postula que, para las líneas de lanzamiento de código abierto, donde las mezclas de preentrenamiento, las recetas de ajuste de instrucciones, los tokenizadores y las escalas de los modelos cambian entre generaciones, una puntuación de confianza medida en el tiempo $t$ puede no ser válida para un checkpoint subsiguiente en el tiempo $t+\Delta$. La cuestión operativa central es: ¿Se está leyendo una puntuación de confianza de un punto en el tiempo como un certificado transferible cuando el checkpoint subyacente ya se ha desplazado?

2. Metodología

2.1 Alcance y Diseño de la Auditoría

El estudio realiza una auditoría longitudinal de cuatro líneas de lanzamiento de chat-LLM de código abierto: Yi, Qwen, Mistral y Gemma.

• Generaciones: Cada línea de lanzamiento se evalúa en tres generaciones públicas sucesivas (G1 $\to$ G2 $\to$ G3), lo que resulta en 12 checkpoints distintos.
• Benchmarks: Se utiliza una cesta fija de cinco benchmarks de confianza, que cubren tres dimensiones:
  • Veracidad: TruthfulQA-MC1.
  • Equidad (Fairness): BBQ-mixed (MCQs ambiguos/desambiguados mixtos) y CrowS-Pairs-FC (MCQs de elección forzada).
  • Seguridad: ToxiGen-AT (umbral de toxicidad anotado por IA) y XSTest-TD (proxy de rechazo derivado de tipo).
• Prompting: Cada benchmark se evalúa bajo tres plantillas de prompt distintas (variando la forma superficial y la estrategia de extracción) para dar cuenta de la sensibilidad de la configuración.
• Muestreo: Se reutiliza un subconjunto fijo y en caché de 200 elementos por benchmark en los 12 checkpoints para asegurar comparaciones emparejadas.
• Protocolo de Evaluación: Los modelos se cargan en cuantización 4-bit NF4 con decodificación codiciosa (greedy decoding). Las puntuaciones se calculan como la media de las tres plantillas de prompt para cada checkpoint.

2.2 Métricas y Marco Estadístico

La métrica principal es la Tasa de Deriva de Puntuación (SDR), definida como la diferencia absoluta en puntos porcentajes de las puntuaciones entre generaciones adyacentes:
$$|SDR| = \frac{1}{|F||B||G_{trans}|} \sum |(s_{f,g',b} - s_{f,g,b})|$$
donde $F$ es el conjunto de líneas de lanzamiento, $B$ es la cesta de benchmarks, y $G_{trans}$ representa las transiciones adyacentes.

Para determinar si la deriva observada es estadísticamente significativa o simplemente ruido de muestreo, los autores construyen una referencia nula de no-deriva agrupada:

• Mecanismo: Para cada triple $(f, b, t)$, se calcula una tasa de éxito agrupada a través de todas las generaciones. En 5,000 iteraciones de bootstrap, se simulan nuevas puntuaciones mediante el dibujo de una distribución Binomial basada en esta tasa agrupada, tratando las generaciones adyacentes como independientes.
• Propósito: Esto genera una distribución de $|SDR|$ esperada bajo una hipótesis de "no-deriva". El agregado observado se compara contra el percentil 99.9 de esta distribución nula.

3. Resultados Clave

3.1 Punto Final Primario: Deriva Significativa

El estudio encuentra que las puntuaciones de confiabilidad derivan significativamente a través de las generaciones, excediendo con creces lo que se esperaría por el ruido de muestreo.

• Deriva Observada: La media de la deriva absoluta entre generaciones adyacentes ($|SDR|$) es de 8.00 puntos porcentuales (pp) (IC 95%: [7.57, 9.12]).
• Comparación con la Nula: La referencia nula de no-deriva agrupada tiene una media de 2.22 pp y un percentil 99.9 de 3.30 pp.
• Significancia: La deriva observada es 3.60 veces mayor que la media de la nula y se sitúa muy por fuera de la cola superior $10^{-3}$ de la distribución nula ($p < 2 \times 10^{-4}$).
• Robustez: Este resultado se mantiene bajo una puntuación estricta (los resultados no analizados se cuentan como incorrectos, elevando la deriva a 8.93 pp) y a través de varias perturbaciones (eliminando benchmarks específicos, líneas de lanzamiento o celdas de bajo análisis), donde la deriva permanece en el rango de [6.36, 9.43] pp.

3.2 Diagnósticos Exploratorios

• Tasa de Regresión: El 47.5% de las transiciones de generación adyacente resultaron en una regresión (puntuaciones más bajas), contradiciendo la expectativa implícita de que "lo posterior es estrictamente mejor".
• Volatilidad de Dimensiones: Los benchmarks relacionados con la equidad mostraron la mayor volatilidad ($\sigma \approx 12.88$ pp), seguidos por la Veracidad ($\approx 11.72$ pp), mientras que la Seguridad fue más ajustada ($\approx 7.48$ pp).
• Persistencia de Rango: La estabilidad de rango es débil. La línea de lanzamiento con la puntuación más alta cambió en el 90% de las celdas de benchmark/transición, y los ordenamientos de pares se invirtieron el 55% de las veces, desempeñándose solo marginalmente mejor que las bases de uniforme-aleatorio.
• Cambios de Cumplimiento: Al umbral de la mediana empírica, la probabilidad de que un benchmark cruce el umbral entre generaciones es $\ge 0.5$ para todos los benchmarks.

4. Contribuciones e Implicaciones

4.1 Conclusión Central

El artículo concluye que no debe presumirse que las puntuaciones de confianza adjuntas a una línea de lanzamiento con nombre se transfieran a checkpoints posteriores sin una nueva medición. La evidencia sugiere que tratar estas puntuaciones como certificados transferibles es operativamente erróneo.

4.2 Solución Propuesta: Tarjetas de Modelo Longitudinales (LMC)

Los autores proponen empaquetar el reporte de confianza como una Tarjeta de Modelo Longitudinal (LMC). A diferencia de las tarjetas de modelo estándar, una LMC debe incluir:

• Identidad del Checkpoint: El hash de revisión específico de HuggingFace.
• Fecha de Evaluación: La fecha exacta de la medición.
• Contexto de Deriva: La puntuación de su deriva relativa al lanzamiento auditado anterior y el resumen de la referencia nula.
• Disparador de Re-auditoría: Una regla que establece que cualquier "lanzamiento materialmente nuevo" (cambio en pesos, tokenizador, escala o receta) activa una re-auditoría obligatoria en lugar de la transferencia de la puntuación.

4.3 Alcance de las Afirmaciones

Los autores limitan explícitamente el alcance de sus hallazgos:

• Incluido: Variantes de evaluación de chat no canónicas de los cinco benchmarks específicos, subconjuntos en caché fijos de 200 elementos por benchmark, y las cuatro líneas de lanzamiento de código abierto auditadas (todas $\le 12B$ de parámetros).
• Excluido: APIs de código cerrado (ej. OpenAI, Anthropic), modelos mayores a 12B, protocolos de benchmark canónicos, y reglas de divulgación de cadencia mensual fija. El artículo no afirma que la deriva exista en estos dominios excluidos, señalando que requieren una evaluación separada.

5. Significancia y Limitaciones

Significancia: El artículo proporciona la primera auditoría longitudinal a gran escala y multifamiliar de la confiabilidad de los LLM de código abierto. Desafía el paradigma del "certificado estático" en la gobernanza de modelos, la adquisición y la divulgación regulatoria, argumentando que la confianza es un artefacto vinculado al tiempo y específico de cada checkpoint, más que una propiedad permanente de una línea de lanzamiento.

Limitaciones:

• Tamaño de la Muestra: La auditoría cubre solo 12 checkpoints a través de 4 familias.
• Incertidumbre del Subconjunto de Ítems: Los resultados dependen de un único subconjunto fijo de 200 ítems por benchmark; no se realizó un remuestreo de múltiples semillas debido a restricciones de cómputo.
• Factores Confundentes: La deriva es una mezcla de cambios de receta, cambios de escala (ej. Gemma 7B $\to$ 12B) y cambios de tokenizador. El estudio no desentraza estos impulsores específicos.
• Cuantización: Todos los modelos se ejecutaron en 4-bit NF4, lo que puede introducir artefactos, aunque la consistencia se mantuvo dentro de las líneas de lanzamiento.

El artículo no propone nuevas metodologías estadísticas, sino que aplica técnicas longitudinales y de bootstrap estándar a un dominio específico y previamente no auditado: la estabilidad de las puntuaciones de confianza de los LLM de código abierto a lo largo del tiempo.