Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit

Resumen Técnico: Pre-registro del Efecto Detectable en Puntos de Referencia de Cuantización a 4 bits

Enunciado del Problema
Las prácticas actuales en la evaluación de la cuantización post-entrenamiento (específicamente NF4 a 4 bits) para Modelos de Lenguaje Grande (LLM) a menudo dependen de informar números únicos de precisión por celda de modelo-punto de referencia. Este enfoque elude una pregunta estadística fundamental: ¿cuál es el efecto de cuantización más pequeño que el protocolo de evaluación puede detectar de manera fiable?

Los puntos de referencia estándar suelen utilizar submuestras pequeñas (por ejemplo, $n=100$ elementos) divididas en subconjuntos no superpuestos. La varianza observada a través de estas divisiones se interpreta frecuentemente como "falta de fiabilidad del punto de referencia" o un fallo del método de cuantización. Sin embargo, los autores argumentan que gran parte de esta varianza es simplemente ruido de muestreo binomial inherente a un $n$ pequeño, y no una propiedad del modelo o del esquema de cuantización. Sin una garantía ex ante sobre el Efecto Mínimo Detectable (MDE), las afirmaciones de que un método de cuantización "preserva" el rendimiento pueden carecer de potencia, confundiendo un efecto poblacional pequeño con la incapacidad de detectarlo.

Metodología
El artículo propone un marco para convertir la fiabilidad del punto de referencia en una línea presupuestaria pre-registrable utilizando un límite conservador de MDE emparejado.

1. Derivación Teórica (Límite de MDE Emparejado):
   Los autores adaptan los cálculos clásicos de tamaño de muestra binario emparejado (Miettinen, 1968) al contexto de comparaciones FP16 vs. NF4. Definen:

   • $m$: El recuento de elementos emparejados (ya sea $n$ para una sola división o $kn$ para un agregado de $k$ divisiones).
   • $\rho_d$: La tasa de desacuerdo por ejemplo ($Pr(D_i \neq 0)$), donde $D_i$ es la diferencia en corrección entre FP16 y NF4 en el elemento $i$.
   • $\delta$: El tamaño del efecto poblacional ($|E[D_i]|$).

   Derivan un límite superior conservador para el MDE ($\delta^*$) al nivel de significancia $\alpha$ y potencia $1-\beta$:
   $$\delta^*(m, \rho_d) \leq (z_{1-\alpha/2} + z_{1-\beta}) \sqrt{\frac{\rho_d}{m}}$$
   Este límite asume una tasa de desacuerdo en el peor caso $\rho_d$ (pre-registrada o acotada conservadoramente) y trata la varianza como $\rho_d/m$. Sirve como una línea de "presupuesto": los efectos menores que $\delta^*$ no están garantizados como detectables por el diseño, independientemente del modelo específico.

2. Auditoría Piloto Empírica:
   Los autores realizan una auditoría piloto en una cuadrícula de $4 \times 4$:

   • Modelos: OPT-2.7B, Pythia-2.8B, Llama-2-7B, Mistral-7B.
   • Puntos de referencia: MMLU, ARC-Easy, WinoGrande, HellaSwag.
   • Diseño: $k=5$ divisiones no superpuestas de $n=100$ elementos cada una ($m=500$ agregado).
   • Sensibilidad al Prompt: Un estudio paralelo en MMLU utilizando tres plantillas de prompt distintas ($n=50$ cada una) para medir la varianza inducida por el prompt.

3. Métricas Diagnósticas:

   • Referencia Binomial: Comparación de las desviaciones estándar observadas entre divisiones ($\hat{\sigma}_{split}$) contra la referencia binomial teórica $\sqrt{\hat{p}(1-\hat{p})/n}$.
   • Índice de Fiabilidad de Cuantización (QRI): Una heurística de relación señal-ruido definida como $|\hat{\Delta}| / \hat{\sigma}_{split}$ (y una variante combinada que incluye la varianza del prompt) para señalar celdas donde el ruido domina la señal.

Resultados Clave

• Dominio del Ruido de Muestreo: En las submuestras de $n=100$, 25 de las 32 desviaciones estándar observadas entre divisiones cayeron dentro de $\pm 1.5$ puntos porcentuales (pp) de la referencia binomial. Esto sugiere que gran parte de la "falta de fiabilidad" reportada es simplemente ruido binomial de muestra pequeña, no inestabilidad específica de la cuantización.
• Límites de Detectabilidad:
  • Asumiendo una tasa de desacuerdo de planificación de $\rho_d = 0.10$, el MDE agregado ($m=500$) es $\approx 4.0$ pp.
  • Asumiendo $\rho_d = 0.05$, el MDE se reduce a $\approx 2.8$ pp.
  • Observación: Todos los deltas de precisión observados NF4–FP16 para los modelos de 7B (que oscilan entre -0.4 y -0.8 pp) cayeron por debajo de ambos umbrales de MDE.
  • Caso Límite: La única celda que se acercaba al límite fue OPT-2.7B en WinoGrande ($|\Delta| = 3.2$ pp). Este efecto está por debajo del MDE en $\rho_d=0.10$ pero por encima en $\rho_d=0.05$, ilustrando que la detectabilidad de este resultado específico depende enteramente del valor de planificación no medido de $\rho_d$.
• Confusión por Varianza del Prompt: En MMLU, las variaciones en las plantillas de prompt causaron fluctuaciones de precisión de 2–10 pp. Este rango iguala o supera el delta de cuantización observado más grande (3.2 pp). En consecuencia, una auditoría de cuantización que no fije la plantilla de prompt absorbe la varianza de la plantilla en su suelo de ruido, potencialmente enmascarando o fabricando efectos.

Contribuciones

1. Límite Conservador de MDE Emparejado: Una desigualción de forma cerrada (Ecuación 2) que permite a los diseñadores de puntos de referencia pre-registrar un presupuesto de detectabilidad basado en el tamaño de la muestra y una tasa de desacuerdo previa.
2. Auditoría Empírica y Referencia Binomial: Un estudio piloto que demuestra que, en tamaños de submuestra estándar ($n=100$), la varianza entre divisiones se explica en gran medida por el muestreo binomial, y no por ruido específico del modelo.
3. Índice de Fiabilidad de Cuantización (QRI): Una métrica descriptiva de relación señal-ruido para identificar celdas donde el ruido de la evaluación domina la señal de cuantización.
4. Plantilla de Pre-registro: Una plantilla de cinco líneas para que los investigadores se comprometan con objetivos de MDE, previos de desacuerdo y estadísticas emparejadas antes de ejecutar los puntos de referencia.

Significado y Afirmaciones
El artículo no afirma probar que la cuantización a 4 bits es universalmente perfecta o que modelos específicos fallan. En cambio, argumenta que las comparaciones de puntos de referencia entre modelos cuantizados y de precisión completa carecen rutinariamente de potencia.

Los autores afirman que, al hacer explícito el MDE, la comunidad puede reencuadrar las narrativas de "efecto pequeño". Si un delta observado está por debajo del MDE pre-registrado, la conclusión correcta no es que el efecto sea "pequeño" o "despreciable", sino que es "no distinguible por potencia en este tamaño de muestra".

El estudio destaca dos prerrequisitos críticos para comparaciones de precisión significativas:

1. Tamaño de Muestra: Los tamaños de submuestra actuales ($n=100$) son insuficientes para resolver efectos menores a un punto porcentual sin asumir tasas de desacuerdo extremadamente bajas.
2. Control del Prompt: La varianza de la plantilla de prompt debe fijarse o barrerse, ya que puede exceder la magnitud del efecto de cuantización en sí mismo.

El trabajo sirve como una intervención metodológica, instando al campo a adoptar garantías ex ante (similares a los Presupuestos de Ensayos Clínicos) para distinguir entre una verdadera falta de impacto de la cuantización y un fallo del protocolo de evaluación para detectarlo.