Resumen Técnico: Decodificación e-CUSUM Calibrada para Modelos de Razonamiento Cuantizados

Planteamiento del Problema

La cuantización de bajo bit (por ejemplo, INT4) permite el despliegue de modelos de razonamiento pequeños en hardware comercial, pero degrada significativamente sus capacidades de cadena de pensamiento (chain-of-thought). Estos modelos sufren errores en cascada tempranos, longitudes de razonamiento infladas y una tendencia a "sobrepensar" o fallar en la terminación. Un remedio intuitivo común es monitorear el decodificador durante la generación e intervenir cuando la trayectoria parece fallar.

El artículo identifica un fallo crítico en el candidato más natural para dicho monitor: un martingala construido a partir de las log-probabilidades de los tokens ($X_t = \log p(w_t | w_{<t})$).

• El Fallo: Bajo la propia ley de muestreo del modelo, el incremento $D_t = \log p(w_t) + H_t$ (donde $H_t$ es la entropía de Shannon) es una martingala de media cero por construcción.
• La Consecuencia: Este observable mide la autoconsistencia del muestreo en lugar de la salud de la trayectoria. En un "bucle de repetición confiado" (un modo de fallo común donde el modelo repite tokens con alta probabilidad), $p(w_t) \approx 1$ y $H_t \approx 0$, lo que resulta en $D_t \approx 0$. En consecuencia, la martingala permanece silenciosa precisamente cuando el modelo está erróneamente confiado. Además, debido a que reacciona ante tramos de alta varianza (alta entropía), dispara alarmas en caminos de razonamiento potencialmente correctos pero inciertos, lo que conduce a una alta tasa de falsas alarmas (93–95% en pruebas no calibradas).

Metodología

Los autores proponen un controlador de reemplazo construido sobre dos componentes: un puntaje de alarma consciente de la degeneración y un detector secuencial calibrado.

1. Puntaje de Alarma ($a_t$)

En lugar de depender únicamente de la entropía, el controlador computa un puntaje acotado $a_t \in [0, 1]$ que fusiona dos señales:
$$a_t = \min(1, w_{rep} r_t + w_{ent} u_t)$$

• $u_t$ (Incertidumbre): Señala picos en la entropía de Shannon en relación con la historia reciente.
• $r_t$ (Repetición): Señala la repetición literal mediante la medición de la cobertura de n-gramas recurrentes en una ventana deslizante. Crucialmente, $r_t$ se acerca a 1 durante un bucle confiado incluso cuando la entropía es cercana a cero, abordando el punto ciego de las martingalas de log-probabilidad.
• Pesos: Establecidos empíricamente como $w_{rep} = 0.7$ y $w_{ent} = 0.3$.

2. Detector e-CUSUM Calibrado

El artículo utiliza una construcción de apuestas (Shafer, 2021) para monitorear $a_t$.

• Proceso e-bruto (Raw e-Process): Un proceso de producto no negativo $E^{raw}_n = \prod (1 + \lambda(a_t - \mu_0))$. Bajo la hipótesis nula condicional de que la generación es saludable ($E[a_t | \mathcal{F}_{t-1}] \le \mu_0$), este proceso satisface la desigualdad de Ville, ofreciendo una garantía de falsa alarma uniforme en el tiempo.
• Implementación (CUSUM-con piso/floored): El estadístico desplegado es un log-CUSUM con un piso: $S_n = \max(0, S_{n-1} + \log(1 + \lambda(a_n - \mu_0)))$. Se lanza una alarma cuando $S_n \ge \tau$.
• Calibración: Debido a que $a_t$ depende fuertemente de la historia y está autocorrelacionado, la nula condicional teórica es difícil de certificar. Los autores realizan una calibración offline estableciendo la línea base $\mu_0$ como el percentil 90 de $a_t$ observado en trazas de referencia saludables (FP16, correctas). Esto transforma el detector de una alarma indiscriminada en una selectiva.

3. Remediación

Cuando se dispara una alarma:

1. Backtracking (Retroceso): Se truncan los últimos $k$ tokens y se reconstruye el caché de llave-valor (key-value cache).
2. Resampling (Remuestreo): El modelo reanuda con parámetros ajustados:
   • El muestreo Min-p se amplía o se estrecha (en lugar de inflar la temperatura, lo que aumenta la aleatoriedad).
   • Ante alarmas repetidas, se inyecta un marcador de corrección ("Espera, déjame revisar...").
3. Presupuesto: Un límite estricto limita el número de intervenciones para evitar bucles infinitos.

Resultados Clave

Los experimentos se realizaron en el conjunto de datos GSM8K utilizando DeepSeek-R1-Distill-Qwen-1.5B tanto en FP16 como en cuantización INT4.

• Análisis de Modos de Fallo: Contrario a la intuición de que el bucle confiado es el principal fallo, el estudio encontró que la no terminación es el modo de fallo dominante para los modelos INT4 en GSM8K (hasta el 49% de las trazas incorrectas agotan el presupuesto de tokens). Los bucles literales fueron raros ($\le 4\%$ de los tokens incluso en trazas fallidas).
• Selectividad vía Calibración:
  • Un monitor no calibrado ($\mu_0 = 0.15$) se activó en el 93–95% de las generaciones, volviéndolo inútil.
  • Un monitor calibrado ($\mu_0 = 0.41$) logró una precisión de $\approx 0.6$ y un recall de $\approx 0.46$ (F1 $\approx 0.3$) contra una tasa base de 0.38 trazas malas.
• Métricas de Degeneración: El controlador redujo las tasas de repetición consecutiva en INT4 de 0.010 a 0.003 y eliminó los bucles severos (del 1% al 0%). También redujo ligeramente las tasas de truncamiento (22% a 19%).
• Precisión (Accuracy):
  • FP16: La precisión mejoró del 68% al 72% (McNemar $p=0.48$).
  • INT4: La precisión mejoró del 63% al 69% (McNemar $p=0.18$).
  • Costo: La intervención aumentó el uso de tokens en un 28% y el tiempo de ejecución (wall-clock time) en un 30%.
  • Conclusión: La tendencia de la precisión es positiva pero estadísticamente inconcluyente con $n=100$. Los autores declaran explícitamente que no afirman una mejora en la precisión, señalando que la ganancia podría atribuirse al aumento del presupuesto de tokens en lugar del controlador en sí.

Significado y Reivindicaciones

El artículo se posiciona como un estudio metodológico preliminar con las siguientes contribuciones específicas:

1. Resultado Negativo: Una demostración clara, analítica y empírica de que las martingalas de log-probabilidad de tokens son fundamentalmente inadecuadas para monitores de decodificación porque son ciegas a la degeneración confiada.
2. Reemplazo Metodológico: Un controlador e-CUSUM calibrado y libre de entrenamiento que detecta con éxito la degeneración combinando la entropía con señales explícitas de repetición.
3. Evaluación Honesta: Los autores enfatizan que el estadístico desplegado es un detector de cambios empírico en lugar de un proceso e estrictamente válido bajo el $\delta$ establecido, debido a la dependencia de la historia del puntaje de alarma y la naturaleza marginal de la calibración.
4. Perspectiva sobre Modos de Fallo: El hallazgo de que la no terminación, y no el bucle, es el principal modo de fallo para modelos cuantizados en GSM8K desafía la motivación inicial del método y sugiere que las estrategias de remediación deben abordar el "parloteo" (rambling) tanto como la repetición.

Los autores liberan todo el código, herramientas de calibración y trazas para facilitar estudios a mayor escala necesarios para responder definitivamente a la cuestión de la precisión. Advierten que el método añade costo computacional y que cualquier afirmación futura de mejora en la precisión debe hacerse frente a baselines con el mismo presupuesto de cómputo (por ejemplo, consistencia propia con el mismo presupuesto de tokens).