Resumen Técnico: La Cuantización Infla el Razonamiento

Declaración del Problema

Aunque la Cuantización Post-Entrenamiento (PTQ) es una técnica estándar para reducir el costo de inferencia de los Modelos de Lenguaje Extensos (LLMs) mediante la disminución de la huella de memoria y la aceleración del decodificado por token, su impacto en los modelos de razonamiento no está totalmente capturado por las métricas de evaluación tradicionales. Los protocolos estándar se centran en la precisión de la respuesta final y la latencia por token. Sin embargo, los modelos de razonamiento (por ejemplo, aquellos entrenados para la Cadena de Pensamiento o CoT paso a paso) dependen fuertemente del volumen de computación en tiempo de prueba.

Este artículo identifica un costo oculto: la PTQ de bajo bit puede causar una Inflación de Tokens de Razonamiento. Los modelos cuantizados suelen preservar la precisión de la respuesta final, pero generan cadenas de pensamiento significativamente más largas que sus contrapartes de precisión completa (BF16). Este aumento en el recuento de tokens puede compensar, o incluso superar, la mejora de velocidad por token obtenida mediante la cuantización, lo que resulta en una peor latencia de extremo a extremo y mayores costos de servicio.

Metodología

Los autores realizaron una evaluación exhaustiva a través de múltiples dimensiones:

• Modelos: Evaluaron modelos de razonamiento de código abierto que van desde 4B hasta 30B de parámetros, incluyendo arquitecturas tanto densas (Qwen3-4B, Phi-4-14B) como de Mezcla de Expertos (MoE) (Qwen3-30B).
• Benchmarks: Cubrieron razonamiento matemático (AIME25, GSM8K), generación de código (LiveCodeBench, MBPP), razonamiento científico (GPQA-Diamond), uso de herramientas agénticas (BFCLv4) y comprensión de lenguaje general (HellaSwag, MMLU-Pro, PIQA).
• Métodos de Cuantización: Se centraron en métodos de PTQ de solo pesos, incluyendo RTN (línea base), GPTQ, AWQ, HQQ y ParoQuant, aplicados en anchos de bit de INT4 e INT3. El BF16 sirvió como referencia de precisión completa.
• Métricas:
  • Precisión: Corrección de la respuesta final.
  • Ratio de Inflación de Tokens de CoT (CTIR): Una nueva métrica definida como el aumento relativo en el promedio de recuento de tokens de razonamiento entre un modelo cuantizado y su referencia BF16:
    $$\text{CTIR}(M_q; D) = \frac{\bar{\ell}(M_q; D) - \bar{\ell}(M_{org}; D)}{\bar{\ell}(M_{org}; D)} \times 100\%$$
  • Análisis de Comportamiento: Midieron los recuentos de pasos intermedios y la repetitividad semántica (usando embeddings de oraciones para detectar pasos de razonamiento casi duplicados).
  • Eficiencia de Servicio: Midieron el Tiempo al Primer Token (TTFT) y el rendimiento (throughput) en vLLM con GPUs H100.

Resultados Clave

1. La Preservación de la Precisión Enmascara la Pérdida de Eficiencia

• Rendimiento INT4: Para muchos modelos y benchmarks, la cuantización INT4 preserva la precisión de la respuesta final (las caídas son a menudo insignificantes o pequeñas). Sin embargo, esta estabilidad de precisión no se traduce en eficiencia.
• El Costo Oculto: Los modelos cuantizados frecuentemente generan trazas de CoT más largas. Por ejemplo, en el benchmark BBH con Qwen3-4B, la cuantización INT4 aumentó el tiempo total de generación de 285s (BF16) a 292s, a pesar de la mejora de velocidad de los kernels Marlin W4A16.
• Sensibilidad INT3: A medida que la precisión disminuye a INT3, la degradación de la precisión se vuelve más pronunciada en tareas de razonamiento difíciles, pero la inflación de tokens ocurre incluso cuando la precisión se preserva.

2. Cuantificación de la Inflación de Tokens (CTIR)

• Inflación Generalizada: La PTQ de bajo bit aumenta consistentemente el uso de tokens de razonamiento.
  • Qwen3-4B (INT3): El CTIR alcanzó niveles extremos, por ejemplo, +276.1% para AWQ y +292.1% para HQQ.
  • Qwen3-30B (INT3): Aunque es más resiliente, el CTIR se mantuvo sustancial (por ejemplo, +60.1% para HQQ).
• Variación de Métodos: Los métodos basados en reconstrucción como GPTQ generalmente producen un CTIR menor que los métodos conscientes de la activación (AWQ) o los métodos sin calibración (HQQ), pero no eliminan el efecto por completo.

3. Cambios de Comportamiento

• Aumento de Pasos: Los modelos cuantizados toman más pasos intermedios para llegar a la misma conclusión.
• Repetición Semántica: El análisis de las trazas de razonamiento revela un aumento en la duda propia, el retroceso y la repetición semántica (por ejemplo, "déjame verificar", "de nuevo"). Estas repeticiones no mejoran la corrección, pero inflan el recuento de tokens.
• Cargas de Trabajo Agénticas: En escenarios de uso de herramientas de múltiples turnos (BFCLv4), la cuantización aumentó los tokens de CoT en aproximadamente un 13–23% sin cambiar significativamente el número de llamadas a herramientas, lo que indica que la penalización de latencia proviene del razonamiento interno, no de la frecuencia de invocación de la herramienta.

4. Impacto en el Servicio

• Latencia: Incluso aumentos modestos en el CTIR (por ejemplo, 1.1×) degradan significativamente la latencia percibida por el usuario. Un aumento de 1.1× en el CTIR elevó el p90 TTFT en un 33% (de 1050s a 1400s en la configuración de prueba específica).
• Rendimiento (Throughput): Las trazas más largas ocupan ranuras de decodificación y memoria de caché KV durante períodos más largos, reduciendo la capacidad de servicio efectiva bajo el procesamiento por lotes continuo (continuous batching).

Estrategias de Mitigación Evaluadas

El artículo evalúa tres enfoques para reducir la inflación de tokens:

1. Controles de Inferencia (Decodificación/Prompting):

   • Penalización de Repetición: Reduce el recuento de tokens pero a menudo con un costo significativo para la precisión.
   • Prompting de Concisión: Prompts como "no pienses" o "no reestates" reducen los tokens pero causan caídas de precisión inconsistentes y a menudo severas (por ejemplo, caídas de 5 a 11 puntos).
   • Veredicto: Son heurísticas inestables que intercambian precisión por longitud.

2. Optimización de Datos de Calibración:

   • El uso de corpora específicos de razonamiento (Math-CoT, Code-CoT) para la calibración de PTQ mejora significativamente tanto la precisión como la reducción de la longitud de los tokens en comparación con el texto genérico (Wikitext, C4).
   • Veredicto: Efectivo y de bajo costo, pero sigue siendo inferior a QAT.

3. Entrenamiento Consciente de la Cuantización (QAT):

   • El uso de QAT (específicamente DiscQuant) permite que el modelo adapte los pesos a las restricciones de bajo bit durante el entrenamiento.
   • Veredicto: QAT logra una mejora de Pareto, reduciendo simultáneamente la inflación de tokens y mejorando la precisión en comparación con todas las configuraciones de PTQ. Alinea la trayectoria de razonamiento del modelo cuantizado con el objetivo de precisión completa.

Significado y Reclamaciones

El artículo argumenta que el uso de tokens de razonamiento debe reportarse junto con la precisión al evaluar modelos de razonamiento cuantizados.

• Brecha de Evaluación: Los estudios de cuantización estándar que reportan solo la precisión y la latencia por token están incompletos para los modelos de razonamiento. Pasan por alto el "costo oculto de computación en tiempo de prueba" donde los modelos razonan durante más tiempo para compensar el ruido de la cuantización.
• Realidad del Despliegue: Para los modelos de razonamiento, la latencia de extremo a extremo es una función tanto de la velocidad por token como del recuento total de tokens. La cuantización puede aumentar inadvertidamente este último, anulando el primero.
• Recomendación: Los autores sugieren que, si bien la PTQ es práctica, requiere un monitoreo cuidadoso de la longitud de la CoT. Para el despliegue óptimo de modelos de razonamiento, el Entrenamiento Consciente de la Cuantización (QAT) se presenta como la dirección más prometedora para mitigar tanto la degradación de la precisión como la inflación de tokens.