Resumen Técnico: Cuando los Bits Rompen el Recurso: Cuantización Fiel a los Contrafactuales

1. Declaración del Problema

Los sistemas modernos de aprendizaje automático dependen cada vez más de la cuantización para reducir la huella de memoria y la latencia de inferencia, particularmente en despliegues móviles y en el borde. Si bien la Cuantización Consciente del Entrenamiento (QAT) y la Cuantización Posterior al Entrenamiento (PTQ) se evalúan rigurosamente por su capacidad para preservar la precisión predictiva, este artículo identifica una discrepancia crítica en el despliegue: la cuantización puede preservar la precisión en el caso promedio mientras rompe silenciosamente el recurso algorítmico.

El recurso algorítmico proporciona recomendaciones accionables (cambios mínimos en una entrada) que invierten la decisión de un modelo hacia un resultado deseado. El artículo argumenta que las restricciones de precisión se aplican a la distribución de datos, whereas el recurso depende de la geometría local del límite de decisión en vecindarios específicos alrededor de puntos individuales. La cuantización perturba los pesos y las activaciones de manera estructurada pero no uniforme, lo que puede desplazar los márgenes de decisión y rotar los límites precisamente en los vecindarios que importan para el recurso. En consecuencia, una acción de recurso válida para un modelo de precisión completa puede volverse inválida o significativamente más costosa después de la cuantización, incluso si la precisión de prueba del modelo permanece sin cambios.

2. Metodología: Cuantización Fiel a los Contrafactuales (CFQ)

Los autores proponen la Cuantización Fiel a los Contrafactuales (CFQ), un método de entrenamiento consciente de la cuantización diseñado para preservar el comportamiento contrafactual como un objetivo de primera clase junto con la precisión predictiva.

Mecanismo Central

CFQ trata la cuantización como un desplazamiento estructurado del modelo. Utiliza un modelo "maestro" de precisión completa ($f$) para generar acciones de recurso ($\delta_{fp}$) para instancias de entrada. Estas acciones se calculan mediante un pequeño número ($K$) de pasos de gradiente proyectado sobre una pérdida contrafactual diferenciable y se tratan como constantes (mediante stop-gradient) durante la optimización del modelo cuantizado ($f_q$).

El objetivo de entrenamiento para CFQ combina tres componentes:

1. Pérdida de Tarea ($L_{task}$): Pérdida supervisada estándar (por ejemplo, entropía cruzada) para mantener la precisión predictiva en entradas factuales.
2. Pérdida de Preservación de Validez ($L_{valid}$): Un regularizador que fuerza al modelo cuantizado a predecir el resultado objetivo en el punto de recurso del maestro ($x + \delta_{fp}$). Esto asegura que si una acción funciona para el modelo de precisión completa, siga siendo válida para el modelo cuantizado.
3. Penalización de Costo de Bits ($\lambda \cdot \text{BitCost}$): Una restricción que impone un presupuesto global de bits, habilitando la asignación de precisión mixta.

Asignación de Bits de Precisión Mixta

CFQ optimiza conjuntamente los parámetros del cuantizador (por ejemplo, tamaños de paso, umbrales de recorte) y las anchuras de bits por capa. Emplea una relajación diferenciable utilizando Gumbel-Softmax para seleccionar anchuras de bits de un conjunto candidato (por ejemplo, $\{2, 3, 4, 8\}$) para cada capa. La optimización está guiada por el objetivo contrafactual, asignando mayor precisión a las capas que influyen más en la validez de los puntos de recurso, en lugar de optimizar únicamente para la precisión promedio.

Mejoras Opcionales

• Coincidencia de Dirección/Costo ($L_{match}$): Un término opcional que alinea la acción de recurso calculada por el modelo cuantizado ($\delta_q$) con la acción del maestro ($\delta_{fp}$) en términos de dirección y costo.
• Estabilización de Margen ($L_{hinge}$): Una pérdida de bisagra que impone un margen positivo en el punto de recurso del maestro, proporcionando un colchón de seguridad contra perturbaciones inducidas por la cuantización.

Fundamento Teórico

El artículo proporciona una condición suficiente para la transferencia de recurso basada en la robustez del margen. Plantea que si el margen objetivo de precisión completa en un punto de recurso supera el doble de la máxima perturbación de logit inducida por la cuantización ($\epsilon$), el modelo cuantizado preservará la etiqueta objetivo. El objetivo de CFQ aborda esto directamente aumentando el margen en los puntos de recurso y reduciendo las perturbaciones efectivas mediante una asignación de bits dirigida.

3. Contribuciones Clave

1. Identificación de una Brecha de Despliegue: Los autores demuestran que las líneas base de cuantización que preservan la precisión (QAT uniforme, QAT de precisión mixta) pueden degradar significativamente la transferibilidad contrafactual, lo que lleva a fallos de recurso invisibles para las métricas estándar de precisión.
2. Nuevas Métricas: Se introducen dos métricas para cuantificar este modo de fallo:
   • Caída de Validez (VD): La probabilidad de que una acción de recurso válida para el modelo de precisión completa falle para el modelo cuantizado.
   • Brecha de Recurso Contrafactual (CRG): El aumento relativo en el costo mínimo requerido para lograr el resultado objetivo después de la cuantización.
3. Algoritmo CFQ: Un procedimiento de entrenamiento novedoso que acopla la asignación de bits de precisión mixta con un regularizador de consistencia contrafactual para preservar la validez del recurso bajo presupuestos de bits.
4. Validación Empírica: Experimentos extensos en puntos de referencia tabulares (ADULT, GERMAN CREDIT, COMPAS) y conjuntos de datos de imágenes no tabulares (MNIST, Fashion-MNIST, CelebA) que muestran que CFQ mantiene la precisión mientras mejora sustancialmente VD y CRG.

4. Resultados Experimentales

Los experimentos se realizaron en puntos de referencia estándar de recurso tabular (ADULT, GERMAN CREDIT, COMPAS) y se extendieron a conjuntos de datos de imágenes utilizando espacios de acción latente o semántica estructurados.

• Precisión vs. Recurso: Los métodos base (LSQ-QAT, PACT-QAT, Precisión Mixta impulsada por precisión) lograron una precisión predictiva comparable a los modelos de precisión completa (por ejemplo, ~85.7% en ADULT) pero sufrieron una alta Caída de Validez (VD $\approx$ 0.12–0.18) y una alta Brecha de Recurso Contrafactual (CRG $\approx$ 0.16–0.23).
• Rendimiento de CFQ: CFQ logró una precisión comparable (por ejemplo, 85.7% en ADULT) mientras reducía drásticamente VD (a ~0.06) y CRG (a ~0.07). Esto representa una reducción de aproximadamente el 50% en las tasas de fallo de recurso en comparación con las mejores líneas base sin CFQ.
• Robustez: Los beneficios de CFQ fueron consistentes en diferentes presupuestos de bits, observándose las mayores ganancias en regímenes de bajo bit (por ejemplo, 3-4 bits) donde el ruido de cuantización es más fuerte.
• Variante sin Entrenamiento (CF-PTQ): Se introdujo una variante posterior al entrenamiento que calibra los cuantificadores tanto en puntos factuales como en puntos contrafactuales del maestro sin actualizar los pesos de la red base. Esta variante redujo significativamente VD y CRG en comparación con la PTQ estándar, ofreciendo un punto medio práctico entre la PTQ estándar y la QAT completa.
• Análisis de Subgrupos: CFQ redujo la inestabilidad del recurso en diferentes subgrupos (por ejemplo, género, raza), aunque las disparidades entre subgrupos en la estabilidad aún podrían existir, lo que sugiere la necesidad de futuras extensiones conscientes de la equidad.

5. Significado y Afirmaciones

El artículo afirma que la precisión predictiva es insuficiente para garantizar la fiabilidad del recurso algorítmico en modelos comprimidos. Al tratar la cuantización como un cambio de modelo que altera la geometría local de la decisión, los autores argumentan que las tuberías de despliegue deben optimizar explícitamente para la estabilidad del recurso.

El significado de CFQ radica en su capacidad para:

• Prevenir Promesas Rotas: Asegurar que las recomendaciones accionables generadas durante el desarrollo (en modelos de precisión completa) sigan siendo válidas y rentables después del despliegue (en modelos cuantizados).
• Proporcionar Estabilidad Medible: Introducir VD y CRG como métricas estándar para evaluar la robustez del recurso bajo compresión, revelando fallos que las métricas de precisión ocultan.
• Ofrecer Soluciones Prácticas: Proporcionar tanto un enfoque basado en entrenamiento (CFQ) como uno sin entrenamiento (CF-PTQ) para lograr esta estabilidad, haciéndolo aplicable a diversas restricciones de despliegue.

Los autores mantienen una postura modesta, señalando que CFQ preserva el recurso con respecto al modelo predictivo especificado y el conjunto de acciones, pero no certifica la efectividad causal en el mundo real. Reconocen que CFQ introduce una sobrecarga computacional (principalmente por el cálculo del recurso del maestro) y que su estabilidad está calibrada a la distribución de entrenamiento, requiriendo potencialmente recalibración bajo desplazamientos severos de despliegue. Sin embargo, los resultados demuestran que optimizar la cuantización para el comportamiento contrafactual es un objetivo distinto y necesario para sistemas de apoyo a la decisión de alto riesgo.