Resumen Técnico: La incertidumbre impulsa los cambios en el sesgo social en modelos de lenguaje de gran tamaño cuantizados

Declaración del Problema

La cuantización post-entrenamiento (PTQ) es una técnica estándar para reducir el costo computacional de los Modelos de Lenguaje de Gran Tamaño (LLM) para permitir su despliegue en entornos con recursos limitados. Sin embargo, mientras que la PTQ optimiza la eficiencia a nivel de submódulo, opera sin conciencia de los cambios de comportamiento en las tareas posteriores. La literatura existente sugiere que la cuantización puede degradar la recuperación de hechos, aumentar las alucinaciones y desplazar de forma impredecible los sesgos sociales, reintroduciendo potencialmente comportamientos perjudiciales que fueron mitigados durante el alineamiento. Los estudios actuales sobre este tema sufren de evaluaciones inconexas a través de diferentes modelos, conjuntos de datos y métricas, lo que conduce a conclusiones contradictorias y a una falta de orientación accionable para los profesionales que despliegan modelos cuantizados en dominios de alto riesgo como la salud y el derecho.

Metodología

Para abordar estas inconsistencias, los autores introducen PostTrainingBiasBench, un marco unificado diseñado para evaluar los cambios de sesgo en modelos cuantizados mediante pruebas estadísticas pareadas rigurosas.

Marco y Benchmarks

El estudio evalúa 50 modelos cuantizados derivados de 10 LLMs ajustados por instrucciones (incluyendo las familias LLaMA 3.1/3.2, Ministral y Qwen 2/2.5 con tamaños de parámetros que van desde 0.5B hasta 14B). Estos modelos son comprimidos utilizando 5 estrategias distintas de PTQ:

• Redondeo al más cercano (RTN) en pesos de 4 bits y 8 bits.
• Cuantización de Transformer Pre-entrenado Generativo (GPTQ) a 4 bits.
• Cuantización de Pesos Sensible a la Activación (AWQ) a 4 bits.
• Cuantización de Suavizado de Activación (SmoothQuant) combinada con RTN a 4 bits.

La evaluación se lleva a cabo en 13 conjuntos de datos diversos categorizados en tres capacidades:

1. Identificación de Sesgo: Detección de contenido dañino o sesgo inherente (ej. CEB-Recognition, Jigsaw).
2. Resultados Iguales bajo Contexto Informativo: Asegurar que las decisiones sean independientes de atributos sensibles dado un contexto suficiente (ej. Adult, Credit).
3. Preferencia por el Rechazo/Incertidumbre: Priorizar respuestas seguras o expresar incertidumbre cuando se es instigado con texto sesgado (ej. BBQ, IAT, StereoSet, BiasLens).

Protocolo de Evaluación

El marco emplea una estrategia de evaluación pareada donde se generan respuestas tanto del modelo original (precisión completa) como de sus variantes cuantizadas para los mismos prompts.

• Extracción de Respuestas: Para tareas de opción cerrada, las respuestas se seleccionan basándose en la media geométrica de las probabilidades de los tokens (equivalente a la menor perplejidad) para mitigar el sesgo de los tokens. Para tareas de opción abierta, se utiliza la decodificación codiciosa (greedy decoding).
• Métricas: El estudio rastrea el cambio de respuesta (response flipping: respuestas individuales que cambian de sesgadas a no sesgadas o viceversa) y las métricas de sesgo agregadas (normalizadas a [0,1]).
• Análisis Estadístico: La significancia se determina mediante pruebas de bootstrap de estilo permutación (1,000 simulaciones) con corrección de Benjamini–Hochberg FDR. Los tamaños del efecto se cuantifican mediante la $d$ de Cohen.
• Medición de la Incertidumbre: La incertidumbre del modelo se mide mediante la entropía de Shannon normalizada a través de las opciones de respuesta para tareas de opción cerrada y las probabilidades promedio de los tokens para tareas de opción abierta.

Contribuciones Clave

1. Cambio de Sesgo Enmascarado inducido por la Cuantización

El estudio identifica un fenómeno donde hasta el 21% de las respuestas cambian entre estados sesgados y no sesgados después de la cuantización, a pesar de que las puntuaciones de sesgo agregadas permanecen estadísticamente sin cambios. Este cambio de respuesta "enmascarado" indica que las métricas agregadas estándar no logran capturar cambios de comportamiento significativos a nivel de respuesta individual.

2. La Incertidumbre como el Principal Impulsor

La investigación establece un fuerte vínculo causal entre la incertidumbre del modelo y el cambio de respuesta.

• Las respuestas con alta incertidumbre (entropía > 0.66) tienen 3 a 11 veces más probabilidades de cambiar que las respuestas con alta confianza (entropía < 0.33).
• Los experimentos de ajuste de preferencia (usando SimPO para modular la incertidumbre previa a la cuantización) confirman una relación dosis-respuesta: aumentar la incertidumbre previa a la cuantización aumenta directamente las tasas de cambio post-cuantización.
• Crucialmente, la distribución general de la incertidumbre del modelo permanece estable tras la cuantización; la cuantización redistribuye la incertidumbre en lugar de aumentarla o disminuirla sistemáticamente.

3. Impactos Asimétricos en Grupos Sociales

Aunque las métricas agregadas suelen sugerir efectos neutrales, el análisis de subgrupos revela una asimetría dramática.

• Los cambios de sesgo pueden empeorar hasta en un 18.6% para grupos específicos mientras mejoran en un 14.1% para otros dentro del mismo modelo, creando resultados agregados engañosamente neutrales.
• Estos impactos son impredecibles entre familias de modelos y conjuntos de datos; por ejemplo, el grupo demográfico "masculino" mostró un aumento de sesgo en algunos conjuntos de datos pero una disminución en otros.

4. Fuerza de Cuantización y Escala del Modelo

• Fuerza de Cuantización: Los métodos de cuantización de 4 bits exhiben de 4 a 6 veces más cambios de comportamiento que los métodos de 8 bits. La cuantización RTN de 8 bits muestra una desviación mínima respecto a la línea base, mientras que las variantes de 4 bits (GPTQ, AWQ, RTN) muestran una inestabilidad significativamente mayor.
• Escala del Modelo: Los modelos más grandes no demuestran una ventaja de robustez consistente. Un modelo de 14B puede exhibir una estabilidad similar o peor que un modelo de 0.5B, invalidando la heurística de que los modelos más grandes son inherentemente más seguros bajo compresión.

Resultados y Hallazgos

• Volatilidad Oculta: En conjuntos de datos como FMT10K, el 21% de las respuestas cambian incluso cuando las métricas agregadas muestran cambios no significativos. Las tareas de generación de texto abierto exhiben la mayor volatilidad en los tamaños del efecto.
• Inestabilidad de Clasificación: La cuantización altera fundamentalmente las clasificaciones comparativas de los modelos. Un modelo clasificado como el menos sesgado pre-cuantización puede caer significativamente post-cuantización, y viceversa.
• Especificidad del Conjunto de Datos: La vulnerabilidad de preguntas específicas varía por órdenes de magnitud. Algunas preguntas son altamente susceptibles al cambio (hasta el 50% de las veces), mientras que otras permanecen estables, lo que sugiere que el contenido semántico específico o la construcción de la pregunta impulsan la vulnerabilidad.

Significado y Reivindicaciones

El artículo sostiene que la compresión altera fundamentalmente los patrones de sesgo de formas que las prácticas de evaluación actuales no logran detectar. Los autores argumentan que:

1. Las evaluaciones estándar son engañosas: Depender únicamente de métricas agregadas enmascara daños significativos y asimétricos a grupos demográficos específicos.
2. La incertidumbre es una señal de seguridad crítica: La confianza del modelo (incertidumbre) sirve como una herramienta de pre-cribado para la seguridad de la cuantización, una conexión establecida previamente en la clasificación pero no en contextos de compresión.
3. Guía de Despliegue: Los profesionales deben favorecer la cuantización de 8 bits sobre la de 4 bits para aplicaciones de seguridad crítica, realizar evaluaciones específicas de la tarea en lugar de confiar solo en resultados de benchmarks, y priorizar las métricas de nivel de subgrupo sobre los agregados de nivel de conjunto de datos.
4. Necesidad de Evaluación Post-Cuantización: Los hallazgos requieren evaluaciones de sesgo obligatorias post-cuantización, particularmente para predicciones de alta incertidumbre y grupos sociales vulnerables, para asegurar la confiabilidad en el despliegue del mundo real.

El estudio concluye que ignorar estos efectos conlleva el riesgo de desplegar sistemas cuyo comportamiento diverge drásticamente de las evaluaciones previas a la cuantización, con consecuencias graves para las poblaciones vulnerables.