💬 NLP

Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall

Este artículo investiga el impacto de la cuantización en la recuperación de conocimientos factuales en modelos de lenguaje grandes, revelando que, aunque la cuantización generalmente provoca pérdida de información y degradación del rendimiento, especialmente en modelos más pequeños, no siempre perjudica la recuperación y puede ocasionalmente mejorarla, siendo BitSandBytes el que demuestra la mayor preservación de las capacidades originales.

Autores originales: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Publicado 2026-04-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante e increíblemente detallada de hechos dentro de un cerebro informático (un Modelo de Lenguaje Grande). Este cerebro lo sabe todo, desde "¿Quién es el padre de Beyoncé?" hasta "¿Cuál es la capital de Francia?".

Ahora, imagina que quieres reducir esta biblioteca para que quepa en un estante más pequeño, haciéndola más rápida y barata de ejecutar. Este proceso se llama cuantización. Es como tomar una foto de alta resolución y comprimirla para reducir su tamaño de archivo. Por lo general, pierdes un poco de detalle en el proceso, pero la imagen sigue viéndose bien.

Este artículo plantea una pregunta muy específica: ¿Cuando comprimimos estos cerebros de IA, ¿empiezan a olvidar los hechos que antes conocían?

Aquí está lo que descubrieron los investigadores, explicado mediante analogías sencillas:

1. El proceso de "encogimiento"

Piensa en el modelo de IA como un equipo de trabajadores. En la versión original de "precisión completa", cada trabajador tiene una calculadora de alta gama y una libreta gruesa.
La cuantización es como obligar a los trabajadores a usar calculadoras más pequeñas y baratas y libretas más delgadas.

El objetivo: Ahorrar espacio y acelerar el trabajo.
El riesgo: Los trabajadores podrían dejar caer información porque sus nuevas herramientas no son tan precisas.

2. El descubrimiento principal: "Los niños pequeños olvidan más"

Los investigadores probaron tres formas diferentes de comprimir los modelos (como usar diferentes marcas de calculadoras baratas) en tres modelos de IA diferentes (dos pequeños y uno de tamaño mediano).

El hallazgo: Cuando reduces el tamaño del modelo, generalmente pierde algunos hechos. Sin embargo, los modelos más pequeños (como las versiones de 7B u 8B) son mucho más frágiles.
La analogía: Imagina a un niño pequeño intentando cargar una mochila pesada. Si haces la mochila un poco más pesada (o, en este caso, aprietas la información más fuerte), el niño deja caer cosas. Un adulto más grande (el modelo más grande de 14B) puede soportar el aprieto mucho mejor y mantiene sus hechos a salvo.

3. La sorpresa: ¡A veces la compresión ayuda!

Podrías pensar que hacer una herramienta "más tonta" (menos precisa) siempre la empeora. Pero los investigadores descubrieron algo extraño: A veces, comprimir el modelo hace que recuerde los hechos mejor.

La analogía: Es como un estudiante que está tan estresado por tener demasiada información que no puede concentrarse. Si le das un libro de texto ligeramente más simple (cuantización), podría rendir mejor porque desaparece el "ruido". La compresión actuó como un filtro, ayudando al modelo a centrarse en los hechos correctos.

4. ¿A dónde va la memoria?

Los investigadores no solo verificaron la respuesta final; miraron dentro del modelo para ver dónde se perdía la memoria.

El problema de la "última capa": Descubrieron que la pérdida de información ocurre principalmente en los últimos pasos del proceso de pensamiento del modelo.
La analogía: Imagina una carrera de relevos. Los corredores (capas) pasan el testigo (información) a lo largo de la línea. Los investigadores descubrieron que el testigo suele soltarse justo en la línea de meta cuando el modelo está comprimido. Los corredores iniciales están bien, pero el corredor final lucha por aferrarse al hecho.

5. El "mejor" método de compresión

El artículo probó tres técnicas de compresión diferentes:

GPTQ
AWQ
BitSandBytes (bib)

El ganador: BitSandBytes fue el mejor para mantener los hechos intactos. Fue como usar un sellador al vacío de alta calidad que retiró el aire pero mantuvo la comida fresca.
El perdedor: Algunos métodos, especialmente al comprimir a una precisión muy baja (4 bits), hicieron que el modelo olvidara mucho, particularmente en los modelos más pequeños.

6. La prueba del "puente"

Para probar qué tan bien podían los modelos conectar los puntos (como: "¿Quién es la madre de la cantante de 'Superstition'?"), utilizaron una prueba de "múltiples saltos".

El resultado: La compresión afectó más el primer paso del razonamiento. Si el modelo no podía recordar el primer hecho (quién canta 'Superstition'), no podía resolver todo el rompecabezas. Sin embargo, si superaba el primer paso, era sorprendentemente bueno para terminar la cadena.

La conclusión

Comprimir modelos de IA es un poco como hacer una maleta para un viaje.

Si haces la maleta demasiado apretada (alta compresión), podrías dejar algunos calcetines atrás (olvidar hechos).
Las maletas más pequeñas (modelos más pequeños) son más difíciles de empacar sin perder cosas.
Algunos métodos de empaquetado (como BitSandBytes) son mucho mejores que otros.
Ocasionalmente, apretar más te ayuda a encontrar lo que necesitas más rápido, incluso si pierdes uno o dos calcetines.

En general, el artículo concluye que, aunque la compresión provoca cierta pérdida de información, sigue siendo una estrategia muy efectiva. Los modelos no se rompen; simplemente se vuelven un poco más "difusos" en los bordes, y para muchos usos, esa difuminación es un intercambio justo por el ahorro de velocidad y espacio.

Aquí presento un resumen técnico detallado del artículo "A través de una lente comprimida: Investigando el impacto de la cuantización en el recuerdo de conocimiento factual".

1. Planteamiento del Problema

Si bien la cuantización se adopta ampliamente para acelerar la inferencia de Modelos de Lenguaje Grande (LLM) y reducir los costos de implementación, su impacto en el Recuerdo de Conocimiento Factual (FKR) sigue siendo poco explorado. Estudios anteriores han examinado los efectos de la cuantización en la multilingüidad, el sesgo y la alineación, pero existe una falta de comprensión integral sobre cómo la reducción de la precisión de los parámetros afecta la capacidad de un modelo para acceder y recuperar conocimiento factual almacenado. Específicamente, no está claro si la cuantización provoca una pérdida sistemática de información, cómo se manifiesta esta pérdida a través de diferentes arquitecturas y capas de modelos, y si los modelos de menor número de bits rinden consistentemente peor que sus contrapartes de precisión completa en tareas intensivas en conocimiento.

2. Metodología

Los autores realizaron un estudio empírico integral que combina la evaluación de rendimiento con un análisis impulsado por la interpretabilidad.

Modelos y Técnicas de Cuantización:
- Modelos: Llama3-8B, Qwen2.5-7B y Qwen2.5-14B.
- Técnicas: Se evaluaron tres métodos de Cuantización Post-Entrenamiento (PTQ) en varios anchos de bits (4 bits y 8 bits):
  - GPTQ: Optimización basada en Hessiano de segundo orden.
  - AWQ: Cuantización de pesos consciente de la activación que maneja valores atípicos.
  - BitSandBytes (bib): Cuantización entera utilizando kernels de bajo bit optimizados (bib4 y bib8).
- Línea base: Modelos de precisión completa.
Conjuntos de Datos:
- LRE (Sondeo de Conocimiento): Un conjunto de datos de triplets de conocimiento $(s, r, o)$ utilizado para medir la precisión del recuerdo factual directo.
- TwoHop-Fact: Un conjunto de datos diseñado para probar el Razonamiento Multi-salto Latente (LMHR), que requiere que el modelo conecte dos hechos (por ejemplo, $e_1 \to e_2 \to e_3$ ) para responder una consulta.
Análisis de Interpretabilidad:
- Análisis de Memorización de Conocimiento: Utilizando la Teoría de Neuronas de Conocimiento, los autores rastrearon la pérdida de información hasta neuronas y capas específicas. Calcularon "puntuaciones de contribución" (aumento en la probabilidad logarítmica de tokens correctos) para neuronas en modelos de precisión completa frente a modelos cuantizados para identificar qué neuronas pierden influencia.
- Análisis de Razonamiento Multi-salto Latente: Evaluado utilizando tres métricas:
  1. Puntuación de Recuerdo de Entidades (ENTREC): Capacidad de recordar la entidad puente ( $e_2$ ) en una cadena de dos saltos.
  2. Puntuación de Consistencia (CNSTSCORE): Similitud entre las distribuciones de salida de prompts de un salto y de dos saltos.
  3. Precisión FKR: Predicción correcta del objeto objetivo final.

3. Contribuciones Clave

Evaluación Sistemática de FKR: Proporcionó el primer análisis integral de cómo diferentes técnicas PTQ y anchos de bits degradan o preservan específicamente el recuerdo de conocimiento factual a través de múltiples familias de modelos.
Perspectivas a Nivel de Capa y Neurona: Mapeó la degradación del conocimiento a componentes arquitectónicos específicos, revelando que la cuantización afecta principalmente a las capas finales de la red, donde el conocimiento factual a menudo se consolida.
Hallazgos Contraintuitivos: Demostró que la cuantización de menor número de bits no siempre conduce a un peor rendimiento; en algunos casos, la cuantización actúa como un regularizador, mejorando inadvertidamente el recuerdo factual.
Comparación de Métodos: Identificó a BitSandBytes (bib) como la técnica más efectiva para preservar FKR en comparación con GPTQ y AWQ, particularmente en configuraciones de 8 bits.

4. Resultados Clave

A. Tendencias Generales de Rendimiento

Pérdida de Información: La cuantización típicamente causa pérdida de información, lo que lleva a una reducción en la precisión de FKR. Este efecto se amplifica en modelos más pequeños (por ejemplo, 7B/8B) dentro de la misma familia en comparación con variantes más grandes (14B).
Sensibilidad al Ancho de Bits:
- Modelos de 4 bits: Mostraron consistentemente caídas significativas en la precisión, especialmente con GPTQ y AWQ.
- Modelos de 8 bits: Generalmente mantuvieron un rendimiento comparable a los modelos de precisión completa.
- BitSandBytes (bib): Mostró la mayor preservación de las capacidades originales de FKR. En muchos casos, bib8 e incluso bib4 mantuvieron una precisión cercana a la precisión completa.

B. Análisis Granular (Neuronas y Capas)

Impacto por Capas: La degradación no es uniforme. El estudio encontró que la cuantización afecta principalmente a las últimas capas del modelo.
- En Qwen2.5-7B, la caída más significativa en las puntuaciones de contribución de las neuronas ocurrió en las dos últimas capas.
- En Llama3-8B, el declive ocurrió en capas medias a tardías, con cierta recuperación en las capas finales, lo que sugiere diferencias arquitectónicas en cómo se almacena el conocimiento.
Contribución de Neuronas: El número de neuronas de "alta contribución" (aquellas críticas para respuestas correctas) disminuyó significativamente después de la cuantización, particularmente para relaciones donde el modelo de precisión completa aún no había saturado (por ejemplo, "persona padre", "hitos en un continente").

C. Razonamiento Multi-salto (TwoHop-Fact)

Sensibilidad del Primer Salto: La cuantización afecta desproporcionadamente al primer salto ( $r_1$ ) de las cadenas de razonamiento. La degradación en el primer salto se correlaciona fuertemente (Spearman $\rho = 0.93$ ) con el fracaso para predecir la entidad puente, lo que posteriormente causa el fracaso del segundo salto.
Imprevisibilidad: El impacto de la cuantización es heterogéneo. Si bien algunos modelos cuantizados rindieron peor, otros (específicamente las variantes bib) ocasionalmente superaron a los modelos de precisión completa, probablemente debido a un efecto de regularización o a la inyección beneficiosa de ruido.

D. Fragilidad Específica de la Relación

Los tipos de conocimiento que no estaban completamente saturados en el modelo de precisión completa (por ejemplo, hechos biográficos específicos) fueron más frágiles bajo cuantización que el conocimiento común (por ejemplo, "capital de un país").

5. Significado e Implicaciones

Viabilidad de Implementación: El estudio confirma que la cuantización sigue siendo una estrategia de compresión viable para LLM. Si bien es inevitable cierta pérdida de precisión, esta es generalmente modesta y no compromete la utilidad del modelo para tareas factuales, especialmente al usar cuantización de 8 bits o el método BitSandBytes.
Selección de Modelos: Para aplicaciones que requieren un recuerdo factual de alta fidelidad, se recomienda BitSandBytes (bib) sobre GPTQ o AWQ, particularmente para restricciones de 4 bits.
Comprensión Arquitectónica: Los hallazgos sugieren que el conocimiento factual se almacena de manera diferente entre familias de modelos (Llama frente a Qwen) y se concentra en las capas posteriores de la red. Esto proporciona un nuevo objetivo para futuras investigaciones sobre compresión de modelos y edición de conocimiento.
Mejora Paradójica: La observación de que la cuantización puede a veces mejorar el recuerdo desafía la suposición de que la compresión es estrictamente perjudicial, sugiriendo que el ruido controlado o la regularización provenientes de la cuantización podrían ayudar a filtrar correlaciones espurias.

Limitaciones

Alcance Lingüístico: Los experimentos se limitaron a conjuntos de datos en inglés; el FKR multilingüe podría verse afectado de manera diferente.
Tamaño del Modelo: Los análisis basados en gradientes se restringieron a modelos $\le$ 14B debido a limitaciones de memoria de la GPU.
Alcance de la Cuantización: El estudio se centró en PTQ solo de pesos. La cuantización de activaciones, la compresión de caché KV y el Entrenamiento Consciente de la Cuantización (QAT) no se incluyeron.