Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs

Imagine un modelo de lenguaje de gran tamaño como un asistente muy atento que puede mantener una conversación, recordar detalles y actualizar su conocimiento a medida que llega nueva información. En el mundo real, estos asistentes a menudo se les pide que rastreen hechos cambiantes: una hora de reunión que cambia de las dos a las tres y luego a las cuatro en punto, o la preferencia de un usuario que evoluciona a lo largo de un diálogo prolongado. Para que estos sistemas sean útiles, no solo deben recordar la última actualización, sino también ignorar las versiones anteriores, ahora incorrectas. Sin embargo, los investigadores han descubierto una debilidad específica en la forma en que estos modelos gestionan tales actualizaciones. Cuando una pieza de información se sobrescribe muchas veces, la capacidad del modelo para recuperar la versión más reciente comienza a desvanecerse. Empieza a confundir la respuesta actual con una de las versiones anteriores y descartadas. Este fenómeno, conocido como interferencia proactiva, es un modo de fallo documentado donde la acumulación de actualizaciones pasadas dificulta el recuerdo de la verdad presente, reflejando una lucha similar que se encuentra en la memoria de trabajo humana.

A medida que estos modelos pasan de los laboratorios de investigación a las aplicaciones cotidianas, los desarrolladores se enfrentan a un desafío práctico: cómo ejecutarlos de manera eficiente en hardware estándar. Para ahorrar memoria y acelerar el procesamiento, la industria ha adoptado ampliamente una técnica llamada cuantización post-entrenamiento. Este proceso comprime los números internos del modelo, reduciendo su precisión de un formato de alta fidelidad a una versión mucho más pequeña y tosca. Ha surgido la creencia común de que esta compresión es segura y que solo causa una pérdida insignificante en el rendimiento general. La suposición es que, aunque los números son ligeramente menos precisos, la inteligencia central del modelo permanece intacta. Pero esta suposición nunca había sido probada contra la tarea específica y frágil de rastrear información que cambia frecuentemente.

Un equipo de investigadores se propuso probar esta suposición directamente. Tomaron tres modelos de lenguaje de código abierto diferentes y populares y los sometieron a una rigurosa prueba de memoria diseñada para medir la interferencia proactiva. En esta prueba, se presentaron a los modelos un personaje cuyos atributos, como el color favorito o la ocupación, se actualizaban repetidamente. El número de actualizaciones varió desde solo una hasta tantas como noventa y seis. Tras la actualización final, se les pidió a los modelos que recordaran únicamente el valor más reciente. Los investigadores realizaron esta misma prueba en cada modelo utilizando tres niveles diferentes de precisión: la versión original de alta fidelidad, una versión comprimida de ocho bits y una versión de cuatro bits altamente comprimida. Mantuvieron la tarea exactamente igual, cambiando únicamente la precisión de los números internos del modelo.

Los resultados revelaron un patrón claro y preocupante. Mientras que los modelos funcionaban casi perfectamente cuando utilizaban sus configuraciones originales de alta fidelidad, las versiones de cuatro bits altamente comprimidas tenían dificultades significativas cuando el número de actualizaciones era elevado. En uno de los modelos probados, la precisión cayó del ochenta y uno por ciento en la versión de alta fidelidad al sesenta y ocho por ciento en la versión de cuatro bits al enfrentarse a un alto número de actualizaciones. Esto no fue una fluctuación menor; el análisis estadístico confirmó que la caída era real y consistente en los tres modelos diferentes probados. Los investigadores descubrieron que los modelos comprimidos no estaban cometiendo simplemente errores aleatorios. En cambio, estaban confundiendo específicamente la respuesta actual con uno de los valores anteriores y sobrescritos. Cuando el modelo fallaba, casi siempre elegía un valor que había sido cierto anteriormente en la conversación pero que ya no era correcto.

Crucialmente, el estudio demostró que este problema no era causado por ruido general o una simple pérdida de inteligencia. El fallo era altamente específico al tipo de información que se estaba rastreando. Cuando los investigadores probaron los modelos con valores numéricos, como precios de acciones o temperaturas, donde los números no compartían significados similares, la compresión de cuatro bits casi no tuvo un efecto negativo. Los modelos manejaron las actualizaciones numéricas tan bien como las versiones de alta fidelidad. Esta distinción es vital porque demuestra que la compresión no hace que el modelo sea simplemente "más tonto" en términos generales. En su lugar, la compresión difumina específicamente las líneas entre cosas que son semánticamente similares, dificultando que el modelo mantenga conceptos distintos separados cuando se actualizan repetidamente.

Los investigadores también investigaron dónde ocurría este colapso en el modelo. Descubrieron que el problema se originaba en el cuerpo principal del modelo, la parte responsable de procesar y retener la información, en lugar de en la capa final que produce la respuesta. Esto sugiere que el proceso de compresión está alterando la forma en que el modelo representa ideas similares, haciendo que se solapen de una manera que conduce a la confusión. Además, el estudio desafió la idea de que un nivel de compresión intermedio, utilizando ocho bits, fuera completamente seguro. Aunque la compresión de ocho bits funcionó mejor que la de cuatro bits, los investigadores encontraron que todavía conllevaba una penalización pequeña pero mensurable en dos de los tres modelos probados. Esto indica que incluso los niveles de compresión "más seguros" no están exentos de riesgos totales para tareas que implican actualizaciones frecuentes.

Estos hallazgos sugieren que la práctica generalizada de comprimir los modelos de lenguaje para ahorrar recursos puede conllevar un costo oculto para las aplicaciones que dependen del seguimiento de información evolutiva y semánticamente densa. Para un chatbot que gestiona una conversación larga o un sistema que rastrea las preferencias cambiantes de un usuario, los estándares de referencia que muestran una alta precisión general pueden estar ocultando una vulnerabilidad específica. Los modelos pueden parecer funcionar perfectamente en pruebas generales, pero cuando se enfrentan a un flujo de actualizaciones donde el pasado debe ser olvidado para recordar el presente, las versiones comprimidas son más propensas a tropezar. El estudio concluye que, si bien la compresión es una herramienta poderosa para el despliegue, no es una herramienta neutral; erosiona selectivamente el mecanismo que permite a estos modelos resistir la confusión entre ideas similares, un fallo que solo una prueba dirigida puede revelar.