Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs

Imaginez un grand modèle de langage comme un assistant très attentif, capable de tenir une conversation, de mémoriser des détails et de mettre à jour ses connaissances à mesure que de nouvelles informations arrivent. Dans le monde réel, ces assistants sont souvent sollicités pour suivre des faits changeants : une heure de réunion qui passe de deux à trois, puis à quatre heures, ou la préférence d'un utilisateur qui évolue au fil d'un long dialogue. Pour que ces systèmes soient utiles, ils doivent non seulement se souvenir de la dernière mise à jour, mais aussi ignorer les versions plus anciennes, désormais incorrectes. Cependant, les chercheurs ont découvert une faiblesse spécifique dans la manière dont ces modèles gèrent de telles mises à jour. Lorsqu'une information est écrasée de nombreuses fois, la capacité du modèle à récupérer la version la plus récente commence à s'estomper. Il commence à confondre la réponse actuelle avec l'une des versions plus anciennes et écartées. Ce phénomène, connu sous le nom d'interférence proactive, est un mode de défaillance documenté où l'accumulation des mises à jour passées rend plus difficile le rappel de la vérité présente, reflétant une lutte similaire trouvée dans la mémoire de travail humaine.

Alors que ces modèles passent des laboratoires de recherche aux applications quotidiennes, les développeurs sont confrontés à un défi pratique : comment les faire fonctionner efficacement sur du matériel standard. Pour économiser de la mémoire et accélérer le traitement, l'industrie a largement adopté une technique appelée quantification post-entraînement. Ce processus compresse les nombres internes du modèle, réduisant leur précision d'un format haute fidélité à une version beaucoup plus petite et grossière. Une croyance commune a émergé selon laquelle cette compression est sûre, n'entraînant qu'une perte négligeable de performance globale. L'hypothèse est que, bien que les nombres soient légèrement moins précis, l'intelligence fondamentale du modèle reste intacte. Mais cette hypothèse n'avait jamais été testée face à la tâche spécifique et fragile du suivi d'informations changeant fréquemment.

Une équipe de chercheurs s'est donné pour mission de tester directement cette hypothèse. Ils ont pris trois modèles de langage open-source populaires et les ont soumis à un test de mémoire rigoureux conçu pour mesurer l'interférence proactive. Dans ce test, les modèles étaient confrontés à un personnage dont les attributs, tels que la couleur préférée ou la profession, étaient mis à jour de manière répétée. Le nombre de mises à jour variait de un à quatre-vingt-seize. Après la mise à jour finale, on demandait aux modèles de ne rappeler que la valeur la plus récente. Les chercheurs ont soumis ce même test à chaque modèle en utilisant trois niveaux de précision différents : la version originale haute fidélité, une version compressée en huit bits, et une version hautement compressée en quatre bits. Ils ont gardé la tâche exactement la même, ne changeant que la précision des nombres internes du modèle.

Les résultats ont révélé un schéma clair et inquiétant. Alors que les modèles fonctionnaient presque parfaitement avec leurs paramètres originaux de haute fidélité, les versions hautement compressées en quatre bits éprouvaient des difficultés significatives lorsque le nombre de mises à jour était élevé. Dans l'un des modèles testés, la précision est passée de quatre-vingt-un pour cent dans la version haute fidélité à seulement soixante-huit pour cent dans la version quatre bits face à un nombre élevé de mises à jour. Il ne s'agissait pas d'une fluctuation mineure ; l'analyse statistique a confirmé que la baisse était réelle et constante sur les trois modèles différents. Les chercheurs ont constaté que les modèles compressés ne commettaient pas simplement des erreurs aléatoires. Au contraire, ils confondaient spécifiquement la réponse actuelle avec l'une des valeurs plus anciennes et écrasées. Lorsque le modèle échouait, il choisissait presque toujours une valeur qui avait été vraie plus tôt dans la conversation mais qui n'était plus correcte.

Crucialement, l'étude a montré que ce problème n'était pas causé par un bruit général ou une simple perte d'intelligence. L'échec était très spécifique au type d'information suivi. Lorsque les chercheurs ont testé les modèles avec des valeurs numériques, telles que des cours de bourse ou des températures, où les nombres ne partagent pas de significations similaires, la compression quatre bits n'a eu presque aucun effet négatif. Les modèles géraient les mises à jour numériques aussi bien que les versions haute fidélité. Cette distinction est vitale car elle prouve que la compression ne rend pas le modèle simplement « plus bête » de manière globale. Au lieu de cela, elle brouille spécifiquement les lignes entre des choses sémantiquement similaires, rendant plus difficile pour le modèle de maintenir des concepts distincts séparés lorsqu'ils sont mis à jour de façon répétée.

Les chercheurs ont également examiné où, dans le modèle, cette rupture se produisait. Ils ont découvert que le problème provenait du corps principal du modèle, la partie responsable du traitement et de la conservation de l'information, plutôt que de la couche finale qui produit la réponse. Cela suggère que le processus de compression altère la manière dont le modèle représente des idées similaires, les faisant se chevaucher d'une manière qui conduit à la confusion. De plus, l'étude a remis en question l'idée qu'un niveau de compression intermédiaire, utilisant huit bits, soit totalement sûr. Bien que la compression huit bits ait mieux performé que la version quatre bits, les chercheurs ont constaté qu'elle comportait tout de même une pénalité faible mais mesurable dans deux des trois modèles testés. Cela indique que même les niveaux de compression dits « plus sûrs » ne sont pas entièrement sans risque pour les tâches impliquant des mises à jour fréquentes.

Ces conclusions suggèrent que la pratique généralisée de la compression des modèles de langage pour économiser des ressources peut comporter un coût caché pour les applications qui reposent sur le suivi d'informations évolutives et sémantiquement denses. Pour un chatbot gérant une longue conversation ou un système suivant les préférences changeantes d'un utilisateur, les benchmarks standards qui affichent une haute précision globale peuvent masquer une vulnérabilité spécifique. Les modèles peuvent sembler fonctionner parfaitement lors de tests généraux, mais face à un flux de mises à jour où le passé doit être oublié pour se souvenir du présent, les versions compressées sont plus susceptibles de trébucher. L'étude conclut que si la compression est un outil puissant de déploiement, elle n'est pas neutre ; elle érode sélectivement le mécanisme qui permet à ces modèles de résister à la confusion entre des idées similaires, un défaut que seul un test ciblé peut révéler.