💬 NLP

Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall

Ce papier examine l'impact de la quantification sur la récupération de connaissances factuelles dans les grands modèles de langage, révélant que si la quantification entraîne généralement une perte d'informations et une dégradation des performances — en particulier dans les modèles plus petits — elle n'altère pas toujours la récupération et peut parfois l'améliorer, BitSandBytes démontrant la meilleure préservation des capacités originales.

Auteurs originaux : Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Publié 2026-04-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque géante et incroyablement détaillée de faits à l'intérieur d'un cerveau informatique (un modèle de langage de grande taille). Ce cerveau sait tout, de « Qui est le père de Beyoncé ? » à « Quelle est la capitale de la France ? »

Maintenant, imaginez que vous vouliez réduire cette bibliothèque pour qu'elle tienne sur une étagère plus petite, la rendant plus rapide et moins coûteuse à exécuter. Ce processus s'appelle la quantification. C'est comme prendre une photo haute résolution et la compresser pour réduire sa taille de fichier. Habituellement, vous perdez un peu de détails dans le processus, mais l'image reste bonne.

Ce document pose une question très précise : Lorsque nous comprimons ces cerveaux d'IA, commencent-ils à oublier les faits qu'ils connaissaient auparavant ?

Voici ce que les chercheurs ont découvert, expliqué par de simples analogies :

1. Le processus de « rétrécissement »

Imaginez le modèle d'IA comme une équipe de travailleurs. Dans la version originale « pleine précision », chaque travailleur dispose d'une calculatrice haut de gamme et d'un épais carnet de notes.
La quantification consiste à forcer les travailleurs à utiliser des calculatrices plus petites et moins chères, ainsi que des carnets de notes plus fins.

L'objectif : Économiser de l'espace et accélérer le travail.
Le risque : Les travailleurs pourraient laisser tomber certaines informations car leurs nouveaux outils ne sont pas aussi précis.

2. La découverte principale : « Les petits enfants oublient plus »

Les chercheurs ont testé trois méthodes différentes de compression des modèles (comme utiliser différentes marques de calculatrices bon marché) sur trois modèles d'IA différents (deux petits et un de taille moyenne).

La découverte : Lorsque vous réduisez la taille du modèle, il perd généralement certains faits. Cependant, les modèles plus petits (comme les versions 7B ou 8B) sont beaucoup plus fragiles.
L'analogie : Imaginez un petit enfant essayant de porter un lourd sac à dos. Si vous rendez le sac à dos légèrement plus lourd (ou, dans ce cas, si vous serrez les informations plus fort), l'enfant laisse tomber des choses. Un adulte plus grand (le modèle 14B plus volumineux) peut mieux supporter le serrage et garde ses faits en sécurité.

3. La surprise : Parfois, la compression aide !

Vous pourriez penser que rendre un outil « plus bête » (moins précis) le rend toujours pire. Mais les chercheurs ont découvert quelque chose d'étrange : Parfois, compresser le modèle lui permet en fait de mieux se souvenir des faits.

L'analogie : C'est comme un étudiant si stressé par la quantité excessive d'informations qu'il ne peut pas se concentrer. Si vous lui donnez un manuel légèrement plus simple (quantification), il pourrait en fait mieux performer car le « bruit » a disparu. La compression a agi comme un filtre, aidant le modèle à se concentrer sur les bons faits.

4. Où va la mémoire ?

Les chercheurs n'ont pas seulement vérifié la réponse finale ; ils ont regardé à l'intérieur du modèle pour voir où la mémoire était perdue.

Le problème de la « dernière couche » : Ils ont découvert que la perte d'information se produit principalement dans les tout derniers étapes du processus de réflexion du modèle.
L'analogie : Imaginez une course de relais. Les coureurs (couches) se passent le témoin (information) le long de la ligne. Les chercheurs ont découvert que le témoin est généralement lâché juste à la ligne d'arrivée lorsque le modèle est compressé. Les premiers coureurs vont bien, mais le dernier coureur a du mal à retenir le fait.

5. La « meilleure » méthode de compression

Le document a testé trois techniques de compression différentes :

GPTQ
AWQ
BitSandBytes (bib)

Le gagnant : BitSandBytes était le meilleur pour maintenir les faits intacts. C'était comme utiliser un scelleur sous vide de haute qualité qui retire l'air mais garde les aliments frais.
Le perdant : Certaines méthodes, en particulier lors de la compression vers une très faible précision (4 bits), ont fait oublier beaucoup de choses au modèle, en particulier pour les modèles plus petits.

6. Le test du « pont »

Pour tester la capacité des modèles à relier les points (comme : « Qui est la mère de la chanteuse de 'Superstition' ? »), ils ont utilisé un test « multi-sauts ».

Le résultat : La compression a nui le plus à la première étape du raisonnement. Si le modèle ne pouvait pas se souvenir du premier fait (qui chante 'Superstition'), il ne pouvait pas résoudre toute l'énigme. Cependant, s'il passait la première étape, il était étonnamment bon pour terminer la chaîne.

La conclusion

Compresser les modèles d'IA est un peu comme faire une valise pour un voyage.

Si vous tassez trop (compression élevée), vous pourriez laisser quelques chaussettes derrière vous (oublier des faits).
Les petites valises (modèles plus petits) sont plus difficiles à faire sans perdre des choses.
Certaines méthodes de rangement (comme BitSandBytes) sont bien meilleures que d'autres.
Occasionnellement, tasser plus serré vous aide à trouver ce dont vous avez besoin plus rapidement, même si vous avez perdu une ou deux chaussettes.

Dans l'ensemble, le document conclut que si la compression entraîne une certaine perte d'information, elle reste une stratégie très efficace. Les modèles ne se brisent pas ; ils deviennent juste un peu plus « flous » sur les bords, et pour de nombreuses utilisations, ce flou est un compromis acceptable pour les gains de vitesse et d'espace.

1. Énoncé du problème

Bien que la quantification soit largement adoptée pour accélérer l'inférence des grands modèles de langage (LLM) et réduire les coûts de déploiement, son impact sur la récupération de connaissances factuelles (FKR) reste sous-exploré. Des études antérieures ont examiné les effets de la quantification sur le multilinguisme, les biais et l'alignement, mais il manque une compréhension globale de la manière dont la réduction de la précision des paramètres affecte la capacité d'un modèle à accéder et à récupérer les connaissances factuelles stockées. Plus précisément, il n'est pas clair si la quantification entraîne une perte d'information systématique, comment cette perte se manifeste à travers différentes architectures et couches de modèles, et si les modèles à faible nombre de bits sous-performent systématiquement leurs homologues en précision complète dans des tâches riches en connaissances.

2. Méthodologie

Les auteurs ont mené une étude empirique complète combinant des benchmarks de performance avec une analyse guidée par l'interprétabilité.

Modèles et techniques de quantification :
- Modèles : Llama3-8B, Qwen2.5-7B et Qwen2.5-14B.
- Techniques : Trois méthodes de quantification après entraînement (PTQ) ont été évaluées à différentes largeurs de bits (4 bits et 8 bits) :
  - GPTQ : Optimisation basée sur le Hessien d'ordre secondaire.
  - AWQ : Quantification des poids consciente des activations gérant les valeurs aberrantes.
  - BitSandBytes (bib) : Quantification entière utilisant des noyaux optimisés à faible nombre de bits (bib4 et bib8).
- Référence : Modèles en précision complète.
Ensembles de données :
- LRE (Sondage des connaissances) : Un ensemble de données de triplets de connaissances $(s, r, o)$ utilisé pour mesurer la précision de la récupération factuelle directe.
- TwoHop-Fact : Un ensemble de données conçu pour tester le raisonnement multi-sauts latent (LMHR), exigeant que le modèle relie deux faits (par exemple, $e_1 \to e_2 \to e_3$ ) pour répondre à une requête.
Analyse par interprétabilité :
- Analyse de la mémorisation des connaissances : En utilisant la théorie des neurones de connaissances, les auteurs ont tracé la perte d'information vers des neurones et des couches spécifiques. Ils ont calculé des « scores de contribution » (augmentation de la probabilité logarithmique des tokens corrects) pour les neurones des modèles en précision complète par rapport aux modèles quantifiés afin d'identifier quels neurones perdent de l'influence.
- Analyse du raisonnement multi-sauts latent : Évaluée à l'aide de trois métriques :
  1. Score de rappel d'entité (ENTREC) : Capacité à rappeler l'entité de pont ( $e_2$ ) dans une chaîne à deux sauts.
  2. Score de cohérence (CNSTSCORE) : Similarité entre les distributions de sortie des prompts à un saut et à deux sauts.
  3. Précision FKR : Prédiction correcte de l'objet cible final.

3. Contributions clés

Évaluation systématique de la FKR : Fournit la première analyse complète de la manière dont différentes techniques PTQ et largeurs de bits dégradent ou préservent spécifiquement la récupération de connaissances factuelles à travers plusieurs familles de modèles.
Insights au niveau des couches et des neurones : A cartographié la dégradation des connaissances vers des composants architecturaux spécifiques, révélant que la quantification affecte principalement les couches finales du réseau où les connaissances factuelles sont souvent consolidées.
Résultats contre-intuitifs : Démontre que la quantification à faible nombre de bits n'entraîne pas toujours une détérioration des performances ; dans certains cas, la quantification agit comme un régularisateur, améliorant involontairement la récupération factuelle.
Comparaison des méthodes : Identifie BitSandBytes (bib) comme la technique la plus efficace pour préserver la FKR par rapport à GPTQ et AWQ, en particulier dans les configurations 8 bits.

4. Résultats clés

A. Tendances générales de performance

Perte d'information : La quantification entraîne généralement une perte d'information, conduisant à une réduction de la précision de la FKR. Cet effet est amplifié dans les modèles plus petits (par exemple, 7B/8B) au sein d'une même famille par rapport aux variantes plus grandes (14B).
Sensibilité à la largeur de bits :
- Modèles 4 bits : Ont systématiquement montré des baisses de précision significatives, en particulier avec GPTQ et AWQ.
- Modèles 8 bits : Ont généralement maintenu des performances comparables aux modèles en précision complète.
- BitSandBytes (bib) : A montré la meilleure préservation des capacités FKR originales. Dans de nombreux cas, bib8 et même bib4 ont maintenu une précision proche de la précision complète.

B. Analyse granulaire (Neurones et couches)

Impact par couche : La dégradation n'est pas uniforme. L'étude a révélé que la quantification affecte principalement les dernières couches du modèle.
- Dans Qwen2.5-7B, la baisse la plus significative des scores de contribution des neurones s'est produite dans les deux dernières couches.
- Dans Llama3-8B, le déclin s'est produit dans les couches moyennes à tardives, avec un certain rétablissement dans les dernières couches, suggérant des différences architecturales dans la manière dont les connaissances sont stockées.
Contribution des neurones : Le nombre de neurones à « forte contribution » (ceux essentiels pour les réponses correctes) a diminué de manière significative après la quantification, en particulier pour les relations où le modèle en précision complète n'avait pas encore saturé (par exemple, « père de personne », « monument sur un continent »).

C. Raisonnement multi-sauts (TwoHop-Fact)

Sensibilité du premier saut : La quantification affecte de manière disproportionnée le premier saut ( $r_1$ ) des chaînes de raisonnement. La dégradation du premier saut corrèle fortement (Spearman $\rho = 0,93$ ) avec l'échec à prédire l'entité de pont, ce qui entraîne ensuite l'échec du deuxième saut.
Imprévisibilité : L'impact de la quantification est hétérogène. Bien que certains modèles quantifiés aient moins bien performé, d'autres (spécifiquement les variantes bib) ont occasionnellement surpassé les modèles en précision complète, probablement en raison d'un effet de régularisation ou d'une injection bénéfique de bruit.

D. Fragilité spécifique aux relations

Les types de connaissances qui n'étaient pas entièrement saturés dans le modèle en précision complète (par exemple, des faits biographiques spécifiques) étaient plus fragiles sous quantification que les connaissances communes (par exemple, « capitale d'un pays »).

5. Importance et implications

Faisabilité du déploiement : L'étude confirme que la quantification reste une stratégie de compression viable pour les LLM. Bien qu'une certaine perte de précision soit inévitable, elle est généralement modeste et ne compromet pas l'utilité du modèle pour les tâches factuelles, en particulier lors de l'utilisation de la quantification 8 bits ou de la méthode BitSandBytes.
Sélection de modèles : Pour les applications nécessitant une récupération factuelle haute fidélité, BitSandBytes (bib) est recommandé par rapport à GPTQ ou AWQ, en particulier pour les contraintes 4 bits.
Compréhension architecturale : Les résultats suggèrent que les connaissances factuelles sont stockées différemment selon les familles de modèles (Llama vs Qwen) et sont concentrées dans les couches ultérieures du réseau. Cela fournit une nouvelle cible pour les futures recherches sur la compression de modèles et l'édition de connaissances.
Amélioration paradoxale : L'observation que la quantification peut parfois améliorer la récupération remet en question l'hypothèse selon laquelle la compression est strictement préjudiciable, suggérant que le bruit contrôlé ou la régularisation provenant de la quantification pourrait aider à filtrer les corrélations fallacieuses.

Limites

Portée linguistique : Les expériences étaient limitées aux ensembles de données en anglais ; la FKR multilingue pourrait être affectée différemment.
Taille du modèle : Les analyses basées sur le gradient étaient limitées aux modèles $\le$ 14B en raison des contraintes de mémoire GPU.
Portée de la quantification : L'étude s'est concentrée sur la PTQ uniquement sur les poids. La quantification des activations, la compression du cache KV et l'entraînement conscient de la quantification (QAT) n'ont pas été inclus.