Résumé Technique : RDQ (Residual Distribution Quantization) pour les Grands Modèles de Langage

1. Énoncé du Problème : La Barrière de Dégradation Sous les 4 Bits

La quantification post-entraînement (PTQ) des grands modèles de langage (LLM) fait face à un déclin brutal de performance lorsque la précision est réduite en dessous de 4 bits. Si les méthodes à 4 bits approchent souvent la qualité FP16, la quantification à 3 bits entraîne fréquemment une dégradation catastrophique. Par exemple, sur LLaMA-3-8B, la perplexité (PPL) de la méthode Round-to-Nearest (RTN) bondit de 5,83 à W4 à 14,09 à W3 — soit une augmentation de 2,42× pour une réduction de largeur de bits de seulement 1,33×.

L'article identifie la cause profonde de cet échec comme étant la dérive de la distribution du flux résiduel (residual stream distributional drift). Dans les architectures de type Transformer, le flux résiduel $h_l$ est une représentation partagée lue et écrite par chaque couche. Lorsqu'une couche $l$ est quantifiée, elle introduit une erreur $\epsilon_l$ qui persiste dans le flux résiduel $h_{l+1}$. Cette erreur s'accumule à travers les couches, provoquant une dérive significative de la distribution des activations dans les couches profondes par rapport à la référence FP16 d'origine.

Les principales conclusions empiriques diagnostiquant ce problème incluent :

• Accumulation de dérive super-linéaire : La divergence de Kullback-Leibler (KL) totale entre les distributions résiduelles quantifiées et FP16 est corrélée au log-perplexité avec une corrélation de Pearson de $r=0,999$ ($p<0,001$) pour toutes les méthodes et largeurs de bits testées.
• Distributions Non-Gaussiennes : 84 % des couches de LLaMA-3-8B présentent des distributions résiduelles non gaussiennes (test de Kolmogorov-Smirnov, $p \le 0,05$), invalidant les hypothèses gaussiennes implicites dans de nombreuses analyses théoriques de la PTQ existante.
• Explosion de la Variance : La variance du flux résiduel par couche augmente d'un facteur 6 548 à travers la profondeur du modèle, indiquant que les couches ultérieures sont catégoriquement plus sensibles aux erreurs de quantification en amont.

2. Méthodologie : Cascaded Error Compensation (CEC)

La solution proposée, RDQ (Residual Distribution Quantization), introduit un cadre centré sur la Cascaded Error Compensation (CEC) (Compensation d'Erreur en Cascade). Contra-irement aux méthodes PTQ antérieures (ex: GPTQ, AWQ, SpinQuant) qui optimisent chaque couche indépendamment par rapport à des entrées FP16 propres, la CEC reconnaît que lors de l'inférence, une couche $l$ reçoit des entrées qui ont déjà été déformées par la quantification de toutes les couches en amont $0 \dots l-1$.

Le Pipeline CEC

La CEC emploie une procédure de calibration séquentielle :

1. Traitement Séquentiel : Les couches sont quantifiées une par une de $l=0$ à $L-1$.
2. Capture des Activations Dérivées : Avant de quantifier la couche $l$, les données de calibration passent par le modèle où les couches $0 \dots l-1$ sont déjà quantifiées. Cela capture les distributions d'activation réelles et dérivées ($\hat{h}_l$) que la couche $l$ rencontrera lors de l'inférence.
3. Ajustement de l'Échelle par Canal (Per-Channel Scale Fitting) : En utilisant ces entrées dérivées capturées, la méthode ajuste les échelles optimales par canal en utilisant une recherche par grille de type AWQ. L'objectif est de minimiser l'erreur de reconstruction de la sortie compte tenu de la distribution d'entrée dérivée spécifique.
4. Équivalence Mathématique via le Repliement (Folding) : Les échelles apprises sont repliées dans les poids RMSNorm précédents. Cela garantit que la méthode est mathématiquement exacte et n'induit aucun surcoût lors de l'exécution (zero runtime overhead). La passe avant reste identique à un modèle quantifié standard, compatible avec les piles d'inférence existantes (Qualcomm AIMET, GGUF, etc.).

Distinction Clé avec les Travaux Antérieurs

L'article souligne que l'innovation critique n'est pas la formule de mise à l'échelle elle-même (qui reste de type AWQ), mais la source des données de calibration. Les méthodes standards se calibrent par rapport à des entrées FP16 idéalisées, qui n'existent pas lors de l'inférence pour les couches profondes. La CEC se calibre par rapport à la distribution dérivée réelle.

3. Contributions Clés

1. Identification de la Dérive du Flux Résiduel : Les auteurs établissent que la dérive du flux résiduel est le mécanisme dominant de la dégradation sous les 4 bits, prouvé par la corrélation quasi parfaite ($r=0,999$) entre la dérive KL et le log-PPL.
2. Caractérisation de la Distribution : L'article documente que 84 % des couches de LLaMA-3-8B sont non-gaussiennes et que la variance résiduelle augmente de 6 548× à travers la profondeur, remettant en question les hypothèses standard de la PTQ.
3. Cascaded Error Compensation (CEC) : Une procédure de calibration séquentielle qui corrige l'accumulation de la dérive inter-couches, atteignant une réduction de 46,4 % de la PPL par rapport à RTN à W3 sur LLaMA-3-8B.
4. Performance de l'État de l'Art : RDQ obtient les meilleurs résultats sur trois architectures diverses (LLaMA-3-8B, Qwen-2.5-7B, Mistral-7B) tant en W3A16 qu'en W4A16, surpassant les meilleures bases publiées (LeanQuant, SpinQuant) dans chaque configuration testée.
5. Déploiement à Coût Zéro : Le résultat est une quantification asymétrique standard de groupe-128 avec des scalaires RMSNorm modifiés, ne nécessitant aucun noyau (kernel) personnalisé ni surcoût à l'exécution.

4. Résultats Expérimentaux

La méthode a été évaluée sur WikiText-2 en utilisant 32 séquences de calibration.

Métriques de Performance (Perplexité) :

• LLaMA-3-8B :
  • W3A16 : 7,55 (vs RTN 14,09, LeanQuant 7,61).
  • W4A16 : 5,62 (vs FP16 5,557, LeanQuant 6,92).
• Qwen-2.5-7B :
  • W3A16 : 7,46 (vs RTN 8,20, LeanQuant 8,30).
  • W4A16 : 6,38 (vs FP16 6,158, LeanQuant 7,25).
• Mistral-7B :
  • W3A16 : 6,88 (vs RTN 7,44, LeanQuant 7,30).
  • W4A16 : 5,73 (vs FP16 5,632, LeanQuant 6,20).

Études d'Ablation :

• Calibration Séquentielle vs Mise à l'Échelle : L'article démontre que la calibration séquentielle seule (sans la mise à l'échelle AWQ) dégrade en réalité la performance par rapport à RTN sur Qwen (10,31 PPL vs 8,20 PP L). Inversement, appliquer la mise à l'échelle AWQ à une calibration FP16 statique est également moins performant (9,49 PPL). La combinaison de la calibration séquentielle sensible à la dérive et de la mise à l'échelle de type AWQ est nécessaire pour les gains observés.
• Généralisation : La méthode se généralise à travers des architectures possédant différents mécanismes (GQA, RoPE, Sliding Window), suggérant que le mécanisme de correction de dérive est agnostique à l'architecture.

5. Signification et Revendications

L'article positionne RDQ non pas simplement comme une amélioration technique de la PTQ, mais comme une compréhension fondamentale de la dynamique de distribution des Transformers sous quantification.

• Prédictibilité : Les auteurs affirment que la qualité de la quantification est prévisible à partir d'un scalaire unique (dérive KL totale), et que contrôler cette dérive permet de contrôler la perplexité.
• Correction du Mode de Défaillance : Ce travail identifie que le mode de défaillance dominant de la PTQ sous les 4 bits n'est pas l'erreur de poids par couche, mais l'accumulation de la dérive inter-couches. Les méthodes de calibration statique échouent car elles optimisent pour une distribution (FP16 propre) que la couche ne rencontre jamais lors de l'inférence.
• Robustesse : En ajustant les échelles aux activations dérivées réelles, la CEC évite les heuristiques spécifiques à l'architecture (comme la détection de canaux saillants d'AWQ) qui peuvent échouer sur des modèles ayant des distributions de poids différentes (ex: Qwen).
• Limites Théoriques : L'article note modestement que bien qu'une borne théorique existe pour les régimes gaussiens, elle ne s'applique pas au cas réel où 84 % des couches sont non-gaussiennes. Les gains de performance observés sont empiriques, portés par le mécanisme de correction de dérive plutôt que par une borne théorique stricte.

En conclusion, RDQ établit que l'adresse de la "dérive" dans le flux résiduel est la clé pour débloquer une quantification à 3 bits robuste, offrant une solution scalable et à coût nul qui surpasse les méthodes actuelles de l'état de l'art à travers plusieurs familles de modèles.