🤖 machine learning

BCJR-QAT: A Differentiable Relaxation of Trellis-Coded Weight Quantization

Ce papier présente BCJR-QAT, une relaxation différentiable de la quantification pondérée codée sur treillis qui remplace l'argmax non différentiable de Viterbi par un algorithme somme-produit BCJR contrôlé par température, permettant un entraînement sensible à la quantification de bout en bout qui surpasse empiriquement la frontière actuelle des méthodes PTQ sur les LLM.

Auteurs originaux : Venugopalan Iyengar

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Venugopalan Iyengar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque massive de livres (un grand modèle de langage) que vous souhaitez réduire pour qu'elle tienne sur un ordinateur portable ou un téléphone standard. Pour ce faire, vous devez compresser les « mots » (les poids) à l'intérieur de cette bibliothèque.

L'article présente une nouvelle méthode appelée BCJR-QAT pour compresser encore davantage ces livres, jusqu'à atteindre seulement 2 bits par mot (ce qui équivaut à compresser une photo haute définition en une toute petite vignette granuleuse).

Voici l'histoire de la manière dont ils ont procédé, en utilisant des analogies simples :

1. Le Problème : Le Piège de la « Rue à Sens Unique »

Auparavant, la meilleure façon de réduire ces modèles était une méthode appelée QTIP. Imaginez QTIP comme un bibliothécaire très intelligent qui examine une page de texte et dit : « D'accord, je vais remplacer cette phrase complexe par la phrase simple la plus proche de mon dictionnaire. »

Cependant, il y avait une limite. Une fois que le bibliothécaire avait fait ce choix, il ne pouvait pas revenir en arrière et changer d'avis pour améliorer l'ensemble du livre. C'était comme une « rue à sens unique ». Si le bibliothécaire choisissait une phrase légèrement incorrecte au début, le reste du livre en souffrait, et il ne pouvait pas le corriger car la décision était « dure » et définitive.

Pour résoudre ce problème, les chercheurs utilisent généralement l'Entraînement (QAT), où l'on permet au bibliothécaire de s'entraîner et d'ajuster ses choix. Mais voici le hic : le processus de décision du bibliothécaire implique un labyrinthe complexe (un « treillis »). Pour trouver le meilleur chemin à travers ce labyrinthe, il utilise une règle appelée Viterbi, qui est comme un bouton « choisir l'option absolument meilleure ».

Le Problème : Vous ne pouvez pas apprendre à un ordinateur à apprendre à travers un bouton « choisir le meilleur », car ce bouton est une impasse mathématique. Si vous appuyez sur le bouton, l'ordinateur ne sait pas comment ajuster ses choix pour s'améliorer ; il se contente de se verrouiller sur l'option la plus proche. C'est comme essayer de diriger une voiture en ne lui permettant que de sauter instantanément à la voie suivante : vous ne pouvez pas faire de virages fluides.

2. La Solution : La Décision « Douce » (BCJR)

Les auteurs, Venugopalan Iyengar, ont inventé une nouvelle façon de laisser le bibliothécaire s'entraîner. Au lieu de forcer une décision « dure » de « choisir le meilleur » immédiatement, ils ont introduit un concept appelé Température ( $T$ ).

Température Élevée (Chaude) : Imaginez que le bibliothécaire est très détendu et indécis. Au lieu de choisir une seule phrase, il considère plusieurs phrases à la fois, attribuant une « probabilité » à chacune. C'est comme un jour de brouillard où vous pouvez voir plusieurs chemins, pas un seul. Cette vision « douce » est mathématiquement lisse, ce qui signifie que l'ordinateur peut facilement calculer comment ajuster les choix pour améliorer le livre.
Température Basse (Froide) : À mesure que l'entraînement se termine, le bibliothécaire devient « plus froid » et plus décisif. Le brouillard se dissipe, et il se verrouille sur la seule meilleure phrase (la décision dure).

Cette méthode, appelée BCJR, transforme la « rue à sens unique » en une route lisse et praticable. L'ordinateur peut maintenant apprendre exactement comment ajuster les poids pour améliorer l'ensemble du livre, et pas seulement les phrases individuelles.

3. L'Erreur de « Dépassement »

Les auteurs ont découvert une particularité surprenante dans le fonctionnement de cette « température ».

En physique traditionnelle, lorsque vous cherchez la meilleure solution, vous commencez généralement très chaud (très indécis) pour explorer toutes les possibilités, puis vous refroidissez lentement.

La Découverte de l'Article : Pour ce type spécifique de compression, commencer « trop chaud » est un désastre. Si le bibliothécaire est trop indécis au début, il s'égare dans un mauvais quartier (un « bassin de Voronoï pire ») et s'y retrouve coincé. Au moment où il refroidit et tente de trouver le meilleur chemin, il est déjà perdu dans une mauvaise zone et ne peut pas revenir en arrière.
La Correction : Ils ont constaté que commencer à une température modérée (ni trop chaude, ni trop froide) fonctionne le mieux. C'est comme commencer une randonnée avec une carte claire plutôt que de s'aventurer à l'aveugle dans le brouillard. En sautant la phase « super chaude », ils ont évité de se perdre et ont trouvé une meilleure solution.

4. Les Résultats : Une Victoire pour les Petits Ordinateurs

L'équipe a testé cette méthode sur deux types de modèles différents :

Le Test « Proxy » (OLMoE) : Ils ont tenté d'optimiser la compression en regardant simplement à quel point chaque couche du modèle reconstruisait ses propres données (comme vérifier si une photocopie ressemble à l'original). Résultat : Cela a échoué. Le modèle s'est en fait dégradé par rapport à l'ancienne méthode. Cela leur a appris que faire simplement une « meilleure photocopie » ne signifie pas que le livre se lit mieux.
Le Test « Réel » (Llama-3.2) : Ils ont optimisé le modèle pour qu'il lise et comprenne réellement mieux le texte (en utilisant une méthode appelée « distillation », où un modèle enseignant intelligent guide l'élève). Résultat : Cela a fonctionné !
- Sur une couche spécifique du modèle, leur nouvelle méthode a surpassé l'ancienne meilleure méthode avec une marge petite mais significative.
- Lorsqu'ils l'ont appliquée à plusieurs couches, les améliorations s'additionnaient de manière « super-additive » (le tout devenait plus grand que la somme de ses parties).

5. Le Moteur Sous le Capot

Faire ces calculs est généralement très lent et nécessite des superordinateurs coûteux. Les auteurs ont également construit un « moteur » spécialisé (un noyau Triton) qui exécute ces mathématiques complexes incroyablement rapidement sur une seule carte graphique grand public (comme une RTX 4080). Ils l'ont rendu 6,5 fois plus rapide que les méthodes standard, prouvant que cette technique avancée n'a pas besoin d'un centre de données pour fonctionner.

Résumé

L'article présente une nouvelle façon de réduire les modèles d'IA pour qu'ils tiennent sur des appareils grand public.

L'Astuce : Ils ont remplacé un processus de décision rigide et non enseignable par un processus « doux », enseignable, qui durcit progressivement.
L'Insight : Vous ne devriez pas commencer le processus d'apprentissage trop « chaud » (trop aléatoire) ; un départ modéré empêche le modèle de se perdre.
Le Résultat : Lorsqu'il est correctement entraîné pour comprendre le texte (et non pas seulement copier des données), cette méthode produit de meilleurs résultats que les techniques précédentes de l'état de l'art, et elle s'exécute assez rapidement sur un PC de jeu ordinaire.

Les auteurs ont publié leur code et les modèles entraînés afin que d'autres puissent les essayer.

Résumé Technique : BCJR-QAT

Énoncé du Problème

Atteindre 2 bits par poids (bpw) ou moins pour les grands modèles de langage (LLM) sur du matériel grand public constitue un goulot d'étranglement critique. Bien que les méthodes de quantification post-entraînement (PTQ) comme QTIP aient établi une frontière solide pour la quantification 2 bits en utilisant la quantification codée sur treillis (TCQ), elles sont limitées par le « plafond PTQ ». Pousser au-delà de cette limite nécessite un entraînement conscient de la quantification (QAT). Cependant, les techniques QAT standard échouent sur les codes sur treillis car l'algorithme de décodage de Viterbi implique une opération argmax non différentiable sur un nombre exponentiel de chemins. L'application d'un estimateur direct (STE) au treillis détruit le couplage entre les décisions de poids adjacentes, qui est l'avantage principal du codage sur treillis par rapport à la quantification scalaire.

Méthodologie : BCJR-QAT

L'article introduit BCJR-QAT, une relaxation différentiable de la quantification codée sur treillis qui remplace le argmax dur de Viterbi par une attente douce dérivée de l'algorithme BCJR (Bahl-Cocke-Jelinek-Raviv) avant-arrière.

Mécanisme Central

Analogie avec la Mécanique Statistique : Le treillis est traité comme un graphe de facteurs équivalent à une chaîne de spins de type Ising 1D. Le argmax de Viterbi est considéré comme la limite à température nulle ( $T \to 0$ ) d'une distribution de Boltzmann sur les chemins.
Mot de Code Doux : À une température finie $T > 0$ , la méthode calcule les probabilités postérieures marginales exactes de chaque état en utilisant l'algorithme BCJR. La sortie quantifiée est l'attente de Boltzmann du mot de code émis :
$\hat{w}_t(T) = \langle c(s_t) \rangle_{p_T} = \sum_s c(s) p_T(s_t = s | w)$
Ce mot de code doux est exactement différentiable par rapport à l'antécédent du poids et aux paramètres du treillis.
Recuit : Pendant l'entraînement, la température $T$ est recuite d'une valeur initiale $T_0$ vers une valeur proche de zéro $T_{end}$ . Lorsque $T \to 0$ , le mot de code doux converge vers la sortie dure de Viterbi, « cristallisant » efficacement l'optimisation continue en une solution discrète.

Innovations Techniques Clés

Différentiabilité : La récursion avant-arrière de BCJR (complexité $O(L \cdot S^2)$ ) fournit des gradients exacts à travers le treillis, préservant le couplage inter-états que les méthodes STE scalaires perdent.
Noyau Triton : Les auteurs ont implémenté un noyau Triton fusionné qui combine les opérations de collecte, log-sum-exp et addition en un seul lancement. Cela réduit le passage avant/arrière de centaines de lancements de noyaux à un seul, réalisant une accélération de 6,57× par rapport à une implémentation de référence PyTorch autograd tout en maintenant une parité numérique FP32.
Correction du Calendrier (Skip-High-T) : L'article diagnostique un mode de défaillance critique dans les calendriers d'recuit simulé standard (démarrant à $T_0=1.0$ ). À des températures élevées, le gradient du mot de code doux est « étalé » et non informatif, ce qui provoque la dérive de l'optimiseur vers un bassin de Voronoï pire avant que la phase de refroidissement ne puisse récupérer. La solution proposée est de sauter la phase à haute température, en initialisant à une température plus basse (par exemple $T_0=0.3$ ) où les gradients sont déjà informatifs.

Résultats Expérimentaux

L'article évalue BCJR-QAT sur deux architectures : OLMoE-1B-7B (MoE) et Llama-3.2-1B (Dense).

1. OLMoE-1B-7B (Résultat Négatif : Écart de Proxy)

Configuration : QAT gourmande par couche optimisant pour l'erreur quadratique moyenne (MSE) de reconstruction (un objectif proxy).
Résultat : BCJR-QAT a réussi à réduire l'MSE de reconstruction par couche de 17 à 20 % par rapport à QTIP-PTQ. Cependant, cette amélioration ne s'est pas traduite par une performance sur les tâches finales. Les modèles ont régressé d'environ 1,3 de perplexité (PPL) sur WikiText-2 par rapport à la référence QTIP-PTQ.
Conclusion : Cela confirme un « écart de proxy » où la minimisation de l'erreur de reconstruction locale ne garantit pas une meilleure performance sur les tâches finales à 2 bpw.

2. Llama-3.2-1B (Résultat Positif : KL de Bout en Bout)

Configuration : QAT monocouche optimisant pour la distillation KL avant de bout en bout contre un enseignant FP16.
Résultat :
- Dépassement du Calendrier : L'utilisation d'un calendrier naïf à haute température ( $T_0=1.0$ ) a entraîné des performances légèrement inférieures à celles de la PTQ (+0,005 à +0,022 PPL).
- Correction Skip-High-T : L'utilisation du calendrier corrigé ( $T_0=0.3$ ) a éliminé le dépassement. Sur la Couche 4, le modèle a atteint 10,1347 PPL, soit une amélioration de −0,084 PPL par rapport à la référence QTIP-PTQ (10,2189).
- Super-additivité : Lors de la combinaison des couches entraînées (Couche 4 et Couche 8), le gain conjoint (−0,077 PPL) a dépassé la somme des gains individuels (−0,062 PPL), démontrant un « surplus de coopération » où les mots de code entraînés par BCJR se renforcent mutuellement.

3. Analyse Théorique

Théorie du Budget de Dérive : Les auteurs dérivent une condition pour échapper au bassin de Voronoï PTQ : la dérive cumulative des poids ( $\eta \cdot N \cdot g_{max}$ ) doit dépasser le rayon du bassin ( $r_{Voronoi} \approx 10^{-3}$ ). Les expériences confirment que les calendriers ne satisfaisant pas cette condition ne peuvent pas échapper à la solution PTQ, tandis que ceux qui la dépassent peuvent trouver de meilleures solutions si l'objectif et le calendrier sont corrects.

Signification et Revendications

L'article revendique trois contributions principales :

Algorithmique : BCJR-QAT est la première méthode à rendre la quantification codée sur treillis nativement différentiable, permettant le QAT sur TCQ sans perdre les avantages du couplage de chemins.
Ingénierie : Le noyau Triton fusionné rend cela réalisable sur du matériel grand public (un seul GPU 12 Go), supprimant la barrière de déploiement au moment de l'inférence pour la recherche.
Insight Empirique :
- Il identifie que l'MSE de reconstruction par couche est un mauvais proxy pour le QAT 2 bits, tandis que la distillation KL de bout en bout est efficace.
- Il remet en question la sagesse conventionnelle de l'recuit simulé pour les relaxations discrètes, montrant que commencer « chaud » ( $T=1.0$ ) est préjudiciable pour BCJR-QAT car le gradient à haute température est dominé par le bruit. La stratégie optimale est de commencer à une température où le gradient est déjà informatif.

L'article conclut que, bien que les résultats monocouches soient prometteurs, le plein potentiel de BCJR-QAT réside probablement dans un entraînement conjoint de bout en bout sur toutes les couches, une tâche rendue abordable par le noyau publié mais nécessitant du matériel à l'échelle du cloud (H100/H200) pour des modèles de plus de 1 milliard de paramètres. Les auteurs déclarent explicitement ne pas avoir effectué cet entraînement conjoint à grande échelle dans ce travail.