🤖 machine learning

The Quantization Benefits of Residual-Free Transformers

Cet article démontre que les connexions résiduelles dans les transformateurs exacerbent la non-gaussianité des activations et les erreurs de quantification, mais que leur remplacement par des architectures sans résidu entraînées via une initialisation orthogonale et une optimisation spectrale produit des modèles aux activations quasi-gaussiennes, nettement plus robustes à la quantification en faible précision avec une perte de performance en pleine précision minimale.

Auteurs originaux : Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Embouteillage à « Queue Lourde »

Imaginez que vous essayez de déplacer une quantité massive de données (comme une gigantesque bibliothèque de livres) à travers un réseau d'ordinateurs pour entraîner une IA super-intelligente. Pour rendre ce déplacement plus rapide et moins coûteux, vous voulez réduire les livres en de minuscules et légers pamphlets. Cela s'appelle la quantification.

Cependant, il y a un piège. Dans les modèles d'IA standards (appelés Transformers), les données déplacées ne sont pas bien organisées. C'est comme une bibliothèque où 99 % des livres sont de fins pamphlets, mais 1 % sont de massives et lourdes encyclopédies. Ces « grosses encyclopédies » sont appelées des valeurs aberrantes (outliers).

Si vous essayez de réduire tous les livres à la même petite taille pour économiser de l'espace, les minuscules pamphlets s'adaptent parfaitement, mais les lourdes encyclopédies sont écrasées et perdent toutes leurs informations. Cela provoque des erreurs de la part de l'IA. Les solutions actuelles tentent de construire des « camions renforcés » spéciaux uniquement pour les encyclopédies, mais cela est compliqué et coûteux.

La Découverte du Papier : Le Coupable « Résiduel »

Les auteurs de ce papier ont posé une question différente : Pourquoi y a-t-il autant de grosses encyclopédies dès le départ ?

Ils ont découvert que le problème ne vient pas seulement des données ; il vient de l'architecture (le plan) de l'IA. Plus précisément, ils accusent la Connexion Résiduelle.

L'Analogie : Imaginez une course de relais.
- IA Standard (Résiduelle) : Le coureur passe le témoin à la personne suivante, mais il garde aussi son propre témoin et l'ajoute au tas. Au fil de 20 ou 30 tours (couches), ce tas de témoins devient énorme, désordonné et imprévisible. Ce « cumul » crée ces valeurs aberrantes lourdes.
- La Nouvelle Idée (Sans Résidus) : Le coureur passe le témoin et lâche le sien. Le coureur suivant commence frais avec seulement le nouveau témoin. Le tas ne devient jamais désordonné ; il reste net et uniforme.

Le papier montre que ce « cumul » dans les modèles standards force les données à devenir à « queue lourde » (pleines de valeurs aberrantes), ce qui les rend très difficiles à réduire (quantifier) sans perdre en qualité.

La Solution : Un Régime « Sans Résidus »

Les auteurs proposent de construire des modèles d'IA sans ces connexions de « cumul ». Ils les appellent des Transformers Sans Résidus.

Mais il y a un problème : supprimer le mécanisme de « cumul » rend l'IA très difficile à entraîner. C'est comme essayer de courir un marathon sans le filet de sécurité d'un témoin de relais ; vous pourriez trébucher et tomber.

Pour régler cela, les auteurs ont développé une « Recette d'Entraînement » spécifique pour faire fonctionner ces nouveaux modèles :

Initialisation Orthogonale : Commencez le modèle avec des poids parfaitement équilibrés, comme un flocon de neige parfaitement symétrique, afin que les données ne soient pas déformées dès le début.
Optimiseurs Spéciaux : Utilisez un type spécifique de « coach » (optimiseur mathématique) qui maintient le modèle équilibré pendant l'entraînement, plutôt que de le laisser devenir désordonné.
Mise à l'Échelle de la Température : Ajustez la « chaleur » du modèle à mesure qu'il s'approfondit pour maintenir un flux de données fluide.

Les Résultats : La Zone « Boucle d'Or » « Gaussienne »

Lorsqu'ils ont entraîné ces nouveaux modèles, quelque chose de magique s'est produit. Au lieu d'avoir quelques gigantesques encyclopédies et beaucoup de pamphlets, les données sont devenues parfaitement uniformes.

L'Analogie : Imaginez une foule de personnes.
- Ancien Modèle : Quelques géants et beaucoup de nains. Si vous essayez de les faire tenir tous dans un petit bus (quantification sur peu de bits), les géants sont écrasés et le bus casse.
- Nouveau Modèle : Tout le monde a exactement la même taille moyenne. Vous pouvez les faire tenir tous parfaitement dans un tout petit bus, sans que personne ne soit écrasé.

En termes mathématiques, les nouveaux modèles maintiennent leurs données « quasi-Gaussiennes » (une belle courbe en forme de cloche), tandis que les anciens modèles deviennent à « queue lourde ».

Le Compromis : Légèrement Plus Lent, Beaucoup Plus Compressible

Le papier a trouvé un compromis clair :

Précision Complète (Sans réduction) : Les nouveaux modèles « Sans Résidus » sont légèrement moins intelligents que les anciens modèles « Résiduels » lorsqu'ils fonctionnent à taille pleine.
Faible Précision (Réduits) : Lorsque vous les réduisez pour économiser de l'espace (en utilisant des nombres sur peu de bits), les nouveaux modèles restent intelligents, tandis que les anciens modèles s'effondrent.

La Conclusion :
Si vous devez faire fonctionner une IA massive sur du matériel limité (comme un téléphone ou un petit serveur) et que vous devez réduire les données, l'ancienne façon de construire les IA travaille en fait contre vous. En supprimant les connexions de « cumul » et en utilisant une recette d'entraînement spécifique, vous pouvez construire des modèles naturellement conçus pour être compressés, économisant d'énormes quantités de mémoire et d'énergie sans perdre beaucoup de précision.

Résumé des Affirmations

Cause : Les connexions résiduelles (le mécanisme de « cumul ») font que les données deviennent désordonnées et pleines de valeurs aberrantes.
Effet : Ce désordre fait échouer la compression de données standard (quantification), provoquant une baisse de précision.
Solution : Supprimer les connexions résiduelles, combiné à des techniques spécifiques d'initialisation et d'optimisation, maintient les données propres et uniformes.
Résultat : Ces nouveaux modèles sont beaucoup plus robustes face à la compression, permettant un déploiement efficace avec des méthodes de compression simples et uniformes, même s'ils sont légèrement moins précis à pleine précision.

Résumé technique : Les avantages de la quantification des Transformers sans connexions résiduelles

Énoncé du problème
La mise à l'échelle des grands modèles de base est de plus en plus limitée par la surcharge de communication requise pour transférer les activations, les gradients et les états des optimiseurs entre les accélérateurs lors de l'entraînement distribué. La quantification en faible précision offre une solution pour compresser ces tenseurs, mais les architectures Transformer standard produisent souvent des activations à queues lourdes dominées par des valeurs aberrantes. Ces distributions d'activations non gaussiennes rendent la quantification simple en faible précision très perteuse, nécessitant des techniques post-entraînement complexes et spécialisées (par exemple, gestion des valeurs aberrantes en précision mixte, mise à l'échelle par canal ou rotations apprises) pour maintenir la précision. L'article postule que cette difficulté de quantification n'est pas simplement une propriété du quantificateur, mais qu'elle est fondamentalement enracinée dans l'architecture Transformer elle-même, spécifiquement la présence de connexions résiduelles.

Méthodologie
Les auteurs étudient la relation entre l'architecture et les statistiques des activations grâce à une comparaison contrôlée de Transformers standard avec connexions résiduelles et de Transformers sans connexions résiduelles.

Analyse théorique : Les auteurs analysent l'évolution des statistiques d'activations par couche, en se concentrant spécifiquement sur l'excès d'aplatissement (une mesure de la lourdeur des queues et de la déviation par rapport à la gaussianité).
- Ils démontrent que le mélange dense (inhérent aux blocs d'attention auto et MLP) agit comme un opérateur de gaussianisation, contractant l'excès d'aplatissement d'un facteur $O(1/d)$ lorsque les matrices de poids restent quasi-isométriques.
- À l'inverse, les connexions résiduelles préservent l'état d'entrée tout en ajoutant une branche transformée. Des lemmes théoriques montrent que ce chemin additif empêche la contraction $1/d$ de l'excès d'aplatissement, permettant à la non-gaussianité de s'accumuler et de s'amplifier à travers les couches.
- L'analyse distingue également les optimiseurs : les optimiseurs spectraux/du second ordre (par exemple, Shampoo, Muon) préservent la géométrie quasi-isométrique des matrices de poids, tandis que les mises à jour coordonnées (par exemple, AdamW, Sign GD) détruisent rapidement cette isométrie, affaiblissant l'effet de gaussianisation même dans les réseaux sans résidus.
Recette d'entraînement pratique : Pour rendre les Transformers sans connexions résiduelles entraînables (surmontant des problèmes historiques comme l'effondrement du rang et l'échec de la propagation du signal), les auteurs proposent une combinaison spécifique de techniques :
- Initialisation orthogonale : Initialiser les matrices de poids (spécifiquement $W_Q, W_K, W_V, W_O, W_U, W_D$ ) comme des matrices orthogonales mises à l'échelle pour assurer un mélange dense et bien conditionné au départ.
- Optimisation spectrale/du second ordre : Utiliser des optimiseurs comme KL Shampoo, Muon ou SOAP pour maintenir la géométrie quasi-isométrique des poids tout au long de l'entraînement.
- Mise à l'échelle de l'attention consciente de la profondeur : Introduire un facteur de mise à l'échelle de température $\tau_\ell = \beta^{-\ell}$ dans le mécanisme d'attention pour prévenir l'atténuation ou la saturation du signal à mesure que la profondeur augmente.

Contributions clés

Source architecturale de la difficulté de quantification : L'article identifie les connexions résiduelles comme une source architecturale primaire de la non-gaussianité des activations. Il montre que le mélange résiduel préserve et amplifie l'excès d'aplatissement, tandis que le mélange sans résidus le contracte.
Explication théorique via l'excès d'aplatissement : Les auteurs fournissent un cadre théorique expliquant pourquoi les modèles sans résidus peuvent maintenir des activations quasi-gaussiennes. Cela repose sur la synergie entre l'initialisation orthogonale (fournissant le point de départ géométrique correct) et l'optimisation spectrale (préservant cette géométrie), ce qui permet au mélange dense de supprimer continuellement les moments d'ordre supérieur.
Une recette d'entraînement favorable à la quantification : Les auteurs démontrent que les Transformers sans connexions résiduelles peuvent être entraînés efficacement en utilisant la recette proposée (Initialisation orthogonale + Optimisation du second ordre + Mise à l'échelle consciente de la profondeur), atteignant des performances comparables aux modèles résiduels en pleine précision tout en conservant des statistiques d'activation quasi-gaussiennes.

Résultats expérimentaux
Les auteurs ont évalué des modèles de 24 couches entraînés sur le jeu de données FineWeb-Edu et testés sur huit benchmarks de raisonnement de bon sens (par exemple, ARC, BoolQ, HellaSwag).

Statistiques d'activation : Les modèles sans résidus entraînés avec KL Shampoo ont maintenu un excès d'aplatissement proche de zéro sur toutes les couches et étapes d'entraînement, indiquant des activations quasi-gaussiennes. En revanche, les modèles résiduels (même ceux entraînés avec KL Shampoo) ont développé des activations à queues lourdes et non gaussiennes avec un excès d'aplatissement significativement plus élevé.
Robustesse à la quantification : Sous une quantification uniforme simple (sans gestion des valeurs aberrantes ni rotations apprises) :
- Précision pleine (BF16) : Les modèles sans résidus ont montré une légère baisse de performance (environ 1-2 % de précision moyenne) par rapport aux bases résiduelles.
- Faible précision : À mesure que la précision diminuait (par exemple, W8A8, W8A6), les modèles résiduels ont subi une dégradation brutale de la précision (jusqu'à une baisse de 8-10 %). Les modèles sans résidus ont démontré une robustesse nettement supérieure, surpassant les modèles résiduels de +2,7 % en W8A8 et de +6,6 % en W8A6.
- Fidélité du signal : Les modèles sans résidus ont constamment atteint un rapport signal sur bruit de quantification (SQNR) plus élevé et une erreur quadratique moyenne normalisée (MSE) plus faible sur toutes les largeurs de bits.

Portée et affirmations
L'article prétend être le premier à identifier et à étudier les conséquences des architectures sans résidus pertinentes pour la quantification. Son argument central est que la robustesse à la quantification ne doit pas être considérée uniquement comme un problème de compression post-entraînement, mais comme un défi architectural et d'optimisation.

Les auteurs affirment qu'en supprimant les connexions résiduelles et en employant une recette d'entraînement spécifique, on peut créer des modèles de base intrinsèquement plus compressibles. Tout en reconnaissant les limites — telles qu'un écart modeste de précision en pleine précision et la nécessité d'une mise à l'échelle supplémentaire pour des réseaux plus profonds —, ce travail motive un virage vers une conception d'architecture « favorable à la quantification ». Les résultats suggèrent que les futurs modèles de base pourraient prendre en compte conjointement l'architecture, l'optimisation et la compression pour réduire les surcharges de communication et de mémoire qui limitent actuellement l'entraînement et le déploiement à grande échelle.