Résumé Technique : Quand le "Suffisant" est Optimal : Approximation de l'Inversion de Matrice par Multiplication Uniquement pour le Gated DeltaNet Quantifié

Énoncé du Problème

Alors que les modèles de langage de grande taille (LLM) passent à des longueurs de contexte plus importantes, les mécanismes d'attention standards font face à des coûts de mémoire et de calcul quadratiques. Les méthodes d'attention linéaire, telles que le Gated DeltaNet, répondent à cela en maintenant un état récurrent de taille fixe. Cependant, des implémentations récentes de Gated DeltaNet (par exemple, dans Qwen3.5 et KiMi) utilisent une stratégie parallèle par blocs (chunk-wise) pour exposer le parallélisme au sein des séquences de tokens. Bien que cela supprime les dépendances externes de token à token, cela introduit un nouveau goulot d'étranglement : l'inversion de matrice triangulaire au sein de chaque bloc.

Plus précisément, la mise à jour par bloc nécessite de calculer $T = (I - A)^{-1}$, où $A$ est une matrice triangulaire inférieure stricte. Les approches traditionnelles reposent sur la substitution directe (forward substitution), un algorithme séquentiel nécessitant $k-1$ itérations pour une matrice $k \times k$. Cette méthode présente un parallélisme limité et une faible utilisation matérielle sur les unités de traitement neuronal (NPU), car elle repose lourdement sur des opérations vectorielles plutôt que sur des multiplications de matrices denses. Dans Qwen3.5-4B, cette étape d'inversion représente 22 % à 31 % du coût total des cycles, et l'overhead augmente à mesure que la taille du bloc croît.

De plus, les tentatives existantes pour paralléliser cela via une décomposition par blocs ou une expansion de la série de Neumann font face à des défis :

1. L'inversion par blocs restreint la taille des matrices, limitant le parallélisme disponible.
2. L'expansion directe de la série de Neumann ($(I-A)^{-1} = \sum A^n$) souffre d'une instabilité numérique sous précision finie (FP16/INT). Les termes d'ordre supérieur croissent rapidement, provoquant des dépassements de capacité (overflow) et des distributions à queue lourde qui dégradent la performance de la quantification.

Méthodologie

Les auteurs proposent un algorithme d'approximation de type Multiplication Uniquement (MatMul) adapté aux matrices triangulaires inférieures strictes pour l'attention linéaire par blocs. La philosophie centrale est "Le Suffisant est Optimal" : l'inversion exacte n'est pas nécessaire si l'approximation préserve la précision du modèle tout en permettant une exécution efficace sur le matériel.

La méthode se compose de trois composantes clés :

1. Expansion de Neumann Tronquée de Bas Ordre

Au lieu de calculer la pleine expansion finie (qui nécessite $k$ termes), la méthode tronque la série de Neumann après un petit nombre de termes $N$ ($N \ll k$).

• Base Théorique : Le Lemme 3.1 établit que pour une matrice $A$ triangulaire inférieure stricte, la puissance $n$-ième $A^n$ ne contribue qu'à la $n$-ième sous-diagonale et en dessous. Par conséquent, l'énergie de l'inverse est concentrée près de la diagonale principale.
• Implémentation : L'approximation initiale est $T^{(0)} = \sum_{n=0}^{N} A^n$. L'analyse empirique montre qu'un ordre faible (par exemple, $N \approx 3$) capture la majeure partie de la structure de l'inverse, évitant le coût d'une expansion complète.

2. Masquage Diagonal Structurel

Pour traiter l'instabilité numérique causée par la croissance rapide des termes d'ordre supérieur (pouvant dépasser les plages FP16/INT), les auteurs appliquent un masque diagonal $M^{(N)}$.

• Mécanisme : Le masque définit les entrées à zéro si leur distance par rapport à la diagonale principale dépasse l'ordre de troncature $N$ (c'est-à-dire $M_{ij} = 1$ si $i-j \le N$, sinon $0$).
• Effet : Cela élimine les valeurs "superflues" de grande magnitude dans la région inférieure gauche de la matrice qui contribuent peu à la précision de l'inverse mais provoquent des dépassements de capacité et du bruit de quantification. Cela rend l'approximation robuste pour la quantification entière (INT) à bas bits.

3. Correction de Résidu Parallèle

La troncature et le masquage introduisent des erreurs d'approximation. Pour récupérer la précision sans réintroduire de dépendances séquentielles, les auteurs emploient un schéma de correction de résidu parallèle.

• Formulation : Au lieu de mises à jour itératives ($T^{(m+1)} = T^{(m)} + T^{(m)}R^{(m)}$), qui sont séquentielles, la méthode reformule la correction comme une accumulation des puissances de matrice de l'erreur résiduelle $E = I - (I-A)T^{(0)}$.
• Exécution : L'approximation finale est calculée comme $T \approx T^{(0)} \sum_{s=0}^{S} E^s$. Cela permet à l'ensemble du processus d'être exécuté en utilisant uniquement des noyaux de Multiplication de Matrices (MatMul), exposant pleinement le parallélisme aux NPU.

Adaptation à la Quantification

La méthode est spécifiquement ajustée pour l'inférence à bas bits (ex: INT8/INT16). Les auteurs observent que l'augmentation de l'ordre de troncature $N$ (par exemple, de 3 à 4) étend drastiquement la plage dynamique des valeurs, entraînant de graves erreurs de quantification. En limitant $N$ (par exemple, $N=3$) et en compensant avec des étapes de résidu ($S=8$), la méthode équilibre stabilité numérique, précision et efficacité.

Contributions Clés

1. Inversion par MatMul Uniquement Approximative mais Suffisante : Le papier remplace l'inversion triangulaire séquentielle par une approximation de Neumann de bas ordre combinée à un masquage structuré et une correction de résidu parallèle. Cela projette le calcul dominant vers des noyaux MatMul, préservant la précision sous quantification flottante ou entière.
2. Exécution sur NPU Efficace sur le Matériel : En éliminant les dépendances de résolution triangulaire, la formulation expose des multiplications de matrices denses. Cela permet d'atteindre jusqu'à 5× de gain de vitesse au niveau du noyau sur les NPU et réduit l'overhead de la couche de décodage de 20 % sans dégradation de la précision.
3. Robustesse sous Basse Précision : L'approche atténue l'expansion de la plage dynamique lors des opérations répétées de puissance de matrice, permettant une inférence stable avec la quantification INT16 et INT8 là où les méthodes précédentes échouent ou se dégradent significativement.

Résultats Expérimentaux

La méthode a été évaluée sur la famille de modèles Qwen3.5 (de 0,8B à 9B paramètres) et le modèle Qwen3-Next.

• Précision :
  • Noyau Unique : La méthode maintient un rapport signal sur bruit (SNR) élevé en FP16 et INT16, comparable aux bases FP32.
  • Extrait (End-to-End) : La perplexité (PPL) et la précision sur les tâches en aval (MMLU, CSR, RealWorldQA) correspondent à la base Flash Linear Attention (FLA) sur toutes les échelles de modèles.
  • Quantification : Sous quantification W4A16, la méthode proposée préserve nettement mieux les performances que la FLA standard, particulièrement sur RealWorldQA, avec des différences négligeables sur les scores PPL et MMLU.
• Performance :
  • Accélération : A atteint des accélérations de 5,2×, 4,2× et 4,6× pour les noyaux d'inversion de matrice pour des tailles de blocs de 32, 64 et 128, respectivement.
  • Réduction de l'Overhead : A réduit le coût de l'inversion de matrice d'environ 22–31 % (dans FLA) à environ 5–9 %, entraînant des réductions de cycles globaux de 18,1 % à 24,6 %.
• Études d'Ablation :
  • La troncature de bas ordre seule ($N=3$) provoque une divergence en basse précision ; cependant, l'ajout du masque diagonal et de la correction de résidu ($S=8$) restaure la stabilité et la précision.
  • Pour une matrice 64×64, la configuration optimale est $N=3$ et $S=8$.

Signification et Revendications

Le papier prétend offrir une solution efficace et adaptée au matériel pour l'attention linéaire scalable, ciblant spécifiquement les goulots d'étranglement du modelage de contexte long sur les NPU.

• Scalabilité : En permettant des tailles de blocs plus grandes (jusqu'à 128) sans la pénalité séquentielle de la substitution directe, la méthode supporte un traitement de contexte long plus efficace.
• Déploiement : L'approche facilite le déploiement de modèles à contexte long sur des appareils aux ressources limitées (mobiles et edge) en rédu nhất les exigences de calcul et d'énergie grâce à des approximations compatibles avec les entiers.
• Philosophie de Compromis : Le travail souligne que l'inversion "exacte" n'est pas requise pour obtenir des performances de modèle de haute qualité. En acceptant une approximation "suffisante" qui s'aligne sur les capacités matérielles (dominante MatMul, parallèle), la méthode atteint une performance pratique optimale.

Les auteurs notent que bien que la méthode améliore l'efficacité, elle repose sur une évaluation minutieuse pour garantir la fiabilité, particulièrement sous des contraintes de basse précision, et ne prétend pas résoudre tous les problèmes d'instabilité numérique dans toutes les architectures potentielles, mais cible spécifiquement le contexte du Gated DeltaNet.