Résumé Technique : Rangs Sensibles à l'Activation et à l'Influence (AIR)

1. Énoncé du Problème

Les grands modèles de langage (LLM) reposent sur l'échelle pour leurs performances, ce qui nécessite une compression post-entraînement pour un déploiement efficace. La décomposition en valeurs singulières (SVD) est un candidat principal pour la compression en raison de la structure de bas rang implicite des poids des transformeurs et de l'optimalité théorique des approximations de rang-$k$ (théorème d'Eckart–Young). Cependant, la « SVD classique » ignore le rôle fonctionnel de chaque poids individuel, ce qui provoque souvent une dégradation sévère des performances en aval.

Les méthodes existantes de « préservation de la fonction » tentent d'atténuer cela en utilisant des données de calibration, mais font face à une dichotomie :

• Les approches par activation directe (ex: ASVD, SVD-LLM(W)) sont peu coûteuses en calcul et locales à la couche, mais ignorent si les activations préservées influencent réellement la prédiction finale.
• Les approches par signal de rétropropagation (ex: FWSVD, ACIP) intègrent la perte de tâche ou l'influence de sortie, mais sont soit moins performantes que les bases d'activation seule, soit nécessitent une optimisation de bout en bout coûteuse (réentraînement complet ou descente de gradient).

Le défi central abordé par cet article est la manière d'intégrer une métrique d'influence par signal de rétropropagation dans la compression SVD sans subir le coût de calcul d'une optimisation de bout en bout, tout en préservant l'efficacité des solutions à forme fermée et locales à la couche.

2. Méthodologie : Rangs Sensibles à l'Activation et à l'Influence (AIR)

AIR propose un cadre hybride qui combine la sensibilité aux activations de la passe avant avec la sensibilité à l'influence de la passe arrière via un balayage unique par moindres carrés alternés (ALS - Alternating Least Squares).

2.1 Analyse Avant-Arrière (Forward-Backward)

La méthode opère couche par couche sur une matrice de poids $W \in \mathbb{R}^{m \times n}$ :

1. Passe Avant (Sensibilité à l'Activation) : Suivant SVD-LLM(W), la méthode collecte les états cachés $X$ à partir de données de calibration pour construire une matrice de profilage $S = \text{cholesky}(\sum XX^\top)$. La matrice de poids est transformée dans un espace latent : $W' = WS$. Cette étape produit la solution optimale de rang-$k$ sensible à l'activation via une SVD standard sur $W'$.
2. Passe Arrière (Sensibilité à l'Influence) : Un signal de rétropropagation est utilisé pour calculer une matrice d'influence élément par élément $I \in \mathbb{R}^{m \times n}$. Ce signal quantifie la contribution fonctionnelle de chaque poids à la sortie du modèle. L'article accepte tout score élément par élément issu de la famille des métriques d'influence (ex: Poids $\times$ Gradient, Fisher empirique, ou Propagation de la Pertinence de Couche (LRP)). Les auteurs utilisent par défaut AttnLRP avec une règle $\epsilon$ pour la suppression du bruit. La matrice $I$ est accumulée sur les données de calibration et normalisée à une moyenne unitaire.

2.2 L'Objectif Hybride

AIR définit une fonction de perte hybride qui pénalise plus lourdement l'erreur de reconstruction sur les poids à haute influence que sur les poids à faible influence :
$$\mathcal{L}_{act,infl} = \left\| \sqrt{1 + \delta \cdot I} \odot (W' - U'_k \Sigma'_k V'^\top_k) \right\|_F^2$$
où $\delta$ contrôle la force de pondération de l'influence, $\odot$ est le produit de Hadamard, et la racine carrée est appliquée élément par élément. Le terme $(1 + \delta \cdot I)$ garantit que l'erreur d'approximation sensible à l'activation n'est pas décomptée pour les poids à faible influence.

2.3 Solution à Forme Fermée par ALS

Puisque l'objectif pondéré par l'influence ne permet généralement pas de solution SVD à forme fermée, AIR emploie un balayage unique de Moindres Carrés Alternés (ALS).

• Initialisation : Le processus commence par l'optimum global de l'objectif sensible à l'activation (SVD standard de $W'$).
• Règle de Mise à Jour : L'algorithme itère à travers les rangs $r = k-1$ jusqu'à $0$. Pour chaque rang, il effectue une mise à jour à forme fermée des vecteurs singuliers ($u'_r, v'_r$) et de la valeur singulière ($\sigma'_r$) pour minimiser l'objectif perturbé.
• Descente Monotone : Les auteurs prouvent qu'en partant de l'optimum sensible à l'activation, ce balayage arrière unique garantit une décroissance non croissante (descente monotone) de l'objectif hybride $\mathcal{L}_{act,infl}$.
• Efficacité : Cette approche évite l'intraitabilité de l'approximation de bas rang pondérée par élément en résolvant chaque composante de rang séquentiellement. Elle ne nécessite qu'un seul passage sur les rangs, ce qui la rend efficace en termes de calcul (environ 12 minutes pour LLaMA-7B sur un A100).

2.4 Implémentation au Niveau Système

Pour réaliser des gains réels lors de l'exécution, AIR intègre des optimisations d'inférence spécifiques :

• Propagation Séquentielle : Calcul de $y = U_k(V^\top_k x)$ plutôt que de reconstruire $W$.
• Optimisation du Cache KV : Mise en cache des valeurs intermédiaires de bas rang et application du pré-cache des Rotary Position Embeddings (RoPE) pour éviter l'expansion de la mémoire.
• Gestion des Buffers : Buffers pré-alloués pour éliminer les allocations de mémoire dynamique par jeton (token).

3. Contributions Clés

1. Compromis Performance-Efficacité : Sur LLaMA-7B, AIR atteint une perplexité 18%/33%/45% inférieure à celle de SVD-LLM(W) pour des taux de rétention de paramètres de 60%/40%/20%, respectivement. Il se généralise aux familles LLaMA, Mistral et Vicuna.
2. Efficacité des Données : AIR égale la qualité de SVD-LLM(W) en utilisant ~90% de données de calibration en moins.
3. Complémentarité avec les Méthodes de Bout en Bout : AIR est local à la couche et orthogonal au réglage fin (fine-tuning) de bout en bout.
   • AIR + LoRA surpasse ACIP (une méthode de pointe de bout en bout) à chaque taux de compression, avec un écart allant jusqu'à 59% à 20% de rétention.
   • L'article démontre que les proxys d'influence locale (AIR) et les mises à jour globales de paramètres (LoRA/Réentraînement) fournissent des gains indépendants et additifs.
4. Gains au Niveau Système : À 60% de rétention de paramètres, AIR traduit les économies de paramètres en une réduction de la mémoire GPU de ~64% et une réduction de la latence par jeton de ~53% sur un A100 de 40 Go, permettant des configurations d'inférence (ex: tailles de lots ou longueurs de séquence plus grandes) qui causeraient des erreurs de type Out-Of-Memory (OOM) dans le modèle de base.
5. Agnosticisme du Signal : Le mécanisme d'intégration (règle de mise à jour ALS) prédomine sur le choix du signal. Les signaux de rétropropagation fondés sur des principes (LRP, Poids $\times$ Gradient, Fisher) produisent une perplexité identique, tandis que les bases non informatives (magnitude du poids, valeurs unitaires) échouent.

4. Résultats et Évaluation

• Perplexité : AIR surpasse systématiquement la SVD classique, FWSVD, ASVD et SVD-LLM(W) sur les jeux de données WikiText-2 et C4. L'écart de performance s'élargit à mesure que la compression devient plus agressive (taux de paramètres plus bas).
• Tâches de Raisonnement : AIR maintient ou améliore la précision moyenne du raisonnement sur les benchmarks (OpenBookQA, ARC-E, WinoGrande, etc.) par rapport aux bases de référence.
• Quantification : Les modèles compressés par AIR sont aptes à la quantification post-entraînement (RTN, GPTQ). À 60% de rétention avec GPTQ 4-bit, AIR conserve une perplexité de 11,99 (contre 11,27 pour le non-quantifié).
• Temps d'Exécution : Alors que les implémentations SVD standard échouent souvent à réduire la latence en raison des goulots d'étranglement de la bande passante mémoire et de l'overhead du cache KV, les optimisations spécifiques d'AIR (O1-O3) convertissent avec succès la réduction de paramètres en gains de latence, particulièrement sous une forte pression de bande passante (grandes tailles de lots/longueurs de séquences).

5. Signification et Revendications

L'article prétend combler l'écart entre la compression SVD rapide sensible à l'activation et le réentraînement coûteux de bout en bout.

• Local à la Couche vs Bout en Bout : Les auteurs soutiennent que l'optimisation locale à la couche (AIR) et l'optimisation de bout en bout (LoRA/Réentraînement) sont complémentaires, et non redondantes. AIR fournit une initialisation robuste, sensible à l'influence, sur laquelle le réglage fin ultérieur peut s'appuyer.
• Mécanisme sur Signal : Une découverte clé est que le mécanisme d'intégration (la règle de mise à jour ALS) est plus critique que le choix spécifique du signal de rétropropagation. Cela permet à la méthode d'être robuste et agnostique au signal.
• Déploiement Pratique : L'article souligne que les réductions théoriques de FLOP ne se traduisent pas automatiquement en gains d'exécution. En traitant les goulots d'étranglement au niveau système (cache KV, allocation de mémoire), AIR offre des bénéfices de déploiement tangibles, déplaçant la "frontière OOM" pour permettre des charges de travail d'inférence plus importantes.

6. Limites

Les auteurs notent que le passage à l'échelle vers des modèles de plus de 70 milliards de paramètres et vers des architectures encodeur-décodeur ou Mixture-of-Experts (MoE) reste un défi ouvert. De plus, la méthode actuelle utilise un taux de rang uniforme par couche, laissant l'allocation dynamique de rang et l'adaptation par jeton comme de potentielles extensions futures.