Résumé Technique : PARSE – Sélection Dynamique de Rang Sensible aux Prompts pour la Compression de LLM basée sur SVD

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) ont atteint des centaines de milliards de paramètres, engendrant des coûts mémoire et computationnels substantiels qui entravent leur déploiement efficace. Bien que la Décomposition en Valeurs Singulières (SVD) se soit imposée comme une technique de compression post-entraînement efficace en éliminant les petites valeurs singulières, les méthodes existantes basées sur la SVD reposent sur une troncation de rang statique. Ces méthodes déterminent un rang de troncature fixe via une calibration ponctuelle sur un jeu de données spécifique, appliquant le même préfixe de rang à toutes les entrées, indépendamment de leur diversité.

Les auteurs identifient deux limitations critiques dans cette conception statique :

1. Allocation de Rang Agnostique de l'Entrée : Le rang optimal nécessaire pour préserver fidèlement le comportement du modèle varie d'un prompt à l'autre en fonction de leur complexité et de leur sémantique. Un rang globalement fixe est sous-optimal pour des entrées spécifiques, entraînant une dégradation localisée des performances (par exemple, des pics nets de perplexité pour certains prompts).
2. Inadéquation Domaine de Calibration : Le rang statique est étroitement couplé à l'ensemble de calibration. Lorsque les tâches en aval s'écartent sémantiquement du jeu de données de calibration, le rang choisi devient désaligné par rapport à la distribution cible, provoquant des baisses de performances significatives sur les entrées en aval.

2. Méthodologie : PARSE

Pour répondre à ces défis, les auteurs proposent PARSE (Prompt-Aware Rank Selection as Experts), un cadre post-entraînement orthogonal aux pipelines existants basés sur la SVD. PARSE reformule les matrices de poids compressées par SVD comme des mélanges d'« experts de rang » indépendants et emploie un mécanisme de sélection dynamique.

2.1 Formulation de l'Expert de Rang

Au lieu de conserver statiquement un préfixe fixe de composantes singulières, PARSE traite chaque composante de rang $\sigma_i u_i v_i^\top$ comme un expert indépendant $E_i$. Pour une activation d'entrée donnée $x$, le modèle sélectionne dynamiquement un sous-ensemble spécifique au prompt de $K$ experts parmi les $r_{max}$ composantes totales. Le poids effectif est défini par :
$$\hat{W}x = \sum_{i \in R(x)} \sigma_i u_i v_i^\top x$$
où $R(x)$ est l'ensemble des indices des $K$ meilleurs experts sélectionnés.

2.2 Entraînement du Routeur et Découplage de la Calibration

Un routeur linéaire $f_\theta$ est entraîné hors ligne pour prédire le sous-ensemble optimal $R(x)$ pour chaque entrée.

• Découplage de la Calibration : Pour éviter que la sélection de rang ne soit biaisée par un jeu de données de calibration spécifique, le routeur est entraîné sur un corpus à grande échelle et diversifié (par exemple, C4).
• Supervision : Le routeur est supervisé par rapport aux sorties du modèle dense original (non compressé), en minimisant la perte de reconstruction $\|\hat{W}x - Wx\|_F^2$. Cela aligne la sélection du routeur sur le comportement du modèle original plutôt que sur des statistiques spécifiques à la calibration.
• Optimisation : Puisque la sélection Top-K est non différentiable, un Estimateur Direct-Through est utilisé. Le passage avant applique un masque binaire dur, tandis que le passage arrière utilise une porte douce différentiable (sigmoïde) pour propager les gradients.

2.3 Optimisation de l'Inférence

Pour éliminer la surcharge d'exécution liée à l'appel du routeur pendant l'inférence, PARSE introduit deux stratégies clés basées sur des observations empiriques :

1. Récupération de Rang (Préremplissage) : Des prompts sémantiquement similaires produisent des sous-ensembles de rangs fortement chevauchants. Le système construit un cache associant les embeddings de prompts à leurs sous-ensembles de rangs optimaux. À l'inférence, le prompt entrant est apparié à son plus proche voisin dans le cache, récupérant le sous-ensemble directement sans exécuter le routeur.
2. Réutilisation de Rang (Décodage) : Le sous-ensemble de rang sélectionné lors de l'étape de préremplissage reste hautement stable (chevauchement > 0,86) au cours des étapes de décodage subséquentes. Le système fixe le sous-ensemble de rang au préremplissage et le réutilise pour tous les tokens de la génération, éliminant ainsi entièrement la surcharge du routeur pendant le décodage.

2.4 Efficacité au Niveau Système

Pour réduire davantage la latence, les auteurs implémentent :

• Agrégation Mémoire des Experts : Les composantes de rang sélectionnées par le routeur sont physiquement dispersées en mémoire. PARSE les réorganise en blocs de mémoire contigus hors ligne, plaçant les « experts partagés » (composantes à haute fréquence) au début. Cela transforme des lectures dispersées en transactions mémoire regroupées.
• Fusion de Kernels : Les opérations partageant la même entrée (par exemple, les projections Q, K, V dans l'attention) sont fusionnées en des noyaux MatMul par lot uniques, réduisant les lancements de noyaux redondants.

3. Contributions Clés

1. Identification des Limitations : L'article démontre empiriquement que la troncature de rang statique dans les LLM basés sur la SVD entraîne des performances sous-optimales en raison de la sensibilité aux prompts d'entrée individuels et au choix des jeux de données de calibration.
2. Cadre PARSE : Un cadre post-entraînement qui entraîne un routeur linéaire pour effectuer une sélection de rang sensible aux prompts. En supervisant le routeur sur un corpus à grande échelle par rapport aux sorties du modèle dense, il découple la sélection de rang des informations de calibration.
3. Stratégies d'Efficacité d'Inférence : L'observation que les motifs de rang sont partagés entre des prompts sémantiquement similaires et stables au cours des étapes de décodage permet un mécanisme de mise en cache et de réutilisation qui élimine la surcharge du routeur.
4. Optimisations Système : L'intégration de l'agrégation mémoire des experts et de la fusion de kernels pour réduire la surcharge au niveau système, rendant la sélection dynamique pratique pour le déploiement.

4. Résultats Expérimentaux

Les auteurs ont évalué PARSE en l'intégrant à quatre méthodes représentatives basées sur la SVD (SVD-LLM, Dobi-SVD, Basis Sharing, SAES-SVD) sur LLaMA-7B, LLaMA-13B, LLaMA-30B et Qwen2.5-7B.

• Amélioration de la Précision : PARSE améliore constamment la qualité du modèle. À un taux de compression de 0,6 sur LLaMA-7B, il améliore la précision moyenne des tâches jusqu'à 10 % par rapport aux méthodes SVD de référence. Par exemple, sur SAES-SVD à un taux de 0,6, la précision moyenne est passée de 0,34 à 0,44.
• Réduction de la Perplexité : PARSE réduit significativement la perplexité sur les benchmarks de modélisation du langage (WikiText-2, PTB, C4). Sur Basis Sharing à un taux de 0,6, la perplexité C4 est passée de 250,19 à 101,21.
• Accélération d'Inférence : Malgré le mécanisme de sélection dynamique, PARSE atteint des accélérations substantielles grâce à ses stratégies d'optimisation. Il réalise jusqu'à 2,5× d'accélération en préremplissage et 2,4× d'accélération en décodage par rapport à l'exécution native SVD.
• Robustesse : La méthode généralise bien à travers différentes échelles de modèles et reste robuste face au choix des données de calibration SVD, contrairement aux références statiques qui souffrent lorsque le domaine d'évaluation diffère du domaine de calibration.

5. Importance et Revendications

L'article revendique que PARSE offre une avancée significative dans la compression des LLM en passant d'une troncature de rang statique, « taille unique », à une sélection dynamique et sensible aux prompts. Son importance principale réside dans :

• Orthogonalité : Il peut être intégré aux pipelines de compression existants basés sur la SVD sans nécessiter de réentraînement des poids du modèle de base, uniquement l'entraînement d'un routeur léger.
• Compromis Efficacité-Performance : Il résout avec succès le compromis où la sélection dynamique entraîne généralement une latence élevée, atteignant à la fois une précision supérieure et une latence inférieure par rapport aux références statiques.
• Généralisation : En découplant la sélection de rang des ensembles de calibration spécifiques, il permet aux modèles compressés de mieux généraliser à des tâches en aval diversifiées.

Les auteurs concluent que PARSE fournit une voie pratique pour déployer des LLM hautement compressés qui maintiennent une haute qualité et une efficacité d'inférence, répondant au défi critique du déploiement sous contrainte de ressources.