💬 NLP

GLASS: Global-Local Aggregation for Inference-time Sparsification of LLMs

GLASS est un cadre sans entraînement qui améliore l'épuration à l'inférence pour les grands modèles de langage en agrégeant, via une agrégation de rangs, les activations locales spécifiques aux prompts et les priors globaux intrinsèques au modèle, stabilisant ainsi l'élagage dynamique des FFN et améliorant considérablement la fidélité de génération et la vitesse de décodage, en particulier dans les scénarios à prompts courts et de longue forme.

Auteurs originaux : Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amirmohsen Sattarifard, Sepehr Lavasani, Kunlin Zhang, Amirhossein Rajabpour, Hanlin Xu, Fengyu Sun, Negar Hassanpour, Chao Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et incroyablement intelligente (un modèle de langage de grande taille, ou LLM) capable d'écrire des histoires, de répondre à des questions et de résoudre des problèmes. Mais cette bibliothèque est si massive qu'elle ne rentre ni sur votre téléphone ni sur votre ordinateur portable. Elle est trop lourde, trop lente et nécessite trop d'énergie pour fonctionner.

Pour la faire fonctionner sur votre appareil, vous devez la « élaguer » — essentiellement, vous devez lui demander d'ignorer 50 % de ses cellules cérébrales internes (neurones) pendant qu'elle réfléchit, afin qu'elle fonctionne plus vite et utilise moins de mémoire.

Le Problème : Le « Jeu de Devinettes » des Prompts Courts
Les méthodes existantes tentent de décider quels neurones conserver en examinant la toute première chose que vous tapez (le « prompt »). Elles disent : « D'accord, vous avez posé une courte question, nous allons donc maintenir l'activité de ces neurones spécifiques. »

L'article soutient que cela revient à essayer de planifier tout un voyage routier en se basant sur le premier pas que vous faites en franchissant la porte.

Prompts Courts : Si vous posez une courte question, le modèle n'a pas assez d'informations pour savoir quels neurones sont réellement importants pour la longue réponse qu'il est sur le point de générer.
Réponses Longues : Au fur et à mesure que le modèle commence à écrire une longue histoire, l'« importance » des neurones change. Ceux qui semblaient importants pour la courte question peuvent devenir inutiles pour le reste de l'histoire.
Le Résultat : Le modèle se confond, fait des erreurs et la qualité de l'écriture diminue car il a conservé les mauvais neurones et désactivé les bons.

La Solution : GLASS (Agrégation Globale-Local)
Les auteurs proposent une nouvelle méthode appelée GLASS. Imaginez GLASS comme un gestionnaire intelligent qui prend des décisions en utilisant deux sources d'information différentes, plutôt qu'une seule.

La Vue Locale (Le Signal « Tout de Suite ») : Celle-ci examine ce que vous venez de taper. Elle se demande : « Sur la base de cette question spécifique, quels neurones s'activent en ce moment ? » C'est bon pour le contexte, mais peu fiable pour les questions courtes.
La Vue Globale (Le Signal « Intrinsèque ») : C'est la grande innovation de l'article. Avant même que le modèle ne voie votre question, les chercheurs ont effectué un test spécial où ils ont laissé le modèle parler à lui-même en utilisant un prompt vide (juste un espace vide). Ils ont demandé : « Quels neurones ce modèle utilise-t-il toujours, peu importe ce qui se passe ? » Cela crée une « feuille de triche » des cellules cérébrales les plus importantes et fiables du modèle.

Comment GLASS Fonctionne : L'Analogie du « Classement »
GLASS ne choisit pas l'un ou l'autre. Il utilise un système de vote astucieux appelé Agrégation de Classement.

Imaginez que vous sélectionnez une équipe pour un match de sport :

L'Entraîneur Local dit : « Le Joueur A est excellent pour ce match spécifique. »
L'Entraîneur Global dit : « Le Joueur A est le meilleur joueur que nous ayons, point final, basé sur toute sa carrière. »

Si vous n'écoutez que l'Entraîneur Local, vous risquez de choisir un joueur qui est bon pour une seule action mais mauvais pour tout le match. Si vous n'écoutez que l'Entraîneur Global, vous risquez de choisir une star qui ne correspond pas à la stratégie spécifique.

GLASS combine les deux. Il prend la liste « Locale » et la liste « Globale » et les fusionne. Si un neurone est classé haut par les deux entraîneurs, il reste définitivement. Si un entraîneur est incertain (comme lorsque le prompt est court), l'opinion de l'autre entraîneur sauve la mise.

L'Astuce de la « Stimulation par Prompt Null » (NPS)
Pour obtenir cette « feuille de triche » Globale sans avoir besoin d'un ensemble de données massif de livres ou d'articles Wikipédia, les auteurs ont utilisé une astuce appelée Stimulation par Prompt Null.

Au lieu de donner un livre au modèle à lire, ils lui ont simplement permis de générer du texte à partir de rien (un prompt « null »).
Cela force le modèle à se fier entièrement à son propre câblage interne. C'est comme demander à un musicien de jouer une gamme sans partition pour voir quels doigts il utilise naturellement le plus. Cela fournit une carte pure et non biaisée des neurones les plus critiques du modèle.

Les Résultats : Plus Rapide et Plus Intelligent
L'article a testé GLASS sur de nombreux modèles différents (comme Llama, Gemma et Mistral) et a constaté :

Meilleure Qualité : Lorsqu'il est demandé d'écrire de longues histoires à partir de prompts courts, GLASS commet beaucoup moins d'erreurs que les méthodes précédentes. Il se rapproche beaucoup plus de la qualité du modèle complet, non élagué.
Vitesse Accrue : Sur un Samsung Galaxy S25 Ultra (un téléphone haut de gamme), GLASS a permis au modèle de fonctionner jusqu'à 11 fois plus vite dans certains cas. Cela s'est produit parce que le modèle est devenu assez petit pour tenir entièrement dans la mémoire rapide du téléphone, évitant ainsi le processus lent d'échange constant de données.

En Résumé
GLASS est un outil « plug-and-play » qui permet de faire fonctionner de grands modèles d'IA sur de petits appareils. Il résout le problème de la « mauvaise devinette » sur les questions courtes en combinant ce que le modèle fait maintenant avec ce que le modèle est naturellement bon à faire, garantissant ainsi que l'IA reste intelligente et rapide, même lorsqu'elle travaille avec des ressources limitées.

Résumé Technique : GLASS – Agrégation Globale-Locale pour la Sparsification à l'Inférence des LLM

1. Énoncé du Problème

Le déploiement de modèles de langage de grande taille (LLM) sur des périphériques de bord aux ressources limitées nécessite de réduire le trafic mémoire et la demande computationnelle. Alors que l'élagage statique supprime définitivement des paramètres, l'élagage dynamique (saut de calcul basé sur l'entrée) offre une alternative flexible. Cependant, les méthodes existantes d'élagage dynamique sans entraînement pour les réseaux feedforward (FFN) reposent exclusivement sur des signaux dérivés de l'invite (activations locales durant la phase de préremplissage) pour estimer l'importance des neurones.

Les auteurs identifient un mode de défaillance critique dans ces approches « invite uniquement » :

Fiabilité réduite sur les invites courtes : Pour les invites courtes, le signal d'activation locale est insuffisant pour prédire avec précision quels neurones sont critiques pour la génération ultérieure de longs textes.
Dérive du masque : Les motifs d'activation durant la phase de décodage divergent souvent significativement du masque de préremplissage, entraînant des masques d'élagage imprécis.
Altération de la fidélité : Cette dérive se traduit par une qualité de génération médiocre (perplexité élevée et divergence KL) durant le décodage de longs textes, particulièrement lorsque l'invite est courte.

Mettre à jour les masques en ligne pour corriger cette dérive est possible mais introduit une surcharge computationnelle et annule les avantages de maintenir un sous-ensemble fixe et compact de poids résidant dans une mémoire rapide (un avantage clé pour le déploiement sur périphérique de bord).

2. Méthodologie : GLASS

Les auteurs proposent GLASS (Agrégation Globale-Locale pour la Sparsification), un cadre plug-and-play, sans entraînement, qui stabilise l'élagage dynamique des FFN en agrégeant deux vues complémentaires de la criticité des neurones : les activations locales spécifiques à l'invite et un a priori global intrinsèque au modèle.

2.1 Estimation de l'A Priori Global via Stimulation par Invite Nulle (NPS)

Au lieu de s'appuyer sur des jeux de données externes (par exemple, Wikipédia) qui pourraient introduire un biais de corpus, GLASS calcule un a priori global en utilisant la Stimulation par Invite Nulle (NPS).

Mécanisme : Le modèle génère du texte à partir de lui-même en utilisant une invite nulle (par exemple, une chaîne vide ou un token BOS) dans des paramètres d'échantillonnage typiques.
Avantage : Cela sonde l'utilisation intrinsèque des neurones par le modèle sans biais de données externes.
Deux variantes d'importance globale ( $M^g$ ) :
1. A-GLASS (Magnitude d'Activation) : Calcule la magnitude moyenne normalisée en $\ell_2$ des activations des neurones sur les séquences NPS.
2. I-GLASS (Impact Neuronal) : Calcule l'impact de la suppression d'un neurone sur la perte d'entropie croisée en utilisant un développement de Taylor du premier ordre (similaire à l'élagage par Taylor). Les gradients sont calculés via un forcing d'enseignant sur la séquence NPS auto-générée.

2.2 Agrégation par Classement

GLASS fusionne le signal local ( $A^l$ , dérivé de l'invite d'entrée) et le signal global ( $M^g$ , dérivé de NPS) en utilisant une règle d'agrégation pondérée par classement.

Classement : Les scores d'importance locaux et globaux sont convertis en rangs ( $R^{(l)}$ et $R^{(g)}$ ) pour gérer les différences d'échelle et de distribution.
Interprétation Probabiliste : Les auteurs interprètent GLASS comme la recherche du classement de consensus Maximum-A-Posteriori (MAP) sous un modèle probabiliste basé sur les permutations (spécifiquement, un modèle de type Mallows avec une distance de rang de Spearman au carré).
Formule de Fusion : Le score final pour le neurone $j$ est une somme pondérée de ses rangs :
$GLASS_j = (1 - \lambda)R^{(l)}_j + \lambda R^{(g)}_j$
Où $\lambda$ équilibre la fiabilité des preuves locales par rapport aux preuves globales. Le paramétrage par défaut est $\lambda = 0,5$ , supposant une fiabilité égale.
Sélection : Les $k$ neurones ayant les scores GLASS les plus élevés sont sélectionnés pour former le masque d'élagage, qui est ensuite appliqué durant la phase de décodage.

3. Contributions Clés

L'article expose quatre contributions principales :

Identification des Modes de Défaillance : Les auteurs démontrent que la sparsification sans entraînement basée uniquement sur l'invite échoue dans les scénarios d'invites courtes et de générations longues en raison de la dérive des activations, entraînant une altération de la fidélité de génération.
Cadre GLASS : Introduction d'un cadre plug-and-play, sans entraînement, qui fusionne les preuves locales de l'invite avec un a priori global intrinsèque au modèle (calculé via NPS) pour produire des masques robustes.
Fondement Théorique : Une interprétation probabiliste de GLASS comme un classement de consensus MAP sous un modèle de type Mallows, fournissant une justification principielle de la règle d'agrégation pondérée par classement.
Performance Empirique : Démonstration d'améliorations substantielles par rapport aux bases de référence sans entraînement précédentes (spécifiquement GRIFFIN) dans des scénarios difficiles, atteignant jusqu'à 45,10 % de perplexité en moins et 25,73 % de divergence KL en moins à 50 % de sparsité, accompagnées d'accélérations significatives sur périphérique.

4. Résultats Expérimentaux

Les auteurs ont évalué GLASS sur un ensemble diversifié de LLM open-source (incluant les familles Gemma, Llama, Mistral, OPT, Qwen et Phi) à travers des benchmarks de classification, de génération courte et de génération longue.

Génération de Longs Textes (Benchmark Alpaca) : GLASS surpasse significativement la base de référence sans entraînement la plus performante (GRIFFIN).
- Gemma 3n E2B : A atteint 45,10 % de perplexité en moins et 25,73 % de divergence KL en moins par rapport à GRIFFIN.
- Gemma 2 27B : A atteint 12,48 % de perplexité en moins et 22,80 % de divergence KL en moins.
- Llama 3 8B : A atteint 23,28 % de perplexité en moins et 21,98 % de divergence KL en moins.
Textes Courts et Classification : GLASS se comporte de manière comparable à GRIFFIN sur les tâches standards de classification et de génération courte, indiquant que l'a priori global est le plus critique pour la stabilité de la génération longue.
Analyse de Chevauchement Oracle : Les expériences montrent que l'agrégation Globale-Locale produit des masques significativement plus proches d'un ensemble « oracle » de neurones critiques (la similarité de Jaccard passant d'environ 0,52 à environ 0,60) par rapport à l'utilisation exclusive de signaux locaux ou globaux.
NPS vs WikiText : L'utilisation de NPS pour l'estimation de l'a priori global surpasse constamment l'utilisation de statistiques basées sur WikiText, confirmant que NPS fournit des estimations d'importance plus fiables et exemptes de biais.
Performance sur Périphérique : Évalué sur un Samsung Galaxy S25 Ultra.
- Pour Gemma 7B, la réduction de 50 % des FFN a permis au modèle de résider entièrement en RAM, générant une accélération de décodage d'environ 11× par rapport à la base dense (qui souffrait d'échange de mémoire).
- Pour Llama 3 8B, une accélération de 42 % a été observée.

5. Importance et Revendications

L'article revendique que GLASS débloque des accélérations fiables pour les périphériques de bord, en particulier pour les charges de travail caractérisées par des invites courtes et des générations longues, courantes dans les applications grand public.

Robustesse : En fusionnant une connaissance globale intrinsèque au modèle, stable, avec des preuves locales spécifiques au contexte, GLASS atténue le problème de « dérive » qui affecte les méthodes basées uniquement sur l'invite.
Efficacité : Il conserve les avantages des masques statiques (résidence fixe des poids dans une mémoire rapide) tout en s'adaptant dynamiquement aux contextes d'entrée sans la surcharge d'entraînement de prédicteurs auxiliaires ou de recalcul de masques par token.
Généralité : La méthode est agnostique au modèle et sans entraînement, la rendant applicable à un large éventail de LLM pré-entraînés sans fine-tuning.
Solidité Théorique : La méthode n'est pas une heuristique ad hoc mais est ancrée dans un modèle probabiliste de classement de consensus.

Les auteurs concluent que la connaissance globale intrinsèque au modèle est une ressource cruciale, jusque-là sous-exploitée, pour améliorer la sparsification pilotée par l'invite, permettant une inférence efficace sur du matériel aux ressources limitées.