🤖 machine learning

Prox: Training-Free FFN Activation Sparsity via Approximate Intermediate-Channel Salience in LLMs

Prox est un cadre sans entraînement qui permet une exécution efficace des réseaux de neurones à propagation avant (FFN) SwiGLU creux dans les LLM en construisant des masques de canaux à partir de la saillance approximative des canaux intermédiaires, atteignant ainsi des accélérations significatives et une qualité de modèle supérieure par rapport aux méthodes existantes sans nécessiter de réentraînement.

Auteurs originaux : Jinyi Liu, Wei Chen, Pengyu Chen, Xinyi Yuan, Minghe Bai, Guoquan Wu, Jun Wei

Publié 2026-07-31

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinyi Liu, Wei Chen, Pengyu Chen, Xinyi Yuan, Minghe Bai, Guoquan Wu, Jun Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de faire fonctionner un cerveau de robot hyper-intelligent et massif sur un petit appareil alimenté par une batterie. Ce cerveau, connu sous le nom de Grand Modèle de Langage (LLM), est incroyable pour écrire des histoires, résoudre des problèmes mathématiques et discuter, mais il est aussi incroyablement affamé. Il dévore de la mémoire et de la puissance de calcul juste pour réfléchir au mot suivant d'une phrase. Pour rendre ces robots plus rapides et moins avides, les scientifiques ont essayé de leur apprendre à « sauter » des parties de leur processus de réflexion qui ne sont pas importantes. C'est ce qu'on appelle la sparsité d'activation. Imaginez cela comme un chef qui, au lieu de couper tous les légumes de la cuisine pour une soupe, goûte rapidement les ingrédients et ne coupe que ceux qui ajouteront réellement de la saveur, laissant les autres intacts. L'objectif est d'obtenir la même soupe délicieuse (la bonne réponse) mais avec beaucoup moins de travail. Cependant, la partie délicate consiste à déterminer quels légumes sauter sans jeter accidentellement l'épice secrète qui donne tout le goût au plat. Si vous vous trompez, la soupe sera fade, ou pire, immangeable.

C'est le puzzle abordé par une nouvelle méthode appelée Prox, développée par le chercheur Jinyi Liu et son équipe. Ils se sont concentrés sur un type spécifique d'architecture de cerveau de robot appelé SwiGLU, qui est le standard actuel pour de nombreux modèles d'IA puissants. Les chercheurs ont découvert que, bien que la « pensée intermédiaire » du cerveau (un état intermédiaire) détienne la carte parfaite pour décider de ce qu'il faut sauter, calculer cette carte exactement est trop lent et coûteux. Ils ont donc conçu un tour astucieux en deux étapes. D'abord, ils utilisent un « brouillon grossier » et rapide de la pensée du cerveau pour décider rapidement quelles parties sont importantes. Ensuite, et c'à dire l'essentiel, ils n'effectuent les calculs lourds et précis que sur ces parties spécifiques et importantes, ignorant totalement le reste. Leurs expériences ont montré que cette méthode est bien meilleure que les tours précédents qui essayaient de deviner l'importance sans effectuer d'abord le calcul complet. Dans des tests sur dix modèles d'IA différents, Prox a réussi à accélérer la pensée du robot de près du double (jusqu'à 1,99 fois plus vite) tout en conservant des réponses aussi intelligentes que la version lente à pleine vitesse. C'est comme avoir un éclaireur super-rapide qui court devant pour marquer le chemin, permettant à l'armée principale de ne marcher que sur les routes pavées et sûres, économisant ainsi du temps et de l'énergie sans s'égarer.

Le Problème : Le Déjeuner Pesant du Robot

Les Grands Modèles de Langage sont comme de gigantesques bibliothèques de connaissances, mais ils sont aussi très lourds. Lorsqu'ils essaient de répondre à une question, ils doivent déplacer une quantité massive de données dans leur mémoire. Une grande partie de ce trafic provient d'une partie spécifique du cerveau appelée le Réseau de Propagation Avant (FFN - Feed-Forward Network). Vous pouvez considérer le FFN comme la partie du cerveau qui prend une idée, la traite et la transmet ensuite. Dans les modèles modernes, cette partie utilise une recette spéciale appelée SwiGLU, qui implique trois opérations mathématiques différentes (projections) travaillant ensemble.

Le problème est que ces trois opérations sont si lourdes qu'elles ralentissent tout. Les scientifiques ont essayé de corriger cela en rendant le modèle « sparse » (creux/parsemé), ce qui signifie qu'ils essaient de sauter les calculs pour les parties du cerveau qui semblent peu importantes. Cependant, les méthodes existantes pour faire cela sans réentraîner le modèle (ce qui prend une éternité) présentent une faille. Elles tentent souvent de deviner quelles parties sauter en se basant sur une seule information, comme en regardant uniquement la « porte » (gate) ou uniquement la partie « haute » (up) de la recette. C'est comme essayer de décider si une chanson est bonne en écoutant seulement la batterie ou seulement les voix. Si vous vous trompez, vous sautez une note cruciale, et la chanson (ou la réponse de l'IA) s'effondre. À mesure que les chercheurs essayaient de sauter de plus en plus de parties pour aller plus vite, la qualité des réponses chutait considérablement.

L'Intuition : La Carte vs Le Voyage

L'équipe de chercheurs, dirigée par Jinyi Liu, a remarqué quelque chose d'intéressant dans la recette SwiGLU. Il existe un moment spécifique dans le processus appelé l'état intermédiaire (appelons-le la « pensée du milieu »). Cette pensée intermédiaire est le signal parfait pour décider quelles parties du cerveau conserver et lesquelles sauter. Si vous pouviez voir cette pensée intermédiaire exactement, vous pourriez sauter jusqu'à 70 % du travail et obtenir toujours une réponse parfaite.

Mais voici le piège : pour voir cette pensée intermédiaire exactement, vous devez d'abord effectuer tout le calcul lourd. C'est comme essayer de voir la ligne d'arrivée d'une course, mais devoir courir toute la course pour y arriver. Cela va à l'encontre de l'objectif de gagner du temps.

L'équipe a réalisé qu'elle n'avait pas réellement besoin de la valeur exacte de la pensée intermédiaire. Elle avait seulement besoin de connaître l'ordre d'importance. Elle devait savoir quelles parties étaient les « grandes » et lesquelles étaient les « petites », pas les chiffres exacts. C'est la différence entre savoir exactement combien de dollars il y a dans votre portefeuille et simplement savoir quels billets sont les plus gros. Si vous pouvez deviner l'ordre correctement, vous pouvez choisir les bons éléments à garder.

La Solution : Le Tour en Deux Étapes de Prox

Pour résoudre cela, l'équipe a créé Prox, un cadre de travail en deux étapes qui agit comme un éclaireur intelligent et un bâtisseur précis.

Étape 1 : L'Éclaireur Rapide (Construction du Proxy)
Dans la première étape, Prox utilise une version « bon marché » du calcul. Il prend l'entrée et la fait passer à travers une version simplifiée et de moindre qualité du cerveau (utilisant des poids quantifiés, qui sont comme des nombres compressés et plus petits). Il ne cherche pas à obtenir la réponse parfaite ; il veut juste avoir une idée approximative de quels canaux sont bruyants et lesquels sont silencieux. Il crée un « masque », qui est essentiellement une liste de balises « Garder » et « Jeter ». Parce que cette étape utilise un calcul simplifié, elle est très rapide et ne nécessite pas beaucoup de mémoire. Crucialement, les erreurs de ce calcul approximatif ne ruinent pas la réponse finale car les chiffres approximatifs ne sont jamais utilisés pour la sortie finale — ils ne servent qu'à établir la liste.

Étape 2 : Le Bâtisseur Précis (Calcul Sparse Exact)
Une fois la liste établie, la seconde étape entre en jeu. C'est là que la véritable magie opère. Le modèle regarde la liste de l'étape 1 et dit : « D'accord, nous allons ignorer 70 % du travail et n'effectuer le calcul que pour les 30 % supérieurs. » Mais voici la différence : pour ces 30 % supérieurs, Prox utilise le calcul original, à pleine précision et de haute intensité. Il calcule les valeurs exactes pour les parties importantes. Cela garantit que la réponse finale est tout aussi précise que si le modèle avait effectué tout le travail, mais il n'a effectué le travail que pour les parties qui comptaient.

Pourquoi cela fonctionne mieux

Les chercheurs ont testé Prox sur dix modèles de langage de grande taille différents, incluant des modèles populaires comme Qwen, Mistral et Llama-3. Ils l'ont comparé à d'autres méthodes qui tentent de sauter du travail sans réentraînement.

Les résultats étaient clairs : Prox était le vainqueur. À des niveaux élevés de saut (comme une sparsité de 70 %), les autres méthodes commençaient à faire des erreurs, et les réponses de l'IA se dégradaient. Prox, cependant, maintenait des réponses percutantes. En fait, à 70 % de sparsité, Prox a pu accélérer le processus de décodage (la vitesse à laquelle l'IA génère du texte) jusqu'à 1,99 fois sur une carte graphique standard. Cela signifie que l'IA pouvait parler presque deux fois plus vite sans perdre son intelligence.

L'équipe a également vérifié si cette nouvelle méthode serait brisée si on essayait de la combiner avec d'autres astuces de rapidité, comme la réduction de la taille des nombres (quantification) ou le saut de certaines parties du mécanisme d'attention. Ils ont découvert que Prox fonctionne parfaitement aux côtés de ces autres méthodes, comme un adaptateur universel qui s'insère dans n'importe quelle configuration.

À Retenir

L'article conclut que Prox est un moyen puissant et sans réentraînement de rendre l'IA plus rapide. Il prouve que vous n'avez pas besoin de réentraîner un modèle géant pour le rendre efficace. Au lieu de cela, vous pouvez utiliser un processus astucieux en deux étapes : utilisez une estimation rapide et grossière pour trouver les parties importantes, puis effectuez le gros du travail uniquement sur ces parties. Cette approche évite le « jeu de devinettes » qui causait l'échec des autres méthodes, garantissant que le cerveau du robot reste rapide et intelligent, même lorsqu'il fonctionne sur un petit appareil. Bien que la version actuelle soit optimisée pour les conversations à utilisateur unique (comme discuter sur un téléphone), les chercheurs suggèrent qu'avec un peu plus de travail, cette idée pourrait éventuellement aider à faire fonctionner des groupes d'utilisateurs encore plus larges efficacement. Pour l'instant, c'est une étape majeure vers la création d'une IA plus rapide sans sacrifier son intelligence.

Résumé Technique : Prox - Sparsité de l'activation FFN sans entraînement via la saillance approximative des canaux intermédiaires

Énoncé du problème

Les grands modèles de langage (LLM) dépendent fortement des réseaux de type Feed-Forward (FFN), en particulier la variante SwiGLU, qui domine le trafic mémoire et le calcul lors de l'inférence. Bien que la sparsité des activations offre une voie pour atténuer ces goulots d'étranglement en sautant les canaux de faible saillance, les méthodes existantes sans entraînement font face à un compromis critique : elles souffrent d'une dégradation substantielle de la qualité du modèle à des niveaux de sparsité élevés.

Les approches actuelles reposent généralement sur des signaux à branche unique (par exemple, l'activation de la porte $h$ ou l'activation de la branche montante $u$ ) pour sélectionner les canaux pour l'état intermédiaire $s = u \odot h$ . Cette information partielle conduit à un mauvais classement des canaux saillants. Alternativement, les méthodes qui appliquent la sparsité de manière séquentielle (par exemple, en sparsifiant l'entrée $x$ puis l'état intermédiaire $s$ ) cumulent les erreurs d'approximation, dégradant les performances en aval. De plus, bien que l'état intermédiaire exact $s$ fournisse un signal idéal pour la sélection de canaux, son calcul nécessite une exécution dense des projections de la porte et de la branche montante, ce qui annule les bénéfices de la sparsité.

Méthodologie : Le cadre Prox

Les auteurs proposent Prox, un cadre à deux étapes, sans entraînement, conçu pour permettre l'exécution parcimonieuse des FFN SwiGLU sans réentraînement. L'idée centrale est que l'exécution parcimonieuse nécessite uniquement le masque de canal (déterminé par le classement de magnitude de l'état intermédiaire), et non les valeurs exactes de l'état lui-même.

Étape 1 : Construction d'un proxy léger

L'objectif de l'étape 1 est de construire un masque de canal partagé ( $m_s$ ) avec un coût de calcul minimal.

Sparsité d'entrée et quantification : Prox applique la sparsité d'entrée à l'entrée du FFN $x$ et utilise des poids proxy quantifiés (INT4) pour les projections de la branche montante et de la porte.
Activation proxy : Il calcule des activations proxy éparses $\tilde{u}$ et $\tilde{h}$ en utilisant les poids quantifiés et l'entrée parcimonieuse.
Génération du masque : L'état intermédiaire proxy est calculé comme $\tilde{s} = \tilde{u} \odot \tilde{h}$ . Le classement de magnitude de $\tilde{s}$ est utilisé pour générer un masque de canal binaire $m_s$ .
Isolation de l'erreur : Crucialement, les erreurs d'approximation dans $\tilde{s}$ sont isolées au processus de sélection ; ces valeurs proxy ne sont pas propagées en aval.

Étape 2 : Calcul parcimonieux exact

Une fois le masque $m_s$ établi, Prox effectue un calcul exact sur les canaux conservés en utilisant les poids originaux en pleine précision.

Projections exactes : Les canaux sélectionnés sont calculés exactement pour les projections montante et de la porte ( $u_{sp}$ , $h_{sp}$ ) en utilisant des poids en pleine précision.
Sortie finale : L'état intermédiaire exact $s_{sp}$ est calculé et transmis à travers la projection descendante (également sparsifiée par le même masque) pour produire la sortie finale.

Allocation de la sparsité

Prox alloue dynamiquement le budget de calcul entre l'étape 1 et l'étape 2.

Ancre de l'étape 2 : Sur la base d'expériences "oracle" montrant que la sparsification d'environ 70 % des canaux intermédiaires exacts entraîne une augmentation négligeable de la perplexité, la sparsité de l'étape 2 ( $s_2$ ) est ancrée autour de 70 %.
Contrainte de l'étape 1 : La sparsité de l'étape 1 ( $s_1$ ) est contrainte (par exemple, en conservant au moins 30 % des entrées) pour garantir que le signal proxy reste fiable pour la sélection de canaux.
Modèle de coût : Le cadre optimise $s_1$ et $s_2$ pour atteindre une sparsité effective cible tout en minimisant le coût de calcul normalisé, qui prend en compte le surcoût des projections proxy quantifiées.

Implémentation matérielle

Prox utilise des noyaux CUDA et Triton personnalisés pour réaliser l'accélération :

Étape 1 : Un noyau fusionné split-N évalue les projections proxy, sautant les entrées rejetées et effectuant le déballage INT4 directement dans les registres.
Étape 2 : Un noyau fusionné parcimonieux en sortie calcule les projections exactes montante/porte et un GEMV parcimonieux en entrée pour la projection descendante, limitant les accès aux poids aux canaux actifs.

Contributions clés

Insight sur l'état intermédiaire : Les auteurs identifient l'état intermédiaire SwiGLU ( $s$ ) comme le signal optimal de sélection de canaux. Ils démontellrent que, bien que le $s$ exact soit coûteux, un proxy d'entrée parcimonieux préserve le classement de magnitude nécessaire pour récupérer le masque optimal.
Cadre Prox : Une nouvelle méthode en deux étapes qui découple la sélection de canaux (via des proxies quantifiés) du calcul des valeurs (via des poids exacts). Cela empêche l'accumulation d'erreurs courante dans les méthodes antérieures sans entraînement.
Évaluation complète : Des expériences approfondies sur dix LLM issus de six familles de modèles (incluant Qwen3, Llama-3, Mistral et Gemma-3) montrent que Prox surpasse les bases de référence sans entraînement de l'état de l'art (CATS, COUNTDOWN, TEAL) à tous les niveaux de sparsité, particulièrement à 60–70 %.

Résultats expérimentaux

Précision : À 70 % de sparsité FFN, Prox obtient jusqu'à 14,4 % d'amélioration de la performance moyenne sur les tâches en aval par rapport à la meilleure base de référence (TEAL). Il maintient la qualité du modèle avec une augmentation de la perplexité relative de moins de 3 % dans la plupart des cas, là où les autres méthodes se dégradent significativement.
Accélération : Sur un GPU NVIDIA A6000, Prox atteint un gain de vitesse de décodage de bout en bout de 1,51× à 1,99× à 60–70 % de sparsité.
Compatibilité : Prox est orthogonal à la quantification des modèles (ex: AWQ, FP8, W4A16) et aux mécanismes d'attention parcimonieuse (ex: RocketKV, HShare), permettant des gains d'efficacité synergiques.

Signification et revendications

L'article affirme que Prox représente une avancée significative dans l'accélération des LLM sans entraînement en résolvant le compromis précision-efficacité inhérent aux stratégies de sélection de canaux précédentes. En exploitant l'observation selon laquelle la stabilité du classement est suffisante pour la génération de masque, Prox permet une sparsité agressive (jusqu'à 70 %) sans l'effondrement de la précision observé dans l'art antérieur. Le cadre est présenté comme une solution pratique pour l'inférence à faible latence et à ressources contraintes, offrant une précision proche du mode dense avec un débit de décodage presque doublé, tout en restant pleinement compatible avec les écosystèmes de quantification et d'attention parcimonieuse existants.

Les auteurs notent les limites actuelles, spécifiquement que Prox cible le décodage autorégressif à lot unique (single-batch) et ne supporte pas encore le service à gros lots (large-batch), et que le stockage des poids proxy INT4 introduit un surcoût de mémoire d'environ 12 %, ce que des travaux futurs pourraient traiter via des schémas de fenêtre glissante.