🤖 machine learning

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

PATCH est un cadre d'épuration hybride qui partitionne les matrices de poids des LLM en tuiles avec des affectations denses ou semi-structurées 2:4 apprissables, permettant des ratios d'épuration continus entre 0 % et 50 % pour atteindre une précision supérieure et des accélérations pratiques sur GPU par rapport aux méthodes d'élagage non structurées ou rigides semi-structurées existantes.

Auteurs originaux : Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Publié 2026-04-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de langage de grande taille (LLM) comme une immense bibliothèque hyper-organisée contenant des milliards de livres (paramètres). Pour faire fonctionner cette bibliothèque rapidement sur un ordinateur standard, vous devez retirer certains livres. Cependant, vous êtes confronté à un dilemme épineux :

L'approche « Désordonnée » (Épuration non structurée) : Vous jetez des livres au hasard, n'importe où sur les étagères. Cela préserve la précision des connaissances de la bibliothèque car vous pouvez être très sélectif, mais cela crée un chaos désordonné. Un bibliothécaire (le GPU de l'ordinateur) tentant de trouver des livres doit sauter partout, rendant le processus lent et inefficace.
L'approche « Rigide » (Épuration 2:4) : Vous décidez de suivre une règle stricte : « Dans chaque groupe de quatre livres, vous devez retirer exactement deux. » Cela rend le travail du bibliothécaire facile et rapide car le motif est prévisible. Cependant, cette règle est trop rigide. Parfois, les deux livres que vous devez retirer sont en réalité les plus importants, ce qui fait perdre à la bibliothèque son intelligence et sa précision.

Voici PATCH : Le bibliothécaire « Tuile Intelligente »

L'article présente une nouvelle méthode appelée PATCH (Élagage avec une Configuration Apprenable au Niveau des Tuiles pour une Éparpillement Hybride). Au lieu de choisir entre l'approche « désordonnée » et l'approche « rigide », PATCH agit comme un bibliothécaire intelligent qui divise la bibliothèque en tuiles (de petites sections d'étagères gérables).

Voici comment cela fonctionne, en utilisant une analogie simple :

Le Système de Tuiles : Imaginez que la bibliothèque est divisée en tuiles carrées, comme une mosaïque.
La Décision : Pour chaque tuile, le système PATCH apprend à faire un choix :
- Option A (Dense) : Gardez cette tuile complètement remplie de livres. C'est pour les sections « critiques » de la bibliothèque où la précision compte le plus.
- Option B (Éparse 2:4) : Appliquez la règle stricte « retirer deux sur quatre » à cette tuile. C'est pour les sections où la bibliothèque possède des livres supplémentaires et redondants qui peuvent être retirés en toute sécurité pour gagner de l'espace et accélérer les choses.
Le Processus d'Apprentissage : Le système ne devine pas. Il « s'entraîne » lui-même pour déterminer exactement quelles tuiles doivent être pleines et lesquelles doivent être espacées. Il apprend à maintenir les parties importantes denses et les parties redondantes espacées, tout en respectant les règles compatibles avec le matériel.

Pourquoi est-ce une grande avancée ?

Le Meilleur des Deux Mondes : PATCH comble le fossé. Il maintient la précision de la bibliothèque (comme l'approche désordonnée) mais l'organise d'une manière que les ordinateurs peuvent lire rapidement (comme l'approche rigide).
Vitesse Flexible : Vous pouvez dire à PATCH : « Je veux que la bibliothèque soit réduite de 25 % » ou « de 50 % ». Il ajuste le nombre de « tuiles pleines » par rapport aux « tuiles espacées » pour atteindre exactement cet objectif, plutôt que d'être bloqué sur une réduction fixe de 50 %.
Résultats Concrets : Les auteurs ont testé cela sur des modèles allant du petit au très grand (jusqu'à 13 milliards de paramètres).
- Vitesse : Sur une carte graphique grand public standard (un GPU A6000), PATCH a fait fonctionner les modèles 1,18 à 1,38 fois plus vite que les modèles originaux non élagués.
- Intelligence : Contrairement à d'autres méthodes qui rendent le modèle « moins intelligent » lorsqu'elles l'accélèrent, PATCH a en fait rendu les modèles plus précis (de 0,37 % à 2,96 %) par rapport à la méthode rigide actuelle de pointe (MaskLLM).

En Résumé

Pensez à PATCH comme à un moyen de désencombrer un immense entrepôt. Au lieu de jeter des choses au hasard (ce qui ralentit les chariots élévateurs) ou de suivre une règle stupide qui jette des articles importants, PATCH désigne intelligemment des zones spécifiques à garder pleines et d'autres zones à dégager selon un motif que les chariots élévateurs adorent. Le résultat est un entrepôt plus rapide à naviguer et qui conserve toujours toutes les connaissances essentielles.

1. Énoncé du problème

Les grands modèles de langage (LLM) offrent des performances supérieures mais souffrent de coûts mémoire et computationnels prohibitifs lors du déploiement. L'élagage de modèle (model pruning) est une solution principale, mais les approches existantes font face à un compromis fondamental :

Élagage non structuré : Permet des éléments non nuls n'importe où, préservant une haute précision mais créant des motifs d'accès mémoire irréguliers qui empêchent une accélération GPU efficace (par exemple, les Tensor Cores).
Élagage semi-structuré (par exemple, 2:4) : Impose un motif rigide (deux non-nuls pour quatre éléments) qui est compatible avec le matériel et accélère l'inférence. Cependant, le ratio d'élagage fixe de 50 % et l'application uniforme sur toutes les couches conduisent souvent à une dégradation significative de la précision, en particulier lors de l'utilisation de méthodes d'élagage en un seul coup (one-shot).

Les méthodes actuelles peinent à combler le fossé entre la flexibilité de l'élagage non structuré et l'efficacité matérielle de l'élagage semi-structuré, notamment en raison de l'incapacité d'adapter continuellement les ratios d'élagage ou d'allouer l'élagage de manière non uniforme à travers les couches.

2. Méthodologie : PATCH

Les auteurs proposent PATCH (Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity), un cadre qui permet un ratio d'élagage continu entre 0 % et 50 % tout en maintenant la compatibilité matérielle.

Mécanisme central

PATCH partitionne les matrices de poids en tuiles (par exemple, $b_1 \times b_2$ ). Pour chaque tuile, le modèle apprend à décider si elle doit rester dense (0 % d'élagage) ou devenir 2:4 sparse (50 % d'élagage).

Génération de masque hybride : Le masque final est une combinaison pondérée d'une option "dense" et d'une option "2:4 sparse".
Distributions apprenables :
1. Sélection de tuile : Une distribution de logits apprenable détermine la probabilité qu'une tuile soit dense ou sparse. Cela est échantillonné en utilisant Gumbel-Softmax pour permettre une optimisation différentiable.
2. Sélection de motif : Au sein des tuiles désignées comme sparse, une distribution apprenable distincte sélectionne le motif 2:4 spécifique (parmi 6 permutations possibles).
Objectif d'optimisation : L'objectif d'entraînement combine :
- La perte de modélisation standard (par exemple, prédiction du prochain jeton).
- Régularisation d'élagage : Un terme qui pénalise les écarts par rapport à un ratio d'élagage global cible ( $\rho$ ), permettant un contrôle précis sur la plage 0–50 %.
- Régularisation des poids : Encourage des magnitudes de poids plus importantes pour faciliter la propagation du gradient.

Variantes

PATCHJoint : Optimise conjointement la sélection au niveau des tuiles (dense vs sparse) et les motifs 2:4 fins au sein des tuiles sparse. Utilisé pour les modèles plus petits (<1 milliard de paramètres).
PATCHTile : Une variante économe en mémoire où les motifs 2:4 sont figés (initialisés à partir d'une méthode de haute qualité en un seul coup comme MaskLLM), et seules les décisions dense/sparse au niveau des tuiles sont optimisées. Cela permet de passer à l'échelle sur des modèles plus grands (jusqu'à 13 milliards) avec une mémoire GPU limitée.

Inférence et déploiement

Intégration STOICC : Puisque les bibliothèques GPU standard (cuBLAS, cuSPARSELt) ne prennent pas en charge les tuiles mixtes dense/sparse, PATCH utilise STOICC, un compilateur basé sur Triton. STOICC ajuste automatiquement les configurations de noyau (tailles de tuiles, par exemple $128 \times 128$ ) pour gérer l'exécution hybride efficacement.
Compatibilité matérielle : En s'assurant que les tuiles sparse adhèrent strictement au motif 2:4, PATCH exploite les Tensor Cores NVIDIA/AMD pour l'accélération, tandis que les tuiles denses utilisent des noyaux denses standard.

3. Contributions clés

Cadre d'élagage hybride : Introduit la première méthode permettant un ratio d'élagage continu (0 %–50 %) en mélangeant dynamiquement des tuiles denses et 2:4 sparse au sein de la même matrice de poids.
Allocation non uniforme apprenable : Contrairement aux méthodes 2:4 fixes, PATCH apprend à allouer l'élagage de manière adaptative. Il préserve la densité dans les couches sensibles (par exemple, blocs Transformer précoces/tardifs, mécanismes d'attention) et applique l'élagage aux couches redondantes (par exemple, blocs intermédiaires, matrices MLP up/gate/down).
Entraînement différentiable de bout en bout : Utilise Gumbel-Softmax pour optimiser conjointement la sélection de masque et l'élagage des poids, évitant la chute de précision associée à l'élagage en un seul coup.
Déploiement pratique : Démontre la première intégration réussie de l'élagage hybride au niveau des tuiles avec un compilateur (STOICC) pour obtenir des accélérations réelles sur des GPU grand public.

4. Résultats expérimentaux

Les auteurs ont évalué PATCH sur des modèles allant de 0,5 à 13 milliards de paramètres (Qwen-2.5, LLaMA-2/3, Gemma-3) en utilisant 8 tâches en aval zero-shot et la perplexité WikiText2.

Précision :
- PATCH surpasse constamment les méthodes d'élagage 2:4 les plus avancées (MaskLLM, SparseGPT, Wanda, ProxSparse).
- Sur LLaMA-2 7B, PATCH (à 25 % d'élagage) atteint une précision moyenne de 51,58 % contre 48,62 % pour MaskLLM (50 % d'élagage) et 45,92 % pour ProxSparse.
- PATCH réduit considérablement l'écart avec les modèles denses ; à 25 % d'élagage, il récupère à environ 2 points de pourcentage de la précision dense.
- Perplexité : PATCH atteint une perplexité inférieure à toutes les lignes de base. Pour LLaMA-2 7B à 25 % d'élagage, la PPL est de 5,86 contre 6,78 pour MaskLLM.
Accélération et efficacité :
- Sur un GPU NVIDIA A6000 (LLaMA-2 7B), PATCH atteint des accélérations de bout en bout de 1,18× à 1,38× par rapport aux lignes de base denses.
- L'empreinte mémoire est réduite à 0,59×–0,76× de celle du modèle dense.
- PATCH surpasse l'élagage non structuré (qui n'offre aucune accélération) et l'élagage 2:4 rigide (qui dégrade souvent trop la précision pour justifier la vitesse).
Études d'ablation :
- Global vs par couche : Les objectifs d'élagage globaux (permettant un élagage variable par couche) surperformant nettement les objectifs uniformes par couche.
- Taille de tuile : Les performances sont robustes à travers les tailles de tuiles, bien que $4 \times 4$ offre le contrôle le plus fin. L'efficacité matérielle dicte l'utilisation de tuiles d'exécution plus grandes ( $128 \times 128$ ).
- Initialisation : La méthode est robuste aux priors d'initialisation ; l'objectif d'élagage global permet une réallocation dynamique pendant l'entraînement.

5. Importance

PATCH représente une avancée significative dans l'inférence efficace des LLM en résolvant le dilemme "précision vs accélération".

Combler le fossé : Il combine avec succès les avantages d'accélération matérielle de l'élagage semi-structuré avec la flexibilité de l'allocation non structurée.
Praticité : Il va au-delà de l'élagage théorique pour démontrer des accélérations réelles sur du matériel réel en utilisant l'infrastructure de compilation existante (STOICC).
Évolutivité : La variante économe en mémoire (PATCHTile) prouve que l'élagage hybride peut être appliqué à de grands modèles (13B+) sans nécessiter des budgets de calcul massifs pour l'entraînement des masques.
Direction future : Le cadre est agnostique au motif et peut théoriquement s'étendre à d'autres motifs N:M (par exemple, 4:8) à mesure que de nouveaux matériels les prennent en charge, en faisant une solution polyvalente pour la compression future des LLM.

En résumé, PATCH fournit une stratégie d'élagage flexible, apprenable et efficace pour le matériel, permettant aux praticiens d'ajuster le compromis entre la qualité du modèle et la vitesse d'inférence avec une granularité sans précédent.