🤖 AI

Rethinking Depth Pruning for Vision Transformers: A Heterogeneity-Aware Perspective

Cet article introduit HetDPT, une méthode d'élagage de profondeur sensible à l'hétérogénéité qui surmonte les défis de récupération de précision des approches existantes en traitant l'hétérogénéité inter-couches, atteignant ainsi des accélérations significatives avec une perte de précision minimale sur les Vision Transformers à travers de multiples benchmarks.

Auteurs originaux : Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Vision Transformer (ViT) comme une usine multi-étages hautement sophistiquée conçue pour reconnaître des images. Chaque étage de cette usine représente une « couche » où l'image est traitée. Certains étages sont dédiés à l'Attention (scanner toute l'image pour voir comment les différentes parties sont liées), et d'autres à l'Activation (appliquer un filtre spécifique ou une « non-linéarité » pour affiner les détails).

Pendant des années, les ingénieurs essayant de rendre ces usines plus rapides sur des appareils plus petits se sont principalement concentrés sur l'Élagage de la Largeur (Width Pruning). C'est comme embaucher moins d'ouvriers sur chaque étage. Vous obtenez une usine plus petite, mais elle possède toujours le même nombre d'étages, donc le produit doit toujours traverser chaque niveau.

L'article soutient qu'une meilleure façon d'accélérer les choses est l'Élagage de la Profondeur (Depth Pruning) : simplement supprimer des étages entiers. Si vous supprimez 50 % des étages, le produit arrive à la fin deux fois plus vite. Cependant, les tentatives précédentes ont lamentablement échoué. L'usine s'effondrait, et la qualité du résultat (la reconnaissance d'images) chutait drastiquement.

Les auteurs de cet article, HetDPT, ont découvert pourquoi l'usine s'effondrait et ont construit une nouvelle méthode pour corriger cela. Voici la décomposition en termes simples :

Le Problème : Le « Décalage » et les « Personnalités Différentes »

L'article identifie deux raisons principales pour lesquelles la simple suppression d'étages ne fonctionne pas :

Le Décalage de Dimension (Le Tapis Roulant Cassé) :
Imaginez que l'usine possède un système de tapis roulant. Les étages d'« Attention » et les étages d'« Activation » sont connectés d'une manière spécifique. Si vous arrachez simplement un étage d'Activation, le tapis roulant de l'étage précédent arrive à une machine qui n'existe plus, ou la machine qui existe attend un colis d'une taille différente. L'article appelle cela un « décalage de dimension » (dimension mismatch). C'est comme essayer d'insérer une cheville carrée dans un trou rond parce que vous avez retiré l'adaptateur entre les deux.
- La Correction : Les auteurs ont réalisé qu'ils pouvaient supprimer entièrement les étages d'« Activation » et simplement fusionner les deux étages « Linéaires » (machines) qui se trouvaient de part et d'autre. Cela crée une nouvelle machine fluide qui s'adapte parfaitement au tapis roulant, permettant à l'usine de fonctionner sans accroc même avec moins d'étages.
L'Hétérogénéité (Les Personnalités Différentes) :
C'est l'intuition majeure de l'article. Les auteurs ont réalisé que les étages d'Attention et les étages d'Activation ne sont pas les mêmes ; ils ont des « personnalités » différentes.
- Les Étages d'Attention sont comme les Cadres Supérieurs. Si vous licenciez quelques cadres, l'usine tourne un peu plus lentement au début, mais il faut beaucoup de temps pour en former de nouveaux afin de retrouver la pleine vitesse. Ils sont difficiles à remplacer rapidement.
- Les Étages d'Activation sont comme les Stagiaires. Si vous les licenciez, l'usine s'effondre immédiatement (la précision chute presque à zéro). Cependant, si vous leur donnez une session de formation rapide de 10 minutes (ajustement fin ou fine-tuning), ils retrouvent presque instantanément leur pleine performance.
- L'Erreur des Anciennes Méthodes : Les anciennes méthodes traitaient tous les étages de la même manière. Elles regardaient les « gradients » (une mesure de la contribution d'un étage) et licenciaient ceux qui avaient les chiffres les plus bas. Parce que les Cadres (Attention) ont naturellement une « tension » différente de celle des Stagiaires (Activation), les anciennes méthodes continua ne cessaient de licencier les mauvaises personnes, entraînant un effondrement.

La Solution : HetDPT (Le Gestionnaire d'Usine Intelligent)

Les auteurs ont créé un processus en deux étapes appelé HetDPT (Heterogeneity-Aware Depth Pruning) pour gérer cette usine :

Étape 1 : L'Allocation du Budget (La Stratégie)
Avant de licencier qui que ce soit, le gestionnaire utilise un « Prédicteur de Précision du Modèle » (un calculateur intelligent). Au lieu de demander « Quel étage est le pire ? », il demande : « Si nous licencions 3 Cadres Supérieurs et 5 Stagiaires, l'usine fonctionnera-t-elle toujours ? ».

Il teste différentes combinaisons de licenciement de Cadres vs Stagiaires.
Il trouve l'équilibre parfait (ex: « Nous pouvons licencier 10 étages au total, mais nous devons licencier 6 Stagiaires et seulement 4 Cadres pour maintenir la qualité élevée »).
Cela évite l'erreur de comparer directement les Cadres et les Stagiaires, ce qui revient à comparer des pommes et des oranges.

Étape 2 : L'Exécution (Le Nettoyage)
Une fois le budget fixé (ex: « Licencier 6 Stagiaires »), la méthode intervient séparément dans chaque groupe.

Elle regarde tous les Stagiaires et licencie ceux qui sont les moins nécessaires.
Elle regarde tous les Cadres et licencie ceux qui sont les moins nécessaires.
Crucialement : Elle fusionne les machines Linéaires autour des Stagiaires licenciés pour que le tapis roulant s'adapte parfaitement (résolvant ainsi le décalage).
Enfin, elle donne au personnel restant un rapide « cours de rappel » (ajustement fin) pour qu'ils retrouvent leurs 100 % de performance.

Les Résultats : Plus Rapide Sans Perdre de Qualité

L'article a testé cette méthode sur plusieurs jeux de données d'images standards (comme ImageNet, qui est comme un immense album photo de 1 million d'images).

Vitesse : Ils ont obtenu un traitement 1,58x plus rapide pour un modèle standard (DeiT-B) tout en conservant exactement la même précision que le modèle original.
Compression Extrême : Lorsqu'ils ont combiné cette méthode avec d'autres techniques (élagage de la largeur), ils ont créé un modèle ultra-léger qui est 5,19x plus rapide que l'original, avec presque aucune perte de précision.
Polyvalence : Cela a fonctionné non seulement sur des modèles standards, mais aussi sur des modèles plus complexes (Swin Transformers) et même sur des modèles massifs avec des milliards de paramètres (DINO-V2-Giant).

Analogie de Résumé

Pensez à une longue ligne d'assemblage fabriquant des voitures.

L'Ancienne Méthode : Vous essayez d'accélérer la production en faisant travailler les ouvriers de la ligne plus vite (Élagage de la Largeur), ou en licenciant aléatoirement des travailleurs de différentes stations, ce qui fait tomber le châssis de la voiture de la ligne car la station suivante n'est pas prête (Échec de l'Élagage de la Profondeur).
La Méthode HetDPT : Vous réalisez que certaines stations (les Stagiaires) peuvent être supprimées entièrement si vous soudez les deux machines situées de part et d'autre. Vous réalisez également que licencier les Responsables de Station (Attention) nuit à la ligne pendant longtemps, tandis que licencier les Stagiaires est pénible brièvement mais qu'ils récupèrent vite. Ainsi, vous calculez soigneusement exactement combien de chacun faut licencier, vous soudez les machines ensemble, et vous donnez un rapide discours de motivation à l'équipe restante. Le résultat ? La voiture sort à la fin de la ligne deux fois plus vite, et c'est toujours une voiture parfaite.

L'article conclut qu'en respectant les différentes « personnalités » des couches et en corrigeant le décalage mécanique, nous pouvons rendre ces puissants modèles d'IA nettement plus rapides sur les appareils du quotidien sans perdre leur intelligence.

Résumé technique : Repenser l'élagage de la profondeur pour les Vision Transformers : Une perspective axée sur l'hétérogénéité

1. Énoncé du problème

Les Vision Transformers (ViT) ont atteint des performances de pointe dans divers domaines, mais souffrent de coûts de calcul élevés et de nombres de paramètres importants, ce qui entraîne une latence d'inférence prolongée. Bien que l'élagage structuré soit une stratégie de compression efficace, les méthodes existantes font face à des limitations significatives :

Élagage de la largeur (Width Pruning) : Réduit les canaux ou les têtes d'attention au sein des couches, mais offre souvent des gains de vitesse limités sur le matériel grand public.
Élagage de la profondeur (Depth Pruning) : Supprime des couches entières, offrant un potentiel de gain de vitesse nettement plus élevé (comme le montre la Figure 2a). Cependant, il est notoirement difficile de récupérer la précision, surtout avec un retrait de couches agressif.
Le goulot d'étranglement central : L'article soutient que l'échec des méthodes existantes d'élagage de la profondeur provient de deux problèmes négligés :
1. Négligence de l'hétérogénéité : Les ViT contiennent des types de couches distincts (par exemple, les couches d'Attention par rapport aux couches de fonctions d'activation au sein des réseaux Feed-Forward). Les méthodes existantes traitent souvent ces couches de manière uniforme ou reposent sur des métriques basées sur le gradient qui échouent en raison de la disparité significative des échelles de gradient entre ces types.
2. Incompatibilité de dimension : L'élagage simultané des couches d'Attention et des couches Linéaires du réseau Feed-Forward (FFN) crée des incompatibilités structurelles. Puisque les FFN utilisent un mécanisme d'expansion-contraction (par exemple, $D \to 4D \to D$ ), la suppression d'une couche linéaire brise la continuité de la forme des tenseurs requise par les couches suivantes (illustré par la Figure 3).

2. Méthodologie : HetDPT

Les auteurs proposent HetDPT (Heterogeneity-aware DePTh pruning), un cadre à deux étapes conçu pour traiter l'hétérogénéité et éviter l'incompatibilité de dimension.

Concepts clés

La méthode repose sur deux observations critiques concernant l'hétérogénéité des couches :

Disparité de gradient : Les couches d'Attention et les couches d'Activation présentent des magnitudes de gradient très différentes lors de la rétropropagation. L'utilisation de métriques d'importance standard basées sur le gradient conduit à des décisions d'élagage biaisées, favorisant systématiquement l'élagage d'un type de couche par rapport à l'autre.
Asymétrie de récupération :
- L'élagage des couches d'Attention provoque des chutes de précision initiales modérées mais nécessite un réentraînement étendu pour la récupération.
- L'élagage des couches d'Activation provoque une dégradation initiale sévère (souvent $\ge 90\%$ de perte de précision) mais permet une récupération rapide lors du fine-tuning.
- Implication : Les métriques à court terme qui évaluent la précision immédiate post-élagage sont inefficaces.

Le pipeline à deux étapes

Étape 1 : Identification des couches redondantes
Cette étape détermine combien et quelles couches spécifiques élaguer sans comparer directement les types de couches hétérogènes.

Étape 1 : Allocation du budget d'élagage (Modèle de Prédiction de la Précision du Modèle - MAP) : Au lieu de comparer directement les couches, la méthode utilise un processus de collecte de données léger (élagage itératif $\to$ fine-tuning rapide $\to$ évaluation) pour construire un ensemble de données. Une fonction polynomiale approxime le Modèle de Prédiction de la Précision du Modèle (MAP), qui prédit la précision finale d'un modèle élagué étant donné les ratios d'élagage des couches d'Attention ( $\tilde{m}_a$ ) et d'Activation ( $\tilde{m}_g$ ). Cela permet au système de trouver l'allocation optimale du budget d'élagage entre les deux types de couches.
Étape 2 : Suppression des couches redondantes spécifiques : Une fois le budget alloué, la méthode identifie les couches spécifiques à supprimer au sein de chaque groupe homogène (par exemple, uniquement parmi les couches d'Attention). Elle utilise des paramètres d'importance apprenables et la propagation du gradient pour classer les couches, garantissant qu'aucune comparaison inter-type ne se produit.

Étape 2 : Optimisation du modèle élagué

Fine-tuning : Le modèle élagué est affiné, en utilisant optionnellement la distillation de soi guidée par le ViT non élagué d'origine pour restaurer la précision.
Fusion (Merging) : Pour résoudre l'incompatibilité de dimension et accélérer l'inférence, les couches Linéaires adjacentes qui ont été séparées par une couche d'Activation élaguée sont fusionnées. Par exemple, si une couche d'Activation est supprimée, $L_{l,1}$ et $L_{l,2}$ sont fusionnées en une seule couche linéaire $L_l$ . Cela réduit la profondeur du modèle tout en maintenant un alignement rigoureux des dimensions.

HetDPT+ : Les auteurs intègrent en outre HetDPT avec des méthodes établies d'élagage de la largeur pour créer HetDPT+, un pipeline pour une compression extrême des ViT qui traite à la fois les dimensions de profondeur et de largeur.

3. Principales contributions

Élagage des fonctions d'activation : L'article propose la première stratégie consistant à supprimer les couches de fonctions d'activation (GELU) dans les ViT. En supprimant ces non-linéarités, les couches Linéaires adjacentes peuvent être naturellement fusionnées, résolvant ainsi le problème d'incompatibilité de dimension inhérent à l'élagage de profondeur hétérogène.
Analyse et solution de l'hétérogénéité : Les auteurs révèlent et traitent la disparité de gradient et l'asymétrie de récupération. Ils introduisent un cadre à deux étapes (HetDPT) équipé d'un Modèle de Prédiction de la Précision du Modèle (MAP) pour gérer ces hétérogénéités, soutenu par une analyse théorique garantissant l'existence d'une configuration optimale et la cohérence du prédicteur sous un fine-tuning bruité.
Records de l'état de l'art (SOTA) :
- Élagage de la profondeur : HetDPT atteint un gain de vitesse de 1,58 $\times$ pour DeiT-B et de 1,39 $\times$ pour DeiT-S avec une précision quasi sans perte, surpassant les travaux existants d'élagage de profondeur.
- Compression extrême : HetDPT+ établit un nouveau record pour la compression extrême des ViT. Pour la configuration Isomorphic-Pruning-2.6G, il améliore le ratio d'accélération de 4,24 $\times$ à 5,19 $\times$ tout en maintenant une précision quasi sans perte.

4. Résultats expérimentaux

La méthode a été évaluée sur ImageNet-1K, CIFAR-100, COCO et ADE20K.

Compromis Précision-Vitesse : Sur ImageNet-1K, HetDPT surpasse systématiquement l'élagage isolé des couches d'attention ou d'activation. Pour DeiT-B, il atteint 81,8 % de précision Top-1 (correspondant à la ligne de base) avec un gain de vitesse de 1,58 $\times$ .
Comparaison avec le SOTA : HetDPT+ dépasse les méthodes de compression extrême existantes (par exemple, Isomorphic Pruning, NViT). À environ 81 % de précision, HetDPT+ atteint un gain de vitesse de 5,19 $\times$ contre 4,24 $\times$ pour Isomorphic Pruning. Dans des contextes ultra-extrêmes (1,1G MACs), il atteint un gain de vitesse de 9,19 $\times$ .
Transférabilité : La méthode démontre un apprentissage par transfert robuste sur CIFAR-100 et maintient ses performances sur les tâches de prédiction dense (détection d'objets COCO et segmentation sémantique ADE20K) avec une dégradation de précision minimale.
Scalabilité : L'approche s'adapte aux modèles de plusieurs milliards de paramètres, comme démontré sur DINO-V2-Giant, où elle élague 15 couches avec seulement 0,06 % de baisse de précision.
Orthogonalité : HetDPT est orthogonal aux méthodes d'élagage de jetons (par exemple, GTP-ViT, ToMe), offrant des gains de vitesse supplémentaires lorsqu'elles sont combinées.

5. Signification et affirmations

L'article affirme que sa principale contribution est de permettre un déploiement plus efficace des Vision Transformers en abordant les défis structurels et dynamiques spécifiques de l'élagage de la profondeur.

Démocratisation : En réduisant considérablement les exigences de calcul (jusqu'à 9,19 $\times$ de gain de vitesse), la méthode rend les modèles de vision de pointe accessibles aux chercheurs et praticiens disposant de ressources limitées.
Durabilité : La réduction de la consommation d'énergie des modèles compressés contribue à un développement de l'IA plus respectueux de l'environnement.
Déploiement sur l'Edge : Les gains d'efficacité facilitent le déploiement en temps réel sur des appareils périphériques pour des applications nécessitant une faible latence, telles que le diagnostic médical ou les systèmes autonomes.

Les auteurs notent une limite : le Modèle de Prédiction de la Précision du Modèle (MAP) est actuellement réajusté pour chaque famille d'architecture, et l'extension de la méthode aux modèles de langage ou à d'autres modalités reste un travail futur. Cependant, ce travail établit un nouveau fondement théorique et pratique pour l'élagage de profondeur hétérogène, allant au-delà des approches "taille unique" de la littérature précédente.