💻 computer science

Slimmable ConvNeXt: Width-Adaptive Inference for Efficient Multi-Device Deployment

L'article présente Slimmable ConvNeXt, un cadre d'inférence adaptatif en largeur qui exploite la conception moderne de ConvNeXt pour permettre un déploiement efficace sur plusieurs appareils avec un seul ensemble de poids partagé, atteignant une précision supérieure dans des contraintes de calcul variables par rapport aux approches existantes de réseaux de neurones convolutifs et de transformeurs de vision, et ce sans nécessiter de mécanismes de normalisation complexes.

Auteurs originaux : Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Janek Haberer, Jon Eike Wilhelm, Olaf Landsiedel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une équipe de chefs (un modèle de vision par ordinateur) qui doivent préparer des repas pour une foule. Parfois, la cuisine est immense avec un personnel complet et du matériel de luxe (un serveur cloud puissant). D'autres fois, vous cuisinez dans un minuscule camping-car avec un seul brûleur et un approvisionnement limité en ingrédients (un téléphone mobile avec une batterie faible).

Traditionnellement, si vous vouliez que vos chefs travaillent dans les deux contextes, vous devriez embaucher deux équipes complètement différentes : une grande équipe pour la grande cuisine et une petite équipe spécialisée pour le camping-car. Vous devriez les former séparément, stocker leurs recettes séparément et basculer entre elles en fonction de l'endroit où vous vous trouvez. C'est coûteux et désordonné.

Le problème des anciens chefs « flexibles »
Certains chercheurs ont tenté de créer un « super-chef » capable de rétrécir ou de grandir à la volée. Ils ont construit une équipe unique capable de fonctionner avec 100 chefs, 50 chefs ou 10 chefs. Cependant, ces anciennes méthodes présentaient un défaut majeur : elles nécessitaient un « tableau de commutation » complexe (appelé normalisation par lots commutable) pour suivre les statistiques pour chaque taille d'équipe possible. C'était comme avoir un ensemble différent de tasses à mesurer pour chaque taille d'ingrédient, rendant la cuisine chaotique et difficile à entraîner.

La nouvelle solution : Slimmable ConvNeXt
Cet article présente un nouveau type d'équipe de chefs appelé Slimmable ConvNeXt. Les auteurs ont découvert que la conception moderne de l'architecture ConvNeXt est naturellement parfaite pour rétrécir et grandir sans le tableau de commutation désordonné.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. La magie du « LayerNorm » (Pas de tableau de commutation nécessaire)

Les anciens modèles flexibles avaient besoin de règles spéciales pour gérer différentes tailles d'équipe. Slimmable ConvNeXt utilise une technique appelée LayerNorm.

L'analogie : Imaginez une équipe traditionnelle où le manager doit savoir exactement combien de personnes sont dans la pièce pour donner des instructions. Si la taille de la pièce change, le manager panique et a besoin d'un nouveau manuel de règles.
La nouvelle façon : LayerNorm est comme un manager qui donne des instructions en fonction de ce que chaque personne fait en ce moment, indépendamment du nombre de personnes dans la pièce. Que vous ayez 100 chefs ou 10, le manager s'adapte instantanément. Cela signifie que vous n'avez plus besoin du complexe « tableau de commutation ». Le processus d'entraînement devient beaucoup plus simple et plus propre.

2. Le « goulot d'étranglement inversé » (Facile à trancher)

ConvNeXt utilise une structure appelée « goulot d'étranglement inversé ».

L'analogie : Pensez à un sandwich standard : Pain (petit), Viande (grosse), Pain (petit). Si vous voulez faire un sandwich plus petit, vous devez couper le pain et la viande, ce qui est délicat.
La nouvelle façon : Un goulot d'étranglement inversé est comme un sandwich où la garniture est énorme, mais le pain est fin. La « viande » (le calcul lourd) est concentrée au milieu. Lorsque vous voulez rétrécir le modèle, vous coupez simplement les bords extérieurs de la viande. Il est très facile de trancher une part au milieu sans gâcher toute la structure. Cela permet de créer facilement des versions plus petites du modèle en « tranchant » simplement les canaux (la largeur des données).

3. Comment cela fonctionne en pratique

Les chercheurs ont entraîné un seul modèle qui contient plusieurs versions « imbriquées » de lui-même à l'intérieur.

L'entraînement : Imaginez les chefs qui s'entraînent tous les jours. Certains jours, ils s'entraînent avec l'équipe complète de 100. D'autres jours, ils s'entraînent avec seulement 50, et d'autres jours avec seulement 25. Ils partagent tous la même base de connaissances (les poids). Parce qu'ils s'entraînent dans toutes ces tailles différentes, ils apprennent à être bons à n'importe quelle taille.
Le résultat : Lorsque vous déployez le modèle, vous n'avez pas besoin de recharger un nouveau fichier. Vous dites simplement au modèle : « Hé, nous n'avons de batterie que pour 25 chefs aujourd'hui », et il bascule instantanément en mode 25 chefs. Si demain vous avez une source d'alimentation complète, il revient aux 100 chefs.

Les résultats : Meilleures performances, moins de mathématiques

L'article a testé cela sur un énorme ensemble de données appelé ImageNet-1k (une bibliothèque de 1,28 million d'images). Ils ont comparé leur nouveau « Slimmable ConvNeXt » aux meilleurs modèles flexibles existants (qui étaient principalement basés sur les Vision Transformers, un type différent d'architecture d'IA).

Le gagnant : Le Slimmable ConvNeXt était plus rapide et plus précis.
- À un niveau de calcul moyen, il a obtenu 80,8 % de précision. Le prochain meilleur concurrent a obtenu 78,4 %.
- À un niveau de calcul très faible (comme un téléphone faible), il a obtenu 77,4 %, tandis que le concurrent a obtenu 73,0 %.
L'échelle : Ils ont testé des versions petites, moyennes et grandes de leur modèle. Les versions plus grandes étaient encore meilleures pour rétrécir sans perdre trop de précision. Par exemple, la plus grande version pouvait fonctionner à pleine puissance avec 82,8 % de précision, et même lorsqu'elle était réduite à la moitié de sa taille, elle restait incroyablement performante.

Pourquoi cela compte (selon l'article)

L'article affirme qu'il s'agit de la première fois que cette technique spécifique de « tranchage » est appliquée à ConvNeXt.

Simplicité : Elle élimine le besoin des commutateurs de normalisation complexes requis par les anciennes méthodes.
Efficacité : Parce qu'elle n'utilise pas l'« auto-attention » (un processus lourd utilisé par les modèles Transformer), elle nécessite moins d'opérations mathématiques (GMACs) pour obtenir le même résultat.
Polyvalence : Elle permet à un modèle unique de fonctionner sur un serveur massif, un ordinateur portable ou un téléphone mobile sans avoir besoin de stocker plusieurs fichiers différents.

En bref, les auteurs ont construit un « couteau suisse » de modèles d'IA. Au lieu de porter un couteau, un tournevis et un tire-bouchon séparément, vous avez un outil qui peut se transformer instantanément en l'un ou l'autre, et il le fait mieux et plus efficacement que la génération précédente d'outils multifonctions.

Résumé Technique : ConvNeXt Élastique

Énoncé du Problème

Déployer des modèles de vision sur des appareils aux contraintes de ressources hétérogènes, ou sur un seul appareil où la disponibilité de calcul fluctue en raison de l'état de la batterie, de la limitation thermique ou des délais de latence, nécessite généralement l'entraînement et la maintenance de modèles distincts pour chaque plateforme cible. Cette approche est coûteuse et peu pratique pour des environnements dynamiques. Bien que l'inférence adaptative en largeur offre une solution en entraînant un seul ensemble de poids partagés contenant plusieurs sous-réseaux imbriqués, les approches antérieures font face à des limitations architecturales spécifiques :

CNN classiques : Des méthodes comme les Réseaux Élastiques (Slimmable Networks) et les US-Nets nécessitent une normalisation par lots (batch normalization) commutable pour maintenir des statistiques de fonctionnement séparées pour différentes largeurs de canaux, ajoutant complexité et paramètres.
Transformers de Vision (ViT) : Des méthodes récentes évolutives (par exemple, HydraViT, MatFormer) reposent sur des mécanismes d'attention qui imposent des contraintes structurelles sur la façon dont les sous-réseaux peuvent être extraits (par exemple, supprimer des têtes d'attention par multiples de la dimension de la tête ou conserver les dimensions d'embedding complètes), limitant la granularité et la portée de l'évolutivité.

Méthodologie

L'article propose ConvNeXt Élastique (Slimmable ConvNeXt), la première application de l'élagage de largeur de canal à la famille d'architectures ConvNeXt. La méthode exploite des choix de conception spécifiques inhérents à ConvNeXt pour simplifier le pipeline d'entraînement et améliorer l'efficacité.

Conception Architecturale

Chaque bloc ConvNeXt se voit attribuer un ratio d'élagage $p \in (0, 1]$ , qui détermine la fraction de canaux actifs.

Tranchage des Canaux : Tous les tenseurs de poids au sein d'un bloc (convolution par profondeur, convolutions point par point et paramètres de Normalisation de Couche) sont tranchés pour ne conserver que les $\lfloor p \cdot C \rfloor$ premiers canaux.
Goulots d'Étranglement Inversés : La couche intermédiaire d'expansion (expansion 4 $\times$ ) est également tranchée à $4 \cdot \lfloor p \cdot C \rfloor$ , préservant ainsi le ratio d'expansion.
Gestion des Résidus : Lorsqu'un bloc élagué produit moins de canaux que son entrée, la sortie est complétée par des zéros (zero-padded) pour correspondre à la dimension originale avant d'ajouter la connexion résiduelle. Cela évite d'introduire des paramètres de projection supplémentaires.
Normalisation : Contrairement aux CNN élastiques classiques, ConvNeXt utilise la Normalisation de Couche (LayerNorm) plutôt que la Normalisation par Lots. La Normalisation de Couche calcule les statistiques par échantillon et tranche de canal, lui permettant de s'adapter naturellement à n'importe quel nombre de canaux sans nécessiter de couches de normalisation commutables ni de statistiques de fonctionnement séparées.

Procédure d'Entraînement

Le modèle est entraîné selon une procédure d'entraînement conjoint avec largeurs alternées :

Sélection Stochastique : Un ensemble de listes de $p$ (définissant le ratio d'élagage pour chaque bloc) est défini. Pendant l'entraînement, une liste de $p$ est sélectionnée aléatoirement par lot.
Poids Partagés : Tous les sous-réseaux partagent les mêmes poids. Un sous-réseau avec un ratio $p < 1$ utilise un sous-ensemble strict des paramètres utilisés à $p=1$ .
Optimisation : Le modèle subit des passages avant-arrière standard à travers le sous-réseau sélectionné. Cette alternance stochastique est analogue à l'entraînement par élimination de queue (tail-drop training) dans HydraViT, mais appliqué aux dimensions de canal.
AutoSlim (Optionnel) : Pour optimiser des largeurs par bloc non uniformes, l'article explore AutoSlim. Cette recherche gloutonne commence avec des largeurs uniformes et réduit itérativement le ratio du bloc le moins important (basé sur la baisse de précision sur la validation) jusqu'à ce qu'un ratio moyen cible soit atteint. Cela préserve généralement des étapes initiales et finales plus larges tout en élaguant agressivement les étapes intermédiaires.

Contributions Clés

Adéquation Architecturale : Les auteurs démontrent que la conception de ConvNeXt — spécifiquement l'utilisation de la Normalisation de Couche et des goulots d'étranglement inversés — en fait un candidat idéal pour l'élagage adaptatif en largeur. Cela élimine la surcharge de la normalisation par lots commutable requise par les approches CNN antérieures et évite les contraintes structurelles des méthodes ViT basées sur l'attention.
Pipeline Simplifié : L'approche génère un pipeline d'entraînement plus simple que les méthodes d'élagage CNN et ViT antérieures, ne nécessitant ni normalisation commutable, ni distillation de connaissances, ni règles d'entraînement en sandwich.
Performance : La méthode atteint une précision à la pointe de l'art sur une large gamme de budgets de calcul sur ImageNet-1k, surpassant à la fois les bases de référence ViT et CNN classiques.

Résultats Expérimentaux

Les auteurs ont évalué ConvNeXt Élastique sur ImageNet-1k à travers trois tailles de modèles : ConvNeXt-Tiny (T), Small (S) et Base (B). Tous les modèles ont été entraînés à partir de zéro pendant 600 époques.

ConvNeXt-Tiny (3 Sous-réseaux)

Capacité Pleine (4,5 GMACs) : 80,8 % de précision top-1.
Capacité Moitié (1,2 GMACs) : 77,4 % de précision top-1.
Comparaison : Surpasse le sous-réseau à 6 têtes de HydraViT (78,4 % à 4,6 GMACs) de 2,4 points de pourcentage et sa configuration à 3 têtes (73,0 % à 1,3 GMACs) de 4,4 points de pourcentage. Il dépasse également MatFormer-S et SortedNet-S à des GMACs comparables.

ConvNeXt-Base (4 Sous-réseaux)

Capacité Pleine (15,4 GMACs) : 82,8 % de précision top-1.
Capacité Moitié (4,0 GMACs) : 81,6 % de précision top-1.
Comparaison : À moitié capacité, il atteint 81,6 % avec 4,0 GMACs, surpassant les 80,2 % de HydraViT à 4,6 GMACs (13 % d'opérations en moins). Il couvre une plage de calcul de 1,1 à 15,4 GMACs à partir d'un seul ensemble de poids, alors que MatFormer est limité à environ la moitié à la pleine capacité.

Mise à l'Échelle et Robustesse

Dégradation Gracieuse : Les modèles plus grands (ConvNeXt-B) présentent une dégradation plus gracieuse sous élagage par rapport aux modèles plus petits (ConvNeXt-T), conservant 98,7 % de leur précision à pleine capacité à moitié capacité.
Nombre de Sous-réseaux : Augmenter le nombre de sous-réseaux (par exemple, de 3 à 5) conduit généralement à des rendements décroissants ou à de légères baisses de précision pour les petits modèles, mais ConvNeXt-B reste robuste, avec 4 sous-réseaux améliorant effectivement la précision maximale.
AutoSlim : AutoSlim apporte des améliorations modestes à faible capacité (par exemple, +1,0 % à un quart de capacité pour ConvNeXt-T) mais offre des bénéfices marginaux ou légèrement négatifs à pleine capacité, probablement en raison de la stratégie de remplissage par zéro dans les connexions résiduelles.

Importance et Revendications

L'article revendique que ConvNeXt Élastique fournit un modèle unique et élastique capable d'ajuster dynamiquement son coût de calcul au moment de l'inférence pour correspondre à des budgets de ressources variables. Cela permet des scénarios de déploiement où un seul modèle peut servir une flotte hétérogène d'appareils ou s'adapter aux contraintes d'exécution (batterie, thermique, latence) sans recharger les poids.

Les auteurs soulignent que la combinaison de la Normalisation de Couche (éliminant la normalisation commutable) et des goulots d'étranglement inversés (facilitant le tranchage direct des paramètres) permet à ConvNeXt d'atteindre une précision supérieure aux bases de référence à la pointe de l'art à presque chaque point de fonctionnement, tout en maintenant la simplicité et la compatibilité matérielle des architectures convolutives. Le travail suggère que pour les scénarios de déploiement nécessitant une capacité réduite, commencer à partir d'un modèle de base plus grand et élaguer agressivement peut donner de meilleurs résultats que l'entraînement d'un modèle plus petit à pleine largeur.