Résumé Technique : SnapViT – Transformers de Vision Élastiques à partir de Modèles Pré-entraînés sans Réentraînement

Énoncé du Problème

Les modèles de fondation de vision ont atteint des performances de pointe à travers diverses tâches, mais ils sont généralement publiés dans un ensemble limité de tailles prédéterminées (par exemple, des nombres spécifiques de paramètres pour les familles DINOv3 ou DeIT). Cette rigidité force les praticiens à faire des choix de déploiement sous-optimaux face aux contraintes réelles de calcul, de latence et de coût. Les solutions existantes pour la flexibilité des modèles présentent des limitations significatives :

• Distillation de Connaissances : Nécessite une architecture cible prédéterminée et repose souvent sur des jeux de données de pré-entraînement non publics, ce qui compromet la robustesse.
• Inférence Élastique : Les méthodes telles que les représentations Matryoshka ou les réseaux « Slimmable » exigent que les modèles soient conçus avec des structures imbriquées spécifiques pendant le pré-entraînement, ce qui les rend inapplicables aux modèles pré-entraînés existants et prêts à l'emploi.
• Élagage Structuré (Structured Pruning) : Bien qu'efficace pour réduire la mémoire et le calcul, la plupart des techniques d'élagage actuelles sont adaptées à des tâches ou des contraintes spécifiques et nécessitent généralement un réentraînement, laissant un vide pour des modèles universellement adaptables qui n'ont pas besoin de données étiquetées ou d'une tête de classification.

Méthodologie : SnapViT

Les auteurs proposent SnapViT (Single-shot network approximation for pruned Vision Transformers), une méthode d'élagage structuré post-pré-entraînement qui génère un continuum de sous-réseaux élastiques à partir d'un seul modèle pré-entraîné sans réentraînement ni données étiquetées. Le cœur de la méthode est un score d'élagabilité ($P$) qui classe les paramètres à supprimer en fonction de deux composantes :

1. Approximation de la Hessienne Locale (Gradients Auto-supervisés)

Pour capturer la sensibilité locale des paramètres sans tête de classification, la méthode approxime la diagonale de la matrice Hessienne en utilisant des gradients auto-supervisés. Plus précisément, elle emploie l'objectif DINO pour calculer les gradients sur un jeu d'images. La courbure locale $H^{(l)}$ est estimée comme la norme au carré moyenne des gradients :
$$H^{(l)} \approx \frac{1}{N_D} \sum_{i=1}^{N_D} \|\nabla_\theta L_i\|^2$$
Cela fournit une mesure de base de la criticité de chaque paramètre au sein de ses blocs spécifiques (par exemple, neurones feed-forward ou têtes d'attention).

2. Estimation de la Hessienne Globale (Algorithme Évolutionnaire)

Pour remédier à la limitation consistant à ignorer les dépendances inter-blocs (éléments hors-diagonaux de la Hessienne), SnapViT introduit une nouvelle approximation utilisant la Stratégie d'Évolution Naturelle Exponentielle (xNES).

• Au lieu de calculer explicitement la pleine Hessienne intraçable, xNES apprend un ensemble de facteurs d'échelle par structure ($c$) qui repondèrent les sensibilités locales.
• L'algorithme optimise une distribution gaussienne multivariée sur ces facteurs d'échelle. La fonction de fitness est sans étiquette (label-free), mesurant la similitude cosinus entre les plongements (embeddings) du modèle original et du modèle élagué (après compression PCA).
• Grâce aux mises à jour par gradient naturel, la matrice de covariance ($\Sigma$) de la stratégie évolutionnaire évolue pour approximer l'inverse de la véritable Hessienne inter-bloc ($H^{(g)} \approx \alpha \Sigma^{-1}$). Cela permet à la méthode d'identifier quels blocs peuvent être élagués conjointement sans dégrader la qualité de la représentation.

3. Score d'Élagabilité Unifié et Génération Élastique

Le score d'élagabilité final est le produit élément par élément de la sensibilité locale et des facteurs d'échelle globaux :
$$P = \text{diag}(H^{(l)}) \odot (M c)$$
où $M$ est une matrice d'appartenance étendant les facteurs par bloc aux paramètres individuels.

• Génération en un seul passage (Single-Shot) : Une fois $P$ calculé, tous les paramètres sont classés globalement. Ce classement unique permet l'extraction de sous-réseaux pour n'importe quel niveau de parcimonie souhaité ($S \in [0, 1]$) sans optimisation supplémentaire.
• Portée : La méthode élague à la fois les combinaisons ligne-colonne au sein des blocs feed-forward et les têtes d'attention entières.

Principales Contributions

1. Stratégie d'Élagage Élastique : Une stratégie d'élagage efficace et rapide pour les Vision Transformers pré-entraînés qui produit des modèles élastiques adaptables à toute contrainte de calcul sans réentraînement.
2. Approximation de la Hessienne par Évolution : Une nouvelle stratégie utilisant un algorithme génétique (xNES) pour approximer les composantes hors-diagonales de la Hessienne pour les structures de réseau, capturant les corrélations inter-blocs que les approximations diagonales traditionnelles manquent.
3. Performance Sans Étiquette et Indépendante de la Tête : La méthode atteint des performances de pointe sous une parcimonie significative sans nécessiter de données étiquetées ou de tête de classification, se généralisant aux modèles de fondation supervisés et auto-supervisés.

Résultats Expérimentaux

Les auteurs ont évalué SnapViT sur huit jeux de données (incluant ImageNet-1k, Pascal VOC et divers benchmarks de granularité fine) en utilisant la classification par k-plus proches voisins (k-NN), le sondage linéaire (linear probing) et la segmentation sémantique linéaire.

• Performance vs SOTA : SnapViğuT égale ou surpasse systématiquement les méthodes de l'état de l'art (LAMP, LLM Surgeon, FPTP, SparseGPT, SNIP Magnitude, NViT) à travers divers niveaux de parcimonie.
  • Pour DINOv1 ViT-B/16, la méthode élague jusqu'à 40 % de parcimonie avec moins de 5 % de dégradation de précision, atteignant une accélération de l'inférence de 1,58x.
  • À 50 % de parcimonie sur les modèles supervisés AugReg, elle surpasse SNIP de 7 % et FPTP de 12,3 % en classification linéaire.
  • Pour SigLIPv2 et DINOv3 (modèles de fondation à grande échelle), la méthode surpasse significativement les bases, avec des améliorations allant jusqu'à 34,3 % en classification linéaire par rapport aux deuxièmes meilleures méthodes.
• Efficacité : L'ensemble du processus d'élagage pour une famille de modèles (par exemple, DeIT-III) prend moins de cinq minutes sur un seul GPU A100.
• Post-traitement : La méthode est compatible avec la correction de poids post-élagage (style SparseGPT) et le fine-tuning complet. Avec une seule étape de correction de poids, la performance à une parcimonie extrême (par exemple, 50 % sur SigLIPv2) est largement préservée.
• Scalabilité : Bien que le pré-entraînement à grande échelle (par exemple, DINOv3, SigLIPv2) rende l'élagage plus difficile en raison de la connaissance représentationnelle distribuée, SnapViT reste efficace, surtout lorsqu'il est combiné avec une correction de poids ou des horizons d'optimisation plus longs (500 itérations xNES).

Signification et Revendications

L'article affirme que SnapViT comble le fossé entre la rigidité des déploiements actuels des modèles de fondation et le besoin d'une inférence flexible et adaptée aux ressources. En permettant l'extraction d'un continuum de sous-réseaux à partir d'un seul modèle pré-entraîné en un seul passage, il permet aux utilisateurs de personnaliser précisément les modèles de pointe selon leurs budgets de calcul spécifiques.

Les auteurs soulignent que leur approche :

• Élimine le besoin de réentraînement, économisant ainsi des ressources de calcul et du temps considérables.
• Supprime la dépendance aux données étiquetées, la rendant applicable aux modèles de fondation auto-supervisés qui ne possèdent pas de têtes de classification.
• Capture les corrélations structurelles globales via une approximation évolutionnaire, surmontant les limites des métriques d'élagage uniquement locales.
• Réduit l'impact environnemental en abaissant les exigences de calcul et l'utilisation d'énergie des Vision Transformers, réduisant potentiellement les émissions de CO2 liées à l'inférence.

Ce travail est présenté comme une solution pratique pour déployer de grands modèles de vision dans des environnements contraints tout en maintenant des performances élevées sur diverses tâches en aval.