💻 computer science

LEAP: Layer-skipping Efficiency via Adaptive Progression for Vision Transformer Distillation

Le document propose LEAP, un curriculum d'entraînement pour la distillation de Vision Transformer qui emploie un saut de couche adaptatif pour guider progressivement les étudiants des caractéristiques d'enseignants simples vers des caractéristiques complexes, accélérant ainsi la convergence, améliorant la précision et réduisant les coûts d'entraînement.

Auteurs originaux : Jiaqi Zhang, Ashton Lee, Anthony Wong, John Zou, Sami BuGhanem, Randall Balestriero

Publié 2026-06-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiaqi Zhang, Ashton Lee, Anthony Wong, John Zou, Sami BuGhanem, Randall Balestriero

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un professeur brillant, de classe mondiale (l'Enseignant), qui sait tout sur la reconnaissance d'objets dans les images. Ce professeur possède un cerveau massif avec 40 couches de pensée complexe. Maintenant, vous voulez enseigner à un petit étudiant enthousiaste (l'Étudiant) qui ne possède qu'un cerveau de 12 couches.

Le problème ? Si vous essayez de forcer l'étudiant à apprendre immédiatement les idées les plus avancées et complexes du professeur, l'étudiant est submergé. C'est comme essayer d'enseigner la physique quantique à un bambin avant qu'il n'ait appris à compter. L'étudiant se confond, apprend lentement et le processus d'apprentissage prend une éternité.

C'est le problème central que le papier LEAP résout.

L'ancienne méthode : « Tout d'un coup »

Traditionnellement, pour enseigner à cet étudiant, les chercheurs disaient : « Ignorez les choses faciles. Essayez simplement de copier exactement la réponse finale, la plus complexe, du professeur. »

Le résultat : L'étudiant peine à combler le fossé énorme entre son cerveau simple et le cerveau complexe du professeur. C'est comme demander à quelqu'un de courir un marathon avant même d'avoir appris à marcher.

La solution LEAP : Un curriculum en « Échelle de progression »

Les auteurs de LEAP ont réalisé que le cerveau du professeur n'est pas seulement un gros bloc de connaissances ; c'est une échelle.

Les échelons du bas (couches précoces) : Ils détiennent des informations simples et faciles à comprendre, comme « ceci est une ligne horizontale » ou « ceci est un cercle ».
Les échelons du haut (couches profondes) : Ils détiennent des idées abstraites et complexes, comme « ceci est un golden retriever assis dans un parc ».

LEAP introduit un curriculum (un plan de leçon structuré) qui agit comme un guide d'escalade :

Commencer par le facile : On demande d'abord à l'étudiant de copier les couches les plus simples du professeur (les échelons du bas). Comme celles-ci sont faciles à comprendre, l'étudiant les apprend rapidement et construit une base solide.
Vérifier les progrès : Le système vérifie constamment : « L'étudiant a-t-il maîtrisé ce niveau ? » Il utilise un « test de similitude » spécial (appelé CKA) pour voir si le cerveau de l'étudiant pense désormais de manière similaire au niveau actuel du professeur.
Passer au niveau supérieur : Ce n'est que lorsque l'étudiant est prêt que le système dit : « D'accord, vous avez les bases. Maintenant, regardons l'échelon suivant, un peu plus difficile. »
Continuer l'ascension : Cela continue étape par étape jusqu'à ce que l'étudiant sienne enfin capable de s'attaquer aux couches complexes et profondes.

Pourquoi est-ce une révolution ?

Le papier affirme que cette approche « étape par étape » est une solution miracle pour trois raisons :

C'est plus rapide : Parce que l'étudiant n'est pas confus par le fait de sauter directement vers les choses difficiles, il apprend beaucoup plus vite. Le papier montre que l'étudiant atteint une précision élevée en beaucoup moins de temps.
Cela économise de l'énergie : Puisque l'étudiant apprend les choses faciles rapidement, le système n'a pas besoin de gaspiller de l'énergie à calculer les pensées complexes et profondes du professeur durant les premières étapes de l'entraînement. C'est comme éteindre les machines lourdes jusqu'à ce que vous en ayez réellement besoin. Le papier rapporte une économie d'environ 25 % de la puissance informatique et 21 % du temps nécessaires à l'entraînement.
Cela fonctionne mieux : L'étudiant final n'est pas une simple copie ; c'est une copie intelligente. Lorsqu'il est testé sur des tâches réelles comme la recherche d'objets spécifiques dans des photos ou la segmentation d'images (découper l'arrière-plan), l'étudiant entraîné par LEAP est bien plus performant que les étudiants entraînés de l'ancienne manière.

En résumé

LEAP est une stratégie d'enseignement intelligente. Au lieu de jeter un étudiant dans le grand bain, on lui apprend à nager dans l'eau peu profonde, puis on le déplace progressivement vers des eaux plus profondes à mesure qu'il devient plus fort. Cela donne un modèle d'IA plus intelligent, plus rapide et plus efficace, capable de fonctionner sur de petits appareils sans perdre la « puissance cérébrale » des modèles géants dont il est issu.

Résumé Technique : LEAP - Efficacité par Saut de Couches via une Progression Adaptative pour la Distillation de Vision Transformers

Problématique

Les modèles de fondation de vision (VFM) basés sur les Vision Transformers (ViT), tels que DINOv2, ont atteint des performances de pointe mais possèdent des nombres de paramètres massifs (par exemple, ViT-Giant avec 2 milliards de paramètres) qui les rendent impraticables pour un déploiement sur les périphériques (edge). La distillation de connaissances (KD) est la solution standard pour compresser ces modèles « enseignants » en modèles « étudiants » plus compacts. Cependant, la distillation de caractéristiques (feature-based KD) fait face à un écart enseignant-étudiant fondamental : la capacité de représentation limitée de l'étudiant et son espace de caractéristiques de rang inférieur peinent à imiter les cartes de caractéristiques complexes et de haute dimension d'un enseignant profond (par exemple, un ViT-G de 40 couches) en une seule étape.

Les stratégies existantes pour combler cet écart, telles que l'appariement de couches intermédiaires (par exemple, PKD) ou les têtes de projection (par exemple, ViTKD), reposent souvent sur des programmes de mapping statiques. Ces approches forcent l'étudiant à s'aligner sur des caractéristiques de couches profondes complexes dès le début de l'entraînement ou nécessitent une sélection manuelle arbitraire des couches. Cette approche « tout d'un coup » ne tient pas compte de l'évolution de la capacité de l'étudiant, ce qui entraîne une instabilité de l'entraînement et une convergence lente, particulièrement lorsqu'il existe un décalage de taille important entre l'enseignant et l'étudiant.

Méthodologie : LEAP

Les auteurs proposent LEAP (Layer-skipping Efficiency via Adaptive Progression), un curriculum d'entraînement conçu pour atténuer l'écart enseignant-étudiant en introduisant une progression « du facile au difficile ».

Insight Fondamental : Décalage de Similitude

À travers une analyse de similitude par couche utilisant l'alignement de noyau centré (CKA), les auteurs ont observé un décalage temporel lors de l'entraînement de référence :

Dans les premières époques d'entraînement, la carte de caractéristiques finale de l'étudiant présente une similitude plus élevée avec les couches peu profondes intermédiaires de l'enseignant.
À mesure que l'entraînement progresse, le pic de similitude se déplace progressivement vers les couches plus profondes de l'enseignant.
Cela suggère que les couches peu profondes sont des cibles « plus faciles » pour l'étudiant initialement, tandis que les couches profondes représentent des abstractions sémantiques plus complexes qui nécessitent une représentation fondamentale pour être apprises.

Le Curriculum Adaptatif

Au lieu d'une cible fixe, LEAP traite les cartes de caractéristiques intermédiaires de l'enseignant comme une séquence de cibles de difficulté progressive. Le curriculum avance sur la base d'un seuil de similitude CKA en ligne ( $\tau$ ) :

Initialisation : L'étudiant commence par imiter le premier bloc ViT de l'enseignant.
Progression Adaptative : Le système surveille la similitude CKA entre la carte de caractéristiques terminale de l'étudiant et le bloc cible actuel de l'enseignant ( $T_m$ ).
Transition : Le curriculum passe au bloc suivant de l'enseignant ( $T_{m+1}$ ) uniquement lorsque le score de similitude atteint le seuil prédéfini $\tau$ (ou qu'une limite de patience est atteinte).
Efficacité : Ce mécanisme permet un arrêt anticipé de l'inférence de l'enseignant lors des étapes initiales, car les couches plus profondes de l'enseignant ne sont pas calculées tant que l'étudiant n'est pas prêt à les apprendre.

La fonction de perte minimise l'erreur quadratique moyenne (MSE) entre les caractéristiques finales de l'étudiant et la cible actuelle de l'enseignant, alignée via un projecteur linéaire à une seule couche.

Contributions Clés

Curriculum LEAP : Un nouveau curriculum de saut de couches pour la distillation de ViT basée sur les caractéristiques qui élimine le besoin d'assignation manuelle de couches ou de sélection de caractéristiques intermédiaires. Il sélectionne dynamiquement la cible la « plus facile » à chaque étape en fonction de métriques de similitude.
Robustesse et Analyse : Une analyse approfondie de la robustesse du curriculum à travers différentes capacités d'étudiants (ViT-Small, ViT-Tiny) et différentes échelles de jeux de données (ImageNet-100, ImageNet-1K). Les auteurs vérifient que les modèles distillés conservent leur polyvalence pour diverses tâches de niveau image, de niveau instance et de niveau pixel.
Gains d'Efficacité : La progression adaptative permet des économies significatives de coût de calcul (FLOPs) et de temps de calcul (wall-clock time) lors de l'entraînement en différant l'inférence des couches profondes de l'enseignant.

Résultats Expérimentaux

ImageNet-100 (Ablation et Réglage)

Précision : Le ViT-S distillé par LEAP a atteint une précision de sondage linéaire de 90,1 %, soit une amélioration de +12,24 % par rapport à la référence. Le ViT-Tiny est passé de 75,90 % à 81,76 %.
Efficacité : Le curriculum a réduit les FLOPs d'entraînement de 25,1 % (ViT-S) et 28,8 % (ViT-Tiny), et a réduit le temps d'entraînement de 21 % et 22,5 % respectivement, grâce à l'arrêt anticipé de l'inférence de l'enseignant.
Robustesse : Les améliorations de la précision sur les données propres se sont traduites par une robustesse hors distribution sur mini-ImageNet-C.

Tâches Aval (ImageNet-100)

Récupération d'Instances : Sur les jeux de données Oxford et Paris, le ViT-S distillé par LEAP a montré des gains substantiels de précision moyenne (mAP), s'améliorant de 7,75 % sur Paris et de 3,84 % sur Oxford par rapport aux références.
Segmentation Sémantique : Sur ADE20K, LEAP a amélioré significativement l'mIoU sur tous les protocoles (Segmentation Linéaire, EOMT, Multi-Échelle). Pour le ViT-S, l'mIoU est passé de 12,15 % à 20,53 % en Segmentation Linéaire et de 24,49 % à 38,10 % en EOMT.

ImageNet-1K (Scalabilité)

Récupération : LEAP a maintenu de fortes performances, atteignant une amélioration de mAP de 7,75 % sur le jeu de données Paris et de 3,84 % sur Oxford.
Classification & Segmentation : Sur la classification à grande échelle (sondage linéaire) et la segmentation, LEAP a obtenu des résultats compétitifs, comblant l'écart avec les références. Les auteurs attribuent l'absence de gains massifs dans la classification globale au « plafond de capacité architecturale » des modèles étudiants compacts sur ce jeu de données.
Efficacité : Bien que les économies soient plus modestes à cette échelle (réduction de 11,51 % des FLOPs pour ViT-Tiny), la méthode a préservé l'intégrité des caractéristiques, comme en témoignent les gains de récupération.

Études d'Ablation

Progressif vs Statique : LEAP a surpassé toutes les stratégies de supervision statique à une seule couche, confirmant que le bénéfice provient de la progression structurée plutôt que d'une seule couche « optimale ».
vs Alignement Dense : Comparé à un alignement dense de couche à couche (utilisant 12 projecteurs), LEAP (utilisant un seul projecteur) a obtenu des performances presque identiques (83,36 % contre 83,38 % de sondage linéaire), démontrant une haute efficacité structurelle.

Signification et Revendications

L'article affirme que LEAP fournit un chemin d'apprentissage structuré qui accélère la convergence et améliore l'alignement final des caractéristiques en respectant la capacité évolutive de l'étudiant. En traitant l'espace de représentation de l'enseignant comme un curriculum plutôt que comme une cible statique, LEAP :

Accélère la Convergence : Les étudiants établissent une base stable avant de s'attaquer aux abstractions de haut niveau.
Réduit le Coût de Calcul : L'arrêt anticipé de l'inférence de l'enseignant diminue considérablement les FLOPs et le temps d'entraînement.
Améliore la Polyvalence : Les modèles distillés conservent la capacité de s'adapter à diverses tâches aval (segmentation, récupération, classification) sans nécessole de réglage fin (fine-tuning) spécifique à la tâche du processus de distillation.

Les auteurs reconnaissent des limites, notamment l'exigence d'un enseignant "boîte blanche" avec des caractéristiques intermédiaires accessibles et le potentiel de réglage sous-optimal des hyperparamètres (seuil CKA) sur de grands jeux de données. Des travaux futurs sont suggérés pour la distillation cross-architecture (par exemple, de Transformer à CNN) et les scénarios multimodaux.