Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers

Résumé Technique : L'entropie révèle l'importance des blocs dans les Transformers de vision auto-supervisés masqués

Énoncé du Problème
Les modèles de vision transformers auto-supervisés et masqués (par exemple, MAE, VideoMAE) ont établi un paradigme dominant pour le pré-entraînement, apprenant des représentations visuelles riches à partir de données non étiquetées. Cependant, leur taille substantielle de modèle crée des barrières significatives pour le déploiement dans des environnements aux ressources limitées (par exemple, les appareils de bord/edge) et pour l'apprentissage par transfert efficace. Une question fondamentale demeure : tous les blocs de transformer sont-ils également importants pour la performance en aval ?

Les solutions existantes font face à des limitations critiques. L'élagage basé sur la sensibilité, bien qu'efficace, nécessite un retrait itératif des blocs et un réglage fin (finetuning) complet, ce qui engendre un coût de calcul prohibitif. Les méthodes d'élagage basées sur les données reposent sur des données en aval ou sur des statistiques d'activation, introduisant un biais de jeu de données et limitant l'applicabilité lorsque les données sont indisponibles ou restreintes. L'élagage non structuré produit souvent des motifs de parcimonie irréguliers qui sont difficiles à déployer efficacement sur le matériel moderne. Par conséquent, il existe un besoin pour une méthode fondée sur des principes, sans données, et d'une grande efficacité computationnelle pour estimer l'importance des blocs et identifier la redondance sans accès aux données d'entraînement ou aux gradients.

Méthodologie : Gardener et l'Entropie du Nombre de Poids
Les auteurs proposent Gardener, un algorithme d'élagage au niveau des blocs, sans données, en une seule étape (one-shot), pour les transformers de vision auto-supervisés masqués. L'idée centrale est que l'importance des blocs est encodée au sein des paramètres pré-entraînés eux-mêmes, plus précisément dans la distribution structurelle des poids.

La méthode repose sur une nouvelle métrique appelée entropie du nombre de poids (weight-number entropy). Contrairement aux définitions conventionnelles de l'entropie qui opèrent sur les magnitudes des poids ou les activations, cette formulation caractérise la distribution des comptages de paramètres à travers les intervalles de valeurs au sein d'un bloc de transformer.

1. Formulation : Pour un bloc $B_l$ possédant $N_l$ poids scalaires, la plage de valeurs des poids est partitionnée en $K$ intervalles disjoints. La masse de probabilité empirique $p_l(i)$ est calculée comme le ratio des poids tombant dans l'intervalle $i$ par rapport au nombre total de poids dans le bloc.
2. Calcul de l'entropie : L'entropie du nombre de poids $H(B_l)$ est calculée comme $-\sum p_l(i) \log p_l(i)$. Cette métrique capture la diversité structurelle des poids au sein d'un bloc tout en restant invariante à l'échelle des poids.
3. Stratégie d'élagage : Gardener calcule cette entropie pour chaque bloc en un seul passage sur les paramètres pré-entraînés. Les blocs sont classés par ordre croissant d'entropie. Une entropie plus faible indique une distribution de paramètres plus concentrée, ce qui, selon l'hypothèse des auteurs, correspond à une importance moindre pour l'apprentissage par transfert. L'algorithme supprime les blocs les moins bien classés en fonction d'un ratio d'élagage cible en une seule étape, sans nécessiter de rétropropagation (forward/backward propagation), d'accès aux données ou de réglage fin itératif.

Principales Contributions

• Formulation du Problème : Le papier définit le défi de l'estimation de l'importance des blocs sans données pour les transformers de vision auto-supervisés masqués dans des contextes de ressources limitées.
• Insight Théorique : Il introduit l'entropie du nombre de poids comme un critère informationnel calculé uniquement à partir des paramètres pré-entraînés, démontrant une forte corrélation avec la sensibilité oracle (dérivée de l'élimination itérative des blocs et du réglage fin).
• Proposition d'Algorithme : Les auteurs proposent Gardener, un algorithme d'élagage en une seule étape, de complexité linéaire, avec un surcoût de mémoire négligeable qui opère entièrement sans données.
• Validation Empirique : Des expériences approfondies sur VideoMAE-B à travers plusieurs ratios d'élagage et des benchmarks de reconnaissance vidéo en aval (UCF101) montrent que Gardener égale ou surpasse systématiquement les autres bases de comparaison sans données et se rapproche étroitement des performances du réglage par sensibilité (oracle).
• Analyse Structurelle : Le travail fournit des preuves empiriques d'une hétérogénéité structurelle systématique dans les modèles auto-supervisés masqués, révélant que les blocs précoces et intermédiaires ont tendance à avoir une entropie plus élevée (capturant des motifs diversifiés de bas/moyen niveau), tandis que les blocs profonds présentent une entropie plus faible (spécialisation dans l'abstraction sémantique).

Résultats
Les expériences menées sur VideoMAE-B (pré-entraîné sur Kinetics-400) et ajustées sur UCF101 produisent les conclusions suivantes :

• Hétérogénéité des Blocs : Supprimer différents blocs de transformer entraîne des performances en aval radicalement différentes, confirmant que les blocs ne sont pas également importants. Par exemple, supprimer le Bloc 1 a provoqué une chute massive du Rappel Moyen Pondéré (WAR) à 46,73 %, tandis que supprimer le Bloc 12 a entraîné un WAR de 91,29 % (comparé à l'original de 91,78 %).
• Corrélation avec l'Oracle : Le classement des blocs par l'entropie du nombre de poids s'aligne fortement sur le classement par sensibilité de l'oracle. Les blocs ayant une entropie plus élevée correspondent systématiquement à des chutes de performance plus importantes lorsqu'ils sont supprimés.
• Performance d'Élagage : Gardener surpasse les autres critères sans données (incluant ceux basés sur la magnitude, la variance et la sélection aléatoire) à travers tous les ratios d'élagage. Notamment, même après avoir élagué jusqu'à 91,7 % des blocs, le modèle élagué conserve une performance de transfert compétitive (WAR de 68,81 %), se rapprochant étroitement du résultat de l'élagage par sensibilité au même ratio.
• Efficacité : La méthode présente un surcoût de calcul négligeable, opérant en un seul passage sur les paramètres, ce qui la rend des ordres de grandeur plus efficace que les méthodes itératives basées sur la sensibilité.

Signification et Revendications
Le papier affirme que l'analyse informationnelle des poids pré-entraînés offre une voie fondée sur des principes et efficace pour la compression de modèles et l'apprentissage par transfert économiquement efficient. En démontant que l'importance des blocs peut être estimée avec précision sans aucun accès aux données, les auteurs remettent en question la nécessité de l'élagage basé sur les données ou itératif pour les transformers de vision auto-supervisés masqués.

Ce travail souligne qu'une redondance substantielle au niveau des blocs existe dans ces modèles et que l'entropie du nombre de poids capture les propriétés de représentation intrinsèques apprises lors du pré-entraînement. Cela permet d'identifier les blocs redondants par de simples mesures, facilitant une adaptation rapide du modèle. Les auteurs positionnent Gardener non pas comme un remplacement parfait pour tous les scénarios d'élagage, mais comme un substitut robuste et à faible coût qui approxime le comportement de l'oracle sous des contraintes strictes de zéro donnée, facilitant le déploiement de modèles de fondation à grande échelle dans des environnements où les données et le calcul sont limités.

Limitations
Les auteurs reconnaissent que l'entropie du nombre de poids est une mesure statique et grossière qui ne tient pas compte du comportement dépendant de l'entrée ou des motifs d'activation spécifiques à une tâche, ce qui peut limiter l'adaptabilité à des tâches en aval hautement spécialisées. De plus, l'étude actuelle se concentre sur l'élagage au niveau des blocs dans les auto-encodeurs masqués basés sur ViT ; étendre ces critères à des structures plus fines (par exemple, les têtes d'attention) reste une question ouverte. Enfin, bien que la corrélation avec la sensibilité soit forte, elle n'est pas garantie d'être parfaite à travers toutes les architectures ou tous les régimes d'entraînement.