Résumé Technique : La Pertinence de la Tâche N'est Pas la Remplaçabilité Locale

Énoncé du Problème

Dans les réseaux de vision, l'importance des canaux est généralement résumée par un seul score scalaire. Cette pratique confond deux questions distinctes :

1. Pertinence de la Tâche : Quelle quantité d'information un canal transmet-il concernant la tâche cible ?
2. Remplaçabilité Locale : Si un canal est supprimé, les autres canaux de la même couche peuvent-ils fournir les informations nécessaires pour maintenir la fonction du réseau ?

Les auteurs soutiennent que ces propriétés ne doivent pas nécessairement coïncider. Un canal hautement prédictif peut être facilement supprimable si ses pairs portent des informations redondantes, tandis qu'un canal moins prédictif peut être critique si aucun pair ne couvre son rôle spécifique. Les métriques existantes (magnitude, sensibilité du gradient, erreur de reconstruction, etc.) compressent souvent ces effets en une seule valeur, échouant à distinguer explicitement la contribution à la tâche de la récupérabilité par les pairs de la même couche.

Méthodologie

L'article introduit une vue à deux axes de l'information des canaux, séparant la pertinence de la tâche de la remplaçabilité locale. L'analyse est effectuée a posteriori sur des réseaux figés entraînés sur CIFAR-100 (ResNet-18, VGG-16, MobileNetV2) en utilisant un ensemble de calibration fixe.

Les Deux Axes

1. Axe Local (Remplaçabilité) :

   • Capture d'Entrée ($I_X$) : Un proxy de la force avec laquelle un canal capture la variation d'entrée, calculé via le quotient de Rayleigh du vecteur de poids et de la covariance d'entrée ($w_i^\top \Sigma_X w_i$).
   • Chevauchement des Pairs ($\bar{R}_X$) : Une mesure de la quantité avec laquelle le signal d'un canal chevauche celui des pairs de la même couche, dérivée de la matrice de corrélation par paires des activations des canaux.
   • Définition : Un canal avec un $I_X$ élevé et un $\bar{R}_X$ faible porte une structure locale distinctive et est plus difficile à remplacer.

2. Axe Cible (Pertinence) :

   • Information Mutuelle de la Tâche ($I(T; Y)$) : Mesure l'information qu'un canal détient concernant la marge de la tâche (marge des logits de vérité terrain).
   • Redondance/Excès Cible : Utilise des proxies de Décomposition de l'Information Partielle (PID) gaussienne. L'article note que sous la définition évolutive de l'Information Mutuelle Maximale (MMI) gaussienne, la redondance cible s'effondre en pertinence de tâche singleton, la rendant distincte du chevauchement local des pairs.

Protocole Expérimental

• Analyse Structurelle : Mesure des corrélations et des regroupements (Indice de Rand Ajusté) entre les deux axes à travers les couches et les graines.
• Trajectoires d'Entraînement : Suivi de l'alignement des axes depuis l'initialisation aléatoire jusqu'à la convergence pour déterminer si la séparation est apprise.
• Analyse des Gradients : Dérivation d'un modèle linéaire gaussien pour expliquer le découplage géométrique des deux axes via des directions de gradient résiduelles.
• Tests d'Intervention :
  • Lésions : Suppression de canaux individuels sans fine-tuning pour mesurer l'augmentation immédiate de la perte.
  • Élagage : Élagage structuré avec récupération appariée en FLOPs (fine-tuning) pour évaluer la rétention de la précision.
  • Remplacement par les Pairs : Remplacement de l'activation d'un canal supprimé par une reconstruction linéaire à partir des principaux pairs pour tester la récupérabilité.

Contributions Clés

1. Séparation Structurelle des Axes

L'étude démontre que dans les réseaux entraînés, les axes local et cible sont faiblement alignés (Spearman $\rho \approx 0,01$) et définissent des regroupements de canaux différents (faible Indice de Rand Ajusté). Cela contraste avec l'initialisation aléatoire, où les axes sont fortement couplés ($\rho \approx 0,7$). La séparation est un phénomène appris, et non un artefact de l'initialisation.

2. Mécanisme de Découplage

Les auteurs proposent un mécanisme de résiduation gaussienne. Dans un modèle linéaire-gaussien, le gradient pour la capture d'entrée suit la direction de la puissance du signal projetée, tandis que le gradient pour la pertinence de la tâche suit une direction de covariance de tâche résiduelle. Lorsque la direction de la covariance de tâche est faiblement alignée avec les directions dominantes de puissance d'entrée, les deux gradients deviennent presque orthogonaux, expliquant le découplage observé pendant l'entraînement.

3. Prédictibilité de l'Élagage

Sous un protocole d'élagage apparié en FLOPs fixe, les métriques de l'axe local sont des prédicteurs plus fiables de la supprimabilité que les métriques de l'axe cible.

• Preuve par Lésion : Au sein des classes de pertinence de tâche appariée, la reconstruction par les pairs $R^2$ (soutien local) prédit la récupération des dommages, alors que la pertinence de la tâche et la capture d'entrée ne le font pas.
• Résultats d'Élagage : À travers ResNet-18, VGG-16 et MobileNetV2, les meilleures méthodes de l'axe local surpassent les meilleures méthodes de l'axe cible avec des marges significatives (par exemple, +8,0 % à +10,1 % de surface sous la courbe).
• Dépendance à l'Architecture : Bien que la remplaçabilité locale soit généralement supérieure, l'article note que dans VGG-16, la magnitude des poids reste une base de référence forte, suggérant que les détails d'allocation spécifiques à l'architecture comptent toujours.

4. Structure d'Ordre Supérieur

L'analyse révèle que la remplaçabilité locale évolue de « doublons singleton » dans les premières couches vers des « enveloppes distribuées » dans les couches plus profondes. Inversement, l'information du côté cible nécessite de plus en plus une synergie au niveau des triplets dans les couches profondes, suggérant que les couches intermédiaires sont plus difficiles à compresser du côté cible en raison de l'information synergique distribuée.

Résultats

• Alignement Faible : La corrélation entre la capture d'entrée ($I_X$) et la pertinence de la tâche ($I(T; Y)$) chute brusquement pendant l'entraînement, se stabilisant près de zéro dans les modèles finaux.
• Divergence des Regroupements : Les canaux regroupés par des caractéristiques locales (redondance) et des caractéristiques cibles (pertinence) montrent un chevauchement quasi aléatoire (ARI $\approx 0,02$), confirmant qu'ils identifient différents sous-ensembles de canaux.
• Performance d'Élagage :
  • ResNet-18 : Meilleure méthode locale (+8,0 pp) > Meilleure méthode cible.
  • VGG-16 : Meilleure méthode locale (+6,6 pp) > Meilleure méthode cible, bien que la magnitude (une base de référence basée sur la norme) reste compétitive.
  • MobileNetV2 : Meilleure méthode locale (+10,1 pp) > Meilleure méthode cible.
  • Tests de Stress : La hiérarchie local-sur-cible tient sur CIFAR-10, Tiny-ImageNet, ImageNet-100 et un pilote ConvNeXt-T, bien que le degré de séparation des axes varie.
• Orthogonalité des Gradients : Les mesures empiriques confirment que la direction de mise à jour SGD devient presque orthogonale aux deux gradients d'information après le début de l'entraînement, soutenant l'hypothèse de résiduation.

Signification et Revendications

L'article revendique une distinction au niveau des axes plutôt qu'un classement universel des scores d'élagage.

• Insight Central : L'élagage est fondamentalement une intervention de remplaçabilité. Il demande si un canal est encore nécessaire lorsque le reste de la couche est disponible. La pertinence de la tâche explique ce que représente un canal, mais la remplaçabilité locale explique si le réseau en a besoin.
• Limites : Les preuves les plus solides sont dérivées des CNN sur CIFAR-100. Bien que les tests de stress sur ImageNet et ConvNeXt soutiennent la tendance, les auteurs ne revendiquent pas une applicabilité universelle à toutes les architectures (par exemple, les Transformers) sans validation supplémentaire.
• Implication Pratique : Les résultats suggèrent que les heuristiques d'élagage doivent explicitement tenir compte du soutien local des pairs. Les scores basés sur la norme (comme la magnitude) peuvent rester compétitifs dans des architectures spécifiques (comme VGG-16) où ils agissent comme un proxy pour la capture d'entrée locale, mais ils échouent à capturer le chevauchement des pairs, qui est le facteur critique pour la supprimabilité.

Ce travail reformule l'importance des canaux non pas comme un scalaire unique, mais comme une propriété bidimensionnelle, offrant un diagnostic plus nuancé pour comprendre la redondance du réseau et guider les stratégies d'élagage.