Résumé technique : Réanimation adaptative du signal (ASR)

1. Énoncé du problème

L'élagage de magnitude en une seule passe, une méthode pratique pour compresser les réseaux de vision sans réentraînement, souffre souvent d'un effondrement sévère de la précision dans les régimes de haute sparsité (par exemple, la suppression de 90 % des poids). Bien que les méthodes existantes de réparation post-élagage, telles que le recalibrage de BatchNorm (BN) et la mise à l'échelle des activations par couche (par exemple, REFLOW), visent à restaurer le signal, elles échouent fréquemment sous une sparsité extrême.

Le problème central identifié est un décalage de granularité entre le dommage causé par l'élagage et la réparation appliquée. L'élagage de magnitude global induit des dommages hétérogènes par canal au sein d'une seule couche : certains canaux conservent une variance d'activation informative, tandis que d'autres s'effondrent vers une variance proche de zéro. Les méthodes de réparation par couche existantes appliquent une correction scalaire unique à l'ensemble de la couche. Lorsqu'une couche contient un mélange de canaux sains et de canaux effondrés, la correction par couche est pilotée par les canaux effondrés (qui ont une variance proche de zéro), résultant en un facteur de mise à l'échelle excessivement grand. Ce facteur amplifie indistinctement à la fois les signaux sains et le bruit résiduel dans les canaux effondrés, déstabilisant souvent le modèle et performant moins bien que le simple recalibrage de BN.

2. Méthodologie : Réanimation adaptative du signal (ASR)

ASR est une méthode de réparation post-élagage sans entraînement, conçue pour adapter la granularité de la réparation à la granularité du dommage. Elle opère avant le recalibrage de BatchNorm et ne nécessite que des passages avant sur un petit ensemble de calibration (64 images).

Mécanisme central

1. Estimation de la variance par canal :
   Pour chaque canal de sortie $i$ dans une couche de convolution, ASR estime un facteur de correction brut $\hat{\gamma}_i$ en faisant correspondre la variance de l'activation élaguée ($v_{p,i}$) à la variance de l'activation dense ($v_{d,i}$) sur l'ensemble de calibration :
   $$\hat{\gamma}_i = \sqrt{\frac{\hat{v}_{d,i}}{\hat{v}_{p,i} + \epsilon}}$$
   où $\epsilon$ est un plancher numérique.

2. Réduction pilotée par les données :
   Pour prévenir la sur-amplification des canaux effondrés (où $v_{p,i} \approx 0$), ASR introduit une étape de réduction qui ramène les estimations peu fiables vers l'application identité ($\gamma_i = 1$).

   • Une ligne de base par couche $\lambda$ est calculée comme la médiane des variances des canaux post-élagage au sein de la couche.
   • Un poids de fiabilité $s_i$ est calculé en fonction du rapport entre la variance du canal et cette ligne de base :
     $$s_i = \frac{\hat{v}_{p,i}}{\hat{v}_{p,i} + \lambda}$$
   • Le facteur de réparation final est une combinaison convexe de l'estimation brute et de l'identité :
     $$\gamma_i = s_i \hat{\gamma}_i + (1 - s_i) \cdot 1$$
   • Comportement : Si un canal est effondré ($v_{p,i} \to 0$), $s_i \to 0$, et $\gamma_i \to 1$ (aucune correction). Si un canal est sain ($v_{p,i} \gg \lambda$), $s_i \to 1$, et $\gamma_i \approx \hat{\gamma}_i$ (correspondance complète de la variance).

3. Correction du biais :
   Après le redimensionnement, ASR ajuste optionnellement le biais de convolution pour aligner le premier moment (moyenne) des activations réparées avec les activations denses, traitant ainsi les décalages de moyenne introduits par l'élagage.

4. Recalibrage de BatchNorm :
   Les poids et les biais réparés sont utilisés pour calculer de nouvelles statistiques de fonctionnement pour les couches BatchNorm sur l'ensemble de calibration.

3. Contributions clés

• Identification du mode de défaillance : L'article démontre que la réparation par couche échoue dans les régimes de haute sparsité en raison de dommages hétérogènes par canal, où un scalaire partagé est dominé par les canaux effondrés, conduisant à une sur-amplification du bruit.
• Réparation stabilisée par réduction : ASR introduit une stratégie de réparation par canal stabilisée par une règle de réduction pilotée par les données. Contrairement à l'appariement par canal naïf, qui reste instable pour les canaux effondrés, ASR supprime les corrections pour les canaux avec des signaux post-élagage faibles tout en préservant les corrections pour les canaux plus sains.
• Validation empirique : La méthode est validée sur trois jeux de données (CIFAR-10, CIFAR-100, Imagenette) et quatre architectures (ResNet-18, ResNet-50, DenseNet-121, VGG-16-BN) sous des sparsités non structurées et structurées (2:4).

4. Résultats expérimentaux

• Performance en haute sparsité : ASR surpasse constamment la réparation par couche (LW+BN) et dépasse souvent le recalibrage BN seul dans des paramètres de haute sparsité (70 %–90 %).
  • Exemple : Sur ResNet-50 à 90 % de sparsité (CIFAR-10), ASR atteint une précision top-1 de 55,6 %, contre 41,0 % pour la réparation par couche et 28,0 % pour BN seul.
• Visualisation du décalage de granularité : L'analyse de la variance par canal montre que la réparation par couche provoque une sur-correction systématique (pente $\alpha \approx 3,84$ dans les graphiques log-log), tandis qu'ASR maintient une pente plus proche de l'idéal ($\alpha \approx 1,68$), indiquant une meilleure alignement avec le signal dense.
• Efficacité de la calibration : ASR améliore l'efficacité de la calibration précoce. L'écart de performance entre ASR et la réparation par couche est le plus prononcé avec de petits budgets de calibration (par exemple, 10–20 lots), suggérant qu'ASR stabilise plus efficacement la distribution d'activation entrant dans les couches BN.
• Études d'ablation :
  • La granularité par canal seule (correspondance brute de la variance sans réduction) est insuffisante et performe de manière similaire ou pire que BN seul.
  • Le mécanisme de réduction est le composant critique qui stabilise la réparation.
  • La correction du biais apporte des gains supplémentaires, bien que secondaires.
• Dépendance à l'architecture : Les avantages d'ASR sont les plus significatifs dans les architectures avec des connexions résiduelles (ResNet, DenseNet). Dans VGG-16-BN (sans connexions de saut) à une sparsité extrême, le recalibrage BN seul reste parfois compétitif, car la réparation multiplicative peut introduire une instabilité lorsque l'effondrement des canaux est trop sévère pour être récupéré.

5. Importance et affirmations

L'article affirme que ASR adresse un mode de défaillance spécifique dans l'élagage post-entraînement : l'instabilité de la réparation par couche lorsque les dommages par canal sont hétérogènes. En adaptant la granularité de la réparation à la granularité du dommage et en utilisant la réduction pour supprimer les corrections peu fiables, ASR permet une récupération significative de la précision dans les régimes de haute sparsité sans réentraînement.

Les auteurs positionnent ASR comme une solution pratique et sans entraînement pour déployer des réseaux de vision clairsemés sous des contraintes de mémoire strictes. Ils notent que la méthode est spécifiquement conçue pour les réseaux de convolution avec BatchNorm et que les extensions aux architectures de transformeurs ou à la quantification post-entraînement sont laissées pour un travail futur. L'article souligne que les gains sont les plus importants lorsque l'élagage induit des dommages sévères et hétérogènes par canal, validant l'hypothèse que les hypothèses par couche sont systématiquement violées dans l'élagage de magnitude global.