💻 computer science

STARFISH: faST Accuracy Recovery in pruned networks From Internal State Healing

L'article présente STARFISH, une méthode de guérison efficace qui récupère la majeure partie de la précision perdue lors de l'élagage de réseaux de neurones en alignant les représentations d'états internes du modèle élagué avec celles du modèle original à l'aide d'un ensemble minuscule de données de calibration non étiquetées, surpassant de manière significative les techniques de pointe, surtout dans des conditions d'élagage agressives.

Auteurs originaux : Shir Maon, Odelia Melamed, Adi Shamir

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shir Maon, Odelia Melamed, Adi Shamir

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et incroyablement intelligente (un réseau de neurones) remplie de millions de livres (des poids). Cette bibliothèque peut répondre à presque toutes les questions parfaitement. Mais la bibliothèque est si vaste qu'elle prend trop de place, coûte trop cher à exploiter et est lente à consulter.

Pour régler ce problème, vous décidez de jeter 50 %, 75 % ou même 90 % des livres. C'est ce qu'on appelle l'élagage (pruning).

Le Problème :
Lorsque vous jetez autant de livres, la bibliothèque ne fonctionne plus bien. Elle commence à donner de mauvaises réponses. Généralement, pour corriger cela, vous devez embaucher une équipe de bibliothécaires pour relire l'intégralité de la collection originale de livres et réapprendre comment organiser les livres restants. C'est coûteux, cela prend du temps, et souvent, vous n'avez même plus accès aux livres originaux (ils peuvent être privés ou propriétaires).

La Solution : STARFISH
Les auteurs de ce papier introduisent une nouvelle méthode appelée STARFISH. Ils l'ont nommée d'après la créature marine capable de faire repousser ses bras perdus. Tout comme une étoile de mer peut se guérir même après avoir perdu des membres, STARFISH aide un réseau « élagué » (endommagé) à se guérir et à retrouver son intelligence.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Fantôme » vs Le « Réel »

Imaginez que la bibliothèque complète originale est un Chef de cuisine Maître qui sait exactement comment cuisiner un repas parfait. Après avoir jeté la plupart des ingrédients (l'élagage), il vous reste un Jeune Chef qui est confus et ne sait pas bien cuisiner.

D'habitude, pour réparer le Jeune Chef, on le ferait goûter les plats originaux et il essaierait de mémoriser le goût final (la sortie). Mais le papier affirme que cela ne suffit pas lorsque les dégâts sont sévères.

Au lieu de cela, STARFISH observe les pensées internes du Maître Chef.

Il demande au Maître Chef : « Quand tu vois une tomate, à quoi penses-tu avant de décider que c'est une tomate ? Et quand tu penses à la sauce ? Et à la chaleur ? »
Il enregistre ces « pensées » internes (appelées états internes ou représentations) pour quelques plats d'exemple.
Ensuite, il dit au Jeune Chef : « Ne te contente pas d'essayer de deviner le goût final. Essaie de penser exactement comme le Maître Chef le faisait à chaque étape du processus. »

2. Le minuscule ensemble de « Calibrage »

La magie de STARFISH est qu'il n'a pas besoin de toute la bibliothèque de livres pour faire cela. Il n'a besoin que d'une infime poignée d'exemples (comme 1 000 images) pour servir d'« ensemble de calibrage ».

C'est comme donner au Jeune Chef une seule petite fiche de recette avec quelques notes sur la façon dont le Maître Chef pensait.
Le Jeune Chef s'entraîne sur ces quelques exemples, en ajustant son processus de pensée jusqu'à ce que ses « pensées » internes correspondent parfaitement aux pensées du Maître Chef.

3. Pourquoi c'est une révolution

Le papier affirme que cette méthode change la donne, surtout lorsque vous coupez une grande partie du réseau :

Le scénario de la « Coupe de 50 % » : Si vous supprimez la moitié des poids, STARFISH récupère la précision du réseau de manière presque parfaite (jusqu'à 99,8 % de l'original). Il bat les meilleures méthodes actuelles par une marge énorme.
Le scénario de la « Coupe de 75 % » : C'est ici que c'est vraiment impressionnant. Si vous supprimez 75 % des poids, les autres méthodes échouent généralement lamentablement, laissant le réseau avec seulement 40 % de son intelligence originale. STARFISH, cependant, parvient à récupérer 82 % de la précision originale.
Le scénario de la « Coupe de 85 % » : Même lorsqu'on retire 85 % des poids (ne laissant presque plus rien), STARFISH peut encore restaurer le réseau à environ 92 % de sa performance originale.

4. Le super-pouvoir du « Pas de données originales »

La plupart des méthodes de réparation nécessitent d'avoir les données d'entraînement originales (les millions de livres) pour réapprendre au réseau.

L'avantage de STARFISH : Il fonctionne même si vous n'avez pas les données d'entraînement originales. Il a seulement besoin du réseau endommagé, de la liste de ce qui a été supprimé (le masque), et d'un petit ensemble aléatoire d'images non étiquetées. Cela le rend parfait pour les situations modernes où les entreprises peuvent partager un modèle tout en gardant leurs données d'entraînement secrètes.

Résumé

Considérez STARFISH comme une technique de « fusion mentale ». Au lieu de forcer un réseau endommagé à deviner la bonne réponse, il force le réseau endommagé à penser exactement comme le réseau original et sain le faisait. En alignant ces pensées internes à l'aide de seulement quelques exemples, il peut guérir même les réseaux les plus sévèrement « amputés », les ramenant à une performance quasi parfaite sans avoir besoin des données d'entraînement originales.

Résumé Technique : STARFISH

Énoncé du Problème
L'élagage (pruning) des réseaux de neurones est une technique standard pour réduire la taille du modèle, l'empreinte mémoire et la latence d'inférence en supprimant des poids, des neurones ou des canaux. Cependant, un élagage agressif entraîne souvent une dégradation substantielle de la précision prédictive. Bien que des processus de récupération (guérison/healing) soient généralement employés pour regagner la performance perdue, les méthodes existantes présentent des limitations significives. Les approches traditionnelles nécessitent souvent un réentraînement complet ou un ajustement fin (fine-tuning) sur le jeu de données d'entraînement original, ce qui est coûteux en termes de calcul et fréquemment impossible dans les contextes modernes où les données d'entraînement sont propriétaires ou inaccessibles. De plus, les méthodes de récupération de pointe peinent souvent à restaurer la précision sous des conditions de forte parcimonie (par exemple, suppression de plus de 75 % des poids), particulièrement pour les architectures modernes de Vision Transformers (ViT).

Méthodologie : STARFISH
Les auteurs proposent STARFISH (faST Accuracy Recovery in pruned networks From Internal State Healing), une méthode de récupération post-élagage qui opère sans accès aux données d'entraînement originales ou aux étiquettes. L'hypothèse centrale est que l'optimisation de l'alignement des représentations intermédiaires (états internes) entre le réseau élagué et le réseau dense original est un proxy plus efficace pour la restauration de la précision que l'optimisation basée uniquement sur les prédictions de sortie finales.

L'algorithme procède en deux étapes en utilisant un petit ensemble de calibration non étiqueté ( $S_{cal}$ ) échantillonné de la distribution des données mais distinct de l'ensemble d'entraînement :

Mise en cache des représentations cibles : Le modèle dense original est exécuté sur $S_{cal}$ pour mettre en cache les sorties vectorisées de chaque bloc de calcul (par exemple, après la normalisation, les non-linéarités et les ajouts résiduels).
Optimisation de l'alignement : Le modèle élagué ( $f_{\theta \odot m}$ ) est entraîné pour minimiser la perte d'alignement entre ses représentations intermédiaires et les cibles mises en cache. La fonction de perte est définie comme la distance cosinus moyenne entre les états cachés du modèle élagué ( $f^\ell_{\theta \odot m}(x)$ ) et les états cachés du modèle dense ( $r^\ell_x$ ) à travers tous les blocs $\ell$ :
$\mathcal{L}_{align}(\theta \odot m, x) = \frac{1}{L} \sum_{\ell \in [L]} \left( 1 - \frac{\langle f^\ell_{\theta \odot m}(x), r^\ell_x \rangle}{\|f^\ell_{\theta \odot m}(x)\| \|r^\ell_x\|} \right)$
Les poids restants du modèle élagué sont mis à jour pour minimiser la perte empirique sur l'ensemble de calibration.

Une motivation théorique est fournie en démontrant que la distance entre les représentations cachées finales (entrées de la tête de classification) sert de borne supérieure pour la divergence de Kullback–Leibler (KL) des distributions de sortie. Cela suggère que l'alignement des états internes contraint intrinsèquement l'erreur de sortie.

Contributions Clés

Récupération basée sur la représentation : L'article introduit une méthode de récupération indépendante des types d'élagage, des masques ou des architectures. Il démontre empiriquement que l'alignement des représentations intermédiaires surpasse les objectifs directs basés sur la sortie (tels que l'entropie croisée ou l'appariement de la divergence KL) à mesure que les niveaux de parcimonie augmentent.
Efficacité à haute parcimonie : La méthode est la première à restaurer efficacement des pourcentages élevés de la précision originale à des niveaux de parcimonie extrêmes (par exemple, 85 % de parcimonie). Elle y parvient en utilisant un minuscule ensemble de calibration (aussi peu que 1 000 exemples, soit 0,4 % de la taille de l'ensemble d'entraînement) et ne nécessite aucun accès aux données d'entraînement originales.
Modularité et Vitesse : L'approche est peu coûteuse en termes de calcul, ne nécessitant que quelques passages avant (forward) et arrière (backward) sur un petit ensemble de données. Elle est applicable aux schémas d'élagage structurés, semi-structurés et non structurés.

Résultats Expérimentaux
Les auteurs ont évalué STARFISH sur ImageNet-1K en utilisant diverses architectures de Vision Transformer (DeiT, ViT) et de réseaux de neurones convolutionnels (MobileNet).

Haute Parcimonie (0,75–0,85) : Sur un modèle DeiT-B élagué à 75 % de parcimonie, STARFISH a récupéré 82 % de la précision originale du modèle dense, alors que les méthodes concurrentes (comme CORP) n'ont récupéré que 40 %. Sur un modèle DeiT3-H à 85 % de parcimonie, STARFISH a conservé 92,08 % de la précision du modèle dense, améliorant les performances du modèle élagué de 72,36 points de pourcentage.
Parcimonie Modérée (0,5) : À travers diverses architectures DeiT et divers périmètres d'élagage (MLP, QK, et joint MLP+QK), STARFISH a systématiquement surpassé les méthodes de l'état de l'art. Par exemple, pour un modèle DeiT-T avec un élagage structuré de 50 % sur MLP+QK, STARFISH a atteint 81,95 % de rétention de la précision dense, soit une amélioration de 31,54 points de pourcentage par rapport à la méthode CORP.
Comparaison : STARFISH a démontré une performance supérieure par rapport à des méthodes telles que SNOWS (qui utilise l'approximation de la Hessienne) et CORP (qui utilise la récupération affine à forme fermée), particulièrement dans les régimes où l'élagage dégrade sévèrement le modèle.

Signification et Revendications
L'article affirme que STARFISH représente une avancée significative dans le domaine de la compression de modèles en déplaçant le paradigme de récupération de l'appariement de sortie vers la guérison de l'état interne. Les auteurs soulignent que cette approche est particulièrement vitale pour les modèles modernes à grande échelle où les données d'entraînement sont indisponibles et où un réentraînement complet est irréalisable. En exploitant le principe selon lequel les représentations internes capturent la connaissance du modèle de manière plus robuste que les sorties finales sous une forte parcimonie, STARFISH permet le déploiement de réseaux élagués hautement efficaces sans sacrifier la performance prédictive. La méthode est présentée comme une solution générique, prête à l'emploi (plug-and-play), pouvant être appliquée à n'importe quel réseau élagué, quel que soit la stratégie d'élagage initiale.