STARFISH: faST Accuracy Recovery in pruned networks From Internal State Healing

Technische Samenvatting: STARFISH

Probleemstelling
Het snoeien (pruning) van neurale netwerken is een standaardtechniek om de modelgrootte, het geheugengebruik en de inferentielatentie te verminderen door gewichten, neuronen of kanalen te verwijderen. Echter, agressief snoeien leidt vaak tot een substantiële degradatie in de voorspellende nauwkeurigheid. Herstelprocessen (healing) worden doorgaans toegepast om het verloren gegane rendement terug te winnen, maar bestaande methoden kampen met significante beperkingen. Traditionele benaderingen vereisen vaak volledige hertraining of fine-tuning op de oorspronkelijke trainingsdataset, wat computationeel duur is en in moderne settings vaak onmogelijk is wanneer trainingsdata eigendom is van derden of ontoegankelijk is. Bov�raken state-of-the-art herstelmethoden vaak in de knoop met het herstellen van de nauwkeurigheid onder hoge spaarzaamheid (bijv. het verwijderen van >75% van de gewichten), in het bijzonder voor moderne Vision Transformer (ViT) architecturen.

Methodologie: STARFISH
De auteurs stellen STARFISH voor (faST Accuracy Recovery in pruned networks From Internal State Healing), een methode voor herstel na het snoeien die opereert zonder toegang tot de oorspronkelijke trainingsdata of labels. De kernhypothese is dat het optimaliseren van de uitlijning van intermediaire representaties (interne toestanden) tussen het gesnoeide netwerk en het oorspronkelijke dichte (dense) netwerk een effectievere proxy is voor het herstel van de nauwkeurigheid dan het uitsluitend optimaliseren op basis van uiteindelijke outputvoorspellingen.

Het algoritme verloopt in twee stadia met behulp van een kleine, ongelabelde kalibratieset ($S_{cal}$) die is gesampled uit de datadistributie maar verschillend is van de trainingsset:

1. Caching van Target Representaties: Het oorspronkelijke dichte model wordt uitgevoerd op $S_{cal}$ om de gevectoriseerde outputs van elke computationele blok (bijv. na normalisatie, niet-lineariteiten en residuele optellingen) te cachen.
2. Alignment Optimalisatie: Het gesnoeide model ($f_{\theta \odot m}$) wordt getraind om de uitlijningsverlies (alignment loss) tussen zijn intermediaire representaties en de gecachte targets te minimaliseren. De verliesfunctie is gedefinieerd als de gemiddelde cosinusafstand tussen de verborgen toestanden van het gesnoeide model ($f^\ell_{\theta \odot m}(x)$) en de verborgen toestanden van het dichte model ($r^\ell_x$) over alle blokken $\ell$:
   $$\mathcal{L}_{align}(\theta \odot m, x) = \frac{1}{L} \sum_{\ell \in [L]} \left( 1 - \frac{\langle f^\ell_{\theta \odot m}(x), r^\ell_x \rangle}{\|f^\ell_{\theta \odot m}(x)\| \|r^\ell_x\|} \right)$$
   De resterende gewichten van het gesnoeide model worden bijgewerkt om het empirische verlies over de kalibratieset te minimaliseren.

Er wordt theoretische motivatie geboden door aan te tonen dat de afstand tussen de uiteindelijke verborgen representaties (inputs voor de classificatiekop) dient als een bovengrens voor de Kullback–Leibler (KL) divergentie van de outputdistributies. Dit suggereert dat het uitlijnen van interne toestanden inherent de outputfout beperkt.

Belangrijkste Bijdragen

1. Representatie-gebaseerd Herstel: Het artikel introduceert een herstelmethode die onafhankelijk is van specifieke snoeitypen, maskers of architecturen. Het demonstreert empirisch dat de uitlijning van intermediaire representaties beter presteert dan directe output-gebaseerde doelstellingen (zoals Cross-Entropy of KL-divergentie matching) naarmate de spaarzaamheid toeneemt.
2. Efficiëntie bij Hoge Spaarzaamheid: De methode is de eerste die efficiënt een hoog percentage van de oorspronkelijke nauwkeurigheid herstelt bij extreme spaarzaamheid (bijv. 85% spaarzaamheid). Het bereikt dit met een zeer kleine kalibratieset (slechts 1.000 voorbeelden, of 0,4% van de omvang van de trainingsset) en vereist geen toegang tot de oorspronkelijke trainingsdata.
3. Modulariteit en Snelheid: De aanpak is computationeel lichtgewicht en vereist slechts enkele forward en backward passes op een kleine dataset. Het is toepasbaar op gestructureerde, semi-gestructureerde en ongestructureerde snoeipatronen.

Experimentele Resultaten
De auteurs evalueerden STARFISH op ImageNet-1K met diverse Vision Transformer (DeiT, ViT) en Convolutional Neural Network (MobileNet) architecturen.

• Hoge Spaarzaamheid (0.75–0.85): Op een DeiT-B model gesnoeid tot 75% spaarzaamheid, herstelde STARFISH 82% van de oorspronkelijke dichte nauwkeurigheid, terwijl concurrerende methoden (zoals CORP) slechts 40% herstelden. Op een DeiT3-H model bij 85% spaarzaamheid behield STARFISH 92,08% van de dichte nauwkeurigheid, wat de prestaties van het gesnoeide model met 72,36 procentpunt verbeterde.
• Matige Spaarzaamheid (0.5): Over diverse DeiT-architecturen en snoeibereiken (MLP, QK, en gezamenlijke MLP+QK), presteerde STARFISH consistent beter dan state-of-the-art methoden. Bijvoorbeeld, in een DeiT-T model met 50% gestructureerd snoeien op MLP+QK, bereikte STARFISH 81,95% behoud van dichte nauwkeurigheid, een verbetering van 31,54 procentpunt ten opzichte van de CORP-methode.
• Vergelijking: STARFISH toonde superieure prestaties tegenover methoden zoals SNOWS (die gebruik maakt van Hessian-approximatie) en CORP (die gebruik maakt van closed-form affine herstel), met name in regimes waar snoeien de prestaties van het model ernstig verslechtert.

Betekenis en Claims
Het artikel beweert dat STARFISH een significante vooruitgang vertegenwoordigt in het veld van modelcompressie door het herstelparadigma te verschuiven van output-matching naar interne staat-healing. De auteurs benadrukken dat deze aanpak bijzonder essentieel is voor moderne grootschalige modellen waarbij trainingsdata niet beschikbaar is en volledige hertraining onhaalbaar is. Door gebruik te maken van het principe dat interne representaties de kennis van het model robuuster vastleggen dan de uiteindelijke outputs onder hoge spaarzaamheid, stelt STARFISH de inzet van zeer efficiënte, gesnoeide netwerken mogelijk zonder verlies van voorspellende prestaties. De methode wordt gepresenteerd als een algemene, plug-and-play oplossing die kan worden toegepast op elk gesnoeid netwerk, ongeacht de initiële snoeistrategie.