One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression

Technische Samenvatting: One Shot vs. Iteratief: Het heroverwegen van pruning-strategieën voor modelcompressie

Probleemstelling
Naarmate neurale netwerken groter worden in schaal om complexe taken in computer vision en natuurlijke taalverwerking aan te pakken, wordt hun implementatie op apparaten met beperkte middelen steeds minder praktisch. Pruning (snoeien) is een primaire techniek om de modelgrootte en computationele kosten te verminderen zonder aanzienlijk in te boeten op prestaties. De literatuur vertoont echter een significante bias naar het voorstellen van nieuwe pruning-criteria (bijv. magnitude, sensitiviteit, speltheoretische benaderingen), terwijl er een gebrek is aan een systematische vergelijking van pruning-regimes—specifiek de keuze tussen one-shot pruning (één cyclus van training, pruning en hertraining) en iteratieve pruning (meerdere cycli van deze stappen). De relatieve effectiviteit van deze strategieën onder variërende omstandigheden (verschillende pruning-ratio's, modelarchitecturen en criteria) is onderbelicht gebleven, wat vaak leidt tot een willekeurige selectie van methoden door beoefenaars.

Methodologie
De auteurs hebben een uitgebreide empirische studie uitgevoerd om het pruning-regime als een variabele te isoleren, waarbij zij de pruning-criteria, de doel-sparsity en de modelarchitecturen controleerden. De studie omvat zowel gestructureerde als ongestructureerde pruning voor Convolutional Neural Networks (ResNet, EfficientNet), Vision Transformers (ViT) en een op Transformer gebaseerd taalmodel (TinyStories-33M).

Belangrijke methodologische componenten zijn:

1. Definities van Regimes:
   • One-Shot: Een enkele pruning-stap gevolgd door fine-tuning.
   • Iteratief Constant: Een vast aantal gewichten dat in elke cyclus wordt verwijderd.
   • Iteratief Geometrisch: Een vast percentage van de resterende gewichten dat in elke stap wordt verwijderd, waardoor het aantal geprunede gewichten progressief afneemt.
   • Hybride (Few-Shot): Een voorgestelde combinatie waarbij een groot deel van de gewichten wordt verwijderd in een initiële one-shot stap, gevolgd door fijnmazige geometrische iteratieve pruning.
2. Hertrainingsprotocol: De studie pleit voor patience-based fine-tuning (vroegtijdige stopzetting op basis van validatieprestaties) in plaats van vaste aantal epochs, met het argument dat dit de duur van de hertraining dynamisch aanpast aan de werkelijke herstelbehoeften van het model.
3. Evaluatiemetrieken: Prestaties werden gemeten via Top-1 Accuracy voor visuele taken en Perplexity voor de NLP-taak, geëvalueerd over diverse pruning-ratio's (van lage tot extreme sparsity).

Belangrijkste Bijdragen

• Systematische Vergelijking: Dit werk biedt een van de eerste brede, gecontroleerde vergelijkingen van one-shot versus iteratieve pruning, en daagt de aanname uit dat iteratieve pruning universeel superieur is.
• Geometrische Pruning Scheduler: De auteurs introduceren en valideren een geometrische pruning-ratio scheduler voor iteratieve pruning, waarbij zij aantonen dat het prunen van een vast percentage van de resterende gewichten over het algemeen beter presteert dan constant-rate pruning, vooral bij hoge sparsity-niveaus.
• Hybride Benadering: Een nieuw hybride pruning-regime wordt voorgesteld, dat de efficiëntie van one-shot pruning gebruikt voor de initiële grove reductie en de precisie van iteratieve geometrische pruning voor de uiteindelijke verfijning.
• Contextuele Richtlijnen: De studie stelt vast dat de optimale pruning-strategie niet universeel is, maar afhangt van specifieke beperkingen: de pruning-ratio, de modelarchitectuur (CNN versus Transformer) en het computationele budget voor hertraining.

Belangrijkste Resultaten

• Afhankelijkheid van de Pruning-Ratio:
  • Lage tot Matige Ratio's (<80%): One-shot pruning met patience-based hertraining presteert vaak beter dan iteratieve methoden, met name voor CNN's. Het bereikt een hogere nauwkeurigheid met aanzienlijk minder hertrainingstijd.
  • Hoge Ratio's (>80%): Iteratieve pruning (specifiek de geometrische variant) wordt superieur. One-shot pruning heeft moeite om prestaties te herstellen bij extreme sparsity-niveaus.
• Architectuurgevoeligheid: Transformer-gebaseerde modellen (zowel ViT als LLM's) profiteren over het algemeen meer van iteratieve pruning dan CNN's. In NLP-taken vertoonde one-shot pruning zelfs bij lage pruning-ratio's (10–20%) sensitiviteit, terwijl iteratieve pruning het model in staat stelde om zich progressief aan te passen.
• Interactie met Pruning-Criteria:
  • Voor second-order criteria (bijv. op de Hessiaan gebaseerd), is one-shot pruning computationeel efficiënt omdat de dure ranking-berekening slechts één keer wordt uitgevoerd.
  • Voor hoge pruning-ratio's wordt de keuze van het pruning-criterium minder significant; het iteratieve geometrische regime levert vergelijkbare prestaties op bij verschillende criteria, waardoor snellere magnitude-gebaseerde criteria de voorkeur genieten.
• Hybride Prestaties: De hybride benadering presteerde consistent beter dan pure one-shot en pure iteratieve methoden over bijna alle pruning-ratio's, waarbij het effectief de snelheid van one-shot verwijdering combineert met de verfijning van iteratieve stappen.
• Hertraingsefficiëntie: Er werd aangetoond dat patience-based early stopping cruciaal is. Vaste korte hertrainingsperioden (gangbaar in de literatuur) leidden tot suboptimale resultaten, terwijl patience-based methoden zowel onder-training als verspillende over-training voorkamen.

Betekenis en Claims
Het artikel claimt niet één enkele "beste" pruning-methode voor alle scenario's te hebben vastgesteld. In plaats daarvan beoogt het een rigoureuze empirische basis te bieden voor beoefenaars om een pruning-strategie te selecteren die is afgestemd op hun specifieke doelen en beperkingen. De auteurs stellen dat de keuze van het pruning-regime even cruciaal is als de keuze van de pruning-criteria. Door aan te tonen dat one-shot pruning zeer effectief is voor lagere sparsity en computationeel beperkte omgevingen, terwijl iteratieve (geometrische) pruning noodzakelijk is voor hoge sparsity en complexe architecturen, biedt de studie bruikbare richtlijnen voor het optimaliseren van de afweging tussen modelnauwkeurigheid, grootte en computationele kosten. De voorgestelde hybride methode dient als een praktische oplossing die de sterke punten van beide regimes combineert en zo een meer geïnformeerd pad biedt voor modelcompressie.