Technische Samenvatting: HiReLC – Hiërarchisch Reinforcement Learning voor Neurale Netwerkcompressie

1. Probleemstelling

Diepe neurale netwerken, in het bijzonder Vision Transformers (ViT's), kampen met aanzienlijke implementatieuitdagingen op platforms met beperkte middelen vanwege hoge parameteraantallen, geheugenvoetafdrukken en inferentielatenties. Hoewel bestaande compressietechnieken zoals statische heuristieken, one-shot mixed-precision toewijzing en single-objective optimalisatie bestaan, slagen ze er vaak niet in om cross-layer afhankelijkheden te vangen en ontbreekt het hen aan adaptieve verfijning tijdens de fine-tuning fase. Bovendien hebben Reinforcement Learning (RL) benaderingen voor compressie historisch gezien moeite gehad met een hoge variantie in grote actieruimtes, grove granulariteit en een gebrek aan sensitiviteitsbewuste sturing.

Dit artikel adresseert de behoefte aan een algemeen bruikbaar, architectuur-agnostisch framework dat in staat is om zowel gestructureerde pruning als mixed-precision kwantisatie gezamenlijk te optimaliseren, terwijl het complexe trade-offs navigeert tussen reductie van de modelgrootte en het behoud van nauwkeurigheid.

2. Methodologie: Het HiReLC Framework

HiReLC (Hierarchical Reinforcement Learning for Neural Network Compression) is een twee-traps hiërarchisch ensemble-RL framework dat is ontworpen om de compressie-zoekruimte te deconstrueren. Het systeem is architectuur-agnostisch op het niveau van de controller, waarbij gebruik wordt gemaakt van een modulaire laag-abstractie om de RL-omgeving te ontkoppelen van specifieke netwerktopologieën.

2.1 Hiërarchische Agentstructuur

Het framework maakt gebruik van twee verschillende niveaus van agents:

• High-Level Agents (HLAs): Deze agents opereren op netwerkniveau om de globale budgetallocatie te coördineren. Ze wijzen een "LayerBudget" toe aan elk comprimeerbaar blok, waarbij ze de doelstelling voor de behouden grootte fracties ($R_i$), pruning-limieten en bitbreedte-grenzen bepalen. HLAs maken gebruik van Fisher Information-gebaseerde sensitiviteitsinschattingen om de budgetallocatie te sturen, waardoor blokken met een hoge sensitiviteit een lichtere compressie ontvangen.
• Low-Level Agents (LLAs): Deze opereren onafhankelijk per blok en verfijnen de globale budgetten naar specifieke per-kernel configuraties. Ze selecteren uit een vierdimensionale multi-discrete actieruimte voor elk kernel:
  1. Bitbreedte ($b_{i,k}$): Selectie van precisieniveaus.
  2. Keep-ratio ($\rho_{i,k}$): Bepaling van het fractie van de outputkanalen die behouden blijft (gestructureerde pruning).
  3. Kwantisatietype ($\tau_{i,k}$): Keuze tussen Integer (INT) en Floating-point (FLOAT).
  4. Granulariteit ($\mu_{i,k}$): Selectie tussen uniform, log-domein, per-kanaal, of geleerde sign-magnitude schema's.

2.2 Ensemble Learning en Consensus

Om de variantie te mitigeren die inherent is aan RL voor grote discrete ruimtes, maakt HiReLC gebruik van een ensemble-benadering.

• LLA Ensemble: Meerdere parallelle policies (een combinatie van PPO en A2C) worden getraind met heterogene beloningsgewichten (variërende nadruk op nauwkeurigheid versus compressie). Een consensus-actie wordt afgeleid via gewogen stemming, waarbij conservatieve, gematigde en agressieve strategieën worden samengesmolten om een robuuste configuratie te produceren.
• HLA Ensemble: Op dezelfde wijze stelt een ensemble van HLAs budgetallocaties voor, waarbij het definitieve budget wordt bepaald door meerderheidsstemming of rekenkundige gemiddelde aggregatie.

2.3 Active Learning en Surrogate Modeling

Om de computationele kosten van het evalueren van elke kandidaatconfiguratie via volledige post-compressie fine-tuning aan te pakken, integreert HiReLC een iteratieve active learning loop:

• Logit-MSE Proxy: Tijdens de "cold-start" fase (voordat voldoende data is verzameld), wordt een lichtgewicht proxy gebaseerd op de Mean Squared Error (MSE) tussen de logits van het gecomprimeerde model en het baseline model gebruikt om het behoud van nauwkeurigheid te schatten.
• MLP Surrogate: Zodra een minimaal aantal configuraties is geëvalueerd, wordt een lichtgewicht Multi-Layer Perceptron (MLP) surrogate getraind op de verzamelde data om de nauwkeurigheid te voorspellen. Deze surrogate wordt gebruikt voor reward shaping tijdens de RL-optimalisatie, terwijl volledige fine-tuning wordt gereserveerd voor definitieve cyclus-niveau evaluaties.
• Iteratieve Loop: Het proces wisselt af tussen RL-policy optimalisatie, configuratie-toepassing, fine-tuning en surrogate updates.

2.4 Reward Formulering

De beloningsfuncties zijn ontworpen om nauwkeurigheid, compressie en stabiliteit in balans te houden:

• LLA Beloningen: Bevat termen voor nauwkeurigheidsbehoud ($R_{acc}$), compressiewinst ($R_{comp}$), budgetnaleving ($R_{budget}$) en stabiliteit ($R_{stab}$). Een sensitiviteitsstraf ($P_{sens}$) wordt toegepast om agressieve compressie op zeer gevoelige blokken te ontmoedigen.
• HLA Beloningen: Richt zich op het balanceren van heterogeniteit over blokken ($R_{bal}$), sensitiviteitsbewuste allocatie ($R_{sens}$), globale doelstelling-naleving ($R_{global}$) en dynamische feedback op basis van eerdere cyclusprestaties ($R_{dyn}$).

3. Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

1. HiReLC Framework: Een architectuur-agnostisch hiërarchisch ensemble-RL framework voor gezamenlijke gestructureerde pruning en mixed-precision kwantisatie. Het bereikt effectieve parameter-opslag compressieratio's van 5.99–6.72× over vier architecturen (DeiT-Small, CLIP ViT-B/32, ResNet18, MobileNetV2) met nauwkeurigheidsdalingen variërend van 0.55% tot 5.62%, en zelfs een 3.83% nauwkeurigheidswinst in één setting.
2. Sensitiviteitsbewuste Sturing: De integratie van Fisher Information sensitiviteitsscores op beide hiërarchische niveaus. Dit zorgt ervoor dat kritieke blokken lichtere compressie ontvangen zonder dat extra zoek-tijd evaluaties nodig zijn, waarbij gradiënt-gebaseerde blokbelangrijkheid door zowel reward shaping als actiecorrectie wordt gepropageerd.
3. Surrogate-Augmented Active Learning: Een iteratieve loop die RL-optimalisatie en post-compressie fine-tuning afwisselt. Door een lichtgewicht MLP surrogate en een logit-MSE proxy te gebruiken, amortiseert het framework de dure evaluaties, wat praktische framework-niveau studies mogelijk maakt binnen een beperkt aantal cycli.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op CIFAR-10/100 en Tiny ImageNet met gebruik van Vision Transformers en CNN's.

• Compressie Prestaties: Het framework bereikte consistent compressieratio's tussen 5.99× en 6.72× (gelijk aan een reductie van de modelgrootte van 83.3%–85.1%).
• Impact op Nauwkeurigheid:
  • CLIP ViT-B/32 op CIFAR-100: Bereikte de kleinste daling van 0.55% bij 6.63× compressie.
  • CLIP ViT-B/32 op CIFAR-10: Toonde een nauwkeurigheidswinst van 3.83% (van 89.22% naar 93.05%), toegeschreven aan het feit dat compressie fungeert als een regularisator voor over-geparameteriseerde modellen.
  • ResNet18 en MobileNetV2 op Tiny ImageNet: Toonden dalingen van respectievelijk 4.22% en 5.62%, wat de uitdagingen weerspiegelt van het comprimeren van kleinere, reeds compacte architecturen op moeilijkere datasets.
• Ablatie Studies:
  • Het verwijderen van de HLA (gebruik van uniforme budgetten) leidde tot over-compressie en een aanzienlijk hogere nauwkeurigheidsdaling (6.80% vs. 1.72% voor het volledige systeem).
  • Het gebruik van een homogene A2C ensemble resulteerde in minder stabiele trade-offs vergeleken met de gemengde PPO/A2C ensemble.
  • Fisher sensitiviteitssturing verbeterde het behoud van nauwkeurigheid met 1.30 procentpunt en produceerde meer gedifferentieerde blokwijze budgetallocaties.
  • Mixed Precision: Experimenten die per-kernel selectie van INT/FLOAT types en log-schaal granulariteit toestonden, leverden lagere nauwkeurigheidsdalingen op dan uniforme INT settings, wat suggereert dat flexibiliteit hels bij het herstel.

5. Betekenis en Claims

Het artikel positioneert HiReLC als een praktische ontwerpkeuze voor gezamenlijke neurale netwerkcompressie, waarbij de volgende punten worden benadrukt:

• Verenigde Zoekruimte: In tegenstelling tot eerdere methoden die zich op één compressie-as richten (pruning of kwantisatie) of vertrouwen op statische heuristieken, optimaliseert HiReLC beide gezamenlijk, waarbij het de synergieën tussen gestructureerde pruning en mixed-precision kwantisatie benut.
• Architectuur-Agnosticisme: Het framework comprimeert diverse modelfamilies (Transformers, CLIP, ResNets, MobileNets) succesvol zonder dat architectuur-specifieke controller-redesign vereist is.
• Sensitiviteitsbewustzijn: Het gebruik van Fisher Information stelt het systeem in staat om automatisch gevoelige netwerkcomponenten te identificeren en te beschermen, wat de trade-off tussen nauwkeurigheid en compressie verbetert.
• Praktische Bruikbaarheid: Door gebruik te maken van surrogate modellen en active learning, vermindert het framework de computationele last van RL-gebaseerde compressie, waardoor het haalbaar wordt om grote configuratie-ruimtes te verkennen zonder elke kandidaat volledig te fine-tunen.

De auteurs merken op dat hoewel de behaalde compressieratio's aanzienlijk zijn, de resultaten context-afhankelijk zijn (bijv. geëvalueerd op CIFAR/Tiny ImageNet in plaats van ImageNet-1K in de hoofdtabellen) en uitgaan van gepakte gestructureerde opslag. Het framework wordt gepresenteerd als een startpunt voor deployment scenario's waar de modelgrootte de primaire beperking is, waarbij toekomstig werk nodig is om hardware-specifieke latentie en energie-metrieken te optimaliseren.