🤖 machine learning

Empirical Minimal-Realisation Compression of Deep Neural Networks via Controllability-Observability Tests

Dit artikel stelt een controleerbaarheids-observeerbaarheidsframework voor dat getrainde diepe neurale netwerken behandelt als nietlineaire dynamische systemen om via gebalanceerde realisatie redundante verborgen toestanden empirisch te identificeren en te elimineren, waarbij significante parametercompressie en versnelling van de inferentie op MNIST en CIFAR-10 worden bereikt met verwaarloosbaar nauwkeurigheidsverlies.

Oorspronkelijke auteurs: Anis Hamadouche, Amir Hussain

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anis Hamadouche, Amir Hussain

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk gedetailleerde fabriek hebt gebouwd om post te sorteren. Deze fabriek heeft duizenden werknemers (neuronen) en eindeloze lopende banden (lagen). Het probleem is dat, hoewel de fabriek perfect werkt, hij enorm groot, duur in gebruik en traag is. Je vermoedt dat veel werknemers gewoon rondstaan te niksen, of dat sommige lopende banden dozen vervoeren die nooit eens geopend worden.

Dit artikel stelt een nieuwe manier voor om die fabriek te verkleinen zonder het sorteerproces te breken. In plaats van simpelweg willekeurig werknemers te ontslaan of de lopende banden dunner te maken, gebruiken de auteurs een "regeltheorie"-benadering (control theory) om uit te vogelen welke delen van de fabriek daadwerkelijk het zware werk verrichten.

Hier is de uitleg van hun methode met behulp van eenvoudige analogieën:

1. De Fabriek als een Reis

De auteurs zien het neurale netwerk niet alleen als een statische lijst met getallen, maar als een reis.

De Input: Een stuk post komt de fabriek binnen.
De Verborgen Toestanden: Terwijl de post door de fabriek beweegt, passeert deze verschillende kamers (lagen). In elke kamer wordt de post verwerkt en veranderd.
De Output: Het uiteindelijke gesorteerde resultaat komt aan de andere kant naar buiten.

De vraag is: Hoeveel kamers hebben we echt nodig, en hoe groot moet elke kamer zijn?

2. De Drie Tests (A, B en C)

Om dit te beantwoorden, voeren de auteurs drie specifieke tests uit op de fabriek terwijl deze draait met echte post. Ze noemen deze tests A, B en C.

Test A: De "Wie verschijnt er?" Test (Bereikbaarheid/Reachability)
Stel je voor dat je vraagt: "Welke werknemers worden er daadwerkelijk opgeroepen wanneer er post arriveert?"
- Als een werknemer nooit door de post wordt aangeraakt, is hij nutteloos.
- Deze test meet welke delen van de fabriek daadwerkelijk "geëxciteerd" worden door de data. Het vindt de drukke werknemers.
Test B: De "Wie doet ertoe?" Test (Observabiliteit/Observability)
Stel je voor dat je vraagt: "Als we de actie van een specifieke werker een beetje aanpassen, verandert dat dan het uiteindelijke resultaat?"
- Sommige werkers zijn misschien erg druk, maar als je verandert wat ze doen, ziet de uiteindelijke gesorteerde post er exact hetzelfde uit. Ze zijn druk, maar irrelevant.
- Deze test meet welke werkers daadwerkelijk invloed hebben op de uiteindelijke output.
Test C: De "Sweet Spot" Test (Gebalanceerd)
Dit is de magische combinatie. Het vraagt: "Welke werkers zijn ZOWEL druk met de post EN veranderen daadwerkelijk het uiteindelijke resultaat?"
- Als een werker druk is maar niet belangrijk, ontsla hem.
- Als een werker wel belangrijk is maar nooit druk, ontsla hem.
- Houd alleen de werkers over die zowel actief als essentieel zijn.

3. Het Resultaat: Een "Gerealiseerde" Mini-fabriek

De meeste compressiemethoden zijn als het maken van een foto van de fabriek en zeggen: "We hebben slechts 20% van deze ruimte nodig." Maar je moet dan nog steeds het hele gebouw behouden.

Dit artikel gaat een stap verder. Ze nemen de resultaten van Test C en bouwen daadwerkelijk een nieuwe, kleinere fabriek op basis van die getallen.

Als Test C zegt dat de eerste kamer slechts 100 werkers nodig heeft in plaats van 1.000, bouwen ze een kamer met precies 100 werkers.
Ze trainen deze nieuwe, kleine fabriek vervolgens vanaf nul (of leren het door naar de grote fabriek te kijken).

4. Wat Ze Vonden

Ze testten dit op twee beroemde "post sorteer" datasets (MNIST en CIFAR-10).

Het MNIST-experiment:
- Vóór: Een fabriek met 1.024 "verborgen" werkers per kamer.
- Na: Ze realiseerden zich dat ze slechts 277 werkers nodig hadden.
- Resultaat: Ze hebben de grootte van de fabriek met 73% verminderd. De nieuwe, kleine fabriek was bijna even nauwkeurig als de grote (95,45% vs 96,60%).
Het CIFAR-10-experiment:
- Vóór: Een enorme fabriek met 4.608 werkers per kamer.
- Na: Ze realiseerden zich dat ze slechts 1.339 werkers nodig hadden.
- Resultaat: Ze hebben de grootte met 71% verminderd. De nieuwe fabriek was net zo nauwkeurig als de grote, maar draaide 3 keer sneller op een computerchip.

Waarom Dit Belangrijk Is

Normaal gesproken, wanneer mensen proberen AI te verkleinen, knippen ze gewoon willekeurige gewichten weg of verlagen ze de precisie van getallen (zoals overstappen van high-definition naar low-definition video). Dit artikel is anders omdat het kijkt naar de informatiestroom.

Het is alsof je beseft dat je in je huis een enorme eetkamer hebt, maar dat je altijd aan een kleine tafel eet. In plaats van alleen een kleinere tafel in de grote kamer te zetten, zegt deze methode: "Laten we gewoon een klein huis met een kleine tafel bouwen en de lege eetkamer er helemaal uit laten."

Kortom: Het artikel biedt een wetenschappelijke manier om de "nuttige" delen van een neuraal netwerk te vinden en het netwerk opnieuw op te bouwen zodat het veel kleiner en sneller is, zonder het vermogen te verliezen om de klus te klaren.

Technische Samenvatting: Empirische Minimale-Realisatie Compressie van Diepe Neurale Netwerken via Controllabiliteits–Observabiliteitstests

1. Probleemstelling

Diepe neurale netwerken (DNN's) vertonen frequent aanzienlijke redundantie in hun verborgen toestanden (hidden states), maar de meeste bestaande compressietechnieken opereren direct op gewichten, neuronen of numerieke precisie zonder expliciet de dynamische rol van interne toestanden te karakteriseren. Standaardmethoden zoals pruning, kwantisatie en low-rank factorisatie falen vaak bij het beantwoorden van een fundamentele toestandsruimtevraag: welke richtingen in de verborgen toestand worden daadwerkelijk geëxciteerd door de datadistributie, en welke van die richtingen zijn relevant voor de output? Bijgevolg verminderen deze methoden mogelijk het aantal parameters of de opslag, maar ze verminderen niet noodzakelijkerwijs de effectieve verborgen-toestandorde of de geassocieerde dichte inferentielatentie van brede lagen.

2. Methodologie

Het artikel stelt een regeltechnisch kader voor empirische reductie van de toestandorde voor, waarbij een getraind feedforward DNN wordt behandeld als een diepte-geïndexeerd nietlineair dynamisch systeem.

2.1 Toestandsruimteformulering

Het netwerk wordt gemodelleerd als een sequentie van nietlineaire transities:
$h_{\ell+1} = f_\ell(h_\ell), \quad z = g(h_L)$
waarbij $h_\ell$ de verborgen toestand op laag $\ell$ vertegenwoordigt, en $z$ de output logits zijn. De input $x$ wordt behandeld als de initiële toestand $h_0$ . Het doel is om de "nuttige verborgen-toestandorde" te schatten — het aantal verborgen richtingen dat zowel bereikbaar is vanuit de data als observeerbaar bij de output.

2.2 Empirische A/B/C-tests

De auteurs introduceren drie laag-specifieke tests gebaseerd op empirische Gramianen afgeleid van verborgen-toestand snapshots en output Jacobiaanen:

Test A (Bereikbaarheid): Meet welke verborgen richtingen worden geëxciteerd door de inputdata. Het berekent de empirische bereikbaarheids-Gramiaan ( $G_{c,\ell}$ ) als de covariantie van gecentreerde verborgen-toestand snapshots. De rang wordt bepaald door de spectrale energie die nodig is om de door data geïnduceerde variantie te vangen.
Test B (Observabiliteit): Meet welke verborgen richtingen de output logits beïnvloeden. Het berekent de empirische observability-Gramiaan ( $G_{o,\ell}$ ) met behulp van de output Jacobiaanen ( $J_\ell = \partial z / \partial h_\ell$ ) met betrekking tot de verborgen toestanden. De rang weerspiegelt richtingen die het classificatie-output significant beïnvloeden.
Test C (Gebalanceerd Bereikbaar–Observeerbaar): Combineert beide criteria om richtingen te identificeren die zowel bereikbaar zijn vanuit de datadistributie als observeerbaar via de output. Het construeert een gebalanceerde matrix $B_\ell = G_{c,\ell}^{1/2} G_{o,\ell} G_{c,\ell}^{1/2}$ . De resulterende C-gebalanceerde rang ( $r_\ell$ ) schat de minimale hoeveelheid verborgen toestanden die vereist is om het input-output gedrag te behouden.

2.3 Gerealiseerde versus Geprojecteerde Compressie

Er wordt een cruciaal onderscheid gemaakt tussen twee modi van reductie:

Geprojecteerde Reductie: Brengt verborgen toestanden in kaart naar lager-dimensionale coördinaten met behulp van geleerde bases. Dit diagnosticeert redundantie maar behoudt de originele volledige netwerkgewichten en projectiebases, waardoor opslag of dichte inferentielatentie niet echt wordt verminderd.
Gerealiseerde Compressie: Gebruikt de C-gebalanceerde rangen ( $r_\ell$ ) direct als de werkelijke breedtes van de verborgen lagen van een nieuw, compact DNN-architectuur. Dit nieuwe netwerk wordt vanaf nul getraind of via kennisdistillatie, wat resulteert in een echte reductie in parameters en toestandorde.

3. Belangrijkste Bijdragen

Toestand-gebaseerde Formulering: Het artikel formuleert feedforward DNN's als diepte-geïndexeerde nietlineaire toestandsruimtesystemen, waarbij "verborgen-toestandorde" wordt gedefinieerd als een onderscheidende, compressie-relevante grootheid die losstaat van het aantal parameters.
Empirisch Controllabiliteits–Observabiliteitskader: Het stelt drie data-gedreven A/B/C-tests voor om de nuttige dimensies van de verborgen toestand te schatten met behulp van empirische Gramianen en Jacobiaanen.
Gerealiseerde C-gebalanceerde Compressie: Het introduceert een methode waarbij de geschatte C-gebalanceerde rangen direct worden omgezet in de fysieke breedtes van een nieuw, compact netwerk, waarmee de kloof tussen theoretische modelreductie en inzetbare architectuurontwerp wordt overbrugd.
Uitgebreide Evaluatie: De methode wordt getest tegen projectie-gebaseerde reductie, ongestructureerde/gestructureerde pruning, low-rank SVD, dynamische INT8 kwantisatie en lineaire baselines op MNIST en CIFAR-10.

4. Experimentele Resultaten

Het kader werd geëvalueerd op volledig verbonden (fully connected) SiLU DNN's getraind op MNIST en CIFAR-10.

4.1 MNIST Resultaten

Compressie: Een 4-laags DNN met een volledige toestandorde van 1024 werd gereduceerd tot een toestandorde van 277 (72,95% toestandcompressie).
Parameters: Het aantal parameters daalde van 400.906 naar 106.323 (73,48% compressie, ca. 3,77 $\times$ reductie).
Nauwkeurigheid: Het gerealiseerde C-gebalanceerde model bereikte een nauwkeurigheid van 95,45%, vergeleken met 96,60% voor het volledige model (een daling van 1,15 procentpunt).
Latentie: De inferentielatentie bleef vergelijkbaar met het volledige model door de reductie in dichte matrixdimensies.

4.2 CIFAR-10 Resultaten

Compressie: Een groter DNN met een volledige toestandorde van 4608 werd gereduceerd tot 1339 (70,94% toestandcompressie).
Parameters: Het aantal parameters nam af van 9,97M naar 1,69M (83,09% compressie, ca. 5,91 $\times$ reductie).
Nauwkeurigheid: Het gerealiseerde model behield de nauwkeurigheid op 54,44%, vrijwel identiek aan de 54,45% van het volledige model.
Latentie: De CUDA-inferentielatentie werd met ongeveer 3,0 $\times$ verminderd (van 0,001582 ms/sample naar 0,000525 ms/sample).

4.3 Vergelijking met Baselines

Pruning: Ongestructureerde pruning (50%) behield de nauwkeurigheid maar verminderde de toestandorde of dichte latentie niet. Gestructureerde pruning naar C-gebalanceerde rangen zonder fine-tuning faalde (34,50% nauwkeurigheid), maar met fine-tuning herstelde het naar 91,75% (MNIST) of 55,22% (CIFAR-10), wat suggereert dat de C-gebalanceerde rangen geldige doeldimensies bieden.
SVD: Low-rank SVD (0,5 fractie) veroorzaakte significante degradatie van de nauwkeurigheid (85,50% op MNIST, 39,06% op CIFAR-10), wat aangeeft dat laag-lokale gewichtsfactorisatie de nietlineaire input-output geometrie niet zo effectief behoudt als de toestand-gebaseerde C-gebalanceerde aanpak.
Kwantisatie: INT8 kwantisatie verminderde de opslag maar liet de toestandorde en architectuurbreedte ongewijzigd.

5. Betekenis en Claims

Het artikel claimt dat gebalanceerde bereikbare–observeerbare rangen een geprincieerd empirisch minimaal-realisatie criterium bieden voor het ontwerpen van compacte netwerkarchitecturen.

Theoretische Brug: Het werk verbindt de control-theoretic modelreductie (specifiek gebalanceerde truncatie) met neurale netwerkcompressie door empirische Gramianen aan te passen voor nietlineaire, data-gedreven systemen.
Praktisch Nut: In tegen tegenstelling tot projectie-gebaseerde methoden die enkel redundantie diagnosticeren, zet de voorgestelde "gerealiseerde" aanpak deze diagnoses om in inzetbare, kleinere netwerken met minder parameters en gereduceerde latentie.
Focus op Toestandorde: De resultaten tonen aan dat significante compressie kan worden bereikt door te richten op de verborgen-toestandorde (de dimensie van interne representaties) in plaats van alleen het aantal gewichten, vaak met weinig tot geen verlies in nauwkeurigheid.
Bescheidenheid over Beperkingen: De auteurs erkennen dat de rangen empirisch en data-afhankelijk zijn, en dat er geen worst-case theoretische foutmarges zijn voor nietlineaire systemen. Ze merken ook op dat de computationele kosten voor het schatten van de observability Gramianen en de noodzaak om de gecomprimeerde architectuur opnieuw te trainen, een factor zijn. De huidige experimenten richten zich op volledig verbonden netwerken om een gecontroleerde setting te bieden, waarbij uitbreidingen naar CNN's en Transformers als toekomstig werk worden genoemd.

Samenvattend betogen de auteurs dat door DNN's te bekijken door de lens van controleerbaarheid en observeerbaarheid, men redundante verborgen-toestandrichtingen kan identificeren en verwijderen die ofwel niet door data worden geëxciteerd of irrelevant zijn voor de output, waardoor de constructie van efficiënte, hoogwaardige neurale netwerken mogelijk wordt.