⚡ electrical engineering

AIRE-Prune: Asymptotic Impulse-Response Energy for State Pruning in State Space Models

AIRE-Prune is een gestructureerde post-training pruning-methode voor State Space Models die de staatdimensies vermindert door staten toe te wijzen en te selecteren op basis van gesloten vorm asymptotische impulsrespons-energiescores, waarbij significante rekenreducties worden bereikt met minimaal nauwkeurigheidsverlies over diverse benchmarks.

Oorspronkelijke auteurs: Apurba Prasad Padhy, Fernando Camacho, Saibal Mukhopadhyay

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Apurba Prasad Padhy, Fernando Camacho, Saibal Mukhopadhyay

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, superintelligente bibliotheek hebt (een State Space Model) die lange verhalen leest of lange audiofragmenten beluistert. Om het verhaal te begrijpen, heeft deze bibliotheek duizenden kleine "notulisten" (genaamd states) in zijn brein. Elke notulist is verantwoordelijk voor het onthouden van een specifiek stukje informatie uit het verleden.

Het probleem is dat de bibliotheek overbezet is. Er zijn veel meer notulisten aangenomen dan nodig is. Dit maakt de bibliotheek traag, duur in gebruik en moeilijk te beheren, terwijl de meeste notulisten er gewoon bij zitten zonder iets belangrijks te doen.

AIRE-Prune is een nieuwe, slimme methode om de overbodige notulisten te ontslaan zonder het vermogen van de bibliotheek om het verhaal te vertellen aan te tasten. Zo werkt het, met behulp van eenvoudige analogieën:

1. De oude manier: "De luidste schreeuw" (Worst-case)

Eerdere methoden probeerden te beslissen welke notulisten ze moesten houden door te vragen: "Wie is het luidst? Wie zou het hardst kunnen schreeuwen als we diegene tot het absolute uiterste drijven?"

Dit is als een brandoefening waarbij je alleen de mensen houdt die het hardst kunnen schreeuwen. Het probleem is dat in het echte leven niemand zo hard schreeuwt. Je eindigt dus met mensen die geweldig zijn in schreeuwen maar nutteloos zijn in een normaal gesprek, terwijl je de stille mensen ontslaat die eigenlijk het dagelijkens werk doen. Dit wordt een "worst-case" benadering genoemd, en het is vaak te conservatief.

2. De nieuwe manier: "De totale energiescore" (AIRE-Prune)

De auteurs van dit paper zeggen: "Laten we stoppen met ons zorgen over de luidste mogelijke schreeuw. Laten we in plaats daarvan meten hoeveel totaal werk elke notulist daadwerkelijk verricht over een lange, oneindige periode van tijd."

Ze noemen dit Asymptotic Impulse-Response Energy.

De metafoor: Stel je voor dat je een notulist één keer een tik geeft (een "impuls"). Hoeveel energie creëert die enkele tik in het uiteindelijke verhaal?
Sommige notulisten zijn als een zware trom: je tikt ze één keer aan en ze blijven een lange tijd trillen, wat veel "energie" aan het verhaal bijdraagt.
Andere notulisten zijn als een veertje: je tikt ze aan en ze bewegen nauwelijks. Ze dragen bijna niets bij.

AIRE-Prune berekent een score voor elke individuele notulist op basis van deze totale energie. Als de score van een notulist laag is, betekent dit dat hij in feite "dood gewicht" is.

3. Het "Globale Scorebord" (Normalisatie)

Hier komt het lastige deel: de bibliotheek heeft verschillende kamers (lagen). In de "Ingangskamer" zijn de notulisten van nature misschien heel luid. In de "Uitgangskamer" zijn ze van nature misschien juist heel stil. Als je alleen naar ruwe scores kijkt, kun je per ongeluk iedereen in de stille kamer ontslaan.

AIRE-Prune lost dit op door een genormaliseerd scorebord te maken. Het kijkt naar de "Ingangskamer" en zegt: "Oké, wie behoren tot de top 10% van de werkers hier?" en doet hetzelfde voor de "Uitgangskamer". Vervolgens zet het al deze "topwerkers" op één grote lijst om te beslissen wie blijft. Dit zorgt ervoor dat elke kamer een eerlijke kans krijgt, ongeacht hoe luid of stil die kamer normaal gesproken is.

4. De resultaten: Het overtollige weghalen

Het paper testte dit op een beroemde reeks uitdagingen genaamd de Long Range Arena (waarbij modellen zeer lange reeksen gegevens moeten onthouden).

Het magische getal: Ze waren in staat om gemiddeld 60,8% van de notulisten (states) te ontslaan.
De kosten: De nauwkeurigheid van de bibliotheek daalde met slechts 0,29%. Dat is vrijwel onzichtbaar.
Het voordeel: Omdat ze zoveel notulisten hebben ontslagen, werd de bibliotheek veel sneller en verbruikte deze veel minder geheugen.

Waarom is dit beter dan de concurrentie?

Het paper vergelijkt AIRE-Prune met de vorige beste methode (genaamd LAST), die de "Luidste Schreeuw" (worst-case) methode gebruikte.

LAST was als een voorzichtige manager die te veel mensen hield voor het geval dat.
AIRE-Prune is als een slimme manager die naar de werkelijke dagelijkse output kijkt. Het ontdekte dat de bibliotheek veel "dood gewicht" met zich meesleepte dat de oude methode miste.

Samenvatting

Beschouw AIRE-Prune als een zeer efficiënte HR-afdeling voor AI-modellen. In plaats van te gokken wie belangrijk is op basis van wie het hardst zou kunnen schreeuwen, meet het wie er over een bepaalde tijd daadwerkelijk energie bijdraagt aan het resultaat. Door de werkers met een lage energie te ontslaan, wordt de AI sneller en goedkoper in gebruik, terwijl het verhaal (de nauwkeurigheid) bijna exact hetzelfde blijft.

Het paper beweert dat dit werkt voor verschillende soorten AI-modellen (zoals S5, S4D en Mamba) en dat er geen hertraining nodig is. Je berekent de scores, snijdt de onderste 60% weg, en dat is het.

Technische Samenvatting: AIRE-Prune

Probleemstelling

Deep State Space Models (SSMs) hebben bewezen effectief te zijn bij het modelleren van sequentiële data door de inputgeschiedenis te comprimeren in interne toestanden. De toestandsdimensie $n$ blijft echter een primaire drijfveer voor computationele en geheugenkosten. Moderne architecturen maken vaak gebruik van diagonale of diagonaliseerbare parametrisaties (bijv. multi-SISO of MIMO-stacks zoals S5) om stabiliteit en efficiëntie te waarborgen, maar deze modellen lijden vaak aan overparameterisatie. Bestaande mechanismen voor post-training optimalisatie van $n$ zijn beperkt. Eerdere benaderingen, zoals ongestructureerde gewichtspruning, reduceren de toestandsdimensie niet direct. Andere gestructureerde methoden, zoals de recente LAST (Gwak et al., 2025), vertrouwen op de worst-case frequentiedomein-versterking ( $H_\infty$ ) om toestanden te scoren. Hoewel effectief, kunnen worst-case maten te conservatief zijn voor typische workloads, omdat ze de nadruk leggen op piekversterkingen die taken zelden exciteren, wat kan leiden tot suboptimale compressieverhoudingen.

Methodologie: AIRE-Prune

De auteurs introduceren AIRE-Prune (Asymptotic Impulse-Response Energy for State PRUN(E)ing), een gestructureerde, post-training, laag-adaptieve pruning-methode ontworpen voor diagonale (of diagonaliseerbare) SSMs. In tegenstelling tot eerdere methoden die zich richten op worst-case winst, stemt AIRE-Prune de pruning af op de asymptotische impulsrespons-energie, een criterium voor het typische geval dat de totale outputenergie vertegenwoordigt die een toestand over een oneindige tijdhorizon bijdraagt.

Kernmechanisme

Energie-gebaseerde Ranking:
Voor een stabiele discrete-tijd diagonale SSM-laag gedefinieerd door $(\Lambda, B, C)$ , waarbij $\Lambda = \text{diag}(\lambda_1, \dots, \lambda_n)$ en $|\lambda_i| < 1$ , berekent de methode de totale kwadratische outputenergie gegenereerd door een eenheidsimpuls-input voor elke toestand (modus) $i$ .
De gesloten vorm score voor de $i$ -de modus wordt afgeleid als:
$\text{EnergyScore}_{\text{local}}(x_i) = E_i = \frac{\|C_{:,i}\|_2^2 \|B_{i,:}\|_2^2}{1 - |\lambda_i|^2}$
Deze score integreert drie factoren:
- Controleerbaarheid: Vertegenwoordigd door $\|B_{i,:}\|_2^2$ (gemak van excitatie).
- Observeerbaarheid: Vertegenwoordigd door $\|C_{:,i}\|_2^2$ (gemak van meting).
- Demping/Geheugen: Vertegenwoordigd door de pool $\lambda_i$ ; toestanden met polen dichter bij de eenheidscirkel (langzamere afname) dragen meer bij aan de langetermijnenergie.
Cross-Layer Normalisatie:
Omdat energieschalen aanzienlijk kunnen variëren tussen verschillende lagen (bijv. door encoder/decoder gains), stellen de auteurs een prefix-genormaliseerde scoringsstrategie voor om globale vergelijking mogelijk te maken:
- Binnen elke laag $\ell$ worden modi gesorteerd op hun lokale energie $E^{(\ell)}_i$ in aflopende volgorde.
- Een prefix-som $S^{(\ell)}_{(i)}$ wordt berekend voor de gesorteerde energieën.
- De globale score wordt gedefinieerd als de "hazard-rate" ratio:
  $\text{AIREPrune}(x^{(\ell)}_{(i)}) = \frac{E^{(\ell)}_{(i)}}{S^{(\ell)}_{(i)} + \epsilon}$
  Deze normalisatie zorgt ervoor dat de scores binnen een laag monotoon niet-toenemend zijn, waardoor een enkele globale drempelwaarde $\tau$ over het gehele model kan worden toegepast.
Pruning Executie:
Gegeven een doelstelling voor de pruning-ratio of drempelwaarde, behoudt het algoritme het langste prefix van toestanden in elke laag waar de genormaliseerde score de $\tau$ overschrijdt. Dit maakt laag-adaptieve pruning mogelijk waarbij sommige lagen zwaar gepruned kunnen worden of zelfs geheel verwijderd kunnen worden als hun toestanden onder de globale drempelwaarde vallen, terwijl andere grotendeels intact blijven.

Belangrijkste Bijdragen

Closed-Form Asymptotic Energy Score: Het artikel biedt een wiskundig afgeleide, closed-form score voor elke geleerde modus gebaseerd op de outputenergie over een oneindige horizon. Dit voorkomt de noodzaak van dure numerieke simulaties of hertraining.
Extensie van Modale Truncatie: Het werk breidt klassieke modale truncatie (meestal toegepast op enkelvoudige lineaire systemen) uit naar diepe stacks van niet-lineaire SSM's, waarbij de diagonale structuur die essentieel is voor efficiëntie behouden blijft.
Typisch Geval vs. Worst-Case: Door de belangstelling te verschuiven van de worst-case $H_\infty$ -winst naar de totale impulsrespons-energie, richt de methode zich op het geaggregeerde gedrag van het systeem in plaats van op zeldzame piekversterkingen.
Architectuur-Agnostisch: De methode is toepasbaar op zowel multi-SISO constructies als MIMO-stacks (bijv. S5-stijl), evenals andere SSM-families zoals S4D en Mamba.

Experimentele Resultaten

De auteurs evalueerden AIRE-Prune op de Long Range Arena (LRA) benchmark en de Speech Commands dataset met behulp van S5, S4D en Mamba backbones.

Compressie-efficiëntie: Over diverse benchmarks heen bereikte AIRE-Prune een gemiddelde state pruning van 60,8% met een gemiddelde nauwkeurigheidsdaling van slechts 0,29% zonder enige hertraining.
Vergelijking met Baselines:
- Op de LRA-suite presteerde AIRE-Prune significant beter dan baselines inclusief Random, Uniform Magnitude, Global Magnitude, LAMP, Uniform $H_\infty$ , Global $H_\infty$ , en LAST.
- Onder een strikte beperking van $\le 1$ procentpunt (pp) nauwkeurigheidsverlies, maakte AIRE-Prune aanzienlijk hogere pruning-ratio's mogelijk dan de sterkste baseline (LAST). Bijvoorbeeld, op de Path-X taak pruneerde AIRE-Prune veilig 70% van de toestanden vergeleken met 30% voor LAST.
- Op de Speech Commands taak werden 45% van de toestanden gepruned met verwaarloosbaar nauwkeurigheidsverlies (96,40% vs. 96,43% voor het volledige model).
Inference Efficiëntie: De pruning vertaalde zich direct naar systeemniveau winsten. Op een NVIDIA H100 GPU leverde de methode inference speedups op van 1,23 $\times$ tot 2,86 $\times$ en parameterreducties van 19% tot 65%, afhankelijk van de taak en de pruning-ratio.
Generalisatie: De methode demonstreerde robuuste prestaties op S4D en Mamba architecturen, waarbij tot 90% pruning werd bereikt op de Text taak voor S4D en 80% op de Image taak voor Mamba met minimale impact op de nauwkeurigheid.

Betekenis en Claims

Het artikel claimt dat AIRE-Prune substantiële redundantie onthult in de state spaces van getrainde SSM's, die kan worden verwijderd zonder hertraining. Door de pruning af te stemmen op de asymptotische responsenergie in plaats van de worst-case winst, bereikt de methode agressieve compressie met verwaarloosbare kosten voor de taakprestaties.

De auteurs benadrukken dat het "stap-achtige" profiel van de nauwkeurigheidsdaling dat wordt waargenomen met AIRE-Prune (waarbij de nauwkeurigheid stabiel blijft totdat een hoge pruning-drempel wordt bereikt, om vervolgens scherp te dalen), wijst op een sterke scheiding tussen belangrijke en onbelangrijke toestanden. Dit contrasteert met baselines die een vloeiende degradatie vertonen, wat suggereert dat hun scoringsmethoden belangrijke en onbelangrijke toestanden mengen.

In de praktijk maakt de methode het volgende mogelijk:

Global Budgeting: Het instellen van een enkel doelbudget zonder per-laag afstemming.
Block-Level Reductie: De mogelijkheid om volledige lagen te prunen wanneer hun toestanden onder de drempelwaarde vallen, wat fine-grained sparsity omzet in block-gestructureerde reducties die hardware-vriendelijker zijn.
Training-Free Optimalisatie: Een post-training mechanisme dat geen extra fine-tuning vereist, waardoor het direct toepasbaar is op uitgerolde modellen.

Het werk concludeert dat AIRE-Prune een principieel, energie-gebaseerd benadering biedt voor model order reductie in diepe SSM's, die de huidige state-of-the-art pruning-strategieën overtreft in zowel compressieratio als behoud van nauwkeurigheid.