⚡ electrical engineering

AIRE-Prune: Asymptotic Impulse-Response Energy for State Pruning in State Space Models

AIRE-Prune ist eine strukturierte Post-Training-Pruning-Methode für State Space Models, die die Zustandsdimensionen reduziert, indem sie Zustände basierend auf geschlossenen asymptotischen Impulsantwort-Energiewerten zuweist und auswählt, wodurch signifikante Rechenreduzierungen bei minimalem Genauigkeitsverlust über verschiedene Benchmarks hinweg erreicht werden.

Ursprüngliche Autoren: Apurba Prasad Padhy, Fernando Camacho, Saibal Mukhopadhyay

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Apurba Prasad Padhy, Fernando Camacho, Saibal Mukhopadhyay

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, superintelligente Bibliothek (ein State Space Model), die lange Geschichten liest oder lange Audioaufnahmen anhört. Um die Geschichte zu verstehen, besitzt diese Bibliothek im Inneren ihres Gehirns tausende winziger „Notizenschreiber“ (genannt States). Jeder Notizenschreiber ist dafür verantwortlich, ein bestimmtes Stück Information aus der Vergangenheit zu speichern.

Das Problem ist, dass die Bibliothek überbesetzt ist. Sie hat viel mehr Notizenschreiber eingestellt, als sie eigentlich benötigt. Das macht die Bibliothek langsam, teuer im Betrieb und schwer zu verwalten, obwohl die meisten Notizenschreiber einfach nur dastehen und nichts Wichtiges tun.

AIRE-Prune ist eine neue, clevere Methode, um die unnötigen Notizenschreiber zu entlassen, ohne die Fähigkeit der Bibliothek, die Geschichte zu erzählen, zu beeinträchtigen. So funktioniert es, erklärt durch einfache Analogien:

1. Die alte Art: „Der lauteste Schrei“ (Worst-Case)

Frühere Methoden versuchten zu entscheiden, welche Notizenschreiber man behält, indem sie fragten: „Wer ist am lautesten? Wer könnte am lautesten schreien, wenn wir sie bis an ihre absolute Grenze treiben würden?“

Das ist wie eine Feuerübung, bei der man nur die Leute behält, die am lautesten schreien können. Das Problem ist: Im echten Leben schreit niemand jemals so laut. Man behält also Leute, die großartig darin sind zu schreien, aber für ein normales Gespräch nutzlos sind, während man die leisen Leute entlässt, die eigentlich die tägliche Arbeit erledigen. Dies wird als „Worst-Case“-Ansatz bezeichnet und ist oft zu konservativ.

2. Die neue Art: „Der totale Energie-Score“ (AIRE-Prune)

Die Autoren dieser Arbeit sagen: „Hören wir auf, uns vor dem lautesten möglichen Schrei zu sorgen. Lassen Sie uns stattdessen messen, wie viel totale Arbeit jeder Notizenschreiber über einen langen, unendlichen Zeitraum hinweg tatsächlich leistet.“

Sie nennen das Asymptotische Impuls-Antwort-Energie (Asymptotic Impulse-Response Energy).

Die Metapher: Stellen Sie sich vor, Sie tippen einmal gegen einen Notizenschreiber (einen „Impuls“). Wie viel Energie erzeugt dieser einzelne Tipp in der fertigen Geschichte?
Einige Notizenschreiber sind wie eine schwere Trommel: Man tippt einmal gegen sie, und sie vibriert lange Zeit und trägt viel „Energie“ zur Geschichte bei.
Andere Notizenschreiber sind wie eine Feder: Man tippt gegen sie, und sie bewegt sich kaum. Sie tragen fast nichts bei.

AIRE-Prune berechnet für jeden einzelnen Notizenschreiber einen Score basierend auf dieser totalen Energie. Wenn der Score eines Notizenschreibers niedrig ist, bedeutet das, dass er im Grunde „totes Gewicht“ ist.

3. Die „Globale Bestenliste“ (Normalisierung)

Hier ist der knifflige Teil: Die Bibliothek hat verschiedene Räume (Layer). Im „Eingangsraum“ sind die Notizenschreiber von Natur aus vielleicht sehr laut. Im „Ausgangsraum“ sind sie von Natur aus vielleicht sehr leise. Wenn man nur die Rohwerte vergleicht, könnte man versehentlich alle Leute im leisen Raum entlassen.

AIRE-Prune löst dies durch eine normalisierte Bestenliste. Es schaut in den „Eingangsraum“ und sagt: „Okay, wer sind die obersten 10 % der Arbeiter hier?“ und macht dasselbe für den „Ausgangsraum“. Dann setzt es alle diese „Top-Arbeiter“ auf eine einzige große Liste, um zu entscheiden, wer bleibt. Dies stellt sicher, dass jeder Raum eine faire Chance erhält, unabhängig davon, wie laut oder leise dieser Raum normalerweise ist.

4. Die Ergebnisse: Den Ballast abwerfen

Die Autoren haben das Modell in einer berühmten Testreihe namens Long Range Arena getestet (wo Modelle extrem lange Sequenzen von Daten speichern müssen).

Die magische Zahl: Sie konnten im Durchschnitt 60,8 % der Notizenschreiber (States) entlassen.
Die Kosten: Die Genauigkeit der Bibliothek sank um nur 0,29 %. Das ist praktisch unsichtbar.
Der Nutzen: Weil sie so viele Notizenschreiber entlassen haben, wurde die Bibliothek viel schneller und verbrauchte viel weniger Speicherplatz.

Warum ist das besser als die Konkurrenz?

Das Paper vergleicht AIRE-Prune mit der bisher besten Methode (genannt LAST), die den „Lauten Schrei“ (Worst-Case) verwendete.

LAST war wie ein vorsichtiger Manager, der aus Sicherheitsgründen zu viele Leute behielt.
AIRE-Prune ist wie ein smarter Manager, der tatsächlich auf den täglichen Output schaut. Es fand heraus, dass die Bibliothek viel „totes Gewicht“ mit sich herumtrug, das die alte Methode übersehen hatte.

Zusammenfassung

Betrachten Sie AIRE-Prune als eine hoch effiziente Personalabteilung für KI-Modelle. Anstatt zu raten, wer wichtig ist, basierend darauf, wer am lautesten sein könnte, misst es, wer über die Zeit hinweg tatsächlich Energie zum Endergebnis beiträgt. Durch das Entlassen der energiearmen Arbeiter wird die KI schneller und kostengünstiger im Betrieb, während die Geschichte (die Genauigkeit) fast exakt gleich bleibt.

Die Autoren behaupten, dass dies für verschiedene Arten von KI-Modellen (wie S5, S4D und Mamba) funktioniert und kein Nachtraining (Retraining) erfordert. Man berechnet einfach die Scores, schneidet die untersten 60 % ab, und das war's.

Technisches Resümee: AIRE-Prune

Problemstellung

Deep State Space Models (SSMs) haben sich bei der Modellierung sequenzieller Daten als effektiv erwiesen, indem sie die Eingabegeschichte in internen Zuständen komprimieren. Die Zustandsdimension $n$ bleibt jedoch ein primärer Treiber für Rechen- und Speicherkosten. Moderne Architekturen nutzen häufig diagonale oder diagonalisierbare Parametrisierungen (z. B. Multi-SISO- oder MIMO-Stacks wie S5), um Stabilität und Effizienz zu gewährleisten, doch diese Modelle leiden häufig unter Überparametrisierung. Bestehende Post-Training-Mechanismen zur Optimierung von $n$ sind begrenzt. Vorherige Ansätze, wie das unstrukturierte Gewichts-Pruning, reduzieren die Zustandsdimension nicht direkt. Andere strukturierte Methoden, wie das jüngste LAST (Gwak et al., 2025), stützen sich auf den Worst-Case-Frequenzbereichsgewinn ( $H_\infty$ ), um Zustände zu bewerten. Während dies effektiv ist, können Worst-Case-Maße für typische Arbeitslasten zu konservativ sein, da sie die Spitzenverstärkung betonen, die Aufgaben möglicherweise selten anregen, was potenziell zu suboptimalen Kompressionsraten führen kann.

Methodik: AIRE-Prune

Die Autoren führen AIRE-Prune (Asymptotic Impulse-Response Energy for State PRUN(E)ing) ein, eine strukturierte, Post-Training-, schichtadaptive Pruning-Methode, die für diagonale (oder diagonalisierbare) SSMs entwickelt wurde. Im Gegensatz zu bisherigen Methoden, die sich auf den Worst-Case-Gewinn konzentrieren, richtet AIRE-Prune das Pruning nach der asymptotischen Impulsantwort-Energie aus – einem Kriterium für den typischen Fall, das die gesamte Ausgangsenergie darstellt, die ein Zustand über einen unendlichen Zeithorizont beiträgt.

Kernmechanismus

Energiebasierte Rangfolge:
Für eine stabile diskrete diagonale SSM-Schicht, definiert durch $(\Lambda, B, C)$ , wobei $\Lambda = \text{diag}(\lambda_1, \dots, \lambda_n)$ und $|\lambda_i| < 1$ , berechnet die Methode die gesamte quadratische Ausgangsenergie, die durch einen Einheitsimpuls-Input für jeden Zustand (Modus) $i$ erzeugt wird.
Der geschlossene Score für den $i$ -ten Modus wird wie folgt abgeleitet:
$\text{EnergyScore}_{\text{local}}(x_i) = E_i = \frac{\|C_{:,i}\|_2^2 \|B_{i,:}\|_2^2}{1 - |\lambda_i|^2}$
Dieser Score integriert drei Faktoren:
- Steuerbarkeit (Controllability): Repräsentiert durch $\|B_{i,:}\|_2^2$ (Leichtigkeit der Erregung).
- Beobachtbarkeit (Observability): Repräsentiert durch $\|C_{:,i}\|_2^2$ (Leichtigkeit der Messung).
- Dämpfung/Gedächtnis (Damping/Memory): Repräsentiert durch den Pol $\lambda_i$ ; Zustände mit Polen näher am Einheitskreis (langsamerer Zerfall) tragen mehr zur Langzeitenergie bei.
Cross-Layer-Normalisierung:
Da Energieskalen über verschiedene Schichten hinweg erheblich variieren können (z. B. aufgrund von Encoder/Decoder-Gewinnen), schlagen die Autoren eine Präfix-normalisierte Scoring-Strategie vor, um einen globalen Vergleich zu ermöglichen:
- Innerhalb jeder Schicht $\ell$ werden die Modi nach ihrer lokalen Energie $E^{(\ell)}_i$ in absteigender Reihenfolge sortiert.
- Eine Präfixsumme $S^{(\ell)}_{(i)}$ wird für die sortierten Energien berechnet.
- Der globale Score wird als "Hazard-Rate"-Verhältnis definiert:
  $\text{AIREPrune}(x^{(\ell)}_{(i)}) = \frac{E^{(\ell)}_{(i)}}{S^{(\ell)}_{(i)} + \epsilon}$
  Diese Normalisierung stellt sicher, dass die Scores innerhalb einer Schicht monoton nicht-steigend sind, was es ermöglicht, einen einzigen globalen Schwellenwert $\tau$ für das gesamte Modell anzuwenden.
Pruning-Ausführung:
Gegeben eine Ziel-Pruning-Rate oder einen Schwellenwert, behält der Algorithmus das längste Präfix der Zustände in jeder Schicht, deren normalisierter Score den Wert $\tau$ überschreitet. Dies ermöglicht ein schichtadaptives Pruning, bei dem einige Schichten stark beschnitten oder sogar vollständig entfernt werden können, falls ihre Zustände unter den globalen Schwellenwert fallen, während andere weitgehend intakt bleiben.

Wichtigste Beiträge

Geschlossener asymptotischer Energie-Score: Die Arbeit liefert einen mathematisch abgeleiteten, geschlossenen Score für jeden gelernten Modus basierend auf der Ausgangsenergie über den unendlichen Horizont. Dies vermeidet teure numerische Simulationen oder Retraining.
Erweiterung der Modaltrennung (Modal Truncation): Die Arbeit erweitert die klassische Modaltrennung (die typischerweise auf einzelne lineare Systeme angewendet wird) auf tiefe Stapel nichtlinearer SSMs und bewahrt dabei die für die Effizienz essentielle diagonale Struktur.
Typischer Fall vs. Worst-Case: Durch die Verschiebung der Wichtigkeit von der Worst-Case- $H_\infty$ -Verstärkung hin zur gesamten Impulsantwort-Energie zielt die Methode auf das aggregierte Verhalten des Systems ab, anstatt auf seltene Spitzenverstärkungen.
Architektur-Agnostizismus: Die Methode ist sowohl für Multi-SISO-Konstruktionen als auch für MIMO-Stacks (z. B. S5-Stil) sowie für andere SSM-Familien wie S4D und Mamba anwendbar.

Experimentelle Ergebnisse

Die Autoren evaluierten AIRE-Prune auf dem Long Range Arena (LRA) Benchmark und dem Speech Commands Datensatz unter Verwendung von S5-, S4D- und Mamba-Backbones.

Kompressions-Effizienz: Über verschiedene Benchmarks hinweg erreichte AIRE-Prune eine durchschnittliche Zustands-Pruning-Rate von 60,8 % mit einem durchschnittlichen Genauigkeitsverlust von nur 0,29 % ohne jegliches Retraining.
Vergleich mit Baselines:
- Im LRA-Suite übertraf AIRE-Prune die Baselines einschließlich Random, Uniform Magnitude, Global Magnitude, LAMP, Uniform $H_\infty$ , Global $H_\infty$ und LAST signifikant.
- Unter der strengen Bedingung eines Genauigkeitsverlusts von $\le 1$ Prozentpunkt (pp) ermöglichte AIRE-Prune wesentlich höhere Pruning-Raten als die stärkste Baseline (LAST). Beispielsweise konnte AIRE-Prune bei der Path-X-Aufgabe sicher 70 % der Zustände prunen, verglichen mit 30 % bei LAST.
- Bei der Speech Commands Aufgabe wurden 45 % der Zustände mit vernachlässigbarem Genauigkeitsverlust geprunt (96,40 % vs. 96,43 % für das volle Modell).
Inferenz-Effizienz: Das Pruning übersetzte sich direkt in systemseitige Gewinne. Auf einer NVIDIA H100 GPU lieferte die Methode Inferenz-Beschleunigungen im Bereich von 1,23 $\times$ bis 2,86 $\times$ und Parameterreduktionen von 19 % bis 65 %, abhängig von der Aufgabe und der Pruning-Rate.
Generalisierung: Die Methode zeigte eine robuste Leistung bei S4D- und Mamba-Architekturen und erreichte bis zu 90 % Pruning beim Text-Task für S4D und 80 % beim Image-Task für Mamba bei minimalem Genauigkeitsverlust.

Bedeutung und Ansprüche

Das Paper behauptet, dass AIRE-Prune erhebliche Redundanz in den Zustandsräumen trainierter SSMs aufdeckt, die ohne Retraining entfernt werden kann. Indem es das Pruning mit der asymptotischen Antwortenergie statt mit dem Worst-Case-Gewinn abgleicht, erreicht die Methode eine aggressive Kompression bei vernachlässigbaren Kosten für die Aufgabenleistung.

Die Autoren heben hervor, dass das beobachtete "stufenartige" Genauigkeitsabfallprofil von AIRE-Prune (bei dem die Genauigkeit stabil bleibt, bis ein hoher Pruning-Schwellenwert erreicht wird, und dann scharf abfällt) auf eine starke Trennung zwischen wichtigen und unwichtigen Zuständen hindeutet. Dies steht im Gegensatz zu Baselines, die einen glatten Degradationsverlauf zeigen, was darauf hindeutet, dass deren Scoring-Methoden wichtige und unwichtige Zustände vermischen.

Praktisch ermöglicht die Methode:

Globales Budgeting: Festlegung eines einzigen Zielbudgets ohne pro-Schicht-Abstimmung.
Blockweise Reduktion: Die Fähigkeit, ganze Schichten zu prunen, wenn ihre Zustände unter den Schwellenwert fallen, wodurch feingranulare Sparsamkeit in blockstrukturierte Reduktionen umgewandelt wird, die hardwarefreundlicher sind.
Training-freie Optimierung: Ein Post-Training-Mechanismus, der kein zusätzliches Fine-Tuning erfordert, was ihn unmittelbar für deployte Modelle anwendbar macht.

Die Arbeit kommt zu dem Schluss, dass AIRE-Prune einen prinzipienbasierten, energiebasierten Ansatz zur Modellordnungreduktion in tiefen SSMs bietet, der bestehende State-of-the-Art-Pruning-Strategien sowohl in der Kompressionsrate als auch in der Bewahrung der Genauigkeit übertrifft.