🤖 machine learning

Empirical Minimal-Realisation Compression of Deep Neural Networks via Controllability-Observability Tests

Dieses Paper schlägt ein Steuerbarkeits-Beobachtbarkeits-Framework vor, das trainierte tiefe neuronale Netze als nichtlineare dynamische Systeme behandelt, um durch balancierte Realisierung redundante verborgene Zustände empirisch zu identifizieren und zu eliminieren, wodurch eine signifikante Parameterkompression und Inferenzbeschleunigung auf MNIST und CIFAR-10 bei vernachlässigbarem Genauigkeitsverlust erreicht wird.

Ursprüngliche Autoren: Anis Hamadouche, Amir Hussain

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anis Hamadouche, Amir Hussain

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige, unglaublich detaillierte Fabrik zum Sortieren von Post gebaut. Diese Fabrik verfügt über tausende von Arbeitern (Neuronen) und endlose Förderbänder (Schichten). Das Problem ist: Obwohl die Fabrik perfekt funktioniert, ist sie riesig, teuer im Betrieb und langsam. Sie vermuten, dass viele der Arbeiter einfach nur herumsitzen und nichts tun, oder dass einige Förderbänder Pakete transportieren, die niemals geöffnet werden.

Dieses Paper schlägt einen neuen Weg vor, um diese Fabrik zu verkleinern, ohne den Sortierprozess zu unterbrechen. Anstatt einfach nur zufällig Arbeiter zu entlassen oder die Förderbänder dünner zu machen, nutzt die Methode der Autoren einen „Regelungstheorie“-Ansatz (Control Theory), um genau herauszufinden, welche Teile der Fabrik tatsächlich die Hauptarbeit leisten.

Hier ist die Aufschlüsselung ihrer Methode anhand einfacher Analogien:

1. Die Fabrik als Reise

Die Autoren betrachten das neuronale Netz nicht nur als eine statische Liste von Zahlen, sondern als eine Reise.

Der Input: Ein Stück Post tritt in die Fabrik ein.
Die verborgenen Zustände: Während die Post durch die Fabrik bewegt wird, passiert sie verschiedene Räume (Schichten). In jedem Raum wird die Post bearbeitet und verändert.
Der Output: Das fertige, sortierte Ergebnis kommt auf der anderen Seite heraus.

Die Frage ist: Wie viele Räume brauchen wir tatsächlich, und wie groß muss jeder einzelne Raum sein?

2. Die drei Tests (A, B und C)

Um dies zu beantworten, führen die Autoren drei spezifische Tests an der Fabrik durch, während diese mit echter Post arbeitet. Sie nennen diese Tests A, B und C.

Test A: Der „Wer erscheint überhaupt?“-Test (Erreichbarkeit/Reachability)
Stellen Sie sich vor, man fragt: „Welche Arbeiter werden tatsächlich zum Einsatz gerufen, wenn Post ankommt?“
- Wenn ein Arbeiter nie von der Post berührt wird, ist er nutzlos.
- Dieser Test misst, welche Teile der Fabrik durch die Daten tatsächlich „erregt“ werden. Er findet die beschäftigten Arbeiter.
Test B: Der „Wer ist wichtigast?“ Test (Beobachtbarkeit/Observability)
Stellen Sie sich vor, man fragt: „Wenn wir die Handlung eines bestimmten Arbeiters leicht verändern, ändert das das Endergebnis?“
- Einige Arbeiter mögen zwar sehr beschäftigt sein, aber wenn man ändert, was sie tun, sieht die fertig sortierte Post exakt gleich aus. Sie sind zwar beschäftigt, aber irrelevant.
- Dieser Test misst, welche Arbeiter tatsächlich den Endausgang beeinflussen.
Test C: Der „Sweet Spot“-Test (Ausgewogenheit/Balanced)
Dies ist die magische Kombination. Es wird gefragt: „Welche Arbeiter sind SOWOHL beschäftigt MIT der Post ALS AUCH tatsächlich entscheidend FÜR das Endergebnis?“
- Wenn ein Arbeiter zwar beschäftigt, aber nicht wichtig ist, streichen Sie ihn.
- Wenn ein Arbeiter zwar wichtig ist, aber nie beschäftigt wird, streichen Sie ihn.
- Behalten Sie nur die Arbeiter, die sowohl aktiv als auch essenziell sind.

3. Das Ergebnis: Eine „realisierte“ Mini-Fabrik

Die meisten Kompressionsmethoden sind so, als würde man ein Foto der Fabrik machen und sagen: „Wir brauchen nur 20 % des Platzes.“ Aber man muss trotzdem das ganze Gebäude behalten.

Dieses Paper geht einen Schritt weiter. Sie nehmen die Ergebnisse von Test C und bauen tatsächlich eine neue, kleinere Fabrik basierend auf diesen Zahlen.

Wenn Test C sagt, dass der erste Raum nur 100 Arbeiter benötigt statt 1.000, bauen sie einen Raum mit genau 100 Arbeitern.
Sie trainieren diese neue, winzige Fabrik dann von Grund auf neu (oder bringen ihr das Handwerk durch Beobachten der großen Fabrik bei).

4. Was sie herausgefunden haben

Sie haben dies auf zwei berühmte „Postsortier“-Datensätze (MNIST und CIFAR-10) getestet.

Das MNIST-Experiment:
- Vorher: Eine Fabrik mit 1.024 „verborgenen“ Arbeitern pro Raum.
- Nachher: Sie stellten fest, dass sie nur 277 Arbeiter brauchten.
- Ergebnis: Sie haben die Größe der Fabrik um 73 % reduziert. Die neue, winzige Fabrik war fast so genau wie die riesige (95,45 % vs. 96,60 %).
Das CIFAR-10-Experiment:
- Vorher: Eine massive Fabrik mit 4.608 Arbeitern pro Raum.
- Nachher: Sie stellten fest, dass sie nur 1.339 Arbeiter brauchten.
- Ergebnis: Sie haben die Größe um 71 % reduziert. Die neue Fabrik war genauso genau wie die große, lief aber auf einem Computerchip 3-mal schneller.

Warum das wichtig ist

Normalerweise, wenn Menschen versuchen, KI zu verkleinern, schneiden sie einfach wahllos Gewichte ab oder senken die Präzision der Zahlen (wie beim Wechsel von High-Definition zu Low-Definition Video). Dieses Paper ist anders, weil es auf den Informationsfluss schaut.

Es ist so, als würde man erkennen, dass man in seinem Haus ein riesiges Esszimmer hat, aber man isst immer nur an einem kleinen Tisch. Anstatt nur einen kleineren Tisch in das große Zimmer zu stellen, sagt diese Methode: „Lass uns einfach ein kleines Haus mit einem kleinen Tisch bauen und das leere Esszimmer komplett weglassen.“

Kurz gesagt: Das Paper bietet einen wissenschaftlichen Weg, die „nützlichen“ Teile eines neuronalen Netzes zu finden und das Netzwerk so umzubauen, dass es viel kleiner und schneller ist, ohne dabei seine Fähigkeit zu verlieren, die Aufgabe zu erfüllen.

Technisches Resümee: Empirische minimal-realisationsbasierte Kompression tiefer neuronaler Netze mittels Kontrollierbarkeits–Beobachtbarkeitstests

1. Problemstellung

Tiefe neuronale Netze (DNNs) weisen häufig erhebliche Redundanzen in ihren verborgenen Zuständen auf, doch die meisten bestehenden Kompressionstechniken operieren direkt auf Gewichten, Neuronen oder der numerischen Präzision, ohne die dynamische Rolle interner Zustände explizit zu charakterisieren. Standardmethoden wie Pruning, Quantisierung und Low-Rank-Faktorisierung versagen oft bei der Beantwortung einer grundlegenden zustandsraumtheoretischen Frage: Welche Richtungen des verborgenen Zustands werden tatsächlich durch die Datenverteilung angeregt, und welche dieser Richtungen sind für den Output relevant? Infolgedessen reduzieren diese Methoden zwar möglicherweise die Parameteranzahl oder den Speicherbedarf, verringern jedoch nicht zwangsläufig die effektive Ordnung des verborgenen Zustands oder die mit der dichten Inferenz verbundene Latenz breiter Schichten.

2. Methodik

Die Arbeit schlägt ein regelungstechnisches Framework zur empirischen Zustandsordnungsreduktion vor, das ein trainiertes Feedforward-DNN als tiefenindexiertes nichtlineares dynamisches System behandelt.

2.1 Zustandsraumformulierung

Das Netzwerk wird als Sequenz nichtlinearer Übergänge modelliert:
$h_{\ell+1} = f_\ell(h_\ell), \quad z = g(h_L)$
wobei $h_\ell$ den verborgenen Zustand in Schicht $\ell$ darstellt und $z$ die Output-Logits bezeichnet. Der Input $x$ wird als Initialzustand $h_0$ behandelt. Das Ziel ist es, die „nützliche Ordnung des verborgenen Zustands“ zu schätzen – die Anzahl der verborgenen Richtungen, die sowohl vom Input erreichbar als auch am Output beobachtbar sind.

2.2 Empirische A/B/C-Tests

Die Autoren führen drei schichtweise Tests ein, die auf empirischen Gramianen basieren, welche aus Snapshots der verborgenen Zustände und Output-Jacobianen abgeleitet werden:

Test A (Erreichbarkeit): Misst, welche verborgenen Richtungen durch die Eingangsdaten angeregt werden. Es berechnet das empirische Erreichbarkeitsgramian ( $G_{c,\ell}$ ) als Kovarianz zentrierter Snapshots der verborgenen Zustände. Der Rang wird durch die spektrale Energie bestimmt, die erforderlich ist, um die dateninduzierte Varianz zu erfassen.
Test B (Beobachtbarkeit): Misst, welche verborgenen Richtungen die Output-Logits beeinflussen. Es berechnet das empirische Beobachtbarkeitsgramian ( $G_{o,\ell}$ ) unter Verwendung der Output-Jacobianen ( $J_\ell = \partial z / \partial h_\ell$ ) in Bezug auf die verborgenen Zustände. Der Rang spiegelt Richtungen wider, die den Klassifikator-Output signifikant beeinflussen.
Test C (Ausbalanciert Erreichbar–Beobachtbar): Kombiniert beide Kriterien, um Richtungen zu identifizieren, die gleichzeitig aus der Datenverteilung erreichbar und durch den Output beobachtbar sind. Es konstruiert eine balancierte Matrix $B_\ell = G_{c,\ell}^{1/2} G_{o,\ell} G_{c,\ell}^{1/2}$ . Der resultierende C-balancierte Rang ( $r_\ell$ ) schätzt die minimale Anzahl an verborgenen Zuständen, die erforderlich ist, um das Input-Output-Verhalten zu bewahren.

2.3 Realisierte vs. Projektive Kompression

Es wird eine entscheidende Unterscheidung zwischen zwei Reduktionsmodi getroffen:

Projektive Reduktion: Bildet verborgene Zustände auf niedrigdimensionale Koordinaten unter Verwendung gelernter Basen ab. Dies diagnostiziert Redundanz, behält aber die ursprünglichen vollen Netzwerkgewichte und Projektionsbasen bei, wodurch Speicherplatz oder die dichte Inferenzlatenz nicht reduziert werden.
Realisierte Kompression: Verwendet die C-balancierten Ränge ( $r_\ell$ ) direkt als die tatsächlichen Breiten der verborgenen Schichten eines neuen, kompakten DNN-Architektur. Dieses neue Netzwerk wird von Grund auf neu trainiert oder mittels Knowledge Distillation trainiert, was zu einer echten Reduktion der Parameter und der Zustandsordnung führt.

3. Kernbeiträge

Zustandsbasierte Formulierung: Die Arbeit formuliert Feedforward-DNNs als tiefenindexierte nichtlineare Zustandsraum-Systeme und definiert die „Ordnung des verborgenen Zustands“ als eine von der Parameteranzahl unterscheidbare, für die Kompression relevante Größe.
Empirisches Kontrollierbarkeits–Beobachtbarkeits-Framework: Es schlägt datengestützte A/B/C-Tests vor, um die nützlichen Dimensionen der verborgenen Schichten mittels empirischer Gramiane und Jacobianen zu schätzen.
Realisierte C-balancierte Kompression: Es führt eine Methode ein, bei der die geschätzten C-balancierten Ränge direkt in die physischen Breiten eines neuen, kompakten Netzwerks umgewandelt werden, wodurch die Lücke zwischen theoretischer Modellreduktion und einsatzfähigem Architekturdesign geschlossen wird.
Umfassende Evaluierung: Die Methode wird gegen projektionsbasierte Reduktion, unstrukturierte/strukturierte Pruning-Verfahren, Low-Rank-SVD, dynamische INT8-Quantisierung und lineare Baselines auf MNIST und CIFAR-10 getestet.

4. Experimentelle Ergebnisse

Das Framework wurde auf vollvernetzten SiLU-DNNs evaluiert, die auf MNIST und CIFAR-10 trainiert wurden.

4.1 MNIST-Ergebnisse

Kompression: Ein 4-schichtiges DNN mit einer vollen Zustandsordnung von 1024 wurde auf eine Zustandsordnung von 277 reduziert (72,95 % Zustands-Kompression).
Parameter: Die Parameteranzahl sank von 400.906 auf 106.323 (73,48 % Kompression, ca. 3,77 $\times$ Reduktion).
Genauigkeit: Das realisierte C-balancierte Modell erreichte eine Genauigkeit von 95,45 %, verglichen mit 96,60 % beim vollen Modell (ein Rückgang um 1,15 Prozentpunkte).
Latenz: Die Inferenzlatenz blieb aufgrund der Reduktion der dichten Matrizendimensionen vergleichbar mit dem vollen Modell.

4.2 CIFAR-10-Ergebnisse

Kompression: Ein größeres DNN mit einer vollen Zustandsordnung von 4608 wurde auf 1339 reduziert (70,94 % Zustands-Kompression).
Parameter: Die Parameteranzahl verringerte sich von 9,97M auf 1,69M (83,09 % Kompression, ca. 5,91 $\times$ Reduktion).
Genauigkeit: Das realisierte Modell bewahrte die Genauigkeit bei 54,44 %, was nahezu identisch mit dem vollen Modell (54,45 %) ist.
Latenz: Die CUDA-Inferenzlatenz wurde um etwa das 3,0-Fache reduziert (von 0,001582 ms/Sample auf 0,000525 ms/Sample).

4.3 Vergleich mit Baselines

Pruning: Unstrukturiertes Pruning (50 %) hielt die Genauigkeit aufrecht, reduzierte jedoch weder die Zustandsordnung noch die dichte Latenz. Strukturiertes Pruning auf C-balancierte Ränge ohne Fine-Tuning führte zu einer geringen Genauigkeit (34,50 % bei MNIST), konnte aber durch Fine-Tuning auf 91,75 % (MNIST) bzw. 55,22 % (CIFAR-10) wiederhergestellt werden, was darauf hindeutet, dass die C-balancierten Ränge valide Zieldimensionen liefern.
SVD: Low-Rank-SVD (0,5 Fraktion) verursachte eine signifikante Degradation der Genauigkeit (85,50 % auf MNIST, 39,06 % auf CIFAR-10), was darauf hindeutet, dass eine rein lokale Gewichtsfaktorisierung die nichtlineare Input-Output-Geometrie nicht so effektiv bewahrt wie der zustandsbasierte C-balancierte Ansatz.
Quantisierung: Die INT8-Quantisierung reduzierte den Speicherbedarf, ließ jedoch die Zustandsordnung und die Architekturbreite unverändert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass balancierte erreichbare–beobachtbare Ränge ein prinzipielles empirisches Minimal-Realisations-Kriterium für das Design kompakter Netzwerkarchitekturen liefern.

Theoretische Brücke: Die Arbeit verbindet die modellreduktionstheoretische Kontrolltheorie (speziell die balancierte Trunkierung) mit der Kompression neuronaler Netze, indem sie empirische Gramiane für nichtlineare, datengesteuerte Systeme adaptiert.
Praktischer Nutzen: Im Gegensatz zu projektionsbasierten Methoden, die lediglich Redundanz diagnostizieren, wandelt der vorgeschlagene „realisierte“ Ansatz diese Diagnosen in einsatzfähige, kleinere Netzwerke mit weniger Parametern und reduzierter Latenz um.
Fokus auf Zustandsordnung: Die Ergebnisse zeigen, dass eine signifikante Kompression durch die Zielsetzung der verborgenen Zustandsordnung (die Dimension interner Repräsentationen) statt nur der Parameteranzahl erreicht werden kann, oft mit kaum oder gar keinem Genauigkeitsverlust.
Eingeständnis von Limitationen: Die Autoren räumen ein, dass die Ränge empirisch und datenabhängig sind und keine theoretischen Worst-Case-Fehlergrenzen für nichtlineare Systeme besitzen. Sie merken zudem an, dass die Schätzung der Beobachtbarkeits-Gramiane einen Rechenaufwand erfordert und ein Retraining der komprimierten Architektur notwendig ist. Die aktuellen Experimente konzentrieren sich auf vollvernetzte Netzwerke, um ein kontrolliertes Setting zu bieten; Erweiterungen auf CNNs und Transformer werden als zukünftige Arbeit angeführt.

Zusammenfassend argumentiert die Arbeit, dass durch die Betrachtung von DNNs durch die Linse von Kontrollierbarkeit und Beobachtbarkeit die redundanten Richtungen des verborgenen Zustands identifiziert und entfernt werden können, die entweder durch Daten nicht angeregt oder für den Output irrelevant sind, wodurch der Aufbau effizienter, hochleistungsfähiger neuronaler Netze ermöglicht wird.