🤖 machine learning

Neural network relief: a pruning algorithm based on neural activity

Dieses Paper schlägt einen iterativen Pruning-Algorithmus vor, der von der spärlichen Konnektivität des menschlichen Gehirns inspiriert ist und eine auf neuronaler Aktivität basierende Wichtigkeitsmetrik verwendet, um unwichtige Verbindungen zu identifizieren und zu deaktivieren, wodurch eine signifikante Parameterkompression bei gleichbleibender Genauigkeit über verschiedene Architekturen tiefer neuronaler Netze und Datensätze hinweg erreicht wird.

Ursprüngliche Autoren: Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

Veröffentlicht 2026-08-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen. Sie haben eine massive Kiste mit tausenden Teilen, aber wenn Sie sich tatsächlich hinsetzen, um das Bild aufzubauen, benötigen Sie nur eine Handvoll davon. Der Rest ist nur Unrat, der Platz wegnimmt und es schwieriger macht, die richtigen Teile zu finden. Dies ist genau die Situation, vor der moderne „Deep Neural Networks“ (DNNs) stehen – die superintelligenten digitalen Gehirne hinter Dingen wie Bilderkennung oder Sprachassistenten. Diese digitalen Gehirne sind aus Millionen winziger Verbindungen aufgebaut, aber Forscher haben festgestellt, dass bei einer einzelnen Aufgabe die meisten dieser Verbindungen einfach nur untätig herumliegen. Sie sind überarbeitet und übermäßig ausgestattet.

Die große Frage, die sich Wissenschaftler stellen, lautet: Wie kann man das Fett wegschneiden, ohne die Muskeln zu verletzen? Wir wollen diese riesigen Netzwerke schrumpfen lassen, damit sie schneller laufen und weniger Speicherplatz verbrauchen, ohne dass sie dabei verlernen, das Puzzle zu lösen. Das Papier, das Sie gleich lesen werden, geht dies an, indem es untersucht, wie diese digitalen Gehirne tatsächlich „denken“, während sie arbeiten. Anstatt nur zu raten, welche Verbindungen nutzlos sind, schlägt die Autoren eine neue Methode vor, um auf die Aktivität des Gehirns zu hören, die ruhigsten Teile zu finden und sie sanft abzuschalten. Es ist wie ein intelligenter Hausmeister, der nicht einfach nur den ganzen Raum fegt, sondern sorgfältig prüft, welche Lichter aus sind, und sie dann auch endgültig ausschaltet, während die hellen, aktiven Lichter die schwere Arbeit erledigen.

Die „Neural Network Relief“-Strategie

Lernen Sie NNrelief kennen, einen neuen Pruning-Algorithmus (ein schickes Wort für „Stutzen“), der wie ein sehr aufmerksamer Dirigent eines Orchesters agiert. In einem typischen tiefen neuronalen Netzwerk spielt jeder Musiker (oder Neuron), selbst wenn er nur leise vor sich hin summt. Das Ziel von NNrelief ist es, die Musiker zu finden, die nicht wirklich zum Lied beitragen, und sie um eine Pause zu bitten – und das alles, während die Musik perfekt klingt.

Der alte Weg vs. der neue Weg

Lange Zeit basierte die Standardmethode, um diese Netzwerke zu stutzen, auf der Magnitude (Größe). Stellen Sie sich vor, Sie haben eine Reihe von Seilen, die zwei Punkte verbinden. Die alte Methode sagte: „Schneidet die dünnsten Seile ab!“ Die Idee war, dass ein dünnes Seil (eine kleine Zahl oder ein „Gewicht“) nicht viel halten kann, also muss es nutzlos sein.

Doch die Autoren dieses Papiers argumenten, dass dies ein wenig so ist, als würde man den Beitrag einer Person zu einem Team nur danach beurteilen, wie laut sie schreit. Eine Person mag ein Megafon haben (ein riesiges Gewicht), aber flüstern (ein schwaches Signal), was bedeutet, dass sie eigentlich nicht viel hilft. Umgekehrt könnte jemand mit normaler Stimme zur richtigen Zeit die richtigen Worte rufen.

NNrelief ändert das Spiel. Anstatt nur auf die Dicke des Seils (das Gewicht) zu schauen, betrachtet es, wie viel Signal tatsächlich durch es fließt. Es fragt: „Wie viel Information trägt diese Verbindung gerade wirklich?“ Wenn eine Verbindung ein schwaches Signal trägt, selbst wenn das Seil dick ist, fliegt sie raus. Wenn eine Verbindung ein starkes Signal trägt, selbst wenn das Seil dünn ist, bleibt sie.

Wie es funktioniert: Der „Importance Score“

Das Team entwickelte einen einfachen mathematischen Trick namens Importance Score (Wichtigkeitswert). Denken Sie an dies als ein „Beitragsmesser“ für jede einzelne Verbindung im Netzwerk.

Sie beobachten das Netzwerk beim Lösen eines Problems (wie der Identifizierung eines Bildes einer Katze).
Sie berechnen, wie viel „Energie“ oder „Signal“ durch jede Verbindung fließt.
Sie ordnen die Verbindungen von der wichtigsten bis zur unwichtigsten.
Sie setzen ein Ziel: „Behalte die obersten 95 % des Signals.“
Sie schneiden alles ab, das unter diese Linie fällt.

Das Coole daran? Sie schneiden nicht eine feste Anzahl von Verbindungen ab (wie z. B. „schneide 50 % ab“). Sie schneiden basierend auf der Aktivität. Das bedeutet, das Netzwerk entscheidet selbst, wie viele Verbindungen es braucht, um das Signal stark zu halten.

Der „Relief“-Eff Effekt

Als sie dies taten, geschah etwas Faszinierendes. Das Netzwerk wurde nicht nur kleiner; es wurde auch ausgewogener. Vor dem Pruning waren einige Verbindungen vor Bedeutung schreiend, während andere stumm waren. Nach dem Pruning begannen die verbleibenden Verbindungen alle, etwa das gleiche Niveau an Wichtigkeit zu haben. Die Autoren nennen dies „Neural Network Relief“. Es ist wie ein Team, in dem jeder sein eigenes Gewicht trägt, anstatt aus ein paar Superstars und einem Haufen Ballast zu bestehen. Das Netzwerk wird zu einer schlanken, effizienten Maschine, in der jede verbleibende Verbindung etwas Nützliches tut.

Die Ergebnisse: Große Siege, kleine Verluste

Das Team testete dies an mehreren berühmten Netzwerkarchitekturen (LeNet, VGG und ResNet) unter Verwendung von Standard-Bilddatensätzen wie MNIST (handgeschriebene Zahlen), CIFAR-10/100 (kleine farbige Bilder) und Tiny-ImageNet.

Hier ist das, was sie fanden:

Für VGG-Netzwerke: Es gelang ihnen, das Netzwerk um mehr als das 50-fache zu schrumpfen (weniger als 2 % der ursprünglichen Parameter beizubehalten) auf dem CIFAR-10-Datensatz, wobei die Genauigkeit fast unberührt blieb. Auf dem Tiny-ImageNet-Datensatz erreichten sie eine Kompression von mehr als dem 40-fachen (behalten nur 2,32 % der Parameter) mit einem minimalen Genauigkeitsverlust von nur 0,03 %.
Für ResNet-Netzwerke: Sie erreichten einen hohen Prozentsatz an beibehaltenen Parametern, spezifisch 76,2 % der Parameter beibehalten (was bedeutet, dass etwa 23,8 % beschnitten wurden) für ResNet-56 auf CIFAR-10, während die Genauigkeit sehr nah am Original blieb.
Die Überraschung beim Optimierer: Sie testeten zwei verschiedene „Trainings-Coaches“ (Optimierer) namens Adam und SGD. Bei VGG-Netzwerken war Adam wesentlich aggressiver und schnitt mehr Verbindungen weg als SGD. Bei ResNet-Netzwerkenen jedocherten beide Coaches ähnlich, was darauf hindeutet, dass die Art des Netzwerks genauso wichtig ist wie die Trainingsmethode.

Was sie nicht getan haben

Es ist wichtig anzumerken, was dieses Papier nicht behauptet. Die Autoren erklären ausdrücklich, dass ihr Ziel nicht darin bestand, die Anzahl der mathematischen Berechnungen (FLOPs) zu minimieren, die von aktueller Computerhardware benötigt werden, obwohl sie dort eine gewisse Reduktion feststellten. Ihr Hauptaugenmerk lag auf der Anzahl der Verbindungen und dem „Signal“, das sie tragen. Sie behaupteten auch nicht, das Problem des „kontinuierlichen Lernens“ (Lernen neuer Aufgaben, ohne alte zu vergessen) gelöst zu haben, obwohl sie andeuten, dass ihre Methode ein entscheidender Schritt in Richtung dieses zukünftigen Ziels ist.

Das Fazit

Dieses Papier legt nahe, dass wir nicht raten müssen, welche Teile eines neuronalen Netzwerks nutzlos sind. Indem wir der tatsächlichen Aktivität der Neuronen zuhören, können wir das Fett mit chirurgischer Präzision wegschneiden. Das Ergebnis ist ein kleineres, einfacheres Netzwerk, das überraschend robust ist. Es ist ein bisschen so, als würde man entdecken, dass man ein Auto genauso schnell mit einem viel kleineren Motor fahren kann, solange man es auf den richtigen Rhythmus abstimmt. Der „Neural Network Relief“-Ansatz zeigt, dass manchmal weniger wirklich mehr ist, vorausgesetzt, man weiß genau, was man loslassen muss.

Technische Zusammenfassung: Neural Network Relief: Ein Pruning-Algorithmus basierend auf neuronaler Aktivität

Problemstellung
Aktuelle tiefe neuronale Netze (DNNs) sind typischerweise überparametrisiert und nutzen während der Inferenz für eine bestimmte Aufgabe die Mehrheit ihrer neuronalen Verbindungen. Im Gegensatz dazu entwickelt das menschliche Gehirn spezialisierte Regionen und führt die Inferenz unter Verwendung nur eines kleinen Bruchteils seiner Verbindungen durch. Die Autoren identifizieren die Notwendigkeit, die Überparametrisierung in DNNs zu adressieren, indem sie die minimale Anzahl an Verbindungen finden, die in der Lage sind, eine spezifische Aufgabe mit vergleichbarer Genauigkeit zu lösen. Während bestehende Pruning-Methoden oft auf vordefinierten Verhältnissen der Parameterentfernung oder Gewichtsmagnituden basieren, können diese Ansätze zu drastischen Genauigkeitsverlusten führen, wenn das Pruning-Verhältnis zu hoch ist, oder sie versäumen es, den tatsächlichen Beitrag einer Verbindung zum Signal eines Neurons zu berücksichtigen.

Methodik
Das Paper schlägt „NNrelief“ vor, eine iterative Pruning-Strategie, die unwichtige Verbindungen basierend auf einer neuartigen Wichtigkeits-Score-Metrik deaktiviert. Im Gegensatz zu magnitudenbasierten Ansätzen bewertet diese Methode das lokale Verhalten von Verbindungen, indem sie sowohl die Gewichtsmagnitüde als auch die Stärke des Eingangssignals (neuronale Aktivität) berücksichtigt.

Wichtigkeits-Score-Metrik:
- Vollständig verbundene Schichten (Fully Connected Layers): Die Wichtigkeit einer Verbindung zwischen Neuron $i$ (Schicht $l-1$ ) und Neuron $j$ (Schicht $l$ ) wird definiert als der Absolutwert des Produkts aus dem Gewicht $w_{ij}^{(l)}$ und der Eingangsaktivierung $x_i^{(l-1)}$ , normiert durch die gesamte Wichtigkeit aller Eingänge zu Neuron $j$ (einschließlich des Bias). Dies quantifiziert den relativen Beitrag einer spezifischen Verbindung zum Gesamtsignal des Neurons.
- Faltungsschichten (Convolutional Layers): Die Metrik wird für Kernel und Biases angepasst. Die Wichtigkeit eines Kernels wird basierend auf der Frobenius-Norm der Faltung zwischen dem Kernel und den Eingangs-Feature-Maps berechnet, gemittelt über den Datensatz und normiert durch die gesamte Filter-Wichtigkeit.
Pruning-Prozess:
- Der Algorithmus arbeitet iterativ. Für jede Schicht werden die Wichtigkeits-Scores für alle eingehenden Verbindungen (oder Kernel) unter Verwendung einer Teilmenge der Trainingsdaten berechnet.
- Verbindungen werden nach ihrer Wichtigkeit sortiert. Der Algorithmus bestimmt einen Schwellenwert, so dass die Summe der Top-Wichtigkeits-Scores ein vordefiniertes Erhaltungsverhältnis $\alpha$ (z. B. 0,95) erreicht.
- Verbindungen unterhalb dieses Schwellenwerts werden gepruned (auf Null gesetzt).
- Das Netzwerk wird nach den Pruning-Iterationen neu trainiert. Die Autoren geben explizit an, dass sie iteratives Pruning durch das Neu-Training des Netzwerks ausgehend von initialen Zufallsparametern für LeNet-Experimente durchführen und ähnlich das Neu-Training ausgehend von zufälligen Initialisierungen für VGG- und ResNet-Architekturen vornehmen, anstatt Fine-Tuning zu verwenden.
Theoretische Schranken: Das Paper leitet Fehlergrenzen für die Signaldifferenz vor und nach dem Pruning ab. Es zeigt, dass der Approximationsfehler eines Neurons mit zunehmendem Erhaltungsparameter $\alpha$ abnimmt, vorausgesetzt, die Aktivierungsfunktion ist Lipschitz-stetig.

Wesentliche Beiträge

Auf neuronaler Aktivität basierendes Pruning: Eine neue Metrik, die Verbindungen deaktiviert, die schwache Signale an die nächste Schicht liefern, anstatt lediglich kleine Gewichte zu entfernen. Dies steht im Gegensatz zu magnitudenbasiertem Pruning, welches davon ausgeht, dass kleine Gewichte unabhängig vom Eingangssignal unbedeutend sind.
Adaptives Pruning: Im Gegensatz zu Methoden, die einen festen Prozentsatz der Parameter entfernen, bestimmt NNrelief adaptiv die Anzahl der zu entfernenden Verbindungen basierend auf der Verteilung der Wichtigkeits-Scores, um ein spezifisches Signalniveau aufrechtzuerhalten.
Konzept des Neural Network Relief: Die Autoren beobachten, dass die Pruning-Strategie zu einer „Homogenisierung“ der Verbindungswichtigkeit unter den verbleibenden Neuronen führt. Dieses Konzept, bezeichnet als „Neural Network Relief“, legt nahe, die Wichtigkeit gleichmäßig unter weniger Verbindungen zu verteilen, anstatt sich auf wenige, hochdominante Verbindungen zu verlassen.
Fehleranalyse: Die Ableitung theoretischer Schranken zeigt, dass die durch das Pruning eingeführte Signalstörung durch den Erhaltungsparameter $\alpha$ kontrolliert wird.

Experimentelle Ergebnisse
Die Autoren evaluierten NNrelief auf LeNet-, VGG- und ResNet-Architekturen über MNIST-, CIFAR-10/100- und Tiny-ImageNet-Datensätze hinweg, unter Verwendung von Adam- und SGD-Optimierern.

LeNet (MNIST): Die Methode erreichte eine vergleichbare Genauigkeit zu State-of-the-Art (SOTA) Algorithmen (z. B. DNS, L-OBS) bei gleichzeitiger Beibehaltung von etwa 1,5 % der Parameter für LeNet-300-100 und 0,65 % für LeNet-5.
VGG (CIFAR-10/100, Tiny-ImageNet):
- Auf CIFAR-10 reduzierte der Ansatz die Parameter auf weniger als 2 % des Originals (eine etwa 52-fache Kompression erreichte) mit nur einem Genauigkeitsabfall von 0,1 % für die VGG-ähnliche Architektur (eine angepasste Version von VGG-16 mit einer weniger vorhandenen Fully Connected Layer). Das Paper merkt an, dass dieses spezifische Kompressionsniveau für eine VGG-ähnliche, nicht die Standard-VGG-13 Architektur erreicht wurde. Die Methode übertraf SOTA sowohl in der Parameterbeibehaltung als auch in der Reduktion der FLOPs für diese Konfiguration.
- Auf Tiny-ImageNet erreichte die Methode eine über 40-fache Kompression (Beibehaltung von ~2,3 % der Parameter) mit vernachlässigbarem Genauigkeitsverlust (0,03 % Abfall) unter Verwendung des Adam-Optimierers.
- Der Adam-Optimierer lieferte im Allgemeinen höhere Kompressionsraten als SGD für VGG-Architekturen, obwohl SGD manchmal eine etwas höhere Genauigkeit beibehielt.
ResNet (CIFAR-10/100, Tiny-ImageNet):
- Für ResNet-20 und ResNet-56 auf CIFAR-10 prunte die Methode über 60-76 % der Parameter mit vergleichbarer Genauigkeit zu SOTA-Methoden.
- Auf CIFAR-100 erreichte die Methode eine signifikante Kompression (z. B. ~68 % der Parameter gepruned für ResNet-56) mit minimalem Genauigkeitsverlust.
- Im Gegensatz zu VGG war der Unterschied in der Sparsity zwischen Adam und SGD bei ResNets weniger ausgeprägt. Die Autoren führen dies darauf zurück, dass Skip-Connections Signale ungehindert passieren lassen, was es dem Optimierer erschwert, signifikante Aktivierungen in Residual-Blöcken zu unterscheiden.

Bedeutung und Behauptungen
Das Paper behauptet, dass NNrelief eine robuste Alternative zu magnitudenbasiertem Pruning bietet, da es sich auf den tatsächlichen Beitrag der Verbindungen zur Signalpropagation im Netzwerk konzentriert. Die Autoren behaupten, dass ihr Ansatz:

Eine signifikant höhere Parameterkompression (mehr als das 50-fache für VGG-ähnlich auf CIFAR-10 und über 40-fache auf Tiny-ImageNet) im Vergleich zu SOTA-Algorithmen bei vergleichbarer Genauigkeit bietet.
Über verschiedene Architekturen (LeNet, VGG, ResNet) und Optimierer (Adam, SGD) hinweg effektiv ist.
Einen Mechanismus bietet, um Verbindungen für andere Aufgaben „freizugeben“, was als Schritt in Richtung Continual-Learning-Strategien dient.
Obwohl nicht explizit darauf ausgelegt, die FLOPs für aktuelle Hardware-Implementierungen zu minimieren, schneidet es in dieser Hinsicht im Vergleich zu bestehenden Methoden vernünftig ab.

Die Autoren kommen zu dem Schluss, dass die resultierenden Subnetzwerke den Großteil des ursprünglichen Signals mit weniger Parametern propagieren und eine homogenisierte Verteilung der Wichtigkeit aufweisen, was das Konzept des „Neural Network Relief“ validiert.