💻 computer science

STARFISH: faST Accuracy Recovery in pruned networks From Internal State Healing

Das Paper stellt STARFISH vor, eine effiziente Heilungsmethode, die den Großteil der durch das Pruning verlorenen Genauigkeit eines neuronalen Netzes wiederherstellt, indem sie die internen Zustandsrepräsentationen des geprunten Modells mit denen des ursprünglichen Modells unter Verwendung eines winzigen Satzes unbeschrifteter Kalibrierungsdaten abgleicht und dabei insbesondere unter aggressiven Pruning-Bedingungen aktuelle Techniken des Stands der Technik deutlich übertrifft.

Ursprüngliche Autoren: Shir Maon, Odelia Melamed, Adi Shamir

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shir Maon, Odelia Melamed, Adi Shamir

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich kluge Bibliothek (ein neuronales Netz), die mit Millionen von Büchern (Gewichten) gefüllt ist. Diese Bibliothek kann fast jede Frage perfekt beantworten. Aber die Bibliothek ist so gewaltig, dass sie zu viel Platz einnimmt, zu viel kostet und es zu lange dauert, sie zu durchsuchen.

Um dieses Problem zu lösen, entscheiden Sie sich, 50 %, 75 % oder sogar 90 % der Bücher wegzuwerfen. Dies nennt man Pruning (Beschneidung).

Das Problem:
Wenn Sie so viele Bücher wegwerfen, arbeitet die Bibliothek nicht mehr gut. Sie beginnt, falsche Antworten zu geben. Normalerweise müssten Sie, um dies zu beheben, ein Team von Bibliothekaren anheuern, die die gesamte ursprüngliche Sammlung der Bücher erneut lesen und neu lernen, wie sie die verbleibenden Bücher organisieren sollen. Das ist teuer, dauert lange und oft haben Sie die ursprünglichen Bücher gar nicht mehr zur Verfügung (sie könnten privat oder geschützt sein).

Die Lösung: STARFISH
Die Autoren dieser Arbeit stellen eine neue Methode namens STARFISH vor. Sie haben sie nach dem Meerestier benannt, das seine verlorenen Arme nachwachsen lassen kann. Genau wie ein Seestern nachheilen kann, selbst nachdem er Gliedmaßen verloren hat, hilft STARFISH einem „geprunten“ (beschädigten) Netzwerk, sich selbst zu heilen und seine Intelligenz zurückzugewinnen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Geist“ vs. das „Reale“

Stellen Sie sich vor, die ursprüngliche, vollständige Bibliothek ist ein Meisterkoch, der genau weiß, wie man eine perfekte Mahlzeit zubereitet. Nachdem Sie die meisten Zutaten weggeworfen haben (Pruning), bleibt Ihnen ein Juniorkoch übrig, der verwirrt ist und nicht gut kochen kann.

Normalerweise würden Sie den Juniorkoch dazu bringen, die ursprünglichen Gerichte zu probieren und zu versuchen, den endgültigen Geschmack (den Output) auswendig zu lernen. Aber das Paper sagt, dass dies bei schwerem Schaden nicht ausreicht.

Stattdessen schaut STARFISH auf die inneren Gedanken des Meisterkochs.

Es fragt den Meisterkoch: „Wenn du eine Tomate siehst, worüber denkst du nach, bevor du entscheidest, dass es eine Tomate ist? Was ist, wenn du über die Sauce nachdenkst? Was ist mit der Hitze?“
Es zeichnet diese inneren „Gedanken“ (genannt interne Zustände oder Repräsentationen) für ein paar Beispielgerichte auf.
Dann sagt es dem Juniorkoch: „Versuche nicht nur, den endgültigen Geschmack zu erraten. Versuche, bei jedem einzelnen Schritt des Prozesses exakt so zu denken wie der Meisterkoch.“

2. Das winzige „Kalibrierungs-Set“

Die Magie von STARFISH liegt darin, dass es nicht die ganze Bibliothek an Büchern benötigt. Es braucht nur eine winzige Handvoll Beispiele (wie 1.000 Bilder), die als „Kalibrierungs-Set“ dienen.

Es ist, als würde man dem Juniorkoch eine einzige, kleine Rezeptkarte mit ein paar Notizen darüber geben, wie der Meisterkoch gedacht hat.
Der Juniorkoch übt an diesen wenigen Beispielen und passt seinen Denkprozess an, bis seine internen „Gedanken“ perfekt mit den Gedanken des Meisterkochs übereinstimmen.

3. Warum es eine große Sache ist

Das Paper behauptet, dass diese Methode ein Wendepunkt ist, besonders wenn man einen großen Teil des Netzwerks abschneidet:

Das „50 % Schnitt“-Szenario: Wenn Sie die Hälfte der Gewichte entfernen, stellt STARFISH die Genauigkeit des Netzwerks fast perfekt wieder her (bis zu 99,8 % des Originals). Es schlägt die derzeit besten Methoden um eine riesige Spanne.
Das „75 % Schnitt“-Szenario: Hier wird es wirklich beeindruckend. Wenn Sie 75 % der Gewichte entfernen, versagen andere Methoden normalerweise kläglich und hinterlassen das Netzwerk mit nur 40 % seiner ursprünglichen Intelligenz. STARFISH hingegen schafft es, 82 % der ursprünglichen Genauigkeit wiederherzustellen.
Das „85 % Schnitt“-Szenario: Selbst wenn Sie 85 % der Gewichte entfernen (und fast nichts übrig bleibt), kann STARFISH die Leistung immer noch auf etwa 92 % der ursprünglichen Leistung wiederherstellen.

4. Die „Keine Originaldaten“-Superkraft

Die meisten Reparaturmethoden erfordern, dass Sie die ursprünglichen Trainingsdaten (die Millionen von Büchern) besitzen, um das Netzwerk neu zu lehren.

Der Vorteil von STARFISH: Es funktioniert auch dann, wenn Sie die ursprünglichen Trainingsdaten nicht haben. Es benötigt nur das beschädigte Netzwerk, die Liste dessen, was entfernt wurde (die Maske), und einen winzigen, zufälligen Satz unbeschrifteter Bilder. Dies macht es perfekt für moderne Situationen, in denen Unternehmen vielleicht ein Modell teilen, aber ihre Trainingsdaten geheim halten.

Zusammenfassung

Betrachten Sie STARFISH als eine „Gedankensynchronisation“-Technik. Anstatt ein beschädigtes Netzwerk dazu zu zwingen, die richtige Antwort zu erraten, zwingt es das beschädigte Netzwerk, exakt so zu denken wie das ursprüngliche, gesunde Netzwerk. Durch die Abstimmung dieser internen Gedanken unter Verwendung von nur wenigen Beispielen kann es selbst die am schwersten „amputierten“ Netzwerke heilen und sie mit fast perfekter Leistung zurückbringen, ohne die ursprünglichen Trainingsdaten zu benötigen.

Technisches Resümee: STARFISH

Problemstellung
Das Pruning von neuronalen Netzen ist eine Standardtechnik zur Reduzierung der Modellgröße, des Speicherbedarfs und der Inferenzlatenz durch das Entfernen von Gewichten, Neuronen oder Kanälen. Aggressives Pruning führt jedoch häufig zu einer erheblichen Verschlechterung der Vorhersagegenauigkeit. Während Heilungsprozesse (Recovery) üblicherweise eingesetzt werden, um den verlorenen Leistungsverlust auszugleichen, stehen bestehende Methoden vor signifikanten Einschränkungen. Traditionelle Ansätze erfordern oft ein vollständiges Retraining oder Fine-Tuning auf dem ursprünglichen Trainingsdatensatz, was rechenintensiv ist und in modernen Szenarien, in denen Trainingsdaten proprietär oder unzugänglich sind, häufig unmöglich ist. Darüber hinaus haben State-of-the-Art-Recovery-Methoden oft Schwierigkeiten, die Genauigkeit unter Bedingungen hoher Sparsität (z. B. Entfernen von >75 % der Gewichte) wiederherzustellen, insbesondere bei modernen Vision Transformer (ViT)-Architekturen.

Methodik: STARFISH
Die Autoren schlagen STARFISH (faST Accuracy Recovery in pruned networks From Internal State Healing) vor, eine Post-Pruning-Recovery-Methode, die ohne Zugriff auf die ursprünglichen Trainingsdaten oder Labels operiert. Die Kernhypothese ist, dass die Optimierung der Ausrichtung (Alignment) intermediärer Repräsentationen (interner Zustände) zwischen dem geprünten Netzwerk und dem ursprünglichen dichten Netzwerk ein effektiverer Stellvertreter für die Wiederherstellung der Genauigkeit ist als die ausschließliche Optimierung auf Basis der finalen Vorhersagen.

Der Algorithmus verläuft in zwei Stufen unter Verwendung eines kleinen, unbeschrifteten Kalibrierungsdatensatzes ( $S_{cal}$ ), der aus der Datenverteilung gezogen, aber vom Trainingssatz verschieden ist:

Caching der Zielrepräsentationen: Das ursprüngliche dichte Modell wird auf $S_{cal}$ ausgeführt, um die vektorisierten Ausgaben jedes Rechenblocks (z. B. nach Normalisierung, Nichtlinearitäten und Residual-Additionen) zu cachen.
Alignment-Optimierung: Das geprünte Modell ( $f_{\theta \odot m}$ ) wird trainiert, um den Alignment-Verlust zwischen seinen intermediären Repräsentationen und den gecachten Zielwerten zu minimieren. Die Verlustfunktion ist definiert als die durchschnittliche Kosinusdistanz zwischen den verborgenen Zuständen des geprünten Modells ( $f^\ell_{\theta \odot m}(x)$ ) und den verborgenen Zuständen des dichten Modells ( $r^\ell_x$ ) über alle Blöcke $\ell$ :
$\mathcal{L}_{align}(\theta \odot m, x) = \frac{1}{L} \sum_{\ell \in [L]} \left( 1 - \frac{\langle f^\ell_{\theta \odot m}(x), r^\ell_x \rangle}{\|f^\ell_{\theta \odot m}(x)\| \|r^\ell_x\|} \right)$
Die verbleibenden Gewichte des geprünten Modells werden aktualisiert, um den empirischen Verlust über den Kalibrierungsdatensatz zu minimieren.

Die theoretische Motivation wird dadurch geliefert, dass gezeigt wird, dass der Abstand zwischen den finalen verborgenen Repräsentationen (Eingänge zum Klassifikationskopf) eine obere Schranke für die Kullback–Leibler-Divergenz (KL-Divergenz) der Output-Verteilungen darstellt. Dies deutet darauf hin, dass die Ausrichtung interner Zustände inhärent den Output-Fehler einschränkt.

Wesentliche Beiträge

Repräsentationsbasierte Wiederherstellung: Die Arbeit führt eine Recovery-Methode ein, die unabhängig von spezifischen Pruning-Arten, Masken oder Architekturen ist. Sie zeigt empirisch, dass die Ausrichtung intermediärer Repräsentationen direkte Output-basierte Zielsetzungen (wie Cross-Entropy oder KL-Divergenz-Matching) bei steigenden Sparsitätsgraden übertrifft.
Effizienz bei hoher Sparsität: Die Methode ist die erste, die effizient hohe Prozentsätze der ursprünglichen Genauigkeit bei extremer Sparsität (z. B. 85 % Sparsität) wiederherstellt. Dies wird mit einem winzigen Kalibrierungsdatensatz erreicht (so wenig wie 1.000 Beispiele, oder 0,4 % der Größe des Trainingssatzes), und es ist kein Zugriff auf die ursprünglichen Trainingsdaten erforderlich.
Modularität und Geschwindigkeit: Der Ansatz ist rechentechnisch leichtgewichtig und erfordert nur wenige Forward- und Backward-Passes auf einem kleinen Datensatz. Er ist anwendbar auf strukturierte, semi-strukturierte und unstrukturierte Pruning-Muster.

Experimentelle Ergebnisse
Die Autoren evaluierten STARFISH auf ImageNet-1K mit verschiedenen Vision Transformer (DeiT, ViT) und Convolutional Neural Network (MobileNet) Architekturen.

Hohe Sparsität (0,75–0,85): Bei einem auf 75 % Sparsität geprünten DeiT-B-Modell stellte STARFISH 82 % der ursprünglichen dichten Genauigkeit wieder her, während konkurrierende Methoden (wie CORP) nur 40 % erreichten. Bei einem DeiT3-H-Modell mit 85 % Sparsität behielt STARFISH 92,08 % der dichten Genauigkeit bei, was die Leistung des geprünten Modells um 72,36 Prozentpunkte verbesserte.
Moderate Sparsität (0,5): Über verschiedene DeiT-Architekturen und Pruning-Bereiche (MLP, QK und gemeinsames MLP+QK) hinweg übertraf STARFISH konsistent State-of-the-Art-Methoden. Beispielsweise erreichte STARFISH in einem DeiT-T-Modell mit 50 % strukturiertem Pruning auf MLP+QK eine Beibehaltung der dichten Genauigkeit von 81,95 %, was einer Verbesserung um 31,54 Prozentpunkte gegenüber der CORP-Methode entspricht.
Vergleich: STARFISH demonstrierte eine überlegene Leistung gegenüber Methoden wie SNOWS (welches die Hessian-Approximation nutzt) und CORP (welches eine geschlossene affine Recovery nutzt), insbesondere in Regimen, in denen Pruning die Modellleistung massiv verschlechtert.

Bedeutung und Ansprüche
Das Paper behauptet, dass STARFISH eine signifikante Weiterentwicklung im Bereich der Modellkompression darstellt, indem es das Paradigma der Recovery von der Output-Anpassung zur Heilung interner Zustände verschiebt. Die Autoren betonen, dass dieser Ansatz besonders wichtig für moderne großskalige Modelle ist, bei denen Trainingsdaten nicht verfügbar und ein vollständiges Retraining nicht praktikabel ist. Durch die Nutzung des Prinzips, dass interne Repräsentationen das Wissen des Modells unter hoher Sparsität robuster erfassen als finale Outputs, ermöglicht STARFISH den Einsatz hocheffizienter, geprünter Netzwerke, ohne die Vorhersageleistung zu opfern. Die Methode wird als allgemeine, Plug-and-Play-Lösung präsentiert, die auf jedes geprünte Netzwerk angewendet werden kann, unabhängig von der ursprünglichen Pruning-Strategie.