💻 computer science

F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models

F-WANDA ist eine energieeffiziente One-Shot-Post-Training-Pruning-Methode, die WANDA durch die Neuzuweisung von Budgets für die Neuronenerhaltung basierend auf der empirischen Fisher-Information verbessert und dadurch eine überlegene Leistung von Sprachmodellen bei signifikant geringeren Rechenkosten als SPARSEGPT erzielt.

Ursprüngliche Autoren: Himanshu Mishra (University of British Columbia)

Veröffentlicht 2026-08-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Himanshu Mishra (University of British Columbia)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen riesigen, unglaublich klugen Roboter, der Geschichten schreiben, Matheaufgaben lösen und wie ein Mensch chatten kann. Dieser Roboter ist ein „Large Language Model“ (LLM). Aber es gibt einen Haken: Dieser Roboter ist riesig. Um ihn zu betreiben, sind gewaltige Computer und eine Menge Elektrizität nötig, so als würde man versuchen, eine ganze Stadt mit einer einzigen Batterie zu versorgen. Wissenschaftler suchen ständig nach Wegen, diese Roboter zu verkleinern, damit sie auf kleineren Geräten laufen können, ohne ihre Klugheit zu verlieren.

Eine beliebte Methode, um sie zu verkleinern, ist das sogenannte „Pruning“ (Beschneiden). Stellen Sie sich das Gehirn des Roboters wie eine riesige Bibliothek von Verbindungen zwischen Neuronen vor. Pruning ist wie das Durchgehen dieser Bibliothek und das Wegwerfen der Bücher, die am wenigsten wichtig erscheinen. Das Ziel ist es, die Bibliothek klein genug zu bekommen, damit sie in einen Rucksack passt, aber immer noch klug genug ist, um Fragen zu beantworten. Das ist jedoch ein schwieriger Balanceakt: Wenn man versehentlich zu viele „wichtige“ Bücher wegwirft, macht der Roboter Fehler oder klingt roboterhaft. Wenn man versucht, bei der Auswahl der Bücher zu vorsichtig zu sein, dauert der Sortierprozess ewig und verbraucht all Ihre Energie. Diese Arbeit befasst sich genau mit diesem Problem: Wie man die Bücher schnell, kostengünstig und ohne den Geniestreich des Roboters zu verlieren, sortiert.

Das Problem: Der „Einheitsgröße“-Fehler

Die Forscher begannen mit dem Blick auf eine populäre Methode namens WANDA. Stellen Sie sich vor, WANDA sei ein Bibliothekar, der entscheidet, welche Bücher weggeworfen werden. WANDA schaut auf zwei Dinge: wie „laut“ ein Buch ist (sein Gewicht) und wie oft es gelesen wird (die Input-Aktivierung). Wenn ein Buch leise und selten gelesen wird, wirft WANDA es weg.

Das Problem ist, dass WANDA einen einheitlichen Ansatz anwendet. Es behandelt jedes Regal in der Bibliothek exakt gleich. Es entscheidet: „Okay, ich werfe 50 % der Bücher auf jedem Regal weg.“ Aber hier liegt das Problem: Einige Regale sind voll mit den kritischsten Fakten des Roboters (wie „Paris ist die Hauptstadt von Frankreich“), während andere Regale voll mit langweiligen, repetitiven Dingen sind. Indem WANDA 50 % der Bücher im „Paris“-Regal wegwirft, nur weil es ein Regal ist, löscht WANDA versehentlich das Wissen des Roboters.

Eine andere Methode, SPARSEGPT, versucht, super vorsichtig zu sein. Sie schaut sich jedes einzelne Buch an, berechnet genau, wie sehr das Gehirn des Roboters leiden würde, wenn es entfernt würde, und editiert dann die verbleibenden Bücher sorgfältig, um den Schaden zu beheben. Das funktioniert großartig, um den Roboter klug zu halten, aber es ist, als würde man ein Team von PhDs engagieren, um die Bibliothek zu sortieren. Es kostet eine enorme Menge Zeit und Energie – so viel, dass es oft nicht der Mühe wert ist.

Die Lösung: F-WANDA (Der smarte Bibliothekar)

Der Autor dieser Arbeit hat F-WANDA vorgestellt, ein cleveres Upgrade zum Standardansatz. Er erkannte, dass man, anstatt nur darauf zu schauen, wie laut ein Buch ist, auch fragen sollte: „Wie sehr kümmert sich das Gehirn des Roboters um dieses spezifische Regal?“

Um das herauszufinden, führt F-WANDA eine zusätzliche, schnelle Prüfung durch. Es lässt das Gehirn des Roboters durch einen kleinen Test (einen „Backward Pass“) laufen, um zu sehen, welche Regale tatsächlich die Antworten des Roboters antreiben. Wenn ein Regal entscheidend dafür ist, die richtige Antwort zu erhalten, zeigt das Gehirn des Roboters ein starkes Signal (die sogenannte Fisher-Information). Wenn ein Regal nur Rauschen ist, ist das Signal schwach.

Hier liegt der magische Trick: F-WANDA nutzt dieses Signal, um die Regeln zu ändern.

Auf dem „Paris“-Regal (hohes Signal): Der Roboter kümmert sich sehr darum. F-WANDA sagt: „Wirf nicht 50 % dieser Bücher weg! Wirf nur 20 % weg. Wir müssen die meisten von ihnen behalten.“
Auf dem „Langweiligen“-Regal (niedriges Signal): Dem Roboter ist es egal. F-WANDA sagt: „Geh ruhig, wirf 80 % dieser Bücher weg. Wir brauchen sie nicht.“

Auf diese Weise bewahrt der Roboter seine wichtigsten Fakten sicher auf und wird dennoch viel kleiner. Und das Beste daran? F-WANDA muss den Roboter nicht neu trainieren oder Gewichte aktualisieren. Es führt nur eine schnelle Prüfung durch und beginnt dann mit dem Pruning.

Was sie herausgefunden haben

Das Team testete dies an LLAMA-2, einer berühmten Familie großer Sprachmodelle (speziell der 7-Milliarden- und 13-Milliarden-Parameter-Versionen). Sie wollten sehen, ob F-WANDA mit der Konkurrenz mithalten kann.

Klugheit: Als sie die Modelle auf 50 % unstrukturierte Sparsity reduzierten (das heißt, die Hälfte der Verbindungen wurden entfernt), hielt F-WANDA den Roboter viel klüger als das ursprüngliche WANDA. In einem Test namens MMLU (der allgemeines Wissen misst), verbesserte F-WANDA den Score um 1,6 Prozentpunkte beim 7B-Modell und um 1,4 Prozentpunkte beim 13B-Modell im Vergleich zu WANDA. Es schlug sogar die super-vorsichtige Methode SPARSEGPT.
Flüssigkeit: Der Roboter klang immer noch natürlich. In einem Test namens WikiText-2 erreichte F-WANDA einen Perplexity-Score von 6,85 für das 7B-Modell, was fast identisch mit dem ursprünglichen WANDA ist. Das bedeutet, der Roboter fing nicht an, roboterhaft oder verwirrt zu klingen.
Energie und Geschwindigkeit: Hier glänzt F-WANDA wirklich. Die super-vorsichtige SPARSEGPT-Methode brauchte lange und verbrauchte viel Energie, um das Modell zu prunen. F-WANDA war viel schneller und günstiger. Tatsächlich verbrauchte F-WANDA nur ein Drittel der Energie und Zeit, die SPARSEGPT aufwand. Es dauerte etwa 12 Minuten, um das 7B-Modell auf einer leistungsstarken H100 GPU zu prunen, unter Verwendung von 4,3 kJ Energie, während SPARSEGPT 35 Minuten und 12,6 kJ benötigte.

Die Trade-offs und Grenzen

Der Autor weist vorsichtig darauf hin, dass F-WANDA kein Zauberstab für jede Situation ist.

Hardware-Regeln: Wenn der Computerchip ein striktes Muster beim Behalten und Entfernen von Verbindungen erfordert (wie z. B. genau 2 von 4 Verbindungen in einem Block zu behalten), kann F-WANDA sein smartes Budgeting nicht durchführen. In diesen speziellen Fällen verhält es sich wie das ursprüngliche WANDA.
Speicher: Da F-WANDA diese eine zusätzliche Prüfung durchführt, benötigt es etwas mehr Computerspeicher (etwa doppelt so viel wie WANDA), während es arbeitet. Für sehr große Modelle (wie 70 Milliarden Parameter) könnten spezielle Tricks nötig sein, um in den Speicher zu passen.
Generalisierung: Sie haben dies nur an der LLAMA-2-Familie getestet. Sie sind sich noch nicht sicher, ob es auf andere Arten von Robotergehirnen (wie LLaMA-3 oder Mistral) exakt genauso funktioniert, vermuten es aber.

Warum das wichtig ist

Das große Fazit ist, dass F-WANDA auf der „Pareto-Front“ liegt. Das ist eine schicke Art zu sagen: Es ist das bestmögliche Angebot, das man bekommen kann: Man erhält die höchste Qualität (klügerer Roboter) für die geringsten Kosten (weniger Energie und Zeit).

Indem sie lediglich eine schnelle Prüfung hinzufügten, um zu sehen, welche Teile des Gehirns tatsächlich hart arbeiten, gelang es den Forschern, eine massive Menge an Energie zu sparen und gleichzeitig den Roboter klüger zu machen. Es ist eine Erinnerung daran, dass man manchmal nicht die ganze Bibliothek neu aufbauen muss, um sie besser zu machen; man muss nur schlauer entscheiden, welche Bücher man wegwirft. Dies macht es viel einfacher und günstiger, diese leistungsstarken KI-Modelle in der realen Welt einzusetzen, was hilft, KI für alle nachhaltiger zu machen.

Technisches Resümee: F-WANDA

Problemstellung
Die Bereitstellung von Large Language Models (LLMs) wird zunehmend durch die Rechen- und Energiekosten auf der Inferenzseite begrenzt. Während das One-Shot Post-Training Pruning eine energieeffiziente Kompressionsstrategie darstellt, die kein Retraining oder gelabelte Daten erfordert, stehen bestehende Methoden vor einem Trade-off zwischen Qualität und Rechenaufwand.

WANDA (Sun et al., 2024) ist hocheffizient und erfordert nur einen einzigen Vorwärtspass, weist jedoch das Problem auf, dass es das Sparsitäts-Budget gleichmäßig über die Ausgabeneuronen verteilt. Diese Uniformität berücksichtigt nicht, dass bestimmte Neuronen unverhältnismäßig viel faktisches Wissen tragen, was zu einer suboptimalen Leistung bei wissensintensiven Aufgaben führt.
SPARSEGPT (Frantar und Alistarh, 2023) erreicht eine höhere Qualität durch ein „Optimal Brain Surgeon“-artiges Spalten-Sweeping mit Hessian-Inversion und Gewichtsaktualisierungen. Dieser Ansatz ist jedoch um eine Größenordnung rechen- und energieintensiver sowie in der Implementierung äußerst empfindlich.

Der identifizierte Kernengpass liegt in der Unfähigkeit von WANDA, zwischen „wissensrelevanten“ Neuronen (die konsistent den Loss treiben) und „konfidenten“ Neuronen (mit nahezu Null-Gradienten) zu unterscheiden, wenn das Pruning-Budget verteilt wird.

Methodik: F-WANDA
F-WANDA führt eine direkt anwendbare Modifikation für WANDA ein, die das pro-Zeile (per-row) Sparheits-Budget basierend auf der empirischen Fisher-Information der Prä-Aktivierungen neu verteilt, ohne dabei die Gewichte zu aktualisieren.

Erfassung des Fisher-Signals: Die Methode führt einen zusätzlichen Rückwärtspass (Backward Pass) über denselben Kalibrierungskorpus durch, der auch von WANDA verwendet wird. Für jedes Ausgabeneuron $i$ in einer Schicht berechnet sie den empirischen Fisher-Skalar $\bar{\omega}_i$ , definiert als der mittlere quadratische Gradient des Loss bezüglich der Prä-Aktivierung:
$\bar{\omega}_i = \frac{1}{N} \sum_{t=1}^{N} \left( \frac{\partial L_t}{\partial y_{t,i}} \right)^2$
Budget-Reallokation: Anstatt das Fisher-Signal zu verwenden, um den Saliency-Score direkt umzugewichten (was unter der per-row Top- $k$ $k$ -Selektion von WANDA degenerieren würde), nutzt F-WANDA $\bar{\omega}_i$ $\overset{ω}{ˉ}_{i}$ , um die Anzahl der zu behaltenden Gewichte ( $k_i$ $k_{i}$ ) für jede Zeile $i$ $i$ zu bestimmen.
- Neuronen mit hohen Fisher-Werten (loss-sensitiv) erhalten ein größeres Budget.
- Neuronen mit niedrigen Fisher-Werten (gesättigt) werden aggressiver geprunt.
- Die Allokation wird durch das globale Sparheitsziel begrenzt und mittels eines iterativen Water-Filling-Algorithmus mit Largest-Remainder-Rounding erzwungen, um exakte Ganzzahl-Werte sicherzustellen.
Pruning-Ausführung: Für jede Zeile behält der Algorithmus die Top- $k_i$ Gewichte basierend auf dem ursprünglichen WANDA Saliency-Score ( $|W_{ij}| \cdot \|X_j\|^2$ ) und setzt den Rest auf Null.
Recheneffizienz: Die Methode erfordert einen Vorwärts- und einen Rückwärtspass über den Kalibriersatz (128 Sequenzen mit jeweils 2048 Token). Sie vermeidet schichtweise Hessian-Inversionen und Gewichtsaktualisierungen, was zu einer asymptotischen Kostenkomplexität von $O(N \cdot |\theta|)$ führt, was signifikant niedriger ist als $O(\sum d_{in}^3)$ von SPARSEGPT.

Zentrale Beiträge

Algorithmische Innovation: Eine Modifikation von WANDA, die die empirische Fisher-Information nutzt, um das pro-Zeile Sparheits-Budget neu zu verteilen, wodurch die Erhaltung wissensintensiver Neuronen ohne Gewichtsaktualisierungen oder zusätzliche Daten verbessert wird.
Effiziente Implementierung: Ein exakter Budget-Allokator mittels Water-Filling, der das schichtweite Sparheitsziel einhält und gleichzeitig das Fisher-Signal berücksichtigt.
Nachhaltigkeits-Bilanzierung: Eine rigorose Evaluierung der Pruning-Kosten (Wandzeit, Peak-GPU-Speicher und Energie in kJ), die zeigt, dass F-WANDA an der Pareto-Front von Qualität versus Pruning-Energie liegt.
Leistungssteigerungen: Empirische Belege für Verbesserungen bei wissenslastigen Benchmarks bei gleichzeitiger Wahrung der Fluenz.

Experimentelle Ergebnisse
Evaluierung auf LLAMA-2-7B und LLAMA-2-13B bei 50 % unstrukturierter Sparsität:

Qualität: F-WANDA erreicht die niedrigste WikiText-2 Perplexität unter den Pruning-Methoden (6,85 bei 7B, 5,93 bei 13B). Entscheidend ist, dass es die 5-Shot MMLU-Genauigkeit im Vergleich zu WANDA um +1,6 Prozentpunkte (pp) beim 7B-Modell und um +1,4 pp beim 13B-Modell verbessert. Es übertrifft zudem SPARSEGPT um +1,1 pp bei MMLU (7B).
Effizienz: F-WANDA beansprucht nur ein Drittel der Wandzeit und der Energiekosten von SPARSEGPT beim Pruning. Während es etwa die 2,4-fache Pruning-Zeit von WANDA benötigt (aufgrund des Backward Pass), bleibt es signifikant günstiger als SPARSEGPT.
Inferenz: Die Energie pro Token während der Inferenz bleibt über alle Methoden bei gleicher Sparsität identisch, da die resultierende Gewichts-Dichte gleich ist; die Einsparungen werden vollständig während der Kompressionszeit realisiert.
Ablationen: Die Methode ist robust gegenüber der Größe des Kalibrierersatzes (stabil oberhalb von $N=128$ ). Das Ersetzen der empirischen Fisher-Information durch den quadrierten mittleren Gradienten führt zu einem Leistungsabfall auf das Niveau von WANDA, was die Notwendigkeit des Varianz-basierten Fisher-Signals bestätigt.

Bedeutung und Behauptungen
Das Paper behauptet, dass F-WANDA den Trade-off zwischen Pruning-Qualität und Kosten löst. Durch die Nutzung eines einzelnen Backward Pass zur Identifizierung loss-sensitiver Neuronen wandelt es das uniforme Budget von WANDA in eine Fisher-informierte Allokation um. Dies ermöglicht:

Überlegene Wissenserhaltung: Signifikante Gewinne bei MMLU ohne Fine-Tuning.
Nachhaltige Kompression: Ein Pruning-Prozess, der wesentlich energieeffizienter ist als Hessian-basierte Methoden wie SPARSEGPT, was die Methode an die Pareto-Front für nachhaltige LLM-Bereitstellung stellt.
Methodische Klarheit: Das Paper hebt eine spezifische Unterscheidung hervor, wie Fisher-Information angewendet werden sollte: als Budget-Signal statt als Gewichts-Ebene Saliency-Modifier, was die Kombination mit WANDA in einem einzigen Pass handhabbar macht.

Der Autor weist auf Einschränkungen hin, insbesondere dass die Methode unter strikter hardwarefixierter N:M-Sparsität (z. B. 2:4) zu Standard-WANDA reduziert, da pro-Block-Dichte-Beschränkungen eine pro-Zeile Budget-Reallokation verhindern. Zudem ist die Evaluierung derzeit auf die LLAMA-2-Familie beschränkt, und die Generalisierbarkeit auf andere Architekturen oder Aktivierungsfunktionen bleibt eine offene Frage.