💬 NLP

SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices

SigmaScale ist eine neuartige Methode zur LLM-Kompression, die gelernte diagonale Skalierungsmatrizen optimiert, um den effektiven intrinsischen Rang von Gewichtmatrizen mittels aktivierungsbewusster SVD zu reduzieren und dabei eine wettbewerbsfähige Leistung gegenüber dem Stand der Technik bei Modellen wie Llama 3.1 und Qwen3 erzielt.

Ursprüngliche Autoren: Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Riesige Modelle sind schwerfällig

Stellen Sie sich Large Language Models (LLMs) wie Llama 3.1 oder Qwen3 wie riesige, unglaublich detaillierte Bibliotheken vor. Diese Bibliotheken enthalten Milliarden von Büchern (Parametern), die es der KI ermöglichen, klug zu sein und Fragen zu beantworten. Da sie jedoch so gewaltig sind, sind sie schwer zu tragen, teuer im Betrieb und erfordern leistungsstarke, energiehungrige Computer, nur um einen einzigen Satz zu lesen.

Wissenschaftler wollen diese Bibliotheken verkleinern, damit sie auf kleinere Geräte passen, ohne dabei die „klugen“ Teile zu verlieren. Dies nennt man Kompression.

Der alte Weg: Der „blind gebundene Editor“

Eine beliebte Methode, um diese Modelle zu verkleinern, ist die SVD (Singularwertzerlegung). Stellen Sie sich das Gehirn des Modells wie eine riesige Tabelle voller Zahlen vor.

Die Analogie: Stellen Sie sich vor, Sie haben ein 100-seitiges Dokument, aber Sie haben nur Platz, um 10 Seiten aufzubewahren. Die alte SVD-Methode wirkt wie ein blind gebundener Editor. Er schaut auf das Dokument und sagt: „Okay, ich behalte die ersten 10 Seiten, auf denen am meisten Tinte zu sehen ist, und werfe den Rest weg.“
Der Fehler: Manchmal befinden sich die wichtigsten Informationen nicht auf den Seiten mit der meisten Tinte. Sie könnten in den Randbereichen versteckt oder in einer winzigen Schrift geschrieben sein. Indem die SVD blind das „Ende“ der Daten abschneidet, verliert das Modell die Fähigkeit, Nuancen zu verstehen, und beginnt Fehler zu machen.

Die neue Lösung: SigmaScale (Der „schlaue Schrumpfer“)

Die Autoren dieser Arbeit schlagen eine neue Methode namens SigmaScale vor. Anstatt einfach blind die untersten 90 % der Daten abzuschneiden, agiert SigmaScale wie ein schlauer Editor mit einer Lupe und einem Textmarker.

So funktioniert es, Schritt für Schritt:

1. Der „Streck-und-Schrumpf“-Trick

Bevor der Editor die Seiten abschneidet, wendet SigmaScale einen speziellen „Streck-und-Schrumpf“-Filter auf das Dokument an.

Die Analogie: Stellen Sie sich vor, das Dokument bestünde aus Gummi. SigmaScale streckt die wichtigen Teile (macht sie größer und leichter sichtbar) und schrumpft die unwichtigen Teile (macht sie kleiner).
Wie es das macht: Es lernt zwei Sätze von Zahlen (Vektoren), die wie Zeilen- und Spaltenlineale fungieren. Es rät nicht einfach, wo es schneiden soll, sondern es lernt genau, wie es die Daten dehnen muss, damit die kritischsten Informationen an die Spitze der Liste wandern.

2. Der „Aktivierungs-bewusste“ Verlust (Activation-Aware Loss)

In der Arbeit wird erwähnt, dass diese Methode „aktivierungsbewusst“ ist.

Die Analogie: Ein normaler Editor schaut nur auf das Papier. SigmaScale schaut darauf, wie das Papier tatsächlich genutzt wird. Es fragt: „Wenn ein Mensch dies liest, welche Wörter braucht er wirklich, um die Geschichte zu verstehen?“ Es optimiert die Streckung basierend darauf, wie das Modell Informationen tatsächlich verarbeitet, und nicht nur danach, wie die Zahlen auf der Seite aussehen.

3. Das Ergebnis: Eine kleinere, klügere Bibliothek

Nachdem der Editor die wichtigen Teile gestreckt hat, schneidet (SVD) er den unteren Teil ab. Da SigmaScale die wichtigen Teile zuerst gestreckt hat, erfolgt der „Schnitt“ an einer Stelle, an der weniger wertvolle Informationen gespeichert sind.

Das Ergebnis: Das resultierende „geschrumpfte“ Modell ist viel kleiner, bewahrt aber die „intrinsische Rangfolge“ (die Kernintelligenz) viel besser als die alten Methoden.

Was die Experimente zeigten

Die Forscher testeten dies an Llama 3.1 (8B) und Qwen3-8B. Sie verglichen SigmaScale mit anderen erstklassigen Methoden (SVD-LLM und ASVD+).

Milde Kompression (Beibehaltung von 90 % der Größe): SigmaScale war der klare Gewinner. Es hielt die „Perplexity“ (ein Maß dafür, wie verwirrt das Modell ist) viel niedriger als die anderen. Es war, als würde man 90 % der Bibliothek behalten, aber irgendwie 95 % der Intelligenz bewahren.
Moderate Kompression (Beibehaltung von 75 % der Größe): SigmaScale schnitt immer noch sehr gut ab und schlug die Konkurrenz oft bei spezifischen Logik- und Denktests.
Extreme Kompression (Beibehaltung von 50 % der Größe): Hier hatte SigmaScale Schwierigkeiten, genau wie die anderen Methoden. Die Arbeit gibt zu, dass selbst ein schlauer Editor das Modell nicht vor dem geistigen Verfall retten kann, wenn man die Bibliothek auf die Hälfte schrumpft. Es ist keine magische Lösung für extreme Verkleinerungen.

Der „Fine-Tuning“-Schritt

Nachdem das Modell geschrumpft wurde, ist es etwas wackelig. Die Forscher testeten auch zwei Wege, um es wieder zu stabilisieren:

Überwachtes Fine-Tuning (Supervised Fine-Tuning): Dem geschrumpften Modell neue Beispiele beibringen.
Wissensdestillation (Knowledge Distillation, KD): Ein riesiges, ungeschrumpftes „Lehrer“-Modell das kleine „Schüler“-Modell anleiten lassen.

Das Ergebnis: Überraschenderweise half der „Lehrer“ (KD) bei dieser speziellen Methode nicht wesentlich mehr als das direkte Unterrichten des Schülers. Beide Methoden funktionierten etwa gleich gut.

Das Fazum

SigmaScale ist eine neue Technik, die das Schrumpfen von KI-Modellen intelligenter macht. Anstatt einfach nur den unteren Teil der Daten abzuhacken, lernt es zuerst, wie es die Daten neu anordnet, damit die wichtigsten Teile erhalten bleiben.

Am besten geeignet für: Situationen, in denen Sie Platz sparen müssen, aber nicht zu viel Intelligenz verlieren dürfen (milde bis moderate Kompression).
Nicht geeignet für: Versuche, ein Modell auf eine winzige Größe zu schrumpfen (extreme Kompression), bei denen die Methode versagt.
Die wichtigste Erkenntnis: Es ist ein flexibler, lernender Ansatz, der sich an die spezifische Form des „Gehirns“ des Modells anpasst, anstatt eine Einheitsformel zu verwenden.

Technisches Resümee: SigmaScale

Problemstellung

Große Sprachmodelle (LLMs) haben durch die Skalierung von Parametern auf Zehn- oder Hunderttausende Milliarden beeindruckende Leistungen erzielt, doch dieses Wachstum schafft erhebliche Barrieren hinsichtlich der technologischen Zugänglichkeit und der Umweltauswirkungen aufgrund des hohen Stromverbrauchs bei der Inferenz. Obwohl Techniken zur Modellkompression wie Quantisierung, Pruning und Knowledge Distillation existieren, erfordern viele von ihnen spezialisierte Hardware oder komplexe Retraining-Pipelines. Die Niedrigrang-Zerlegung, insbesondere die trunkierte Singulärwertzerlegung (SVD), bietet eine hardwareagnostische Alternative, indem sie Gewichtmatrizen $W$ als Produkt von Matrizen niedrigeren Rangs approximiert.

Die Standard-SVD steht jedoch vor zwei primären Einschränkungen im Kontext von LLMs:

Analytische Suboptimalität: Das Eckart–Young–Mirsky-Theorem liefert die optimale analytische Lösung zur Minimierung der Frobenius-Norm $||W - W'||_F$ . Doch diese strukturelle Minimierung schneidet bei den Gewichten neuronaler Netze oft schlecht ab, da sie Aktivitäts-Ausreißer (Outlier) und das funktionale Verhalten des Netzwerks ignoriert.
Optimierungsprobleme: Naive SVD ist rechenintensiv ( $O(n^3)$ ) und besitzt instabile Ableitungen, was die Integration in gradientenbasierte Optimierungsroutinen erschwert. Darüber hinaus verlassen sich frühere Methoden, die versuchen, SVD durch Skalierungsmatrizen zu verbessern (z. B. um Aktivitäts-Ausreißer zu absorbieren), auf analytische Ableitungen (wie die Cholesky-Zerlegung der Aktivitätskovarianz) anstatt diese Transformationen direkt zu lernen.

Methodik: SigmaScale

Die Autoren schlagen SigmaScale vor, eine Methode, die Hilfsskalierungsmatrizen $S$ lernt, um die trunkierte SVD-basierte Kompression zu unterstützen. Anstatt die Skalierungsmatrizen analytisch abzuleiten, optimiert SigmaScale diese mittels Gradientenabstieg unter einer aktivitätsbewussten Verlustfunktion.

Die Pipeline besteht aus drei Hauptphasen:

Sensitivitäts-Probing: Vor der Kompression bestimmt die Methode die optimalen Trunkierungs-Ränge für jede Schicht und jedes Modul (MLP und Attention), um ein globales Ziel-Kompressionsverhältnis zu erreichen und gleichzeitig den Anstieg der Perplexität zu minimieren. Dies nutzt einen binären Suchalgorithmus ähnlich wie ASVD.
Gelernte Skalierungsmatrizen:
- Für eine Gewichtmatrix $W \in \mathbb{R}^{m \times n}$ werden zwei Vektoren $d_r \in \mathbb{R}^m$ und $d_c \in \mathbb{R}^n$ aus einer skalierten Gauß-Verteilung initialisiert.
- Diese Vektoren definieren positive diagonale Skalierungsmatrizen via Exponentiation: $S_r = \text{diag}(\exp(d_r))$ und $S_c = \text{diag}(\exp(d_c))$ .
- Die Gewichtmatrix wird skaliert ( $S_r W S_c$ ), die trunkierte SVD wird durchgeführt, um Rank- $k$ -Faktoren zu erhalten, und die inverse Skalierung wird angewendet, um die komprimierte Matrix $W'$ zu rekonstruieren.
- Die Parameter $d_r$ und $d_c$ werden optimiert, um eine aktivitätsbewusste Verlustfunktion zu minimieren:
  $L_F = \frac{1}{mn} ||WX - W'X||_F^2$
  wobei $X$ die Aktivierungen aus einem Kalibrierungsdatensatz darstellt. Dies stellt sicher, dass die Kompression die Funktionalität des Modells bewahrt und nicht nur dessen Struktur.
- Hinweis: Um die instabile Ableitung der SVD zu handhaben, überspringt die Trainingsschleife Update-Schritte, in denen die Differenzen der Singulärwerte gegen Null gehen, um NaN-Werte zu verhindern.
Post-Kompression-Feinabstimmung: Nach der Kompression durchläuft das Modell eine Feinabstimmung, um die Gewichte neu auszurichten. Die Autoren vergleichen Supervised Fine-Tuning (SFT) mit Knowledge Distillation (KD) unter Verwendung eines unkomprimierten Teacher-Modells, um die Leistung wiederherzustellen.

Kernbeiträge

Lernen von Skalierungsparametern: Nach Kenntnis der Autoren ist dies die erste Arbeit, die das Lernen der Parameter von zeilen- und spaltenweisen Skalierungsmatrizen $S$ spezifisch zur Verbesserung der SVD-Kompression leistet und damit von analytischen Ableitungen abweicht.
Analyse der Leistungsrekonstruktion: Die Arbeit bietet eine vergleichende Analyse von KD gegenüber SFT für die Leistungsrekonstruktion im Kontext der SVD-basierten Kompression unter Verwendung variierter Post-Kompression-Datensätze.
Benutzerdefinierter Datensatz: Die Autoren führen eine benutzerdefinierte Variante des Alpaca-Datensatzes ein, die mittels Llama 3.1-8B Instruction-Outputs generiert wurde, um Varianz für die Experimente zur Gewichtsausrichtung einzuführen.

Ergebnisse und Analyse

Experimente wurden an Llama 3.1 8B Instruct und Qwen3-8B Modellen über verschiedene Kompressionsverhältnisse (0,90x, 0,75x, 0,50x Retention) hinweg durchgeführt.

Wettbewerbsfähigkeit: SigmaScale ist konkurrenzfähig zu State-of-the-Art SVD-basierten Methoden (SVD-LLM und ASVD+).
- Bei 0,90x Retention verbessert SigmaScale die Perplexität gegenüber SVD-LLM für beide Modelle erheblich und stellt den Großteil der Zero-Shot-Benchmark-Leistung wieder her.
- Bei 0,75x Retention verbessert SigmaScale im Allgemeinen mehrere Zero-Shot-Benchmarks, wenngleich die Perplexitätsgewinne marginal sind.
- Bei 0,50x Retention sinkt die Leistung drastisch, insbesondere bei Llama 3.1. Die Autoren stellen fest, dass die Methode am effektivsten ist, wenn der beibehaltene Unterraum groß genug ist, damit die gelernte Skalierung die verworfenen Singulärrichtungen kompensieren kann; sie ist keine vollständige Lösung für extreme Niedrigrang-Kompression.
KD vs. SFT: Entgegen einiger vorangegangener Literatur, die nahelegt, dass KD für die Rekonstruktion überlegen ist, zeigen die Ergebnisse der Autoren in ihrem spezifischen Setup keine wesentlichen Verbesserungen von KD gegenüber SFT für SigmaScale.
Intrinsische Rangreduktion: Die Autoren analysieren die „effektive Rang-Entropie“ der Singulärwerte ( $\Sigma$ ) während der Optimierung. Sie beobachten eine starke Korrelation (ca. 0,81–0,92) zwischen der Reduktion des Kompressionsverlusts und der Reduktion der effektiven Rang-Entropie. Dies deutet darauf hin, dass die gelernte Skalierung den effektiven intrinsischen Rang der Gewichtmatrizen senkt und sie besser an die Kompressionsbeschränkungen anpasst.

Bedeutung und Limitationen

Das Paper positioniert SigmaScale als valide Option für Anwendungen, die reduzierte LLM-Inferenzkosten erfordern, insbesondere in milden bis moderaten Kompressionsregimen. Durch die Anpassung an die Struktur individueller Modellgewichte mittels gelernter, aktivitätsbewusster Transformationen bietet es einen flexibleren Weg zur Niedrigrang-Kompression als analytische Methoden.

Die Autoren räumen explizit mehrere Limitationen ein:

Rechenaufwand: Die Methode erfordert weiterhin die Berechnung der SVD bei jedem Update-Schritt während des Trainings der Skalierungsmatrizen, wodurch die $O(n^3)$ -Komplexität erhalten bleibt, und untersucht keine schnelleren, approximativen SVD-Alternativen.
Extreme Kompression: Die Methode verschlechtert sich signifikant unter aggressiver Kompression (z. B. 0,50x), was darauf hindeutet, dass sie eher ein Mechanismus zur Verbesserung der Trunkierungsqualität im Bereich des beibehaltenen Rangs ist als eine Lösung für extreme Kompression.
Evaluationsumfang: Die Evaluierung beschränkt sich auf Perplexität und spezifische Zero-Shot-Benchmarks; Auswirkungen auf die Generierung langer Texte oder Coding-Aufgaben wurden nicht untersucht.
Kalibrierungsdaten: Die Robustheit gegenüber unterschiedlichen Kalibrierungsverteilungen wurde nicht formal verifiziert, und die Verwendung von Wikitext wird als suboptimaler, primär zur Konsistenz mit vorangegangenen Baselines gewählter Ansatz angemerkt.