🤖 machine learning

LegoLM: Structured Weight Sharing for Large Language Models

LegoLM ist ein strukturiertes Weight-Sharing-Framework, das die Ausfälle durch Distributionsunterschiede und Ausreißerdominanz durch datenfreie Anpassungen wie Scalar-Block-Encoding, Perzentil-selektiven Ersatz und Grenzschicht-Schutz überwindet und so eine nahezu verlustfreie Kompression für große Sprachmodelle erreicht, während es bestehende PTQ-8-Bit-Methoden signifikant übertrifft.

Ursprüngliche Autoren: Joseph Bingham

Veröffentlicht 2026-08-11

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Joseph Bingham

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige, komplizierte Bibliothek des Wissens in einen winzigen Rucksack zu passen. Dies ist das tägliche Dilemma für „Large Language Models“ (LLMs), die superintelligenten Computergehirne, die Geschichten schreiben, Matheaufgaben lösen und mit uns chatten. Diese Gehirne bestehen aus Milliarden winziger Zahlen namens „Gewichte“, die wie die Synapsen in einem menschlichen Gehirn wirken und Ideen miteinander verbinden. Um diese Modelle auf normalen Laptops oder Handys laufen zu lassen, müssen Wissenschaftler sie verkleinern, ohne ihre Intelligenz zu verlieren. Eine populäre Idee für das Verkleinern ist das „Weight Sharing“ (Gewichtsteilung). Stellen Sie sich das wie eine Gruppe von Freunden vor, die alle vereinbaren, exakt das gleiche Hemd aus einem Katalog zu tragen, anstatt jedes sein eigenes Unikat zu kaufen. Anstatt für jede einzelne Verbindung im Gehirn eine einzigartige Zahl zu speichern, speichert man nur eine kleine Liste von „Standardhemden“ (Zentroiden) und eine Notiz: „Hey, diese Verbindung trägt Hemd Nr. 5.“ Es ist eine clevere Art, Platz zu sparen, aber bis jetzt war die Anwendung auf diese riesigen KI-Gehirne ein Desaster.

Das Problem ist, dass KI-Gehirne chaotisch sind. Im Gegensatz zu einem einfachen Bildfilter, bei dem jeder Teil gleich aussieht, haben die verschiedenen Schichten eines KI-Gehirns Gewichte, die in ihrer Größe völlig unterschiedlich sind. Zu versuchen, sie alle dazu zu zwingen, dieselben „Standardhemden“ zu tragen, ist so, als würde man versuchen, einen riesigen Elefanten und eine winzige Maus in dasselbe Paar Schuhe zu quetschen; der Elefant wird zerquetscht und die Maus schwebt davon. Dieses Paper stellt eine neue Methode namens LegoLM vor, die diese kaputte Idee korrigiert. Anstatt einen Einheitsansatz zu verfolgen, agiert LegoLM wie ein kluger Schneider. Es erkennt, dass die Standardhemden die meiste Zeit gut funktionieren, aber hin und wieder gibt es „Ausreißer-Gewichte“ – riesige, seltsame Zahlen, die so anders sind, dass sie das gesamte Outfit ruinieren würden, wenn man sie in ein Standardhemd zwänge. Das Geheimnis von LegoLM ist, diese wenigen seltsamen Gewichte genau so zu lassen, wie sie sind, unberührt, während alles andere komprimiert wird. Das Ergebnis ist ein Modell, das auf einen Bruchteil seiner ursprünglichen Größe geschrumpft wurde, aber fast seine gesamte Intelligenz behält und dabei besser arbeitet als andere Methoden, die teure Daten zur Korrektur benötigen.

Die zwei Arten, wie Weight Sharing scheitert

Der Autor dieses Papers, Joseph Bingham, entdeckte, dass globales Weight Sharing aus zwei sehr spezifischen, unterschiedlichen Gründen scheitert. Sie nennen dies „Failure Modes“ (Fehlermodi), und das Verständnis dieser ist der Schlüssel dazu, warum LegoLM funktioniert.

Fehlermodus 1: Die Skalen-Diskrepanz (Das „Falsche Schuhgrößen“-Problem)
Stellen Sie sich vor, Sie haben eine Sammlung von Gewichten aus verschiedenen Schichten der KI. Einige Schichten sind „laut“ (ihre Zahlen sind groß) und einige sind „leise“ (ihre Zahlen sind klein). Wenn Sie versuchen, sie alle zusammenzufassen und einen einzigen durchschnittlichen „Hemd-Wert“ für einen ganzen Block von ihnen zu finden, stoßen Sie auf ein mathematisches Problem. Das Paper beweist, dass der Fehler linear mit der Größe des Blocks wächst, wenn man versucht, einen Block von Gewichten zu komprimieren, die unterschiedliche Größen haben. Es ist, als würde man versuchen, den Schritt eines Marathonläufers mit dem Schritt eines Kleinkindes zu mitteln; egal wie viele verschiedene Schuhe Sie in Ihren Katalog aufnehmen, Sie können keinen Schuh machen, der beiden perfekt passt, wenn Sie erzwingen, dass sie dieselbe Größe haben. Das Paper zeigt, dass diese Diskrepanz eine so schwere Verwirrung stiftet, dass die Fähigkeit des Modells, Text vorherzusagen (gemessen als „Perplexity“), in die Millionen explodiert, was dazu führt, dass die KI Kauderwelsch spricht.

Fehlermodus 2: Ausreißer-Dominanz (Das „Riesen“-Problem)
Dies ist der dramatischerer Ausfall. Selbst wenn man Einzelzahlen (Skalarblöcke) anstelle von Blöcken verwendet, gibt es ein paar Gewichte in der KI, die im Vergleich zum Rest einfach riesig sind. Dies sind die „Ausreißer“. Wenn Sie ein Codebuch mit beispielsweise 8 Standardhemden haben, könnte das größte Hemd im Katalog Größe XL sein. Aber was, wenn es ein Gewicht ist, das Größe 10XL hat? Wenn Sie dieses 10XL-Gewicht zwingen, das XL-Hemd zu tragen, ist die Verzerrung katastrophal. Das Paper zeigt, dass diese Ausreißer, wenn Modelle größer werden (von 124 Millionen auf 7,2 Milliarden Parametern), noch gefährlicher werden. Bei einem kleineren Modell könnte das Ersetzen dieser Ausreißer die KI nur leicht verwirren. Aber bei einem riesigen Modell wie Mistral-7B verursacht das Ersetzen dieser wenigen riesigen Gewichte einen komplekseqen Zusammenbruch der Qualität um über 1.134.279 %. Es ist, als würde das Entfernen eines einzigen Schlusssteins aus einer massiven Kathedrale dazu führen, dass das gesamte Gebäude zu Staub zerfällt.

Die LegoLM-Lösung: Kluges Schneidern

LegoLM behebt diese Probleme mit drei einfachen, datenfreien Tricks. Es benötigt keine Trainingsdaten oder ein Nachtraining des Modells; es ordnet lediglich die Gewichte neu an.

Skalare Kodierung: Anstatt Gewichte in Blöcken zu gruppieren (was die Skalen-Diskrepanz verursacht), behandelt LegoLM jedes einzelne Gewicht als Individuum. Dies eliminiert das „Falsche Schuhgrößen“-Problem, da jedes Gewicht frei ist, das am nächsten liegende Standardhemd zu wählen, ohne von seinen Nachbarn mitgezogen zu werden.
Perzentil-Selektiver Ersatz: Dies ist der magische Trick. Der Algorithmus betrachtet alle Gewichte und findet diejenigen, die am weitesten von einem Standardhemd entfernt sind. Dies sind die „Ausreißer“. Anstatt sie zu zwingen, ein Hemd zu tragen, sagt LegoLM: „Du bist zu besonders; du bleibst genau so, wie du bist.“ Es bewahrt die obersten 1 % dieser seltsamen Gewichte in ihrer ursprünglichen, hochpräzisen Form. Die restlichen 99 % werden in das kleine Codebuch komprimiert.
Schutz der Grenzschichten: Die allerersten und allerletzten Schichten der KI sind besonders sensibel. LegoLM schenkt ihnen etwas zusätzliche Sorgfalt, obwohl das Paper anmerkt, dass dies für die größten Modelle weniger kritisch ist als der Schutz vor Ausreißern.

Die Ergebnisse: Kleine Größe, große Gehirne

Der Autor testete LegoLM auf zwei Modellen: GPT-2 Small (124 Millionen Parameter) und Mistral-7B (7,2 Milliarden Parameter). Die Ergebnisse waren überraschend und beeindruckend.

Auf Mistral-7B: Durch die Verwendung eines Codebuchs mit 128 Standardwerten und der Bewahrung von nur 1 % der Ausreißer-Gewichte komprimierte LegoLM das Modell um den Faktor 4,41. Das Ergebnis? Die Qualität des Modells sank nur um 0,03 %. Das ist im Grunde eine „verlustfreie“ Kompression. Es performte sogar besser als eine populäre Methode namens PTQ-8bit, die es nur 4-mal komprimierte und einen etwas höheren Fehler aufwies.
Die Rettung der Ausreißer: Die dramatischste Erkenntnis betraf die Ausreißer. Als man versuchte, Mistral-7B zu komprimieren, indem man alle Gewichte (selbst die Riesen) durch Standardwerte ersetzte, stürzte die Qualität des Modells um 1.134.279 % ab. Doch indem man einfach diese winzigen 1 % der Ausreißer rettete, brachte man den Fehler auf ein handhabbares Niveau von 14,24 %, selbst bei einer massiven 9,74-fachen Kompression.
Skalierung spielt eine Rolle: Das Paper fand heraus, dass das „Ausreißer-Problem“ schlimmer wird, je größer die Modelle werden. Beim kleinen GPT-2 verursachte das Ersetzen der Ausreißer einen Rückgang von 23 %. Beim riesigen Mistral-7B verursachte es einen Rückgang von 1.134.279 %. Dies deutet darauf an, dass größere Modelle noch stärker auf diese wenigen seltsamen Zahlen angewiesen sind, um zu funktionieren.

Warum das wichtig ist

LegoLM ist deshalb besonders, weil es datenfrei ist. Die meisten anderen Kompressionsmethoden müssen tausende Beispielsätze durch das Modell jagen, um herauszufinden, wie sie es verkleinern können. LegoLM schaut sich einfach die Gewichte selbst an und betreibt die Mathematik. Es kann ein 7-Milliarden-Parameter-Modell in unter 30 Minuten auf einer einzigen Grafikkarte komprimieren.

Das Paper kommt zu dem Schluss, dass der Schlüssel dazu, Weight Sharing funktionieren zu lassen, nicht nur darin besteht, einen besseren Katalog an Hemden zu haben, sondern zu wissen, wann man den Katalog nicht benutzen sollte. Indem es die wenigen „riesigen“ Gewichte identifiziert und schützt, die das Modell zusammenhalten, ermöglicht LegoLM uns, diese massiven KI-Gehirne in Rucksäcke zu schrumpfen, ohne dass sie ihren Verstand verlieren. Es verwandelt eine Methode, die für große Modelle zuvor defekt war, in ein wettbewerbsfähiges, effizientes Werkzeug für die Zukunft der KI.

Technisches Resümee: LegoLM – Strukturierte Gewichtsteilung für große Sprachmodelle

Problemstellung

Große Sprachmodelle (LLMs) erfordern eine aggressive Kompression für den praktischen Einsatz, da selbst Modelle mit 16-Bit-Präzision den Speicher von Consumer-GPUs überschreiten. Während etablierte Post-Training-Kompressionsmethoden wie Quantisierung, Pruning und Low-Rank-Faktorisierung existieren, ist die Gewichtsteilung (Weight Sharing) – bei der mehrere Gewichte einen einzigen gelernten Zentroidenwert aus einem globalen Codebuch teilen – historisch gesehen bei der Anwendung auf LLMs gescheitert. Frühere Arbeiten wendeten die Gewichtsteilung erfolgreich auf konvolutionale Netzwerke an, doch ihre Anwendung auf Transformer wurde bisher nicht systematisch untersucht.

Dieses Paper identifiziert, dass die globale Gewichtsteilung bei LLMs aufgrund zweier distinkter, theoretisch fundierter Ausfallmodi scheitert:

Distributionale Diskrepanz (Distributional Mismatch): Wenn Gewichte in Vektorblöcken ( $d \ge 2$ ) gruppiert und global geclustert werden, muss das Codebuch Schichten mit heterogenen Gewichtsskalen bedienen (die um das bis zu 3-fache variieren). Ein auf einer gepoolten Verteilung trainierter Zentroid erzwingt einen Skalen-Fehlpassungs-Penalty, der linear mit der Blockdimension $d$ wächst, was zu einer Perplexität in die Millionen führt, unabhängig von der Codebuchgröße.
Dominanz von Ausreißern (Outlier Dominance): In Skalarblöcken ( $d=1$ ) wird zwar die Skalen-Diskrepanz eliminiert, jedoch enthalten die Gewichtverteilungen von LLMs extreme Skalarbeträge (Ausreißer). Bei kleinen Codebuchgrößen ( $K$ ) liegt ein Bruchteil der Gewichte ( $\approx 1/K$ ) außerhalb der äußersten Lloyd-Max-Entscheidungsschwelle. Das Ersetzen dieser Ausreißer durch den nächstgelegenen Zentroiden verursacht einen katastrophalen Qualitätsverlust, der sich über die Schichten hinweg akkumuliert. Entscheidend ist, dass dieser Effekt superlinear mit der Modellgröße skaliert; ein vollständiger Ersatz verschlechtert ein 124M-Parameter-Modell um ~23 %, aber ein 7,2B-Parameter-Modell um über 1.000.000 %.

Methodik: Das LegoLM-Framework

LegoLM ist ein strukturiertes, datenfreies Kompressionsframework, das darauf ausgelegt ist, beide Ausfallmodi gleichzeitig zu lösen, ohne Zugriff auf Kalibrierungsdaten oder Gradienten zu benötigen. Es nutzt drei wesentliche Anpassungen:

Skalar-Block-Kodierung ( $d=1$ ): Um die $d$ -lineare Diskrepanzkomponente zu eliminieren, werden die Gewichte als Skalarblöcke statt als Vektorblöcke behandelt. Dies ermöglicht es jedem Gewicht, unabhängig seinem nächstgelegenen Zentroiden zugewiesen zu werden, ohne sich auf eine feste mehrdimensionale Skala festlegen zu müssen, was den Rekonstruktionsfehler über die Schichten hinweg erheblich reduziert.
Perzentil-Selektiver Ersatz (Percentile-Selective Replacement): Um die Dominanz von Ausreißern zu adressieren, identifiziert die Methode die Gewichte mit dem größten Quantisierungsfehler (Abstand zum nächsten Zentroiden) und bewahrt diese unverändert (gespeichert als fp16 anstatt durch einen Zentroiden-Index ersetzt). Dies dient als datenfreier Proxy für die magnitudenbasierte Ausreißererkennung. Der Schwellenwert wird durch ein Perzentil $p$ bestimmt (z. B. Bewahrung der obersten 1 % der Fehler).
Schutz der Rand-Schichten (Boundary-Layer Protection): Die ersten und letzten Transformer-Blöcke werden als überproportional sensitiv identifiziert. Bei kleineren Modellen werden diese Schichten von der Kompression ausgenommen, um die Fehlerakkumulation zu verhindern, wobei festgestellt wurde, dass dieser Mechanismus im Vergleich zum selektiven Ersatz bei größeren Modellen weniger kritisch ist.

Berechnung des Kompressionsverhältnisses (Compression Ratio, CR):
Das Kompressionsverhältnis berücksichtigt die Speicherung des globalen Codebuchs, des Index-Streams (komprimiert via Huffman-Kodierung zur Reduzierung des Overheads) und der bewahrten Ausreißergewichte. Die Formel lautet:
$CR = \frac{(N_c + N_s) \cdot 32}{n_r \cdot \lceil \log_2 K \rceil + n_k \cdot 32 + K \cdot 32 + N_s \cdot 32}$
Wobei $N_c$ und $N_s$ die Gewichte in den berechtigten bzw. übersprungenen Schichten sind, $n_r$ die ersetzten Gewichte und $n_k$ die exakt beibehaltenen Ausreißergewichte.

Zentrale Beiträge

Formale Ausfallmodi: Das Paper liefert theoretische Charakterisierungen (Proposition 1 und Theorem 3) sowie empirische Validierungen für zwei Ausfallmodi der LLM-Gewichtsteilung: die kreuzschichtweise distributionale Diskrepanz (Vektorblöcke) und die Dominanz von Ausreißern (Skalarblöcke).
Das LegoLM-Framework: Eine neuartige, datenfreie Kompressionsmethode, die Skalar-Kodierung, selektiven Ausreißerschutz und Rand-Schicht-Schutz kombiniert. Es beinhaltet exakte Formeln für Kompressionsverhältnisse unter Berücksichtigung des selektiven Ersatzes.
Skalen-invarianter Rettungsmechanismus: Die Entdeckung, dass die Ausreißer-Dominanz superlinear mit der Modellskala wächst. Während der vollständige Ersatz bei 7B-Modellen katastrophal scheitert, rettet die Bewahrung von nur 1 % der Ausreißergewichte das Modell auf ein nahezu verlustfreies Qualitätsniveau. Dieser Rettungsmechanismus ist über einen Parameterbereich von 60 $\times$ (124M bis 7,2B) konsistent.
Ablationsstudie zum Mechanismus: Eine kontrollierte Ablationsstudie zeigt, dass der selektive Ersatz der dominante Mechanismus für die datenfreie Kompression ist. Das Hinzufügen des selektiven Ersatzes zu Standard-Per-Layer-K-Means erreicht eine nahezu verlustfreie Qualität (+0,05 % PPL) und liegt damit innerhalb von 0,02 Prozentpunkten des globalen LegoLM-Ansatzes. Die globale Codebuchstruktur bietet praktische Effizienz (Speicherung von 128 Zentroiden statt 4.096), führt aber bei Anwendung des selektiven Ersatzes zu vernachlässigbaren Qualitätsunterschieden.

Experimentelle Ergebnisse

Das Framework wurde auf GPT-2 Small (124M), GPT-2 Medium (354M) und Mistral-7B (7,2B) unter Verwendung des WikiText-2 Test-Sets und Downstream-Aufgaben (LAMBADA, HellaSwag) evaluiert.

Mistral-7B Performance:
- Nahezu verlustfrei: Bei $K=128, p=99\%$ erreicht LegoLM eine 4,41 $\times$ Kompression mit nur +0,03 % Perplexitäts-Degradierung (PPL). Dies übertrifft PTQ-8bit (4,00 $\times$ , +0,04 % PPL) sowohl in der Qualität als auch im Kompressionsverhältnis.
- Hohe Kompression: Bei $K=8, p=99\%$ erreicht es eine 9,74 $\times$ Kompression mit +14,24 % PPL-Degradierung und übertrifft damit PTQ-4bit (8,00 $\times$ , +17,85 % PPL).
- Downstream-Genauigkeit: Bei $K=64, p=99\%$ (5,12 $\times$ Kompression) bewahrt das Modell die Downstream-Genauigkeit innerhalb der Messgenauigkeit und erreicht die Genauigkeit von PTQ-8bit bei gleichzeitig 1,28 $\times$ höherer Kompression.
Vergleich zu Baselines:
- PTQ-8bit/4bit: LegoLM erreicht oder übertrifft deren Qualität bei vergleichbaren oder höheren Kompressionsraten, ohne Kalibrierungsdaten oder Hessian-Berechnungen zu benötigen.
- Deep Compression (Per-layer K-means): Ohこと den selektiven Ersatz scheitert Per-Layer-K-means bei Mistral-7B katastrophal (z. B. +930.306 % PPL). Mit selektivem Ersatz ( $p=99\%$ ) erholt es sich auf nahezu verlustfreie Qualität (+0,05 %), was die Zentralität der Ausreißer-Bewahrung bestätigt.
- Pruning und Faktorisierung: Unstrukturiertes Magnituden-Pruning und SVD-basierte Faktorisierung versagen bei hoher Kompression auf Mistral-7B katastrophal.
Skalen-Sensitivität:
- Vollständiger Ersatz ( $p=100\%$ ) bei $K=128$ verschlechtert GPT-2 Small um +23 % und GPT-2 Medium um +79 %, aber Mistral-7B um +1.134.279 %.
- Selektiver Ersatz ( $p=99\%$ ) hält eine nahezu identische Qualität über alle Skalen hinweg (+0,03 % bis +0,18 % PPL Degradierung).
Phasenübergang: Ein scharfer Übergang in der Robustheit findet zwischen $K=4$ (katastrophales Versagen) und $K=8$ (funktional) statt. Bei $K=8$ reicht die Bewahrung von 1 % der Ausreißer aus, um das Modell zu retten, während $K=4$ selbst mit 5 % Bewahrung defekt bleibt.

Bedeutung und Ansprüche

Das Paper behauptet, dass LegoLM ein neues Paradigma für die datenfreie LLM-Kompression etabliert, indem es die theoretischen Gründe für das bisherige Scheitern der globalen Gewichtsteilung systematisch adressiert. Die primäre Bedeutung liegt in:

Datenfreier Effizienz: Es erzielt kompetitive oder überlegene Ergebnisse gegenüber kalibrierten Methoden (wie GPTQ), ohne Kalibrierungsdaten, Gradienten oder Hessian-Berechnungen zu benötigen, was die Anwendung in Umgebungen ermöglicht, in denen Daten proprietär oder nicht verfügbar sind.
Theoretische Erkenntnis: Es identifiziert die Ausreißer-Dominanz als ein Skalierungsgesetz, bei dem die Fehlerakkumulation superlinear mit der Modellgröße wächst, was spezifische Erhaltungsstrategien für große Modelle erforderlich macht.
Praktische Lebensfähigkeit: Es demonstriert, dass eine einfache Kombination aus Skalar-Kodierung und selektivem Ausreißerschutz 7B-Parameter-Modelle auf ~4,5 $\times$ komprimieren kann, bei vernachlässigbarem Qualitätsverlust, und sogar bis zu ~10 $\times$ mit funktionalem Nutzen – alles in unter 30 Minuten auf einer einzelnen GPU.

Der Autor positioniert den „Ausreißer-Dominanz-Skalierungsgesetz“ und den „selektiven Ersatz“-Mechanismus als unabhängige Beiträge, die auch anderen Kompressionsverfahren (Quantisierung, Pruning) zugutekommen können, die derzeit alle Gewichte einheitlich behandeln.