🤖 machine learning

LegoLM: Structured Weight Sharing for Large Language Models

LegoLM is een gestructureerd framework voor gewichtsdeling dat de fouten van distributieverschillen en uitschieterdominantie bij globale gewichtsdeling overwint door middel van data-vrije adaptaties zoals scalaire blokcodering, percentiel-selectieve vervanging en randlaagbescherming, waarmee het een bijna verliesloze compressie voor grote taalmodellen bereikt terwijl het bestaande PTQ-8bit-methoden aanzienlijk overtreft.

Oorspronkelijke auteurs: Joseph Bingham

Gepubliceerd 2026-08-11

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joseph Bingham

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe bibliotheek aan kennis probeert te passen in een piepkleine rugzak. Dit is de dagelijkse strijd voor "Large Language Models" (LLM's), de superintelligente computerbreinen die verhalen schrijven, wiskundeproblemen oplossen en met ons chatten. Deze breinen zijn gebouwd uit miljarden kleine getallen genaamd "weights" (gewichten), die fungeren als de synapsen in een menselijk brein en ideeën met elkaar verbinden. Om deze modellen te laten draaien op gewone laptops of telefoons, moeten wetenschappers ze verkleinen zonder hun intelligentie te verliezen. Een populair idee om ze te verkleinen is "weight sharing" (gewicht delen). Denk aan een groep vrienden die allemaal hebben afgesproken om exact hetzelfde shirt uit een catalogus te dragen in plaats van hun eigen unieke kledingstuk te kopen. In plaats van voor elke verbinding in het brein een uniek getal op te slaan, bewaar je gewoon een kleine lijst met "standaardshirts" (centroids) en een notitie die zegt: "Hé, deze verbinding draagt Shirt #5." Het is een slimme manier om ruimte te besparen, maar tot nu toe was het een ramp wanneer het werd toegepast op deze gigantische AI-breinen.

Het probleem is dat AI-breinen rommelig zijn. In tegen tegenstelling tot een simpel beeldfilter waarbij elk deel er hetzelfde uitziet, hebben verschillende lagen van een AI-brein wilde verschillen in grootte. Proberen ze allemaal dezelfde "standaardshirts" te laten dragen, is alsof je een enorme olifant en een piekleine muis in dezelfde schoenen probeert te passen; de olifant wordt geplet en de muis zweeft weg. Dit paper introduceert een nieuwe methode genaamd LegoLM die dit kapotte idee oplost. In plaats van een "one-size-fits-all" benadering op te leggen, fungeert LegoLM als een slimme kleermaker. Het realiseert zich dat de standaardshirts meestal prima werken, maar dat er af en toe "outlier"-gewichten zijn—gigantische, vreemde getallen die zo anders zijn dat ze het hele outfit zouden verruïneren als ze in een standaardshirt worden gedwongen. LegoLM's geheime ingrediënt is om die paar vreemde gewichten precies zoals ze zijn te laten, onaangetast, terwijl de rest van alles wordt gecomprimeerd. Het resultaat is een model dat is samengeperst tot een fractie van de oorspronkelijke grootte, maar bijna al zijn intelligentie behoudt, en het werkt beter dan andere methoden die dure data vereisen om te corrigeren.

De twee manieren waarop weight sharing faalt

De auteur van dit paper, Joseph Bingham, ontdekte dat globale weight sharing faalt om twee zeer specifieke, onderscheidende redenen. Ze noemen deze "failure modes" (foutmodi), en het begrijpen ervan is de sleutel tot het zien waarom LegoLM werkt.

Failure Mode 1: De Schaalverschil (Het "Verkeerde Schoenmaat" Probleem)
Stel je voor dat je een collectie gewichten hebt van verschillende lagen van de AI. Sommige lagen zijn "luid" (hun getallen zijn groot) en sommige zijn "zacht" (hun getallen zijn klein). Als je probeert ze allemaal samen te groeperen en één gemiddelde "shirt" voor een heel blok van hen te vinden, loop je tegen een wiskundig probleem aan. Het paper bewijst dat als je een blok gewichten probeert te comprimeren dat verschillende groottes heeft, de fout lineair meegroeit met de grootte van het blok. Het is alsof je de pas van een marathonloper probeert te middelen met de stap van een peuter; ongeacht hoeveel verschillende schoenen je aan je catalogus toevoegt, je kunt niet één schoen maken die bij beiden perfect past als je ze dwingt dezelfde maat te hebben. Het paper laat zien dat deze mismatch voor verwarring zorgt die zo ernstig is dat het vermogen van het model om tekst te voorspellen (gemeten als "perplexity") explodeert naar miljoenen, waardoor de AI onzin spreekt.

Failure Mode 2: Outlier Dominantie (Het "Reus" Probleem)
Dit is de meer dramatische fout. Zelfs als je enkel getallen (scalar blocks) gebruikt in plaats van blokken, zijn er een paar gewichten in de AI die simpelweg enorm zijn vergeleken met de rest. Dit zijn de "outliers" (uitschieters). Als je een codeboek hebt met bijvoorbeeld 8 standaardshirts, kan de grootste shirt in de catalogus maat XL zijn. Maar wat als er een gewicht is van maat 10XL? Als je dat 10XL gewicht dwingt om het XL-shirt te dragen, is de verstoring catastrofaal. Het paper laat zien dat naarmate modellen groter worden (van 124 miljoen parameters naar 7,2 miljard), deze outliers nog gevaarlijker worden. Bij een kleiner model zou het vervangen van deze outliers de AI misschien een beetje in de war kunnen brengen. Maar bij een gigantisch model zoals Mistral-7B veroorzaakt het vervangen van die paar reusachtige gewichten dat het model volledig instort, met een kwaliteitsdaling van meer dan 1.134.279%. Het is alsof het verwijderen van een enkele sluitsteen uit een enorme kathedraal ervoor zorgt dat het hele bouwwerk in stof uiteenvalt.

De LegoLM Oplossing: Slim Maatwerk

LegoLM lost deze problemen op met drie eenvoudige, data-vrije trucs. Het heeft geen trainingsdata nodig om het model te her trainen; het herschikt simpelweg de gewichten.

Scalar Encoding: In plaats van gewichten te groeperen in blokken (wat de schaalverschillen veroorzaakt), behandelt LegoLM elk gewicht als een individu. Dit elimineert het "verkeerde schoenmaat" probleem omdat elk gewicht vrij is om de dichtstbijzijnde standaardshirt te kiezen zonder door zijn buren omlaag getrokken te worden.
Percentile-Selective Replacement: Dit is de magische truc. Het algoritme kijkt naar alle gewichten en vindt de gewichten die het verst verwijderd zijn van een standaardshirt. Dit zijn de "outliers". In plaats van ze een shirt te laten dragen, zegt LegoLM: "Jij bent te bijzonder; je blijft precies zoals je bent." Het behoudt de bovenste 1% van deze vreemde gewichten in hun originele, hoog-precieze vorm. De overige 99% wordt gecomprimeerd in het kleine codeboek.
Boundary-Layer Protection: De allereerste en de allerlaatste lagen van de AI zijn extra gevoelig. LegoLM geeft deze lagen een beetje extra zorg, hoewel het paper opmerkt dat dit minder kritisch is voor de grootste modellen dan de bescherming tegen de outliers.

De Resultaten: Kleine Grootte, Grote Breinen

De auteur testte LegoLM op twee modellen: GPT-2 Small (124 miljoen parameters) en Mistral-7B (7,2 miljard parameters). De resultaten waren verrassend en indrukwekkend.

Op Mistral-7B: Door een codeboek van 128 standaardwaarden te gebruiken en slechts 1% van de outlier-gewichten te behouden, comprimeerde LegoLM het model met een factor 4,41. Het resultaat? De kwaliteit van het model daalde met slechts 0,03%. Dit is in feite "lossless" (verliesvrije) compressie. Het presteerde zelfs beter dan een populaire methode genaamd PTQ-8bit, die het slechts 4 keer comprimeerde en iets meer fouten vertoonde.
De Outlier Redding: De meest dramatische bevinding ging over de outliers. Toen ze probeerden Mistral-7B te comprimeren door alle gewichten (zelfs de reuzen) te vervangen door standaardwaarden, stortte de kwaliteit van het model in met 1.134.279%. Maar door simpelweg die kleine 1% aan outliers te redden, brachten ze het model terug naar een beheersbare fout van 14,24%, zelfs bij een enorme compressie van 9,74x.
Schaal Maakt Uit: Het paper vond dat het "outlier-probleem" erger wordt naarmate modellen groter worden. Bij de kleine GPT-2 veroorzaakte het vervangen van de outliers een daling van 23%. Bij de gigantische Mistral-7B veroorzaakte het een daling van 1.134.279%. Dit sugggeert dat grotere modellen nog sterker vertrouwen op deze paar vreemde getallen om te functionen.

Waarom dit ertoe doet

LegoLM is bijzonder omdat het data-vrij is. De meeste andere compressiemethoden moeten duizenden voorbeeldzinnen door het model voeren om te bepalen hoe ze het kunnen verkleinen. LegoLM kijkt alleen naar de gewichten zelf en doet de berekening. Het kan een model met 7 miljard parameters in minder dan 30 minuten comprimeren op een enkele grafische kaart.

Het paper concludeert dat de sleutel tot het werkend krijgen van weight sharing niet alleen het hebben van een betere catalogus van shirts is; het is weten wanneer je de catalogus niet moet gebruiken. Door de enkele "reusachtige" gewichten te identificeren en te beschermen die het model bij elkaar houden, stelt LegoLM ons in staat om deze enorme AI-breinen te verkleinen tot in rugzakken zonder hun verstand te verliezen. Het verandert een methode die voorheen kapot was voor grote modellen in een concurrerend, efficiënt hulpmiddel voor de toekomst van AI.

Technische Samenvatting: LegoLM – Gestructureerde Gewichtsdeling voor Large Language Models

Probleemstelling

Large language models (LLMs) vereisen agressieve compressie voor praktische implementatie, aangezien zelfs modellen met 16-bits precisie de geheugencapaciteit van consumenten-GPU's overschrijden. Hoewel post-training compressiemethoden zoals kwantisatie, pruning en low-rank factorisatie gevestigd zijn, heeft gewichtsdeling—waarbij meerdere gewichten een enkel geleerd centrumwaarde uit een globale codebook delen—historisch gezien gefaald wanneer dit wordt toegepast op LLMs. Voorgaand werk paste gewichtsdeling succesvol toe op convolutionele netwerken, maar de toepassing ervan op transformers heeft een gebrek aan systematische studie gekend.

Dit artikel identificeert dat globale gewichtsdeling faalt voor LLMs vanwege twee afzonderlijke, theoretisch onderbouwde faalmodi:

Distributionele Mismatch: Wanneer gewichten worden gegroepeerd in vectorblokken ( $d \ge 2$ ) en globaal worden geclusterd, moet het codebook dienen voor lagen met heterogene gewichtsschalen (variërend met wel 3 $\times$ ). Een centrumwaarde die getraind is op een gepoolde distributie legt een schaal-mismatch straf op die lineair groeit met de blokdimensie $d$ , wat resulteert in een perplexiteit in de miljoenen, ongeacht de codebookgrootte.
Outlier Dominantie: In scalaire blokken ( $d=1$ ), terwijl de schaal-mismatch wordt geëlimineerd, bevatten de gewichtsdistributies van LLMs extreme magnitude-scalars (outliers). Voor kleine codebookgroottes ( $K$ ) ligt een fractie van de gewichten ( $\approx 1/K$ ) buiten de buitenste Lloyd-Max beslissingsdrempel. Het vervangen van deze outliers door het dichtstbijzijnde centrum veroorzaakt catastrofaal kwaliteitsverlies dat zich over de lagen heen accumuleert. Cruciaal is dat dit effect superlineair schaalt met de modelgrootte; volledige vervanging degradeert een 124M parameter model met ~23%, maar een 7.2B parameter model met meer dan 1.000.000%.

Methodologie: Het LegoLM Framework

LegoLM is een gestructureerd, data-vrij compressieframework ontworpen om beide faalmodi simultaan op te lossen zonder toegang tot kalibratiedata of gradiënten. Het maakt gebruik van drie sleuteladaptaties:

Scalaire-Blok Codering ( $d=1$ ): Om de $d$ -lineaire mismatch component te elimineren, worden gewichten behandeld als scalaire blokken in plaats van vectorblokken. Dit maakt het mogelijk dat elk gewicht onafhankelijk wordt toegewezen aan zijn dichtstbijzijnde centrum zonder zich te committeren aan een vaste multidimensionale schaal, wat de cross-layer reconstructiefout substantieel vermindert.
Percentiel-Selectieve Vervanging: Om outlier dominantie aan te pakken, identificeert de methode gewichten met de grootste kwantiseringsfout (afstand tot het dichtstbijzijnde centrum) en behoudt deze integraal (ze worden opgeslagen als fp16 in plaats van vervangen te worden door een centrumindex). Dit fungeert als een zero-data proxy voor magnitude-gebaseerde outlier detectie. De drempel wordt bepaald door een percentiel $p$ (bijv. het behouden van de top 1% van de fouten).
Boundary-Layer Protectie: De eerste en laatste transformer blokken worden geïdentificeerd als disproportioneel gevoelig. Voor kleinere modellen worden deze lagen overgeslagen voor compressie om foutaccumulatie te voorkomen, hoewel dit mechanisme als minder kritisch wordt beschouwd voor grotere modellen vergeleken met selectieve vervanging.

Berekening van de Compressieratio:
De compressieratio (CR) houdt rekening met de opslag van het globale codebook, de indexstroom (gecomprimeerd via Huffman-codering om overhead te verminderen) en de behouden outlier-gewichten. De formule is:
$CR = \frac{(N_c + N_s) \cdot 32}{n_r \cdot \lceil \log_2 K \rceil + n_k \cdot 32 + K \cdot 32 + N_s \cdot 32}$
Waarbij $N_c$ en $N_s$ de gewichten zijn in geschikte respectievelijk overgeslagen lagen, $n_r$ de vervangen gewichten zijn, en $n_k$ de exact behouden outlier-gewichten zijn.

Belangrijkste Bijdragen

Formele Faalmodi: Het artikel biedt theoretische karakterisaties (Propositie 1 en Stelling 3) en empirische validatie voor twee faalmodi van LLM gewichtsdeling: cross-layer distributionele mismatch (vectorblokken) en outlier dominantie (scalaire blokken).
Het LegoLM Framework: Een nieuw, data-vrij compressiemethode die scalaire codering, selectieve outlier-preservatie en boundary-protectie combineert. Het bevat exacte formules voor compressieratio's die rekening houden met selectieve vervanging.
Schaal-Invariante Reddingsmechanisme: De ontdekking dat outlier dominantie superlineair groeit met de modelschaal. Terwijl volledige vervanging catastrofaal faalt op 7B modellen, redt het behouden van slechts 1% van de outlier-gewichten het model naar bijna verliesloze kwaliteit. Dit reddingsmechanisme is consistent over een 60 $\times$ parameterbereik (124M tot 7.2B).
Mechanisme Ablatie: Een gecontroleerde ablatie-studie die aantoont dat selectieve vervanging de dominante methode is voor data-vrije compressie. Het toevoegen van selectieve vervanging aan standaard per-layer K-means bereikt een bijna verliesloze kwaliteit (+0.05% PPL), wat de globale LegoLM benadering benadert binnen 0.02 procentpunten. De globale codebookstructuur biedt praktische efficiëntie (het opslaan van 128 centra in plaats van 4.096) maar levert verwaarloosbare kwaliteitsverschillen op wanneer selectieve vervanging wordt toegepast.

Experimentele Resultaten

Het framework werd geëvalueerd op GPT-2 Small (124M), GPT-2 Medium (354M) en Mistral-7B (7.2B) met de WikiText-2 testset en downstream taken (LAMBADA, HellaSwag).

Mistral-7B Prestaties:
- Bijna Verliesloos: Bij $K=128, p=99\%$ , bereikt LegoLM 4.41 $\times$ compressie met slechts +0.03% perplexiteit (PPL) degradatie. Dit presteert beter dan PTQ-8bit (4.00 $\times$ , +0.04% PPL) in zowel kwaliteit als compressieratio.
- Hoge Compressie: Bij $K=8, p=99\%$ , bereikt het 9.74 $\times$ compressie met +14.24% PPL degradatie, wat beter is dan PTQ-4bit (8.00 $\times$ , +17.85% PPL).
- Downstream Nauwkeurigheid: Bij $K=64, p=99\%$ (5.12 $\times$ compressie), behoudt het model de downstream nauwkeurigheid binnen de meetruis, waarbij het de PTQ-8bit nauwkeurigheid evenaart terwijl het 1.28 $\times$ hogere compressie biedt.
Vergelijking met Baselines:
- PTQ-8bit/4bit: LegoLM evenaart of overtreft hun kwaliteit bij vergelijkbare of hogere compressieratio's zonder dat er kalibratiedata of Hessian-berekeningen nodig zijn.
- Deep Compression (Per-layer K-means): Zonder selectieve vervanging faalt per-layer K-means catastrofaal op Mistral-7B (bijv. +930,306% PPL bij $K=256$ ). Met selectieve vervanging ( $p=99\%$ ) herstelt het naar bijna verliesloze kwaliteit (+0.05%), wat bevestigt dat de centraliteit van outlier-preservatie cruciaal is.
- Pruning en Factorisatie: Ongestructureerde magnitude pruning en SVD-gebaseerde factorisatie falen catastrofaal op Mistral-7B bij hoge compressieniveaus.
Schaalgevoeligheid:
- Volledige vervanging ( $p=100\%$ ) bij $K=128$ degradeert GPT-2 Small met +23%, GPT-2 Medium met +79%, maar Mistral-7B met +1,134,279%.
- Selectieve vervanging ( $p=99\%$ ) behoudt bijna identieke kwaliteit over alle schalen (+0.03% tot +0.18% PPL degradatie).
Fase-transitie: Een scherpe transitie in robuustheid vindt plaats tussen $K=4$ (catastrofaal falen) en $K=8$ (functioneel). Bij $K=8$ is het behouden van 1% van de outliers voldoende om het model te redden, terwijl $K=4$ zelfs met 5% preservatie defect blijft.

Betekenis en Claims

Het artikel beweert dat LegoLM een nieuw paradigma vestigt voor data-vrije LLM-compressie door systematisch de theoretische redenen aan te pakken waarom globale gewichtsdeling eerder faalde. De primaire betekenis ligt in:

Data-Vrije Efficiëntie: Het bereikt competitieve of superieure resultaten ten opzien van gekalibreerde methoden (zoals GPTQ) zonder dat daarvoor kalibratiedata, gradiënten of Hessian-berekeningen nodig zijn, wat het toepasbaar maakt in omgevingen waar data propriëtair of niet beschikbaar is.
Theoretisch Inzicht: Het identificeert outlier dominantie als een schaalwet waarbij foutaccumulatie superlineair groeit met de modelgrootte, wat specifieke preservatiestrategieën voor grote modellen noodzakelijk maakt.
Praktische Leefbaarheid: Het demonstreert dat een eenvoudige combinatie van scalaire codering en selectieve outlier-preservatie 7B parameter modellen kan comprimeren tot ~4.5 $\times$ met verwaarloosbaar kwaliteitsverlies, en tot ~10 $\times$ met functionele bruikbaarheid, alles in minder dan 30 minuten op een enkele GPU.

De auteur positioneert de "outlier dominantie schaalwet" en het "selectieve vervangingsmechanisme" als onafhankelijke bijdragen die andere compressietechnieken (kwantisatie, pruning) kunnen bevoordelen die momenteel alle gewichten uniform behandelen.