💻 computer science

SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs

SHIFT-LLM is een trainingsvrij post-pruning framework dat de nauwkeurigheid herstelt in op diepte geprunede grote taalmodellen door lichtgewicht Lineaire Residuele Adapters in te voegen, gekalibreerd via closed-form regressie om de distributionele verschuivingen te corrigeren die worden veroorzaakt door het verwijderen van Transformer-blokken.

Oorspronkelijke auteurs: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn de motoren achter veel van de meest geavanceerde kunstmatige intelligentie-instrumenten van vandaag, in staat om verhalen te schrijven, problemen op te lossen en complexe vragen te beantwoorden. Deze systemen zijn gebouwd uit lagen digitale verwerkingseenheden die op elkaar zijn gestapeld, vergelijkbaar met een meerverdiepinggebouw waarbij elke verdieping de informatie die van de verdieping eronder wordt doorgegeven, verfijnt. Hoe meer verdiepingen een gebouw heeft, hoe gedetailleerder en geavanceerder de uiteindelijke output kan zijn, maar dit maakt de structuur ook ongelooflijk zwaar en duur in gebruik. Voor veel praktische toepassingen, vooral op apparaten met beperkte stroom of geheugen, zijn deze enorme modellen simpelweg te groot om te gebruiken. Om ze kleiner te maken, hebben onderzoekers methoden ontwikkeld om hele verdiepingen uit het gebouw te verwijderen, een proces dat bekend staat als diepte-pruning (depth pruning). Hoewel dit de belasting verlicht en de snelheid van het model verhoogt, zorgt het er vaak voor dat de resterende verdiepingen struikelen. Omdat de verwijderde verdiepingen ontworpen waren om specifieke soorten informatie naar de verdiepingen erboven door te geven, zorgt het weghalen ervan ervoor dat de bovenliggende lagen in de war raken; ze ontvangen signalen die niet langer overeenkomen met wat ze getraind zijn te verwachten. Deze mismatch, bekend als een distributieverschuiving (distribution shift), zorgt ervoor dat het model aan nauwkeurigheid verliest en fouten maakt, waardoor ontwikkelaars aanzienlijke tijd en rekenkracht moeten besteden aan het hertrainen van het model om de fouten te herstellen.

Een team van onderzoekers bij Huawei Noah's Ark Lab heeft een nieuwe aanpak geïntroduceerd genaamd SHIFT-LLM die dit probleem oplost zonder de noodzaak van hertraining. In plaats van te proberen de ontbrekende verdiepingen te herbouwen of de overgebleven verdiepingen opnieuw te onderwijzen, voegt hun methode een kleine, lichtgewicht correctiemodule toe op elke plek waar een laag is verwijderd. Stel je voor dat als je een verdieping uit een gebouw zou verwijderen, je een eenvoudige, op maat gemaakte helling zou installeren die de kloof perfect overbrugt, zodat de mensen op de bovenliggende verdiepingen nog steeds exact dezelfde instructies ontvangen als wanneer de ontbrekende verdieping er nog zou zijn. In de digitale wereld is deze helling een lineaire adapter die het directe pad van de informatie behoudt terwijl het een kleine, berekende aanpassing toevoegt. Deze aanpassing is ontworpen om de specifieke bijdrage na te bootsen die de verwijderde laag zou hebben geleverd, waardoor het de rest van het model effectief voor de gek houdt door te laten geloven dat de ontbrekende verdieping nog steeds aanwezig is.

De genialiteit van deze methode ligt in de manier waarop die aanpassing wordt berekend. In plaats van duizenden uren aan training te draaien om te achterhalen wat de ontbrekende laag had moeten doen, gebruiken de onderzoekers een kleine set steekproefgegevens om precies te meten welke informatie verloren is gegaan. Vervolgens gebruiken ze een eenvoudige wiskundige berekening om de exacte correctie te bepalen die nodig is om die verloren informatie te herstellen. Dit proces is volledig automatisch en vereist geen gradiënt-gebaseerde optimalisatie, wat het complexe, iteratieve leerproces is dat gewoonlijk nodig is om defecte modellen te repareren. Door deze closed-form berekening te gebruiken, kan het team de interne staat van het model in enkele minuten corrigeren met slechts een paar honderd voorbeelden, in plaats van dagen aan rekentijd. Het resultaat is een gepruned model dat de snelheid en efficiëntie behoudt van minder lagen, maar presteert met een nauwkeurigheid die bijna identiek is aan het oorspronkelijke, enorme model.

In hun experimenten testten de onderzoekers deze techniek op vijf verschillende families van grote taalmodellen, variërend van kleinere modellen met 1,5 miljard parameters tot grotere versies van 14 miljard parameters. Ze pasten zes verschillende methoden toe om te beslissen welke lagen verwijderd moesten worden en evalueerden de resultaten op zeven verschillende benchmarks die ontworpen zijn om algemene kennis en redeneren te testen. De bevindingen waren consistent: de correctiemodules slaagden erin de nauwkeurigheid die tijdens het prunen verloren ging te herstellen in bijna elke configuratie. In één opmerkelijk geval met een model van 8 miljard parameters, herstelde de methode een verbazingwekkende 15,7 punten aan nauwkeurigheid op een standaard benchmark, een winst die normaal gesproken uitgebreide en dure hertraining zou vereisen. Zelfs toen de modellen na het prunen al werden bijgesteld (fine-tuning), zorgde het toevoegen van deze correctiemodule voor een extra boost, wat suggereert dat de twee benaderingen goed samenwerken om de prestaties nog verder te verhogen.

De onderzoekers hebben ook aangetoond dat deze correctiemodules verder kunnen worden gecomprimeerd om ruimte te besparen en kunnen worden samengevoegd wanneer meerdere lagen achter elkaar worden verwijderd, zodat de efficiëntiewinst van het prunen niet verloren gaat aan de overhead van de oplossing zelf. Dit werk suggereert dat de primaire hindernis om grote taalmodellen kleiner te maken niet alleen het verwijderen van onderdelen is, maar de verstoring van de informatiestroom tussen hen. Door zich te richten op het repareren van die stroom met eenvoudige, gerichte aanpassingen, biedt SHIFT-LLM een algemene en efficiënte manier om krachtige AI-modellen praktisch bruikbaar te maken voor dagelijks gebruik. De studie bevestigt dat we met de juiste correctie de zware, redundante delen van deze digitale breinen kunnen wegsnijden zonder hun vermogen om helder na te denken te verliezen, wat de deur opent naar snellere, goedkopere en meer toegankelijke kunstmatige intelligentie.

Technische Samenvatting: SHIFT-LLM

Probleemstelling

Depth pruning (diepte-pruning) in Large Language Models (LLM's) heeft als doel de efficiëntie van inferentie te verbeteren door volledige Transformer-blokken te verwijderen. Dit proces introduceert echter een kritisch probleem: distributieverschuiving (distribution shift). Wanneer een tussenliggend blok wordt verwijderd, gaat de bijbehorende residuele update verloren. Als gevolg hiervan ontvangen de daaropvolgende lagen verborgen toestanden (hidden states) die systematisch verschillen van de toestanden die tijdens de pretraining werden aangetroffen. Deze verschuiving plant zich voort door het netwerk, wat leidt tot een significante degradatie van de nauwkeurigheid. Hoewel post-pruning fine-tuning de prestaties kan herstellen, vereist dit aanzienlijke computationele middelen, optimalisatietijd en gradiëntgebaseerde training, wat de toepasbaarheid in scenario's met beperkte middelen beperkt.

Methodologie: SHIFT-LLM

De auteurs stellen SHIFT-LLM voor, een training-vrij, post-pruning correctiekader dat is ontworpen om deze distributieverschuiving te mitigeren zonder gradiëntberekening. De kern van het mechanisme is de Linear Residual Adapter (LRA), die bij elke pruning-locatie wordt ingevoegd.

1. Formule van de Linear Residual Adapter (LRA)

In plaats van de volledige output hidden state vanaf nul te reconstrueren, behoudt de LRA het oorspronkelijke identiteitspad en voegt een lichtgewicht affine residuele correctie toe.

Structuur: Voor een geprunede laag $\ell$ wordt de oorspronkelijke output $h^{(\ell)} = h^{(\ell-1)} + f_\ell(h^{(\ell-1)})$ benaderd door $\hat{h}^{(\ell)} = h^{(\ell-1)} + g_\ell(h^{(\ell-1)})$ .
Correctiefunctie: De adapter $g_\ell(\cdot)$ wordt gemodelleerd als een affine transformatie: $g_\ell(h) = hA^{(\ell)} + \mathbf{1}(b^{(\ell)})^\top$ , waarbij $A^{(\ell)}$ een gewichtsmatrix is en $b^{(\ell)}$ een bias-vector.
Doel: De LRA benadert specifiek de ontbrekende residuele update ( $\delta^{(\ell)} = f_\ell(h^{(\ell-1)})$ ) in plaats van de volledige hidden state. Dit vereenvoudigt het benaderingsprobleem door gebruik te maken van de residuele structuur waarop het model is voorgetraind.

2. Closed-Form Estimatie (Training-vrij)

De parameters van de LRA ( $A^{(\ell)}$ en $b^{(\ell)}$ ) worden geschat zonder backpropagation of iteratieve optimalisatie:

Dataverzameling: Het originele, ongepruned model voert een forward pass uit op een kleine, uit de dataset gehouden kalibratieset. Invoer hidden states ( $H^{(\ell)}$ ) en de bijbehorende grondwaarheid residuele updates ( $\Delta^{(\ell)}$ ) worden verzameld.
Ridge Regressie: De parameters worden opgelost via een closed-form kleinste-kwadratenregressie (ridge regressie) om de fout tussen de voorspelde en werkelijke residuele updates te minimaliseren:
$X^{(\ell)*} = \left((H^{(\ell)}_{aug})^\top H^{(\ell)}_{aug} + \lambda I\right)^{-1} (H^{(\ell)}_{aug})^\top \Delta^{(\ell)}$
waarbij $H^{(\ell)}_{aug}$ een bias-kolom bevat en $\lambda$ een regularisatiecoëfficiënt is.
Efficiëntie: Dit proces vereist slechts één forward pass en een lineaire oplossing per geprunede laag, waardoor de noodzaak voor gradiëntberekening of fine-tuning wordt vermeden.

3. Praktische Extensies

Low-Rank Factorisatie: De gefitte gewichtsmatrix $A^{(\ell)}$ kan worden gecomprimeerd via truncated Singular Value Decomposition (SVD) om het aantal parameters te verminderen van $d^2$ naar $2dr + d$.
Exact Samenvoegen: Omdat LRA's affine mappingen definiëren, kunnen opeenvolgende LRA's bij aangrenzende pruning-locaties wiskundig worden samengevoegd tot een enkele transformatie zonder benaderingsfout, wat de compressie verder versterkt.

Belangrijkste Bijdragen

SHIFT-LLM Framework: Een training-vrije post-pruning correctiemethode die expliciet de door depth pruning veroorzaakte distributieverschuiving in de hidden-state aanpakt.
Linear Residual Adapter (LRA): Een nieuw component dat het identiteitspad behoudt terwijl het ontbrekende residuele updates benadert via een lichtgewicht affine correctie, gekalibreerd via closed-form regressie.
Modulariteit en Generaliteit: Het framework is agnostisch voor de specifieke laagselectiestrategie (bijv. Block Influence, Taylor sensitivity, Magnitude) en kan worden toegepast op diverse modelfamilies.
Complementariteit: De methode is ontworpen om samen te werken met bestaande parameter-efficiënte fine-tuning (bijv. LoRA), waarbij extra herstel wordt geboden bovenop fine-tuning alleen.

Experimentele Resultaten

De auteurs hebben SHIFT-LLM geëvalueerd over vijf modelfamilies (Qwen2-1.5B, Qwen1.5-7B, Llama-3.1-8B-Instruct, Vicuna-7B en Qwen2.5-14B), zes laagselectiecriteria en zeven zero-shot benchmarks.

Training-vrije Herstel: Zonder enige fine-tuning herstelt SHIFT-LLM consistent de nauwkeurigheid die verloren is gegaan door depth pruning.
- Op Llama-3.1-8B-Instruct met Reverse-order pruning (25% diepte), behaalde de methode een winst van +15,74 punten in de gemiddelde zero-shot nauwkeurigheid.
- Op Qwen1.5-7B bereikten de winsten +6,88 punten onder Magnitude- $\ell_1$ pruning.
- De perplexiteit op WikiText-2 werd aanzienlijk verminderd in de meeste configuraties (bijv. een reductie van meer dan 1000 perplexiteitspunten voor Llama-3.1-8B onder Reverse-order pruning).
Schaalbaarheid: De methode blijft effectief wanneer deze wordt opgeschaald naar Qwen2.5-14B, waarbij winsten tot +5,36 punten in zero-shot nauwkeurigheid worden getoond.
Compatibiliteit met Fine-Tuning: Wanneer gecombineerd met LoRA of gedeeltelijke laag-fine-tuning, biedt SHIFT-LLM complementair herstel, wat de prestaties in de meeste geëvalueerde settings verder verbetert (bijv. +1,14 punten op Llama-3.1-8B-Instruct wanneer gecombineerd met LoRA).
Vergelijking met State-of-the-Art: Geïntegreerd met de Navigation LLM pipeline, verbeterde SHIFT-LLM de gemiddelde nauwkeurigheid van 59,08 naar 59,54 op Llama-3.1-8B-Instruct, wat aantoont dat het sterke baselines niet verslechtert maar wel waarde toevoegt.

Betekenis en Claims

Het artikel beweert dat SHIFT-LLM een eenvoudige, algemene en effectieve oplossing biedt voor het probleem van distributieverschuiving dat inherent is aan depth pruning. Door expliciet de ontbrekende residuele update te benaderen terwijl de oorspronkelijke residuele structuur van het model behouden blijft, mitigeert de methode de verschuiving zonder de computationele kosten van hertraining.

De auteurs benadrukken dat deze aanpak bijzonder significant is voor situaties waarin post-pruning training ongewenst of onhaalbaar is. Het vermogen van het framework om een aanzienlijk herstel van de nauwkeurigheid te bereiken (tot +15,7 punten) met slechts enkele honderden kalibratiesamples en geen gradiëntberekening, positioneert het als een praktisch alternatief voor uitgebreide fine-tuning. Bovendien zorgt het vermogen om opeenvolgende adapters samen te voegen en gewichten te comprimeren via low-rank factorisatie ervoor dat de efficiëntiewinst van depth pruning behouden blijft en zelfs potentieel wordt vergroot.