🤖 machine learning

CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

CoCurve is een training-vrije gestructureerde pruning-methode voor LLM's die de verwijdering van attention- en FFN-units gezamenlijk optimaliseert door een tweede-orde Taylor-expansie te benutten om cross-module afhankelijkheden te vangen via een Fisher-matrix, wat efficiënte, label-vrije compressie mogelijk maakt via een single-shot kwadratisch programmeerprogramma zonder fine-tuning.

Oorspronkelijke auteurs: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Gepubliceerd 2026-07-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, superintelligent robotbrein hebt gemaakt van miljarden kleine tandwielen en veren. Dit is een Large Language Model (LLM), een type AI dat verhalen kan schrijven, wiskundige problemen kan oplossen en zelfs software kan coderen. Maar hier is de crux: deze breinen zijn zo groot en zwaar dat ze ongelooflijk duur zijn om te draaien en traag zijn in het denken. Om ze bruikbaar te maken voor gewone mensen, moeten wetenschappers ze verkleinen, zoals het verpakken van een enorme bibliotheek in een boekje dat in je broekzak past. Dit proces wordt "pruning" (snoeien) genoemd.

Denk aan pruning als het bewerken van een lange film. Je wilt de saaie scènes eruit knippen om de film korter en sneller te maken om te bekijken, maar je wilt het plot niet verpesten. Lange tijd dachten editors (wetenschappers) dat de beste manier om dit te doen was om naar elke scène afzonderlijk te kijken. Als een scène op zichzelf saai leek, zouden ze die eruit knippen. Ze namen aan dat als je een heleboel saaie scènes zou weghalen, de film alleen maar een beetje korter zou worden, maar dat het verhaal hetzelfde zou blijven. Ze behandelden de film als een eenvoudige lijst van onafhankelijke clips.

Echter, dit artikel betoogt dat een film (of een AI-brein) niet zomaar een lijst is van onafhankelijke clips. Het is een complex web waarin scènes met elkaar praten. Soms is een scène die op zichzelf saai lijkt, eigenlijk de geheime lijm die twee andere belangrijke scènes bij elkaar houdt. Als je die "saaie" scène wegknipt, kan het hele verhaal uit elkaar vallen, zelfs als je de andere scènes niet hebt weggeknipt. De oude manier van bewerken miste deze verborgen verbindingen.

Ontmoet CoCurve: De Detective die de Verbindingen in Kaart Brengt

De onderzoekers achter dit artikel, van Nanyang Technological University, hebben een nieuwe methode geïntroduceerd genaamd CoCurve (Cross-Module Co-Pruning Curvature). In plaats van alleen naar individuele tandwielen te kijken om te zien of ze zwak zijn, werkt CoCurve als een detective die in kaart brengt hoe elk tandwiel met elk ander tandwiel is verbonden.

Zo deden ze het, met een eenvoudige analogie: Stel je voor dat het AI-brein een gigantische stad is met twee soorten gebouwen: Attention Towers (die de AI helpen zich op specifieke woorden te concentreren) en FFN Factories (die die woorden verwerken en begrijpen).

De Oude Manier (De "Node-First" Fout): Traditionele methoden zouden door de stad lopen, elk gebouw afzonderlijk controleren en zeggen: "Deze toren ziet er een beetje leeg uit, laten we hem afbreken," of "Deze fabriek lijkt wat traag, laten we hem sluiten." Ze namen aan dat het afbreken van een paar lege gebouwen de stad niet zou schaden. Maar ze misten het feit dat sommige "lege" torens eigenlijk de enige bruggen waren die twee drukke fabrieken met elkaar verbonden. Het afbreken van deze torens veroorzaakte verkeersopstoppingen die de hele stad tot stilstand brachten.
De CoCurve Manier: CoCurve controleert niet alleen de gebouwen; het controleert de bruggen tussen hen. Het gebruikt een slimme wiskundige truc (een tweede-orde Taylor-expansie van een "KL-divergentie", wat gewoon een chique manier is om te meten hoeveel de antwoorden van de AI veranderen wanneer je een deel ervan verbergt) om een kaart van de stad te tekenen.
- De diagonaal laat zien hoe belangrijk een enkel gebouw op zichzelf is (zoals de oude methode).
- De off-diagonal lijnen laten de "co-pruning curvature" zien. Dit is de extra schade die ontstaat als je twee specifieke gebouwen samen afbreekt. Het onthult dat sommige zwakke gebouwen eigenlijk een supersterk team vormen, en dat je ze beide moet behouden.

De Magische Truc: Geen Training Vereist

Normaal gesproken vereist het uitzoeken van deze verbindingen veel zwaar werk, zoals het hertrainen van de AI of het uitvoen van miljoenen tests. Maar CoCurve is een "training-free" methode. Het is als een eenmalige magische truc.

De onderzoekers nemen een kleine, niet-gelabelde steekproef van tekst (zoals een paar pagina's uit een boek).
Ze laten de AI door deze tekst lopen, maar ze "maskeren" (verbergen) één gebouw tegelijk om te zien hoe de antwoorden van de AI "wiebelen".
Met behulp van een handige wiskundige afkorting (een Gram-product) kunnen ze de volledige kaart van verbindingen berekenen vanuit slechts deze enkele tests. Ze hoeven niet elk mogelijk paar gebouwen te testen (wat eeuwig zou duren), noch hoeven ze de gewichten van de AI bij te werken. Het gebeurt allemaal in één keer.

Wat Ze Hebben Ontdekt

Het team heeft CoCurve getest op vier verschillende AI-modellen, variërend van 3 tot 24 miljard parameters. Ze hebben het vergeleken met negen andere populaire pruning-methoden.

De Resultaten: CoCurve presteerde consequent beter dan de anderen. Het hield de AI slimmer en capabeler, vooral bij lastige taken zoals het schrijven van code of het oplossen van wiskundige problemen, waarbij andere methoden de AI vaak lieten "instorten" en volledig lieten falen.
De Grote Overwinning: Op een enorm model van 24 miljard parameters, toen ze 40% van het brein wegprunten, was CoCurve 14,5 keer beter in het voorspellen van het volgende woord (een maatstaf genaamd perplexiteit) dan de op één na beste methode.
De "Brug"-Ontdekking: Het artikel bewees dat de winst niet kwam door simpelweg de "beste" gebouwen te behouden. De winst kwam specif van de cross-module edges—de verbindingen tussen de Attention Towers en de FFN Factories. Wanneer ze deze verbindingen uit de wiskunde verwijderden, presteerde de methode veel slechter, wat bewees dat deze verborgen bruggen het geheime ingrediënt zijn.

Wanneer Werkt Het?

De onderzoekers ontdekten ook een regel voor wanneer dit detectiewerk het meest nuttig is. Als een model te veel redundante gebouwen heeft (zoals een stad met 100 identieke fabrieken die allemaal hetzelfde doen), wordt de kaart van de verbindingen ruisachtig en verwarrend. In die gevallen heeft CoCurve een "veiligheidsschakelaar" (een dempingsfactor) die het complexe kaart maken van de bruggen uitschakelt en gewoon terugvalt op de eenvoudige methode van "elk gebouw afzonderlijk controleren". Dit zorgt ervoor dat het nooit de boel verslechtert, zelfs niet bij modellen waar de verbindingen minder cruciaal zijn.

De Kern van het Verhaal

CoCurve verandert het spel door ons te leren dat je in een complex AI-brein niet alleen de nodes (de onderdelen) kunt snoeien, maar dat je ook de edges (de verbindingen) moet snoeien. Door respect te tonen voor de verborgen teamwork tussen verschillende delen van de AI, creëert CoCurve kleinere, snellere modellen die hun intelligentie niet verliezen. Het is een slimmere manier om de film te bewerken, waardoor het plot intact blijft, zelfs wanneer de speeltijd met de helft is verkort.

Technische Samenvatting: CoCurve

Probleemstelling

Gestructureerde pruning comprimeert Large Language Models (LLMs) door het verwijderen van volledige computationele eenheden, zoals attention heads en feed-forward netwerk (FFN) kanaalgroepen. Hoewel training-vrije methoden de voorkeur genieten vanwege hun gebrek aan data- en rekenvereisten, lijden ze doorgaans aan een kritiek blinde vlek: ze rangschikken verwijderbare eenheden onafhankelijk van elkaar.

De meeste bestaande benaderingen gaan ervan uit dat de loss bij het prunen van een set eenheden de som is van de individuele losses van die eenheden ( $\Delta L(S) \approx \sum \Delta L(u)$ ). Deze aanname faalt in Transformer-architecturen waar sublagen aan elkaar gekoppeld zijn via een gedeelde residual stream. Bijgevolg kunnen twee eenheden die individueel zwak lijken (lage saliency), gezamenlijk onmisbaar zijn. Onafhankelijke scoring is blind voor deze koppeling en verwijdert vaak dergelijke "bridge units" samen met de eenheden die zij ondersteunen, wat een onevenredige schade toebrengt aan de generatieve capaciteiten van het model, met name bij code- en wiskundige taken.

Methodologie: CoCurve

De auteurs introduceren CoCurve (Cross-Module Co-Pruning Curvature), een methode die enkel op kalibratie berust en training-vrij is, en die attention en FFN eenheden gezamenlijk prunt door hun interacties te modelleren.

1. Pruning Risico als Tweede-Orde Zelf-Distillatie

De methode definieert pruning risico als de token-niveau Kullback-Leibler (KL) divergentie tussen het bevroren volledige model (teacher) en de gemaskeerde kopie ervan (student) over ongelabelde tekst.

Zeroth en First Order: Bij nul pruning vallen de distributies samen, waardoor de risk en de gradiënt verdwijnen.
Second Order: De leidende term van de Taylor-expansie is puur kwadratisch: $R(s) \approx \frac{1}{2} s^\top H s$ .
De Fisher Matrix ( $H$ ): Deze enkele matrix $H$ $H$ bevat:
- Diagonaal ( $H_{uu}$ ): Klassieke node saliency (vergelijkbaar met Optimal Brain Damage).
- Off-Diagonal ( $H_{uv}$ ): Co-pruning curvature edges, die de extra verstoring vertegenwoordigen die optreedt wanneer eenheden $u$ en $v$ samen worden verwijderd.

2. Praktische Schatting via Single-Unit Ablaties

Het berekenen van een volledige $M \times M$ interactiematrix vereist doorgaans $O(M^2)$ paargewijze ablaties. CoCurve vermijdt dit door een gesloten vorm estimator af te leiden:

De off-diagonal entries $H_{uv}$ blijken een Gram product te zijn van single-unit logit perturbatie features.
Door slechts $M$ single-unit ablation passes uit te voeren (één per eenheid) en de Fisher-gewogen dot producten van hun logit shifts te berekenen, wordt de volledige interactiematrix hersteld.
Dit vereist geen gradiënten, geen Hessian-vector producten en geen paargewijze sweeps.

3. One-Shot Greedy Solver

Pruning wordt geformuleerd als een gebudgetteerd binair kwadratisch programma. De auteurs maken gebruik van een cost-normalized greedy solver die:

Eenheden selecteert om te verwijderen op basis van marginale risk, wat zowel de node saliency als de geaccumuleerde interactie met reeds geselecteerde eenheden omvat.
Werkt onder een gedeeld budget voor attention en FFN eenheden, waardoor de optimalisatie de optimale verdeling kan bepalen in plaats van deze handmatig vast te leggen.
Een trust-region scalar ( $\lambda$ ) bevat om de edge term te dempen bij hoge pruning ratio's waar de tweede-orde benadering degradeert. Deze $\lambda$ wordt bepaald door een label-vrije regel gebaseerd op de FFN kanaal redundantie van het model.

4. Compensatie (Optioneel)

Voor agressieve ratio's kan een gesloten vorm compensatiestap de outputs van behouden FFN groepen herschalen om de verschuiving in de residual stream op te vangen die wordt veroorzaakt door verwijderde eenheden. Deze stap is eveneens gradiënt-vrij en gebruikt dezelfde edge blocks die tijdens de selectie zijn berekend.

Belangrijkste Bijdragen

Een Node-naar-Edge Objectief: Het afleiden van een kwadratisch pruning risico waarbij de off-diagonal termen de cross-module co-pruning curvature tussen attention en FFN eenheden vertegenwoordigen, waarmee verder wordt gegaan dan onafhankelijke node ranking.
Een Praktische Estimator en Solver: Het aantonen dat de volledige interactiematrix een Gram product is van single-unit ablation features, die in $O(M)$ passes herstelbaar is. De methode lost het selectieprobleem in één keer op zonder gewichtsupdates of herhaalde schattingen.
Een Interpreteerbaar Mechanisme: De methode beschermt expliciet "bridge units" (lage saliency maar hoge connectiviteit) die own-first methoden zouden weggooien. Het plaatst gestructureerde pruning op een continuüm met klassieke tweede-orde methoden (OBD/OBS).
Een Voorspellende Regel: Een enkele kalibratie statistiek (FFN kanaal redundantie) voorspelt a priori wanneer de edge term vertrouwd of gedempt moet worden, waardoor een empirische observatie wordt omgezet in een architectuur-niveau regel.

Resultaten

De auteurs evalueerden CoCurve op vier dense LLM's (3B–8B) en een scaling studie op een 24B model, waarbij ze het vergeleken met negen training-vrije baselines over 14 benchmarks (inclusclusief taalmodellering, commonsense, kennis, wiskunde en code).

Prestaties: CoCurve presteert consequent beter dan sterke training-vrije baselines. Op het hoofdmodel (Llama-3.1-8B-Instruct) bij 20% pruning bereikt het de beste scores in taalmodellering, wereldkennis en codegeneratie, en de hoogste gemiddelde voor commonsense taken.
Fragiele Taken: De methode laat de grootste winsten zien op fragiele generatieve taken (code en wiskunde), waar andere methoden vaak instorten. Bij 40% pruning op het 24B model bereikt CoCurve een 14,5× lagere perplexiteit dan de sterkste geldige baseline.
Ablaties:
- Het verwijderen van de off-diagonal edge term vermindert de prestaties tot die van een diagonal-only (OBD-stijl) selector, wat bevestigt dat de edges de winst drijven.
- Gezamenlijke attention-FFN pruning presteert beter dan het prunen van slechts één module alleen.
- Het voordeel van de edge is invers gecorreleerd met FFN kanaal redundantie; de methode bevat een gate om edges op high-redundancy modellen (bijv. Qwen2.5-32B) te dempen om degradatie te voorkomen.

Betekenis en Claims

Het artikel herkadert gestructureerde LLM pruning: "Prune de edges, niet alleen de nodes."

Mechanisme: De auteurs beweren dat het falen van bestaande methoden voortkomt uit het negeren van de koppeling tussen heterogene modules (attention en FFN) via de residual stream. CoCurve vangt deze koppeling op via een afgeleide Fisher curvature matrix.
Efficiëntie: De methode is strikt training-vrij, vereist geen labels, fine-tuning of iteratieve her-schatting. Het is computationeel efficiënt en vereist alleen forward passes voor single-unit ablaties.
Robuustheid: De aanpak biedt een "graceful fallback". Op high-redundancy modellen waar edges misleidend kunnen zijn, keert de methode automatisch terug naar een sterke diagonale (OBD-stijl) selector, wat ervoor zorgt dat het nooit slechter presteert dan een sterke klassieke baseline.
Scope: De auteurs positioneren CoCurve als een oplossing voor matige compressie regimes (tot ~30-40%). Ze erkennen dat het, net als alle training-vrije methoden, super-lineair degradeert bij extreme ratio's zonder recovery, maar dat het de bruikbare compressie-frontier aanzienlijk uitbreidt vergeleken met onafhankelijke ranking methoden.

Het artikel concludeert dat cross-module interacties niet louter decoratief zijn, maar dragend zijn voor het behoud van de functionele computation die nodig is voor complexe generatie, en dat het modelleren van deze interacties essentieel is voor effectieve gestructureerde pruning.