🤖 machine learning

CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

CoCurve è un metodo di pruning strutturato privo di addestramento per i LLM che ottimizza congiuntamente la rimozione delle unità di attenzione e FFN sfruttando un'espansione di Taylor del secondo ordine per catturare le dipendenze tra i moduli attraverso una matrice di Fisher, consentendo una compressione efficiente e senza etichette tramite un unico programma quadratico single-shot senza fine-tuning.

Autori originali: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Pubblicato 2026-07-21

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico gigante e super intelligente, fatto di miliardi di minuscoli ingranaggi e molle. Questo è un Large Language Model (LLM), un tipo di IA capace di scrivere storie, risolvere problemi matematici e persino scrivere codice software. Ma ecco il problema: questi cervelli sono così grandi e pesanti che sono incredibilmente costosi da far funzionare e lenti nel pensare. Per renderli utili alle persone comuni, gli scienziati devono rimpicciolirli, come se dovessero infilare una biblioteca enorme in un libro tascabile. Questo processo è chiamato "pruning" (potatura).

Pensa alla potatura come all'editing di un film lungo. Vuoi tagliare le scene noiose per rendere il film più breve e veloce da guardare, ma non vuoi rovinare la trama. Per molto tempo, gli editor (gli scienziati) hanno pensato che il modo migliore per farlo fosse esaminare ogni scena singolarmente. Se una scena sembrava noiosa da sola, la tagliavano. Presupponevano che, tagliando un sacco di scene noiose, il film sarebbe stato solo un po' più breve, ma la storia sarebbe rimasta la stessa. Trattavano il film come una semplice lista di clip indipendenti.

Tuttavia, questo articolo sostiene che un film (o un cervello artificiale) non è solo una lista di clip indipendenti. È una rete complessa dove le scene si parlano tra loro. A volte, una scena che sembra noiosa da sola è in realtà la colla segreta che tiene insieme altre due scene importanti. Se tagli quella scena "noiosa", l'intera storia potrebbe andare in pezzi, anche se non hai tagliato le altre scene. Il vecchio metodo di editing ignorava queste connessioni nascoste.

Entra in scena CoCurve: Il detective che mappa le connessioni

I ricercatori dietro questo articolo, provenienti dalla Nanyang Technological University, hanno introdotto un nuovo metodo chiamato CoCurve (Cross-Module Co-Pruning Curvature). Invece di limitarsi a guardare ogni singolo ingranaggio per vedere se è debole, CoCurve agisce come un detective che mappa come ogni ingranaggio è connesso a tutti gli altri.

Ecco come l'hanno fatto, usando una semplice analogia: Immagina che il cervello dell'IA sia una città gigante con due tipi di edifici: Torri di Attenzione (che aiutano l'IA a concentrarsi su parole specifiche) e Fabbriche FFN (che elaborano e comprendono quelle parole).

Il vecchio modo (l'errore "Node-First"): I metodi tradizionali avrebbero percorso la città, controllato ogni edificio individualmente e detto: "Questa torre sembra un po' vuota, abbattiamola", oppure "Questa fabbrica sembra lenta, chiudiamola". Presupponevano che abbattere alcuni edifici vuoti non avrebbe danneggiato la città. Ma non vedevano che alcune torri "vuote" erano in realtà gli unici ponti che collegavano due fabbriche molto trafficate. Abbatterle causava ingorghi che bloccavano l'intera città.
Il modo CoCurve: CoCurve non controlla solo gli edifici; controlla i ponti tra di essi. Utilizza un trucco matematico astuto (un'espansione di Taylor del secondo ordine di una "divergenza KL", che è solo un modo complicato per misurare quanto cambiano le risposte dell'IA quando ne nascondi una parte) per disegnare la mappa della città.
- Sulla diagonale viene mostrata quanto è importante un singolo edificio da solo (come nel vecchio metodo).
- Le linee fuori diagonale mostrano la "co-pruning curvature". Questo è il danno extra causato se si abbattono due edifici specifici insieme. Rivela che a volte, due edifici deboli sono in realtà una squadra super forte, e devi tenerli entrambi.

Il trucco magico: Nessun addestramento richiesto

Di solito, capire queste connessioni richiede un lavoro pesante, come riaddestrare l'IA o eseguire milioni di test. Ma CoCurve è un metodo "training-free" (senza addestramento). È come un trucco magico istantaneo.

I ricercatori prendono un piccolo campione di testo non etichettato (come poche pagine di un libro).
Fanno passare l'IA attraverso questo testo, ma "mascherano" (nascondono) un edificio alla volta per vedere come oscillano le risposte dell'IA.
Usando una scorciatoia matematica elegante (un prodotto di Gram), possono calcolare l'intera mappa di connessioni partendo da questi singoli test. Non hanno bisogno di testare ogni possibile coppia di edifici (il che richiederebbe un tempo infinito), né devono aggiornare i pesi dell'IA. Tutto viene fatto in un colpo solo.

Cosa hanno scoperto

Il team ha testato CoCurve su quattro diversi modelli di IA, con parametri che vanno da 3 a 24 miliardi. Li ha confrontati con altri nove popolari metodi di pruning.

I Risultati: CoCurve ha costantemente superato gli altri. Ha mantenuto l'IA più intelligente e capace, specialmente in compiti difficili come scrivere codice o risolvere problemi matematici, dove altri metodi spesso facevano "collassare" l'IA facendola fallire completamente.
La Grande Vittoria: Su un modello massiccio da 24 miliardi di parametri, quando hanno potato via il 40% del cervello, CoCurve è stato 14,5 volte migliore nel prevedere la parola successiva (una misura chiamata perplexity) rispetto al secondo miglior metodo.
La scoperta del "Ponte": L'articolo ha dimosto che i guadagni non sono derivati dal trovare semplicemente i "migliori" edifici da tenere. I guadagni sono arrivati specificamente dai cross-module edges (i collegamenti tra i moduli)—le connessioni tra le Torri di Attenzione e le Fabbriche FFN. Quando hanno rimosso questi collegamenti dal calcolo, il metodo è diventato molto meno efficace, provando che questi ponti nascosti sono l'ingrediente segreto.

Quando funziona?

I ricercatori hanno anche scoperto una regola per quando questo lavoro da detective è più utile. Se un modello ha troppi edifici ridondanti (come una città con 100 fabbriche identiche che fanno tutte la stessa cosa), la mappa delle connessioni diventa rumorosa e confusa. In quei casi, CoCurve ha un "interruttore di sicurezza" (un fattore di smorzamento) che disattiva la complessa mappatura dei ponti e si limita al semplice metodo di "controllo di ogni singolo edificio". Questo assicura che non peggiori mai le cose, anche su modelli in cui le connessioni non sono così critiche.

In sintesi

CoCurve cambia le regole del gioco insegnandoci che, in un complesso cervello artificiale, non puoi limitarti a potare i nodi (le parti), devi potare anche gli archi (le connessioni). Rispettando il lavoro di squadra nascosto tra le diverse parti dell'IA, CoCurve crea modelli più piccoli e veloci che non perdono la loro intelligenza. È un modo più intelligente di montare il film, assicurando che la trama rimanga intatta anche quando la durata viene dimezzata.

Sintesi Tecnica: CoCurve

Definizione del Problema

Il pruning strutturato comprime i Large Language Models (LLM) rimuovendo intere unità computazionali, come le teste di attenzione e i gruppi di canali delle reti feed-forward (FFN). Sebbene i metodi senza addestramento (training-free) siano preferiti per la mancanza di requisiti in termini di dati e calcolo, essi soffrono tipicamente di un punto cieco critico: classificano le unità rimovibili in modo indipendente.

La maggior parte degli approcci esistenti assume che la perdita derivante dal pruning di un insieme di unità sia la somma delle perdite individuali di tali unità ( $\Delta L(S) \approx \sum \Delta L(u)$ ). Questa assunzione fallisce nelle architetture Transformer in cui i sottostrati sono accoppiati attraverso uno stream residuo condiviso. Di conseguenza, due unità che appaiono deboli singolarmente (bassa salienza) possono essere congiuntamente indispensabili. La classificazione indipendente è cieca a questo accoppiamento e spesso rimuove tali "unità ponte" insieme alle unità che esse supportano, causando un danno sproporzionato alle capacità generative del modello, in particolare nei compiti di codice e matematica.

Metodologia: CoCurve

Gli autori introducono CoCurve (Cross-Module Co-Pruning Curvature), un metodo di sola calibrazione, privo di addestramento, che effettua il pruning congiunto di unità di attenzione e FFN modellandone le interazioni.

1. Rischio di Pruning come Auto-Distillazione del Secondo Ordine

Il metodo definisce il rischio di pruning come la divergenza di Kullback-Leibler (KL) a livello di token tra il modello completo congelato (insegnante) e la sua copia mascherata (studente) su testo non etichettato.

Zero e Primo Ordine: Allo zero pruning, le distribuzioni coincidono, quindi il rischio e il suo gradiente svaniscono.
Secondo Ordine: Il termine principale dell'espansione di Taylor è puramente quadratico: $R(s) \approx \frac{1}{2} s^\top H s$ .
La Matrice di Fisher ( $H$ ): Questa singola matrice $H$ $H$ contiene:
- Diagonale ( $H_{uu}$ ): Salienza classica del nodo (simile a Optimal Brain Damage).
- Fuori Diagonale ( $H_{uv}$ ): Bordi di curvatura di co-pruning (Co-pruning curvature edges), che rappresentano la distorsione extra incursita quando si rimuovono insieme le unità $u$ e $v$ .

2. Stima Pratica tramite Ablazioni di Singola Unità

Calcolare una matrice di interazione completa $M \times M$ richiederebbe tipicamente $O(M^2)$ ablazioni a coppie. CoCurve evita questo problema derivando uno stimatore in forma chiusa:

Le voci fuori diagonale $H_{uv}$ sono dimostrate essere un prodotto di Gram di feature di perturbazione dei logit di singola unità.
Eseguendo solo $M$ passaggi di ablazione di singola unità (uno per ogni unità) e calcolando i prodotti scalari pesati dalla Fisher dei shift dei logit, l'intera matrice di interazione viene recuperata.
Ciò non richiede gradienti, prodotti Hessian-vettore o sweep a coppie.

3. Solutore Greedy One-Shot

Il pruning è formulato come un programma quadratico binario con budget. Gli autori impiegano un solutore greedy normalizzato sui costi che:

Seleziona le unità da rimuovere in base al rischio marginale, che include sia la salienza del nodo che l'interazione accumulata con le unità già selezionate.
Opera sotto un budget condiviso per le unità di attenzione e FFN, permettendo all'ottimizzazione di determinare la suddivisione ottimale invece di fissarla manualmente.
Include uno scalare di regione di fiducia ( $\lambda$ ) per smorzare il termine del bordo ai rapporti di pruning elevati, dove l'approssimazione del secondo ordine degrada. Questo $\lambda$ è determinato da una regola senza etichette basata sulla ridondanza dei canali FFN del modello.

4. Compensazione (Opzionale)

Per rapporti aggressivi, un passaggio di compensazione in forma chiusa può riscalare gli output dei gruppi FFN mantenuti per assorbire lo shift dello stream residuo causato dalle unità rimosse. Questo passaggio è anch' esso privo di gradienti e utilizza gli stessi blocchi di bordi calcolati durante la selezione.

Contributi Chiave

Un Obiettivo da Nodo a Bordo: Derivare un rischio di pruning quadratico dove i termini fuori diagonale rappresentano la curvatura di co-pruning tra modulo di attenzione e FFF, andando oltre la classificazione indipendente dei nodi.
Uno Stimatore e un Solutore Pratici: Dimostrare che l'intera matrice di interazione è un prodotto di Gram di feature di ablazione di singola unità, recuperabile in $O(M)$ passaggi. Il metodo risolve il problema di selezione in un unico passaggio senza aggiornamenti dei pesi o recupero.
Un Meccanismo Interpretabile: Il metodo protegge esplicitamente le "unità ponte" (bassa salienza ma alta connettività) che i metodi basati sui nodi scartano. Colloca il pruning strutturato su un continuum con i classici metodi del secondo ordine (OBD/OBS).
Una Regola Predittiva: Una singola statistica di calibrazione (ridondanza dei canali FFN) predice a priori quando il termine del bordo debba essere affidato o smorzato, trasformando un'osservazione empirica in una regola a livello di architettura.

Risultati

Gli autori hanno valutato CoCurve su quattro LLM densi (3B–8B) e uno studio di scaling su un modello da 24B, confrontandolo con nove baseline training-free su 14 benchmark (inclusi linguaggio naturale, senso comune, conoscenza, matematica e codice).

Performance: CoCurve supera costantemente le forti baseline training-free. Sul modello principale (Llama-3.1-8B-Instruct) al 20% di pruning, ottiene i punteggi migliori in linguaggio naturale, conoscenza del mondo e generazione di codice, e la media più alta per i compiti di senso comune.
Compiti Fragili: Il metodo mostra i maggiori guadagni nei compiti generativi fragili (codice e matematica), dove altri metodi spesso collassano. Al 40% di pruning sul modello da 24B, CoCurve ottiene una perplessità 14,5 volte inferiore rispetto alla più forte baseline valida.
Ablazioni:
- Rimuovere il termine del bordo fuori diagonale riduce le performance a quelle di un selettore basato solo sulla diagonale (stile OBD), confermando che i bordi guidano il guadagno.
- Il pruning congiunto di attenzione-FFN supera il pruning di un modulo preso singolarmente.
- Il beneficio del bordo è inversamente correlato alla ridondanza dei canali FFN; il metodo include un gate per smorzare i bordi su modelli ad alta ridondanza (es. Qwen2.5-32B) per prevenire il degrado.

Significato e Affermazioni

Il paper riformula il pruning strutturato degli LLM: "Pruna i bordi, non solo i nodi."

Meccanismo: Gli autori affermano che il fallimento dei metodi esistenti deriva dall'ignorare l'accoppiamento tra moduli eterogenei (attenzione e FFN) tramite lo stream residuo. CoCurve cattura questo accoppiamento attraverso una derivata matrice di curvità di Fisher.
Efficienza: Il metodo è strettamente privo di addestramento, non richiede etichette, fine-tuning o ri-stima iterativa. È computazionalmente efficiente, richiedendo solo passaggi in avanti per le ablazioni di singola unità.
Robustezza: L'approccio fornisce un "fallback aggraziato". Sui modelli ad alta ridondanza dove i bordi potrebbero trarre in inganno, il metodo ritorna automaticamente a un selettore diagonale forte (stile OBD), garantendo di non performare mai peggio di una forte baseline classica.
Ambito: Gli autori posizionano CoCurve come una soluzione per regimi di compressione moderata (fino a circa il ~30-40%). Riconoscono che, come tutti i metodi training-free, degrada in modo super-lineare a rapporti estremi senza recupero, ma estende significativamente la frontiera di compressione utilizzabile rispetto ai metodi di classificazione indipendente.

Il paper conclude che le interazioni cross-modulo non sono meramente decorative ma sono fondamentali (load-bearing) per preservare il calcolo funzionale richiesto per la generazione complessa, e che modellare queste interazioni è essenziale per un pruning strutturato efficace.