🤖 machine learning

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

PATCH è un framework di sparsità ibrido che partiziona le matrici dei pesi degli LLM in tasselli con assegnazioni dense o sparse 2:4 apprendibili, consentendo rapporti di sparsità continui compresi tra lo 0% e il 50% per ottenere una precisione superiore e accelerazioni pratiche su GPU rispetto ai metodi di pruning esistenti non strutturati o semi-strutturati rigidi.

Autori originali: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Pubblicato 2026-04-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Large Language Model (LLM) come una biblioteca enorme e iper-organizzata contenente miliardi di libri (parametri). Per far funzionare questa biblioteca velocemente su un computer standard, devi rimuovere alcuni libri. Tuttavia, ti trovi di fronte a un dilemma insidioso:

L'Approccio "Disordinato" (Sparsità Non Strutturata): Butti via libri casuali da qualsiasi parte degli scaffali. Questo mantiene la conoscenza della biblioteca molto accurata perché puoi essere molto selettivo, ma crea un caos disordinato. Un bibliotecario (la GPU del computer) che cerca di trovare i libri deve saltare ovunque, rendendo il processo lento e inefficiente.
L'Approccio "Rigido" (Sparsità 2:4): Decidi di seguire una regola rigorosa: "In ogni gruppo di quattro libri, devi rimuoverne esattamente due". Questo rende il lavoro del bibliotecario facile e veloce perché il pattern è prevedibile. Tuttavia, questa regola è troppo rigida. A volte, i due libri che devi rimuovere sono in realtà i più importanti, causando alla biblioteca la perdita della sua intelligenza e accuratezza.

Entra PATCH: Il Bibliotecario "Intelligente a Mattonelle"

Il documento introduce un nuovo metodo chiamato PATCH (Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity). Invece di scegliere tra l'approccio "disordinato" e quello "rigido", PATCH agisce come un bibliotecario intelligente che divide la biblioteca in mattonelle (piccole sezioni gestibili degli scaffali).

Ecco come funziona, usando una semplice analogia:

Il Sistema a Mattonelle: Immagina che la biblioteca sia divisa in mattonelle quadrate, come un mosaico.
La Decisione: Per ogni mattonella, il sistema PATCH impara a fare una scelta:
- Opzione A (Densa): Mantieni questa mattonella completamente piena di libri. Questo è per le sezioni "critiche" della biblioteca dove l'accuratezza conta di più.
- Opzione B (Sparsa 2:4): Applica la rigorosa regola "rimuovi due su quattro" a questa mattonella. Questo è per le sezioni in cui la biblioteca ha libri extra e ridondanti che possono essere rimossi in sicurezza per risparmiare spazio e velocizzare le cose.
Il Processo di Apprendimento: Il sistema non indovina. Si "allena" per capire esattamente quali mattonelle dovrebbero essere piene e quali sparse. Impara a mantenere le parti importanti dense e le parti ridondanti sparse, tutto rispettando le regole compatibili con l'hardware.

Perché è una grande novità?

Il Meglio di Due Mondi: PATCH colma il divario. Mantiene la biblioteca accurata (come l'approccio disordinato) ma la organizza in modo che i computer possano leggerla velocemente (come l'approccio rigido).
Velocità Flessibile: Puoi dire a PATCH: "Voglio che la biblioteca sia il 25% più piccola" o "il 50% più piccola". Regola il numero di "mattonelle piene" rispetto alle "mattonelle sparse" per colpire esattamente quel target, invece di rimanere bloccato a una riduzione fissa del 50%.
Risultati nel Mondo Reale: Gli autori hanno testato questo metodo su modelli che vanno dal piccolo al molto grande (fino a 13 miliardi di parametri).
- Velocità: Su una scheda grafica consumer standard (una GPU A6000), PATCH ha fatto funzionare i modelli da 1,18 a 1,38 volte più velocemente rispetto ai modelli originali non potati.
- Intelligenza: A differenza di altri metodi che rendono il modello "più stupido" quando lo velocizzano, PATCH ha reso i modelli più accurati (da 0,37% a 2,96%) rispetto all'attuale metodo rigido all'avanguardia (MaskLLM).

In Sintesi

Pensa a PATCH come a un modo per sgomberare un enorme magazzino. Invece di buttare via le cose a caso (il che rallenta i carrelli elevatori) o di seguire una regola stupida che butta via oggetti importanti, PATCH designa intelligentemente zone specifiche da mantenere piene e altre zone da svuotare secondo un pattern che i carrelli elevatori amano. Il risultato è un magazzino più veloce da navigare e che conserva comunque tutte le conoscenze essenziali.

1. Enunciato del Problema

I Large Language Models (LLM) offrono prestazioni superiori ma soffrono di costi di memoria e computazionali proibitivi durante il deployment. Il pruning del modello è una soluzione primaria, ma gli approcci esistenti affrontano un compromesso fondamentale:

Sparsità Non Strutturata: Consente elementi non nulli ovunque, preservando un'alta accuratezza ma creando pattern di accesso alla memoria irregolari che impediscono un'accelerazione efficiente della GPU (ad es. Tensor Cores).
Sparsità Semi-Strutturata (es. 2:4): Impone un pattern rigido (due elementi non nulli ogni quattro elementi) che è compatibile con l'hardware e accelera l'inferenza. Tuttavia, il rapporto di sparsità fisso del 50% e l'applicazione uniforme su tutti i livelli spesso portano a un degrado significativo dell'accuratezza, specialmente quando si utilizzano metodi di pruning one-shot.

I metodi attuali faticano a colmare il divario tra la flessibilità del pruning non strutturato e l'efficienza hardware del pruning semi-strutturato, in particolare per quanto riguarda l'incapacità di adattare i rapporti di sparsità in modo continuo o di allocare la sparsità in modo non uniforme tra i livelli.

2. Metodologia: PATCH

Gli autori propongono PATCH (Pruning with a Learnable Tile-level Configuration for Hybrid Sparsity), un framework che consente un rapporto di sparsità continuo tra lo 0% e il 50% mantenendo la compatibilità hardware.

Meccanismo Principale

PATCH partiziona le matrici dei pesi in tile (es. $b_1 \times b_2$ ). Per ogni tile, il modello impara a decidere se deve rimanere denso (0% di sparsità) o diventare 2:4 sparse (50% di sparsità).

Generazione di Maschere Ibride: La maschera finale è una combinazione ponderata di un'opzione "densa" e un'opzione "2:4 sparse".
Distribuzioni Apprendibili:
1. Selezione del Tile: Una distribuzione di logit apprendibile determina la probabilità che un tile sia denso rispetto a sparse. Questo viene campionato utilizzando Gumbel-Softmax per consentire un'ottimizzazione differenziabile.
2. Selezione del Pattern: All'interno dei tile designati come sparse, una distribuzione apprendibile separata seleziona il pattern 2:4 specifico (su 6 permutazioni possibili).
Obiettivo di Ottimizzazione: L'obiettivo di addestramento combina:
- Perdita di modellazione standard (es. Next Token Prediction).
- Regolarizzazione della Sparsità: Un termine che penalizza le deviazioni da un rapporto di sparsità globale target ( $\rho$ ), consentendo un controllo preciso sul range 0–50%.
- Regolarizzazione dei Pesi: Incoraggia magnitudini di peso più elevate per facilitare la propagazione del gradiente.

Varianti

PATCHJoint: Ottimizza congiuntamente sia la selezione a livello di tile (denso vs sparse) che i pattern 2:4 a grana fine all'interno dei tile sparse. Utilizzato per modelli più piccoli (<1B parametri).
PATCHTile: Una variante efficiente in termini di memoria in cui i pattern 2:4 sono congelati (inizializzati da un metodo one-shot di alta qualità come MaskLLM), e vengono ottimizzate solo le decisioni a livello di tile denso/sparse. Questo consente di scalare a modelli più grandi (fino a 13B) con memoria GPU limitata.

Inferenza e Deployment

Integrazione STOICC: Poiché le librerie GPU standard (cuBLAS, cuSPARSELt) non supportano tile misti denso/sparse, PATCH utilizza STOICC, un compilatore basato su Triton. STOICC autotune le configurazioni del kernel (dimensioni dei tile, es. $128 \times 128$ ) per gestire l'esecuzione ibrida in modo efficiente.
Compatibilità Hardware: Garantendo che i tile sparse aderiscano rigorosamente al pattern 2:4, PATCH sfrutta i Tensor Core NVIDIA/AMD per l'accelerazione, mentre i tile densi utilizzano kernel densi standard.

3. Contributi Chiave

Framework di Sparsità Ibrida: Introduce il primo metodo per abilitare un rapporto di sparsità continuo (0%–50%) mescolando dinamicamente tile densi e 2:4 sparse all'interno della stessa matrice dei pesi.
Allocazione Non Uniforme Apprendibile: A differenza dei metodi 2:4 fissi, PATCH impara ad allocare la sparsità in modo adattivo. Preserva la densità nei livelli sensibili (es. blocchi Transformer iniziali/finali, meccanismi di Attenzione) e applica la sparsità ai livelli ridondanti (es. blocchi centrali, matrici MLP up/gate/down).
Addestramento Differenziabile End-to-End: Utilizza Gumbel-Softmax per ottimizzare congiuntamente la selezione della maschera e il pruning dei pesi, evitando il calo di accuratezza associato al pruning one-shot.
Deployment Pratico: Dimostra la prima integrazione riuscita di sparsità ibrida a livello di tile con un compilatore (STOICC) per ottenere accelerazioni reali su GPU di fascia consumer.

4. Risultati Sperimentali

Gli autori hanno valutato PATCH su modelli che vanno da 0,5B a 13B parametri (Qwen-2.5, LLaMA-2/3, Gemma-3) utilizzando 8 task downstream zero-shot e la perplessità WikiText2.

Accuratezza:
- PATCH supera costantemente i metodi di pruning 2:4 all'avanguardia (MaskLLM, SparseGPT, Wanda, ProxSparse).
- Su LLaMA-2 7B, PATCH (a 25% di sparsità) raggiunge un'accuratezza media del 51,58% rispetto al 48,62% di MaskLLM (50% di sparsità) e al 45,92% di ProxSparse.
- PATCH riduce significativamente il divario con i modelli densi; a 25% di sparsità, recupera entro circa 2 punti percentuali dell'accuratezza densa.
- Perplessità: PATCH raggiunge una perplessità inferiore rispetto a tutti i baseline. Per LLaMA-2 7B a 25% di sparsità, la PPL è 5,86 contro 6,78 di MaskLLM.
Accelerazione ed Efficienza:
- Su una GPU NVIDIA A6000 (LLaMA-2 7B), PATCH raggiunge accelerazioni end-to-end da 1,18× a 1,38× rispetto ai baseline densi.
- L'impronta di memoria è ridotta a 0,59×–0,76× del modello denso.
- PATCH supera il pruning non strutturato (che non offre accelerazione) e il pruning 2:4 rigido (che spesso degrada l'accuratezza troppo per giustificare la velocità).
Studi di Ablazione:
- Globale vs per Livello: Gli obiettivi di sparsità globale (che consentono sparsità variabile per livello) superano significativamente gli obiettivi uniformi per livello.
- Dimensione del Tile: Le prestazioni sono robuste tra le diverse dimensioni dei tile, sebbene $4 \times 4$ offra il controllo più fine. L'efficienza hardware impone l'uso di tile di esecuzione più grandi ( $128 \times 128$ ).
- Inizializzazione: Il metodo è robusto rispetto ai prior di inizializzazione; l'obiettivo di sparsità globale consente una riallocazione dinamica durante l'addestramento.

5. Significato

PATCH rappresenta un passo significativo in avanti nell'inferenza efficiente degli LLM risolvendo il dilemma "accuratezza vs accelerazione".

Colmare il Divario: Combina con successo i benefici di accelerazione hardware della sparsità semi-strutturata con la flessibilità dell'allocazione non strutturata.
Praticità: Va oltre il pruning teorico per dimostrare accelerazioni reali su hardware reale utilizzando l'infrastruttura compilatore esistente (STOICC).
Scalabilità: La variante efficiente in termini di memoria (PATCHTile) dimostra che la sparsità ibrida può essere applicata a modelli grandi (13B+) senza richiedere budget computazionali massicci per l'addestramento delle maschere.
Direzione Futura: Il framework è agnostico rispetto al pattern e può teoricamente estendersi ad altri pattern N:M (es. 4:8) man mano che il nuovo hardware li supporta, rendendolo una soluzione versatile per la futura compressione degli LLM.

In sintesi, PATCH fornisce una strategia di pruning flessibile, apprendibile ed efficiente per l'hardware che consente ai professionisti di sintonizzare il compromesso tra qualità del modello e velocità di inferenza con una granularità senza precedenti.