Sintesi Tecnica: Potatura di Reti Neurali Profonde tramite la Distribuzione di Marchenko–Pastur

1. Definizione del Problema

Il documento affronta la sfida della compressione delle Reti Neurali Profonde (DNN), specificamente dei Vision Transformer (ViT) e delle Reti Neurali Convoluzionali (CNN), per l'implementazione sotto vincoli stringenti. L'obiettivo primario è ottenere una sparsità significativa (riducendo le operazioni di Multiply-Accumulate, o MAC) mantenendo un'alta accuratezza, ma con un vincolo critico: budget di fine-tuning post-potatura minimi.

Le pipeline di potatura esistenti spesso si affidano a lunghi programmi di riaddestramento o estese ottimizzazioni per recuperare l'accuratezza dopo la potatura. Questo lavoro indaga se un approccio basato sulle matrici casuali di Marchenko–Pastur (MP) possa fornire "certificati del percorso dati" deterministici che permettano una potatura accurata con programmi di calibrazione e fine-tuning molto brevi (ad esempio, un epoch per ciclo o tre epoch di distillazione). Il problema centrale è distinguere tra "rumore" (componenti simili al caso che possono essere rimossi) e "segnale" (componenti strutturati che devono essere preservati) all'interno delle matrici dei pesi addestrate, senza accesso ai dati di validazione o di test durante la fase di costruzione della maschera.

2. Metodologia

2.1 Framework Teorico: Segnale vs Rumore

Gli autori propongono un'ipotesi di modellazione in cui una matrice dei pesi addestrata $W$ al livello $\ell$ può essere decomposta in una componente di segnale strutturato $S$ e una componente di perturbazione casuale $R$:
$$W = S + R$$

• Segnale ($S$): Assunto come a basso rango o approssimativamente a basso rango rispetto alla larghezza del livello, rappresentante le caratteristiche apprese.
• Rumore ($R$): Modellato come una perturbazione casuale indipendente. Secondo la legge di Marchenko–Pastur (MP), i valori singolari di tali matrici casuali formano una distribuzione "bulk" con un limite superiore noto $\sigma_+$.

La teoria postula che se la componente rimossa $R$ ha un piccolo effetto sui logit propagati, la potatura riduce un obiettivo di elastic-net e preserva i campioni con margini densi sufficienti.

2.2 Algoritmi di Potatura

Il documento introduce due strategie algoritmiche primarie basate su questo framework teorico:

1. SER (Sparsify–Estimate–Restore):

   • Meccanismo: Parte da un candidato sovra-potato (rimuovendo i pesi in base ai budget guidati da MP). Successivamente, valuta la "massa persa" attraverso il percorso dei dati e ripristina le voci che sono più utili per il modello sparso target.
   • Hybrid Magnitude–SER: Combina la classica potatura per magnitudo (efficace a bassa sparsità) con la SER (efficace ad alta sparsità) per sfruttare la stabilità della potatura per magnitudo e la sensibilità spettrale della SER.

2. CAST (Sparsità Strutturata):

   • Meccanismo: Mira a pattern di sparsità strutturata $k:n$ fissi (ad esempio, 2:4, 6:12, 8:16), compatibili con gli acceleratori hardware come i NVIDIA Tensor Core.
   • Processo: Utilizza un obiettivo ispirato ai "certificati" per selezionare quali voci mantenere all'interno di un gruppo. Impiega un concetto di "ripristino libero": all'interno di un gruppo dove il costo di esecuzione è già fissato dal pattern di sparsità, ripristinare una voce mantenuta può migliorare il certificato teorico senza cambiare il numero di pesi eseguiti.
   • Integrazione ToMe: Per i Vision Transformer, il metodo combina la potatura dei pesi con il Token Merging (ToMe) per ridurre il numero di token elaborati, riducendo ulteriormente il carico computazionale.

2.3 Certificati Teorici

Il documento fornisce tre risultati teorici principali per giustificare la potatura:

• Certificato Deterministico del Percorso Dati: Dimostra che se la componente rimossa $R$ soddisfa un limite sul suo effetto sui logit propagati ($L_s \|R\psi_1(s)\|_\infty$), la potatura riduce un obiettivo di elastic-net e preserva i campioni il cui margine denso supera il doppio della perturbazione.
• Certificato Prune–Restore: Modella la sparsità strutturata, mostrando che il ripristino delle voci all'interno di un gruppo di esecuzione sparsa fisso può migliorare il limite senza alterare il pattern di esecuzione finale.
• Teoria Additiva $L_2$-Regolarizzata: Dimostra che sotto stazionarietà a lato singolo e convergenza del percorso locale, le componenti casuali ammissibili svaniscono al limite dell'addestramento, mentre gli spike di segnale persistenti si stabilizzano mentre il bulk MP collassa.

3. Risultati Chiave

3.1 Potatura Non Strutturata (ViT-B/16)

Su ImageNet-1k, il metodo Hybrid Magnitude–SER ha raggiunto l'83.37% di accuratezza top-1 con una sparsità non strutturata del 50%. Ciò rappresenta un calo di soli 1.74 punti percentuali (pp) rispetto al baseline denso (85.11%), ottenuto con un budget di fine-tuning molto breve (un epoch per ciclo). Ha superato sia la classica potatura per magnitudo (81.67%) che un baseline diretto di Teoria delle Matrici Casuali (RMT) (82.57%) in condizioni identiche.

3.2 Sparsità Strutturata e Implementazione

Il documento riporta i risultati per i pattern strutturati $k:n$, distinguendo tra accuratezza/conteggio MAC e reali accelerazioni hardware:

• ViT-B/16 (2:4 + ToMe): Ha raggiunto l'83.41% top-1 (−1.70 pp) con una riduzione del 59.81% nei MAC di esecuzione sparsa. Su una NVIDIA A40, questo checkpoint ha dimostrato un accelerazione nativa dei Tensor Core di 1.388×.
• ViT-B/16 (No ToMe, A100): Un endpoint separato ha ottenuto un accelerazione di 2.705× passando da denso a 2:4 di sparsità senza ToMe.
• Pattern più ampi:
  • ViT-B/16 (6:12): 83.74% top-1.
  • ViT-L/16 (8:16 denso+permutazione): 85.33% top-1 (−0.51 pp).
  • ConvNeXtV2-Base (12:16): 86.35% top-1 (−0.37 pp).
• CNN:
  • ResNet50 (8:16 denso+permutazione): 75.87% top-1 (−0.26 pp).
  • ResNet152d (CAST-conv+permutazione): 81.33% top-1 (−1.53 pp) con un'accelerazione 1.62× su A40 im2col+2:4 sparse-GEMM.

3.3 Leggi di Scala

L'evidenza empirica suggerisce che i checkpoint densi più grandi tendono a incorrere in penalità top-1 minori a parità di livelli di sparsità. Gli autori attribuiscono ciò al fatto che l'edge MP è un oggetto spettrale asintotico meglio risolto in matrici più grandi, e che i livelli più larghi e sovra-parametrizzati contengono un "serbatoio bulk" di tipo casuale più grande la cui rimozione ha un effetto minimo sul percorso dei dati.

4. Significato e Rivendicazioni

Il documento afferma che i suoi contributi principali sono:

1. Ritenzione dell'Accuratezza con Budget Brevi: Dimostrare che un'alta accuratezza può essere mantenuta dopo la potatura con un fine-tuning minimo (ad esempio, 3 epoch di distillazione per CAST), contrastando con le pipeline che richiedono un lungo riaddestramento.
2. Certificati Deterministici: Fornire garanzie teoriche che collegano la rimozione di componenti simili al caso (identificate tramite diagnostica MP) alla preservazione dell'accuratezza, specificamente per i campioni con margini ampi.
3. Implementabilità Pratica: Validare che questi segnali teorici si traducono in accelerazioni reali sull'hardware (A40/A100) sia per i ViT che per le CNN, in particolare quando combinati con pattern di sparsità strutturata (2:4, 6:12, ecc.).
4. Allocazione per Livello: Utilizzare le diagnostiche spettrali MP per allocare diversi budget di potatura a diversi livelli in base alle loro proprietà spettrali (trattando i livelli di tipo MP come candidati per budget maggiori, proteggendo al contempo i livelli non-MP o heavy-tailed).

Gli autori dichiarano esplicitamente che l'edge MP funge da condizione sufficiente di matrice casuale e da segnale pratico per livello, piuttosto che da un limite certificato completo per tutte le architetture transformer. Il lavoro è presentato come un approccio "ispirato ai certificati" dove la teoria motiva l'algoritmo e i risultati empirici ne validano l'efficacia della strategia di potatura a budget ridotto.