Riepilogo Tecnico: CORP - Potatura Strutturata One-Shot a Forma Chiusa con Preservazione della Rappresentazione per i Transformer

1. Enunciato del Problema

I modelli basati su Transformer raggiungono prestazioni all'avanguardia ma comportano costi computazionali e di memoria proibitivi, ostacolando il deployment su hardware con risorse limitate. Sebbene la potatura strutturata (rimozione di intere dimensioni o sottostrutture) offra accelerazioni pratiche, la maggior parte dei metodi esistenti si basa sul retraining, sull'ottimizzazione iterativa o sull'accesso a dati etichettati e gradienti. In scenari di deployment strettamente post-training, queste risorse sono spesso indisponibili.

La potatura strutturata one-shot ingenua fallisce sotto questi vincoli perché la rimozione di canali o dimensioni di attenzione introduce errori sistematici di rappresentazione che si accumulano attraverso i livelli, portando a un rapido crollo dell'accuratezza anche a livelli di sparsità moderati. Gli autori sostengono che questo fallimento non è guidato meramente dalla qualità della classificazione per importanza, ma dalla mancanza di un recupero esplicito dell'errore per i componenti rimossi.

2. Metodologia: CORP

Gli autori propongono CORP (Potatura Strutturata One-Shot a Forma Chiusa con Preservazione della Rappresentazione), un framework che riformula la potatura come un problema di recupero della rappresentazione. CORP opera senza etichette, gradienti o fine-tuning, utilizzando solo un piccolo insieme di dati di calibrazione non etichettati.

Filosofia di Base

Invece di considerare la potatura esclusivamente come un compito di selezione, CORP modella i componenti rimossi come funzioni affini dei componenti mantenuti. Deriva soluzioni a forma chiusa di regressione ridge per stimare i contributi mancanti e incorpora direttamente queste compensazioni nei pesi dei livelli rimanenti. Questo preserva la distribuzione di output del livello senza richiedere ottimizzazione iterativa o moduli di inferenza aggiuntivi.

Componenti Tecnici

Il metodo mira a due strutture primarie nei Transformer:

A. Potatura dei Canali MLP

Per un livello MLP definito da $y = Wx + b$, dove l'input $x$ è partizionato in canali mantenuti ($x_S$) e potati ($x_P$):

1. Modellazione: Le attivazioni potate $x_P$ sono approssimate come una funzione affine delle attivazioni mantenute: $x_P \approx Bx_S + c$.
2. Soluzione a Forma Chiusa: I parametri $(B, c)$ sono derivati tramite regressione ridge sull'insieme di calibrazione $D$:
   $$B = \Sigma_{PS}(\Sigma_{SS} + \lambda I)^{-1}, \quad c = \mu_P - B\mu_S$$
   dove $\Sigma$ rappresenta le matrici di covarianza delle attivazioni.
3. Incorporazione dei Pesi: La compensazione è incorporata nei pesi rimanenti:
   $$\hat{W}_S = W_S + W_P B, \quad \hat{b} = b + W_P c$$
   Questo risulta in un livello lineare standard con dimensioni ridotte che minimizza l'errore di ricostruzione dell'output originale.

B. Potatura delle Dimensioni di Attenzione (Query/Key)

Per l'attenzione self-attention, CORP pota le dimensioni nelle proiezioni Query ($Q$) e Key ($K$), lasciando intatta la proiezione Value ($V$) per evitare problemi di accoppiamento complessi.

1. Recupero dei Logit: I logit di attenzione originali sono $L = QK^\top = Q_S K_S^\top + Q_P K_P^\top$. Il termine $Q_P K_P^\top$ (logit mancanti) è approssimato utilizzando i sottospazi mantenuti: $Q_P K_P^\top \approx Q_S M K_S^\top$, dove $M$ è una piccola matrice di compensazione.
2. Soluzione a Forma Chiusa: $M$ è stimata risolvendo un problema di regressione ridge sull'insieme di calibrazione, formulato come un'equazione di Sylvester o un sistema lineare vettorizzato:
   $$\left[ \sum_b (K_{S,b}^\top K_{S,b}) \otimes (Q_{S,b}^\top Q_{S,b}) + \lambda I \right] \text{vec}(M) = \sum_b \text{vec}((Q_{S,b}^\top Q_{P,b})(K_{P,b}^\top K_{S,b}))$$
3. Incorporazione dei Pesi: La matrice $I + M$ è fattorizzata tramite SVD ($U\Sigma V^\top$) e incorporata nelle proiezioni Query e Key:
   $$\hat{W}_{Q,S} = W_{Q,S} U \Sigma^{1/2}, \quad \hat{W}_{K,S} = W_{K,S} V \Sigma^{1/2}$$

Strategia di Classificazione

Prima della compensazione, CORP classifica canali/dimensioni per la rimozione utilizzando metriche semplici guidate dai dati:

• MLP: Una metrica combinata di energia di attivazione ($E_i = E[x_i^2]$) e magnitudine dei pesi ($|W_{:,i}|^2$).
• Attenzione: Energia attesa dei logit ($s_j = E[\|q_j\|^2 \|k_j\|^2]$).
  I canali con i punteggi più bassi vengono potati.

3. Contributi Chiave

1. Riformulazione della Potatura: Gli autori spostano il focus della potatura one-shot dalla pura "classificazione" al "recupero della rappresentazione", dimostrando che la compensazione è critica per preservare l'accuratezza.
2. Framework a Forma Chiusa: CORP fornisce una soluzione unificata a forma chiusa sia per la potatura dei canali MLP che per le dimensioni di attenzione Q/K, che non richiede gradienti, etichette o fine-tuning.
3. Compensazione Unificata: A differenza di lavori precedenti che potrebbero compensare solo l'output di un blocco, CORP esegue un recupero della rappresentazione a livello di layer e introduce una compensazione specifica nello spazio dei logit per le dimensioni di attenzione, incorporando tutte le correzioni direttamente nelle proiezioni ridotte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ImageNet (modelli DeiT e ViT), WikiText-2 (OPT-1.3B) e task downstream (DINOv2 su NYU Depth V2 e ADE20k).

• Preservazione dell'Accuratezza:

  • DeiT-Huge: Raggiunge un'accuratezza Top-1 del 83,27% dopo la potatura del 50% sia delle strutture MLP che di attenzione (un calo di soli ~1,7% rispetto alla baseline del 84,97%).
  • Scalabilità: Modelli più grandi (es. DeiT-Huge) mostrano una ridondanza più forte e una migliore ritenzione dell'accuratezza sotto sparsità aggressiva rispetto a modelli più piccoli (es. DeiT-Tiny).
  • Confronto: CORP supera o eguaglia metodi all'avanguardia come GRAIL, SNOWS e VBP. Ad esempio, su DeiT-Base con sparsità MLP del 50%, CORP raggiunge il 72,0% Top-1, rispetto al 68,6% di GRAIL e al 66,4% di VBP.
  • Nessun Fine-tuning: CORP eguaglia le prestazioni di DC-ViT (che utilizza fine-tuning di mimetismo delle feature few-shot) senza alcun aggiornamento dei gradienti.

• Guadagni di Efficienza:

  • DeiT-Huge: A sparsità del 50%, i parametri e i FLOP sono ridotti di ~40–45%, risultando in un speedup del throughput di 1,6× su una NVIDIA RTX 3090.
  • OPT-1.3B: La potatura del 30% sia delle strutture MLP che di attenzione riduce i FLOP del 27,2% e i parametri del 25,0%, con un aumento modesto della perplessità (da 14,60 a 25,41 per la potatura congiunta).
  • Task Downstream: Su DINOv2, la potatura del 50% del backbone preserva le prestazioni downstream sulla stima della profondità (l'RMSE migliora da 0,3308 a 0,3167 per DINOv2-Huge) e sulla segmentazione.

• Efficienza della Calibrazione:

  • Il metodo è robusto alla dimensione dell'insieme di calibrazione; modelli più grandi rimangono stabili anche con piccoli insiemi di calibrazione (es. 1000 campioni).
  • L'analisi del tempo di esecuzione mostra che la calibrazione domina il costo, mentre la classificazione e la compensazione a forma chiusa aggiungono un sovraccarico trascurabile.

5. Significato e Affermazioni

Il documento afferma che CORP dimostra che la potatura strutturata può essere eseguita efficacemente in un contesto one-shot strettamente post-training trattandola come un problema di recupero della rappresentazione. Il significato chiave risiede in:

• Deployabilità Pratica: Consente la compressione su hardware dove il retraining è impossibile a causa della mancanza di etichette o gradienti.
• Insight Teorico: Evidenzia che l'"errore sistematico" introdotto dalla rimozione di componenti additivi è la causa principale del crollo dell'accuratezza, e che una semplice compensazione affine/di logit può recuperare questo errore senza ottimizzazione complessa.
• Ampia Applicabilità: Il metodo mostra risultati forti su modelli visivi (DeiT, ViT, DINOv2) e modelli linguistici (OPT), suggerendo una forte ridondanza sia nelle rappresentazioni MLP che in quelle di attenzione attraverso le modalità.

Gli autori notano modestamente le limitazioni, inclusa l'assunzione di compensazione indipendente dei moduli (ignorando le interazioni cross-modulo), l'uso di rapporti di sparsità uniformi e la mancanza di ottimizzazione per la composizione quantizzazione-potatura. Affermano che le prestazioni potrebbero degradare sotto forti spostamenti di distribuzione tra i dati di calibrazione e quelli di deployment.