Sintesi Tecnica: I benefici della non-smoothness per il finetuning dei Vision Transformer

Problematica

Sebbene la regolarità (smoothness) delle architetture transformer sia stata ampiamente studiata in relazione alla generalizzazione, alla stabilità dell'addestramento e alla robustezza avversaria, il suo ruolo specifico nel transfer learning (finetuning) rimane scarsamente compreso. Le assunzioni prevalenti suggeriscono che promuovere la smoothness (ad esempio, tramite la regolarizzazione di Lipschitz) sia benefico per l'apprendimento. Tuttavia, nel contesto dell'adattamento di modelli foundation a task downstream, un'eccessiva smoothness può limitare la capacità di un componente di adattare i propri output ai cambiamenti degli input, ostacolando le prestazioni. Il paper affronta la domanda: Quali componenti dei transformer dovrebbero essere prioritari durante il finetuning, e perché?

Metodologia

Gli autori propongono un'analisi sistematica, per componente, dei Vision Transformer (ViT) basata su una nuova metrica chiamata plasticità.

1. Definizione di Plasticità

Il paper definisce la plasticità di un componente transformer $f$ come il suo tasso medio di variazione rispetto alle perturbazioni dell'input. Formalmente, per un componente $f$ e una distribuzione uniforme $\nu$ su coppie distinte di sequenze di token $(x, y)$, la plasticità $P(f)$ è:
$$P(f) = \mathbb{E}_{(x,y)\sim\nu} \left[ \frac{\|f(x) - f(y)\|_F}{\|x - y\|_F} \right]$$

• Alta Plasticità ($P(f) > 1$): Indica bassa smoothness (non-smooth), dove il componente amplifica le variazioni dell'input in media.
• Bassa Plasticità ($P(f) < 1$): Indica alta smoothness, dove il componente contrae le variazioni dell'input.

2. Analisi Teorica

Gli autori derivano limiti superiori teorici sulla plasticità dei componenti standard dei ViT:

• LayerNorm: Dimostrata avere un limite superiore stretto dipendente dall'inverso della deviazione standard minima dei token e dalla norma del peso.
• Strati Feedforward (FC): Limitati dalla norma spettrale delle matrici dei pesi.
• Multi-Head Self-Attention (MHA): Limitata da un termine che coinvolge le norme spettrali dei pesi e la lunghezza della sequenza $n$. L'analisi mostra che la MHA ha un limite più lasso (maggiore potenziale di plasticità) rispetto a LayerNorm e strati lineari, particolarmente all'aumentare della lunghezza della sequenza.

Ciò porta a una classificazione teorica della plasticità: MHA $\to$ FC1 $\approx$ FC2 $\to$ LN2 $\to$ LN1.

3. Validazione Empirica

• Misurazione della Plasticità: Gli autori hanno calcolato la metrica di plasticità su ViT pre-addestrati (Base, Large, Huge) su 11 benchmark di classificazione diversificati (inclusi CIFAR, DomainNet, Flowers, Pets) ed esteso l'analisi a modelli auto-supervisionati (DINOv3) e LLM (GPT-2).
• Esperimenti di Finetuning: Per isolare l'effetto di componenti specifici, gli autori hanno condotto oltre 1.000 sessioni di finetuning su un ViT da 86M di parametri. In ogni sessione, solo un tipo specifico di componente (ad esempio, solo MHA, solo FC1, solo LN1) veniva aggiornato, mentre gli altri rimanevano congelati.
• Ottimizzazione: Gli esperimenti sono stati eseguti utilizzando sia gli ottimizzatori SGD che Adam attraverso una scansione di learning rate e seed casuali per garantirne la robustezza.

Risultati Chiave

1. Classificazione Empirica della Plasticità

I dati sperimentali hanno confermato la classificazione teorica. Attraverso tutti i benchmark e le scale del modello (da ViT-Base a ViT-Huge, estendendosi a DINOv3 e GPT-2):

• MHA ha costantemente mostrato la plasticità più elevata ($P(f) > 1$).
• Gli strati feedforward (FC1, FC2) seguivano con un'alta plasticità.
• Le LayerNorm (LN2, LN1) hanno mostrato la plasticità più bassa ($P(f) < 1$), agendo come componenti "rigidi" o smooth.

2. Prestazioni di Finetuning

Gli esperimenti di finetuning per componente hanno rivelato una correlazione diretta tra plasticità e prestazioni downstream:

• Accuratezza Superiore: L'adattamento di componenti ad alta plasticità (MHA e strati FC) ha costantemente prodotto una top-1 accuracy superiore rispetto all'adattamento di componenti a bassa plasticità (LayerNorm).
• Significatività Statistica: Su dataset impegnativi (ad esempio, CIFAR-100, Sketch, Clipart), gli strati MHA e FC hanno superato significativamente le LayerNorm. Ad esempio, il tuning della sola MHA ha spesso superato i baseline di full finetuning su dataset piccoli.
• Robustezza: I componenti ad alta plasticità hanno dimostrato una maggiore stabilità attraverso diversi learning rate e seed di inizializzazione, mostrando una minore varianza nelle prestazioni.
• Dinamiche di Ottimizzazione: Il paper ha osservato che i componenti ad alta plasticità generano norme del gradiente più grandi durante l'addestramento, portando a una discesa della perdita più ripida e a una convergenza più rapida verso i minimi locali. Ciò contrasta con i componenti smooth, che limitano le norme del gradiente e risultano in un'ottimizzazione più lenta.

3. Confronto con i Metodi Parameter-Efficient (PEFT)

Lo studio ha rilevato che il finetuning selettivo di componenti ad alta plasticità (ad esempio, MHA) può essere competitivo o superiore ai popolari metodi PEFT come LoRA, anche con un numero significativamente inferiore di parametri addestrabili. Ad esempio, il finetuning delle sole LayerNorm con Adam ha superato LoRA su CIFAR-100 con 15$\times$ meno parametri, sebbene il tuning di MHA abbia generalmente fornito i risultati migliori.

Significato e Rivendicazioni

Il paper sostiene di offrire una nuova prospettiva sulle proprietà funzionali dei transformer, sfidando la convenzione comune che la smoothness sia universalmente desiderabile per l'apprendimento.

• Cambio di Paradigma: Gli autori sostengono che, sebbene la smoothness favorisca la generalizzazione e la stabilità nel pre-addestramento, la non-smoothness (alta plasticità) è il fattore critico che permette un efficace adattamento durante il finetuning.
• Guida Pratica: Il lavoro fornisce una guida basata su principi per i praticanti: quando si progettano strategie di parameter-efficient finetuning, la priorità dovrebbe essere data ai moduli di attenzione e agli strati feedforward piuttosto che agli strati di normalizzazione.
• Ponte Teorico-Pratico: Il paper riesce a collegare i limiti teorici delle costanti di Lipschitz con le dinamiche di ottimizzazione empirica, dimostrando che la "plasticità" di un modulo determina la sua capacità di trasportare informazioni sui dati downstream e di facilitare l'ottimizzazione basata sul gradiente.

Gli autori concludono che comprendere e sfruttare la plasticità dei componenti non-smooth è essenziale per progettare metodi di adattamento più efficienti per i modelli foundation.