Riepilogo Tecnico: HORST: Composizione di Geometrie di Ottimizzazione per l'Addestramento di Transformer Sparsi

Enunciato del Problema

La sparsificazione dei modelli Transformer rimane una sfida fondamentale. Sebbene la sparsificazione delle reti (rimozione di pesi ridondanti) offra una via promettente per la compressione del modello e l'inferenza efficiente, porta costantemente a un significativo degrado delle prestazioni nei Transformer, specialmente a livelli di sparsità elevati dove la compressione è più preziosa. Al contrario, le reti convoluzionali si sparsificano in modo più efficace.

Gli autori sostengono che questa disparità derivi dal bias implicito degli ottimizzatori utilizzati durante l'addestramento. I Transformer standard si affidano a ottimizzatori adattivi come AdamW, che esibiscono un bias implicito $L_\infty$. Questo bias favorisce la stabilità equalizzando le magnitudini dei pesi tra i parametri, una geometria fondamentalmente in conflitto con il bias $L_1$ richiesto per la sparsità, che necessita di concentrare la massa dei pesi su un piccolo sottoinsieme di parametri mentre spinge il resto verso zero. Al contrario, la discesa del gradiente standard (utilizzata nelle CNN) induce un bias $L_2$, e la discesa per coordinate (una discesa più ripida basata su $L_1$) è teoricamente ideale per la sparsità ma computazionalmente non fattibile per le grandi reti profonde.

I tentativi esistenti di indurre sparsità tramite discesa dello specchio (ad esempio, utilizzando l'entropia iperbolica) spesso falliscono nel contesto Transformer perché sostituiscono direttamente il gradiente, perdendo la stabilità fornita dai metodi adattivi. Il problema centrale è una tensione geometrica: la stabilità degli ottimizzatori adattivi ($L_\infty$) entra in conflitto con i requisiti di sparsità ($L_1$).

Metodologia

Il documento propone HORST (Hyperbolic Operator for Robust Sparse Training), un ottimizzatore modulare che risolve questa tensione componendo i passi di ottimizzazione come operatori funzionali non commutativi.

1. Framework di Composizione degli Operatori

Gli autori trattano gli aggiornamenti di ottimizzazione come operatori che agiscono sui vettori dei parametri e sui gradienti. Identificano due classi distinte di operatori:

• Operatori di Discesa più Ripida: Limitati e invarianti alla scala (ad esempio, Discesa del Segno, che approssima Adam). Questi forniscono stabilità ma inducono un bias $L_\infty$.
• Operatori di Discesa dello Specchio: Lineari ma generalmente illimitati. Mappature dello specchio specifiche, come la mappatura dello specchio dell'entropia iperbolica, inducono un bias $L_1$ che promuove la sparsità.

2. Non Commutatività e Ordine delle Operazioni

Una chiave intuizione teorica è che queste classi di operatori sono non commutative.

• Applicare un passo dello specchio seguito da un passo di discesa più ripida ($S \circ M$) risulta nel dominio dell'operatore di discesa più ripida, annullando efficacemente il bias di sparsità.
• Applicare un passo di discesa più ripida seguito da un passo dello specchio ($M \circ S$) permette alla mappatura dello specchio di agire sull'aggiornamento basato sul segno, ereditando con successo la stabilità della discesa più ripida mentre induce il bias di sparsità $L_1$.

3. L'Algoritmo HORST

HORST implementa la composizione $M_R \circ S$ in un contesto discreto e pratico:

1. Aggiornamento Stabile: Esegue prima un aggiornamento adattivo standard (AdamW), che fornisce la necessaria stabilità e regolarizzazione di tipo $L_\infty$.
2. Induzione della Sparsità: Applica quindi un aggiornamento esponenziale derivato dalla mappatura dello specchio dell'entropia iperbolica. Questo passo reparametrizza efficacemente i pesi per favorire la sparsità.
3. Regolarizzazione Disaccoppiata: L'algoritmo incorpora un decadimento dei pesi disaccoppiato e un termine di regolarizzazione aggiuntivo ($\beta$) per controllare ulteriormente il bias di sparsità.

La regola di aggiornamento è definita come:
$$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$$
$$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$$
Qui, $\alpha$ controlla la forza relativa del bias di sparsità. Impostando $\alpha=0$ si recupera AdamW standard.

Contributi Chiave

1. Dicotomia Geometrica: Il documento formalizza la dicotomia strutturale tra discesa più ripida (limitata, stabile, bias $L_\infty$) e discesa dello specchio (lineare, illimitata, bias $L_1$), illustrando perché nessuna delle due da sola è sufficiente per un addestramento robusto di Transformer sparsi.
2. Composizione di Operatori: Introduce la composizione degli operatori degli ottimizzatori come principio di progettazione, dimostrando che l'ordine di composizione è critico. Il particolare ordinamento ($M \circ S$) permette al sistema di ereditare la stabilità dai metodi adattivi sovrascrivendo il loro bias implicito con un bias $L_1$ che promuove la sparsità.
3. Garanzia Teorica: Gli autori dimostrano (Teorema 4.7) che comporre la discesa più ripida (rispetto a una norma $L_p$, $p \ge 2$) con una mappatura dello specchio dell'entropia iperbolica fa sì che le iterazioni convergano in direzione alla soluzione di un problema di minimizzazione $L_1$, sovrascrivendo efficacemente il bias $L_\infty$ dell'ottimizzatore di base.
4. Ottimizzatore HORST: Propongono HORST, un ottimizzatore modulare che si integra perfettamente con i metodi adattivi standard (come AdamW) e non richiede valutazioni aggiuntive del gradiente, solo un aggiornamento esponenziale per parametro.

Risultati Sperimentali

Gli autori valutano HORST su compiti di visione e linguaggio utilizzando la pipeline di sparsificazione AC/DC (Alternating Compressed/Decompressed).

• Transformer per la Visione (DeiT): Su ImageNet, HORST-AdamW supera costantemente i baseline AdamW su tutti i livelli di sparsità (70%, 80%, 90%). I guadagni sono più pronunciati ad alta sparsità (80–90%), dove le prestazioni di AdamW degradano bruscamente. Ad esempio, al 90% di sparsità su DeiT-base, HORST raggiunge un'accuratezza del 76,83% rispetto al 68,86% di AdamW.
• Modelli Linguistici (GPT-2 Small): Nella potatura non strutturata per magnitudine a livello di strato in un colpo solo su SlimPajama-6B, i modelli addestrati con HORST-AdamW mostrano una perplessità di validazione significativamente inferiore dopo la potatura rispetto ad AdamW e all'ottimizzatore HAM. Il divario si amplia a livelli di sparsità più elevati.
• Confronto con HAM: HORST supera sostanzialmente HAM (un precedente ottimizzatore alternato) su DeiT-small al 90% di sparsità (70,5% contro 60,06%). Gli autori attribuiscono questo fatto alla composizione di HORST dell'aggiornamento esponenziale con l'aggiornamento AdamW stesso, piuttosto che all'applicazione di un passo esponenziale basato sul gradiente come fa HAM.
• Distribuzione dei Pesi: Le visualizzazioni confermano che HORST induce una distribuzione dei pesi nettamente concentrata attorno allo zero (indicando un bias $L_1$), mentre AdamW mantiene un profilo più ampio, quasi gaussiano.

Significato e Affermazioni

Il documento afferma che il bias implicito dell'ottimizzatore è un collo di bottiglia primario per l'addestramento di Transformer sparsi. Trattando i passi di ottimizzazione come operatori componibili, gli autori dimostrano che è possibile disaccoppiare la stabilità dei metodi adattivi dal loro bias geometrico.

Il significato di HORST risiede nella sua capacità di:

• Abilitare l'addestramento ad alta sparsità di Transformer senza il grave degrado delle prestazioni tipicamente associato a tale compressione.
• Fornire un framework principiale e modulare per la progettazione di ottimizzatori in grado di soddisfare simultaneamente requisiti geometrici conflittuali (stabilità vs. sparsità).
• Offrire una soluzione pratica che richiede un sovraccarico computazionale minimo (nessuna valutazione aggiuntiva del gradiente) e si integra con le pipeline esistenti di addestramento sparsificato.

Gli autori concludono che, sebbene il limite $L_\infty$ della discesa più ripida e la sua interazione con gli aggiornamenti dello specchio rimangano una questione teorica aperta, il framework proposto colma con successo il divario tra la stabilità dell'addestramento adattivo e la geometria della soluzione sparsa.