Robust and Fast Training via Per-Sample Clipping

Sintesi Tecnica: Addestramento Robusto e Veloce tramite il Clipping Per-Campione

Definizione del Problema
Il documento affronta il problema dell'ottimizzazione stocastica $\min_{x \in \mathbb{R}^d} F(x)$, dove $F(x) = \mathbb{E}_{\xi \sim \mathcal{D}}[f(x, \xi)]$. Sebbene la Discesa del Gradiente Stocastico (SGD) sia il risolutore standard, le sue garanzie di convergenza si basano tipicamente sull'assunto che il rumore del gradiente possieda una varianza limitata (distribuzioni a code leggere). Tuttavia, recenti lavori empirici e teorici indicano che in molte applicazioni di machine learning, il rumore del gradiente può essere a code pesanti (heavy-tailed), possedendo momenti di ordine $p$ finiti per $p \in (1, 2]$ ma mancando di una varianza limitata. In tali condizioni, la SGD standard può performare scarsamente. Le alternative robuste esistenti, come il clipping del gradiente standard (Clip-SGD) e la Normalized SGD, o non riescono a raggiungere i limiti inferiori ottimali della complessità campionaria, o richiedono una sintonizzazione dei parametri specifica e spesso impraticabile (ad esempio, la dipendenza dal gap di inizializzazione $\Delta_1$ o da specifici fattori logaritmici della probabilità di fallimento $\delta$).

Metodologia
Gli autori propongono la Per-Sample Clipped SGD (PS-Clip-SGD), uno stimatore del gradiente robusto che applica il clipping ai singoli campioni all'interno di un mini-batch prima dell'aggregazione, piuttosto che applicarlo al gradiente aggregato del batch.

Per un batch di dimensione $n$ con campioni $\xi^{(1)}_t, \dots, \xi^{(n)}_t$, lo stimatore del gradiente $G(x_t, \alpha, \beta)$ è definito come:
$$G(x_t, \alpha, \beta) = \frac{1}{n} \sum_{k=1}^n \gamma^{(k)}_t \nabla f(x_t, \xi^{(k)}_t)$$
dove il fattore di clipping per campione è $\gamma^{(k)}_t := \min\left\{1, \frac{\alpha k^{1/\beta}}{|\nabla f(x_t, \xi^{(k)}_t)|}\right\}$. I parametri $\alpha$ e $\beta$ controllano la soglia di clipping, con $\alpha$ correlato al limite del momento $\sigma$ e $\beta$ correlato all'indice di coda $p$. La regola di aggiornamento segue la SGD standard: $x_{t+1} = x_t - \eta_t G(x_t, \alpha, \beta)$.

Contributi Chiave

1. Convergenza Ottimale in Aspettativa: Gli autori dimostrano che la PS-Clip-SGD raggiunge la complessità campionaria ottimale per l'ottimizzazione non convessa sotto rumore a code pesanti. Nello specifico, il metodo raggiunge un tasso di convergenza di $O(1/T)$ per la norma quadratica media del gradiente, eguagliando i limiti inferiori stabiliti da Zhang et al. (2020). Questo migliora i risultati per Clip-SGD e Normalized SGD, in particolare perché il limite riguarda la somma delle norme quadrate dei gradienti (un criterio più forte rispetto alla somma delle norme usata in alcuni lavori precedenti) senza richiedere la conoscenza del gap di inizializzazione $\Delta_1$ per il passo (step size).
2. Convergenza ad Alta Probabilità: Il documento stabilisce garanzie di convergenza ad alta probabilità che eguagliano i tassi in aspettativa, salvo fattori polilogaritmici nella probabilità di fallimento $\delta$ e nel numero di passi $T$. Notevolmente, la dipendenza da $\log(1/\delta)$ è migliorata rispetto ai risultati allo stato dell'arte di Clip-SGD, e il metodo non richiede che i passi o le soglie di clipping siano esplicitamente sintonizzati in funzione di $\delta$.
3. Intuizione sull'Accumulazione del Gradiente: Gli autori mettono in discussione la pratica comune di applicare il clipping del gradiente solo dopo tutti i passi di accumulazione nella procedura di accumulazione del gradiente. Propongono e validano empiricamente che l'applicazione del clipping a livello di mini-batch (Mini-Batch Clipping) durante l'accumulazione può migliorare le prestazioni di addestramento con un costo computazionale aggiuntivo quasi nullo, contrastando con il consenso standard secondo cui tale clipping intermedio introduce un bias.

Risultati

• Teorici: L'analisi teorica dimostra che la PS-Clip-SGD fornisce forti garanzie di convergenza sotto gli assunti di $L$-smoothness e momenti $p$-esimi finiti. I limiti derivati risultano più stretti rispetto a quelli di Normalized SGD e Clip-SGD in termini di dipendenza da $\delta$ e di forza della misura di convergenza (norme quadrate rispetto alle norme).
• Ottimizzazione Quadratica: Negli esperimenti di minimizzazione di una funzione quadratica con rumore Pareto-distribuito, la PS-Clip-SGD ha superato significativamente sia Clip-SGD che Normalized SGD in vari regimi di rumore ($p \in \{1.2, 1.5, 1.8\}$), anche con iperparametri non sintonizzati. Esperimenti ad alta probabilità hanno confermato la dipendenza sublineare rispetto a $\log(1/\delta)$ prevista dalla teoria.
• Classificazione di Immagini (AlexNet su CIFAR-100): Addestrando AlexNet con momentum, la PS-Clip-SGD ha raggiunto un'accuratezza di validazione superiore (64.84%) rispetto alla vanilla SGD con momentum (58.90%) e alla Clip-SGD con momentum (58.94%). Questo miglioramento è persistito anche considerando l'overhead computazionale di circa $1.3\times$ introdotto dai calcoli della norma del gradiente per singolo campione. Gli autori attribuiscono ciò al controllo efficace di un piccolo numero di gradienti outlier con norme molto elevate, che il clipping standard a livello di batch non riesce a rilevare.
• Modellazione del Linguaggio (GPT-2): In un contesto di accumulazione del gradiente per l'addestramento di un modello GPT-2 con 124 milioni di parametri, il Mini-Batch Clipping (clipping per ogni passo di accumulazione) ha superato la standard Clip-SGD (clipping solo dopo l'accumulazione completa) attraverso molteplici learning rate, nonostante la visione prevalente secondo cui il clipping intermedio è dannoso.

Significatività e Rivendicazioni
Il documento sostiene di essere il primo lavoro a proporre il clipping per campione specificamente come metodo per migliorare le prestazioni di addestramento in presenza di rumore a code pesanti, distinguendosi dal suo uso stabilito nella privacy differenziale. La significatività risiede nel fornire un metodo che:

1. Raggiunge tassi di convergenza teorica ottimali per problemi non convessi a code pesanti.
2. Offre robustezza rispetto alle scelte degli iperparametri, performando bene anche con impostazioni non raffinate.
3. Dimostra che il clipping per campione può portare a guadagni pratici nelle prestazioni di compiti di deep learning (come AlexNet) che superano i suoi costi computazionali.
4. Suggerisce un cambio di paradigma nelle strategie di accumulazione del gradiente, mostrando che il clipping intermedio può essere benefico anziché dannoso.

Gli autori riconoscono i limiti, notando che la loro analisi teorica richiede la conoscenza del limite del momento del rumore $\sigma$ e dell'indice di coda $p$ per definire i parametri ottimali, e che l'assunto di momenti $p$-esimi limitati è più forte dell'assunto di momenti $p$-esimi centrati limitati. Notano inoltre che, sebbene il clipping per campione sia efficace per modelli piccoli come AlexNet, l'overhead computazionale potrebbe renderlo impraticabile per architetture molto grandi senza ulteriori ottimizzazioni, sebbene il mini-batch clipping offra un'alternativa a costi contenuti negli scenari di accumulazione.