A Non-Monotone Preconditioned Trust-Region Method for Neural Network Training

Riepilogo Tecnico: Un Metodo di Regione di Fiducia Precondizionato Non Monotono per l'Addestramento di Reti Neurali

Enunciato del Problema
L'addestramento di reti neurali (NN) profonde su larga scala presenta sfide relative alla regolazione degli iperparametri, allo sfruttamento di pipeline multi-dispositivo e alla gestione di funzioni obiettivo non convesse e rumorose. Sebbene i metodi del primo ordine come la Discesa del Gradiente Stocastico (SGD) e Adam siano lo standard, essi dipendono fortemente dalla programmazione manuale delle dimensioni dei passi e del momento e non sfruttano naturalmente il parallelismo di modello, in cui una rete è suddivisa in blocchi sequenziali tra diversi dispositivi. Al contrario, i metodi di Decomposizione del Dominio (DD) offrono un modo per partizionare i parametri in sottodomini per aggiornamenti paralleli, ma richiedono strategie di globalizzazione robuste per garantire la convergenza in contesti non convessi. Gli approcci precedenti, come la Strategia di Regione di Fiducia Precondizionata Additiva (APTS), utilizzano meccanismi di regione di fiducia (TR) ma spesso soffrono di elevate percentuali di rifiuto dei passi nello spazio grezzo, portando a costosi ricalcoli delle direzioni di ricerca.

Metodologia: NAPTS
Il documento propone la Strategia di Regione di Fiducia Precondizionata Additiva Non Monotona (NAPTS), un'estensione del framework APTS che integra i principi della regione di fiducia non monotona (NTR). Il metodo opera attraverso tre fasi distinte per iterazione:

1. Aggiornamenti Paralleli dei Sottodomini: Lo spazio dei parametri della NN è partizionato in sottodomini non sovrapposti $\{C_d\}_{d=1}^N$. Ad ogni iterazione $k$, un passaggio in avanti e uno all'indietro globali memorizzano nella cache i valori di attivazione e i gradienti a valle. Ogni sottodominio esegue quindi $\ell$ passi locali vincolati di Adam (CAdam) in parallelo. Questi passi locali sono calcolati utilizzando informazioni di confine memorizzate nella cache per approssimare i gradienti a blocchi, garantendo che i sottodomini operino in modo indipendente pur rispettando le informazioni globali. I passi locali sono sollevati e combinati additivamente per formare un passo di prova globale $s_k$.
2. Globalizzazione Non Monotona: A differenza dei metodi TR standard che richiedono una diminuzione strettamente monotona della funzione obiettivo, NAPTS impiega una finestra scorrevole delle $\nu$ iterazioni di successo più recenti. Definisce un indice di riferimento $r(k)$ corrispondente al valore obiettivo più alto all'interno di questa finestra. L'accettazione del passo è determinata da un rapporto di accordo combinato $\rho_k = \max\{\rho^c_k, \rho^h_k\}$, dove:
   • $\rho^c_k$ misura l'accordo tra la diminuzione effettiva e quella prevista per il passo corrente.
   • $\rho^h_k$ misura l'accordo rispetto al valore di riferimento storico $f(\theta_{r(k)})$ e a un termine cumulativo della storia $\sigma^h_k$.
     Questo meccanismo consente l'accettazione di passi che aumentano temporaneamente la funzione obiettivo ($f(\theta_k + s_k) > f(\theta_k)$) se allineati con tendenze di discesa a lungo termine, riducendo così il rifiuto di direzioni efficaci nello spazio grezzo.
3. Correzione e Smussatura: Se il passo di prova viene rifiutato, viene calcolato un passo di correzione $c_k$ come combinazione convessa di un passo di discesa più ripida e della proposta originale, evitando lo spreco di informazioni sui gradienti precedentemente calcolate. Un aggiornamento finale NTR affina l'iterata e regola il raggio della regione di fiducia $\Delta_k$.

Contributi Chiave

• APTS Non Monotona (NAPTS): Il contributo principale è l'integrazione dei principi NTR nel framework APTS. Questo affronta specificamente il problema del rifiuto aggressivo dei passi nello spazio grezzo in paesaggi di addestramento di NN rumorosi e non convessi.
• Non Monotonia Controllata: Il documento introduce un criterio di accettazione a finestra che permette aumenti controllati dell'obiettivo. Ciò previene l'accettazione "indiscriminata" dei passi, consentendo comunque all'algoritmo di persistere con direzioni nello spazio grezzo che potrebbero essere temporaneamente non migliorative ma globalmente benefiche.
• Parallelismo Efficiente: Il metodo mantiene la struttura di Schwarz additiva, consentendo l'addestramento parallelo dei sottodomini senza comunicazione tra sottodomini durante le iterazioni locali, richiedendo solo sincronizzazione globale per la memorizzazione nella cache dei gradienti e l'aggregazione dei passi.

Risultati
Gli esperimenti sono stati condotti sul dataset CIFAR-10 utilizzando una rete neurale convoluzionale (1,2 milioni di parametri) addestrata su quattro GPU Nvidia A100.

• Prestazioni: NAPTS ha raggiunto un tempo di addestramento di 115,88 secondi per epoca, rappresentando una riduzione del 30% del tempo CPU rispetto all'APTS standard (169,14s/epoca) e un ulteriore miglioramento rispetto alla variante ad accettazione aggressiva APTS$_A$ (152,39s/epoca).
• Tassi di Rifiuto: Il metodo ha ridotto significativamente il numero di passi rifiutati. NAPTS ha registrato circa 1.921 iterazioni rifiutate in totale, rispetto a 13.972 per APTS e 6.648 per APTS$_A$. Ciò indica che il meccanismo non monotono riesce a mantenere con successo proposte nello spazio grezzo efficaci che altrimenti verrebbero scartate.
• Accuratezza: Mentre i metodi TR e NTR di base faticavano a raggiungere un'alta accuratezza di validazione, le varianti precondizionate (APTS e NAPTS) hanno raggiunto accuratezze di validazione sostanzialmente più elevate e perdite di addestramento più basse, suggerendo un'ottimizzazione migliorata senza compromettere la generalizzazione.

Significato
Il documento afferma che NAPTS offre una strategia di globalizzazione robusta specificamente adatta alla natura non convessa e rumorosa dell'addestramento di reti neurali su larga scala. Rilassando il requisito di stretta monotonia, il metodo evita il costo computazionale del rifiuto e del ricalcolo ripetuti delle direzioni di ricerca. Gli autori sostengono che questo approccio sfrutta efficacemente la decomposizione del dominio per il parallelismo di modello, fornendo al contempo un adattamento automatico delle dimensioni dei passi attraverso le regioni di fiducia, riducendo la necessità di regolazione manuale degli iperparametri associata ai metodi del primo ordine. I risultati suggeriscono che NAPTS preserva l'accuratezza dei metodi precondizionati migliorando sostanzialmente l'efficienza computazionale.