Riepilogo Tecnico: Connettività delle Mode Indotta dall'Ottimizzatore: Da AdamW a Muon

Enunciato del Problema

La connettività delle mode, il fenomeno per cui reti neurali addestrate indipendentemente possono essere collegate da un percorso a bassa perdita, è stata ampiamente studiata. Tuttavia, la letteratura esistente tratta prevalentemente l'insieme delle soluzioni come un'entità monolitica, assumendo spesso una connettività indipendente dalle specifiche dinamiche di ottimizzazione utilizzate per raggiungere tali soluzioni. Questo lavoro ipotizza che diversi ottimizzatori impongano bias impliciti distinti (regolarizzazione), vincolando efficacemente le soluzioni a regioni diverse del paesaggio della perdita. La domanda centrale affrontata è: come si comporta la connettività delle mode quando è ristretta a soluzioni coerenti con il bias implicito di un ottimizzatore specifico? Nello specifico, gli autori indagano se le soluzioni trovate dallo stesso ottimizzatore formino un insieme connesso (connettività intra-ottimizzatore) e se le soluzioni trovate da ottimizzatori diversi possano essere collegate senza incorrere in una barriera di perdita (connettività inter-ottimizzatore).

Metodologia

Quadro Teorico

Gli autori formalizzano il concetto di insiemi di soluzioni regolarizzati dall'ottimizzatore. Attingendo a recenti caratterizzazioni teoriche di ottimizzatori adattivi (ad esempio AdamW e la famiglia Lion-K), definiscono i punti limite di tali ottimizzatori come soluzioni a problemi di ottimizzazione vincolata:

• AdamW: Converge verso soluzioni che soddisfano un vincolo di norma $\ell_\infty$ ($\|\theta\|_{\max} \leq 1/\lambda$).
• Muon (e Lion-K con norma nucleare): Converge verso soluzioni che soddisfano un vincolo di norma dell'operatore ($\|\theta\|_{\text{op}} \leq 1/\lambda$).

Il lavoro introduce due definizioni:

1. Connettività intra-ottimizzatore: L'insieme delle soluzioni $O_A(\lambda)$ per un ottimizzatore specifico $A$ è connesso.
2. Connettività inter-ottimizzatore: L'unione degli insiemi di soluzioni $O_{A_1}(\lambda_1) \cup O_{A_2}(\lambda_2)$ è connessa.

L'analisi teorica è condotta su reti ReLU a due strati nel regime di interpolazione (dove è possibile ottenere una perdita di addestramento nulla). Gli autori analizzano la geometria di questi insiemi regolarizzati al variare della larghezza della rete ($m$).

Configurazione Sperimentale

La validazione empirica è eseguita su compiti di pre-addestramento di GPT-2 attraverso cinque dataset (enwik8, WikiText-103, Stories, BookCorpus, One Billion Word) utilizzando due scale di modello (~30M e ~50M parametri).

• Ottimizzatori: AdamW e Muon.
• Costruzione del Percorso: Gli autori impiegano un algoritmo di interpolazione poliaciclica modificato combinato con allineamento simmetrico (permutazione e allineamento ortogonale delle teste di attenzione e dei neuroni MLP). Questo metodo costruisce un percorso lineare a tratti con un punto di flesso apprendibile per minimizzare le barriere di perdita tra i modelli.
• Metriche: Lo studio traccia le barriere di perdita sulla convalida e l'evoluzione degli spettri dei valori singolari (in particolare il rango stabile) lungo i percorsi di interpolazione.

Contributi Chiave

1. Dimostrazioni Teoriche della Connettività Intra-Ottimizzatore

Il lavoro dimostra che per reti ReLU a due strati sufficientemente ampie, gli insiemi di soluzioni indotti da ottimizzatori specifici sono connessi:

• Teorema 3.1: La connettività intra-ottimizzatore vale per Muon (e GD normalizzato con momento) quando la larghezza della rete $m \geq 4P$, dove $P$ è il numero di pattern distinti di disposizione degli iperpiani.
• Teorema 3.2: La connettività intra-ottimizzatore vale per AdamW (e Signum) quando $m \geq m^*$, dove $m^*$ è una larghezza critica determinata dai dati e dai parametri di regolarizzazione.
• Meccanismo: Le dimostrazioni comportano la riduzione di soluzioni arbitrarie a forme canoniche "sparse" o "equalizzate" all'interno dell'insieme regolarizzato e la dimostrazione che tali forme possono essere collegate tramite percorsi continui che preservano i vincoli di norma impliciti.

2. Caratterizzazione della Connettività Inter-Ottimizzatore

Gli autori stabiliscono che la connettività tra regioni diverse indotte dall'ottimizzatore dipende criticamente dalla larghezza della rete e dalla forza della regolarizzazione:

• Regime di Ampia Larghezza: L'unione di due insiemi regolarizzati è connessa se e solo se gli insiemi si sovrappongono (cioè, l'insieme delle soluzioni a perdita nulla passa attraverso l'intersezione delle rispettive sfere di norma). Il numero di componenti connesse può transitare da uno a due all'aumentare della forza della regolarizzazione.
• Costruzione a Larghezza Finita: Il lavoro costruisce un dataset specifico e una larghezza ($m=2$) in cui l'insieme delle soluzioni a perdita nulla si decompone in molteplici componenti disconnesse. Crucialmente, dimostrano che AdamW e Muon possono essere forzati in componenti diverse scegliendo parametri di regolarizzazione appropriati. In questo scenario, non esiste un percorso a perdita nulla tra una soluzione AdamW e una soluzione Muon; qualsiasi percorso di connessione deve incorrere in una barriera di perdita dimostrabile (almeno $1/2$ per la perdita al quadrato).

3. Transizioni Spettrali Empiriche

Gli esperimenti su GPT-2 rivelano comportamenti spettrali distinti:

• Percorsi Stesso-Ottimizzatore: L'interpolazione tra due modelli addestrati con lo stesso ottimizzatore (ad esempio AdamW-AdamW) preserva lo spettro dei valori singolari (ad esempio, AdamW mantiene i valori anomali, Muon rimane isotropo) e mantiene una bassa perdita.
• Percorsi Incrociati-Ottimizzatore: L'interpolazione tra ottimizzatori diversi (ad esempio AdamW-Muon) risulta in una transizione di fase spettrale fluida. Lo spettro evolve dalla firma di AdamW alla firma di Muon lungo il percorso. Sebbene la perdita rimanga relativamente bassa, i modelli intermedi esibiscono profili spettrali distinti da entrambi gli estremi.

4. Generalizzazione Fuori Distribuzione (OOD)

Il lavoro dimostra che i percorsi di interpolazione incrociata tra ottimizzatori possono migliorare la generalizzazione OOD. I modelli campionati lungo il percorso AdamW-Muon esibiscono barriere di perdita negative su dataset OOD (performando meglio dell'interpolazione lineare degli estremi), suggerendo che attraversare lo spazio tra bias di ottimizzatori diversi produce modelli strutturalmente diversificati con proprietà di generalizzazione superiori.

Risultati e Significato

Riepilogo delle Scoperte

• Struttura Dipendente dall'Ottimizzatore: Il paesaggio della perdita non è un singolo ammasso connesso di soluzioni a bassa perdita; piuttosto, contiene "bacini" o regioni specifiche dell'ottimizzatore definiti dalla regolarizzazione implicita.
• La Connettività è Condizionale: Mentre le soluzioni dello stesso ottimizzatore sono connesse in reti ampie, ottimizzatori diversi possono convergere verso componenti disconnesse in impostazioni a larghezza finita, separate da barriere di perdita.
• Impronta Digitale Spettrale: Lo spettro dei valori singolari funge da proxy robusto per la regione indotta dall'ottimizzatore. I percorsi dello stesso ottimizzatore preservano questa impronta digitale; i percorsi incrociati tra ottimizzatori attraversano una transizione.

Significato Dichiarato

Il lavoro afferma di rivelare una struttura dipendente dall'ottimizzatore invisibile alla letteratura classica sulla connettività delle mode. Affinando la definizione di connettività delle mode per tenere conto del bias implicito, gli autori mostrano che:

1. La scelta dell'ottimizzatore modella fondamentalmente la topologia dello spazio delle soluzioni raggiungibili.
2. L'interpolazione incrociata tra ottimizzatori è un meccanismo vitale per la fusione di modelli che accede a regioni diverse dello spazio delle soluzioni, potenzialmente migliorando proprietà a valle come la quantizzazione e la generalizzazione.
3. Le garanzie teoriche per la connettività devono ora considerare il regolarizzatore specifico indotto dall'ottimizzatore, non solo l'architettura della rete.

Il lavoro colma il divario tra l'analisi teorica del bias implicito e la fusione pratica dei modelli, suggerendo che il "migliore" percorso tra i modelli potrebbe dipendere dall'attraversamento dei confini di diverse regolarizzazioni indotte dall'ottimizzatore.