Riepilogo Tecnico: Connessione di Modi Addestrati Indipendentemente tramite Connettività Strato per Strato

1. Enunciato del Problema

Il lavoro affronta la sfida di costruire percorsi continui a bassa perdita tra modi di reti neurali addestrati indipendentemente (ovvero modelli addestrati fino alla convergenza con diversi semi casuali). Sebbene studi empirici abbiano stabilito che tali percorsi esistano (un fenomeno noto come connettività dei modi), i metodi esistenti soffrono di limitazioni significative:

• Affidabilità: Gli algoritmi precedenti, come Fast Geometric Ensembling (FGE) e AutoNEB, spesso falliscono nel connettere modi veramente indipendenti. FGE è limitato a modi che sono già vicini nello spazio dei pesi a causa di vincoli implementativi, mentre AutoNEB mostra un'alta variabilità nella qualità del percorso, fallendo frequentemente nel mantenere una bassa perdita attraverso diversi semi casuali.
• Portata Architettonica: I metodi esistenti sono stati valutati principalmente su architetture semplici o datate (ad es. LeNet, CNN di base, VGG, ResNet). La loro efficacia su architetture moderne e complesse (ad es. MobileNet, EfficientNet, Transformers) rimane incerta.
• Sensibilità agli Iperparametri: Gli approcci attuali generalmente assumono che i modi siano addestrati con iperparametri identici. La capacità di connettere modi addestrati con iperparametri diversi (che li collocano su diverse "sfere di varianza" nello spazio dei parametri) non è stata affrontata in modo robusto.

2. Metodologia: Ricerca di Percorsi a Bassa Perdita (LLPF)

Gli autori propongono Low-Loss Path Finding (LLPF), un algoritmo empirico progettato per costruire percorsi a bassa perdita tra modi indipendenti. Il metodo si basa sull'ipotesi della connettività dei modi strato per strato, postulando che, mentre due modi potrebbero non essere linearmente connessi nello spazio completo dei parametri, possono essere connessi strato per strato.

LLPF consiste in due algoritmi complementari:

A. Algoritmo 1: Da Modello a Modello (LLPF M2M)

Questo algoritmo connette due modi ($P_0$ e $D$) situati su sfere di varianza simili (ovvero addestrati con iperparametri identici).

• Elaborazione Strato per Strato: A differenza dell'interpolazione globale, LLPF elabora gli strati in sequenza. Gli autori propongono una strategia Follow Data Flow (FDF), elaborando gli strati dal più superficiale al più profondo (o gestendo i moduli paralleli individualmente) per navigare efficacemente nella varietà ad alta dimensionalità.
• Passaggi Iterativi:
  1. Spostamento: Il punto corrente $P_i$ viene spostato leggermente verso la destinazione $D$ utilizzando una media ponderata.
  2. Correzione della Varianza: Il punto spostato viene proiettato nuovamente sulla sfera di varianza originale ($S_{var=v}$). Questo passaggio contrasta il "problema della varianza che svanisce", dove la media di reti non correlate riduce la varianza dei parametri, ostacolando l'addestramento successivo.
  3. Raffinamento (Addestramento): Il punto corretto subisce un numero limitato di passaggi di addestramento ($r$) per ridurre la perdita al di sotto di una soglia.
  4. Proiezione: Il punto raffinato viene proiettato nuovamente sulla sfera di varianza per fungere da punto di partenza per la successiva iterazione.
• Vincoli: L'ottimizzatore esclude la regolarizzazione (ad es. decadimento dei pesi) e l'impulso (momentum), poiché il vincolo della sfera di varianza preserva intrinsecamente la varianza dei pesi e l'impulso è meno adatto per aggiornamenti piccoli e localizzati.

B. Algoritmo 2: Da Modello all'Origine (LLPF M2O)

Questo algoritmo connette un modello a bassa perdita all'origine dello spazio dei parametri ($O$), consentendo la traversata tra diverse sfere di varianza.

• Meccanismo: Simile all'Algoritmo 1 ma senza il passaggio di Correzione della Varianza.
• Conformità Angolare: Man mano che il modello si sposta verso l'origine, la varianza dei pesi diminuisce. Per impedire al modello di deviare dal percorso a bassa perdita, il tasso di apprendimento viene scalato adattivamente in base alla varianza corrente (passaggio di Conformità Angolare).
• Esclusioni: Gli strati di normalizzazione sono esclusi da questo processo, poiché spostarli verso l'origine ne comprometterebbe la funzionalità (ridimensionamento a media zero/varianza unitaria).

C. Connessione di Diverse Sfere di Varianza

Per connettere modi addestrati con iperparametri diversi (ad es. diverso decadimento dei pesi), gli autori propongono un approccio ibrido in due passaggi:

1. Utilizzare l'Algoritmo 2 per spostare il modo sorgente su un punto intermedio sulla sfera di varianza target.
2. Utilizzare l'Algoritmo 1 per connettere questo punto intermedio al modo di destinazione.

3. Contributi Chiave

• Generalizzazione ad Architetture Moderne: LLPF connette con successo modi su un'ampia gamma di architetture, inclusi MobileNet, ShuffleNet, EfficientNet, RegNet, Deep Layer Aggregation (DLA) e Compact Convolutional Transformers (CCT), che non erano supportati in modo affidabile dai metodi precedenti.
• Alta Riproducibilità: Il metodo dimostra una forte coerenza. Attraverso esecuzioni multiple con diversi semi casuali, LLPF scopre costantemente percorsi con traiettorie di perdita di addestramento e accuratezza di test quasi identiche, una proprietà assente in lavori precedenti come AutoNEB.
• Connettività tra Iperparametri Diversi: Il framework supporta la connessione di modi addestrati con iperparametri diversi (diverse sfere di varianza), un contesto precedentemente non valutato nel contesto della connettività dei modi.
• Qualità Migliorata del Percorso: LLPF raggiunge una perdita di addestramento nel caso peggiore più bassa lungo il percorso rispetto ai metodi esistenti (ad es. riducendo la perdita di picco da >0.5 in AutoNEB a <0.05 in LLPF per ResNet18).

4. Risultati Sperimentali

Gli autori hanno valutato LLPF sui dataset CIFAR-10, CIFAR-100 e ImageNet-10 utilizzando architetture diverse.

• Coerenza: Esperimenti ripetuti più di 10 volte hanno mostrato che i percorsi costruiti mantengono una bassa perdita di addestramento (<0.1) e un'alta accuratezza durante tutta la transizione.
• Dinamiche Strato per Strato: I risultati confermano che l'approccio strato per strato è necessario; spostare tutti gli strati simultaneamente fallisce per modelli complessi come ResNet18 e DLA.
• Continuità: L'interpolazione lineare tra punti discreti generati da LLPF mantiene una bassa perdita, confermando la continuità del percorso costruito.
• Minimi Acuti: L'algoritmo connette con successo modi situati in minimi "acuti" (addestrati con decadimento dei pesi zero e tasso di apprendimento costante), dimostrando robustezza oltre i minimi piatti.
• Casi di Fallimento dei Concorrenti: In casi specifici in cui AutoNEB non è riuscito a connettere modi indipendenti (risultando in alta perdita), LLPF ha avuto successo con bassa perdita.

5. Significato e Affermazioni

Il lavoro afferma che LLPF fornisce uno strumento robusto e pratico per navigare nella regione a bassa perdita dello spazio dei parametri.

• Insight Geometrico: I risultati empirici suggeriscono che il paesaggio della perdita contiene "tunnel a bassa perdita" che connettono minimi indipendenti, sfidando la visione di bacini isolati. Gli autori ipotizzano che tutti i modi SGD addestrati indipendentemente possano risiedere all'interno di una singola varietà a bassa perdita connessa per percorsi.
• Limitazioni Teoriche: Gli autori notano modestamente che, sebbene i loro risultati empirici supportino l'esistenza di questi percorsi, nessun framework teorico esistente dimostri formalmente questa congettura per architetture complesse.
• Utilità Pratica: Consentendo l'esplorazione sistematica della regione a bassa perdita, LLPF permette ai ricercatori di ottenere approfondimenti sulle proprietà geometriche delle soluzioni delle reti neurali, potenzialmente aiutando nello sviluppo di migliori architetture e efficienze di addestramento.

Il codice sorgente per il metodo proposto è reso disponibile alla comunità.