How Far Can Sharpness and Complexity Jointly Explain Generalization?

Riepilogo Tecnico: Fino a che punto la Nitidezza e la Complessità possono spiegare congiuntamente la Generalizzazione?

Enunciato del Problema
Le reti neurali profonde spesso raggiungono prestazioni predittive elevate in regimi altamente sovra-parametrizzati, creando un divario tra il successo empirico e la comprensione teorica. I classici limiti basati sulla capacità falliscono nel spiegare perché queste reti generalizzino bene su dati strutturati pur riuscendo facilmente a adattarsi a etichette casuali. La letteratura recente ha identificato la nitidezza (sharpness, sensibilità alle perturbazioni) e la complessità (dimensione o contenuto informativo del modello) come due fattori centrali nella generalizzazione, ma il loro potere esplicativo congiunto rimane ampiamente inesplorato. Le attuali valutazioni quantitative hanno trattato le misure di generalizzazione principalmente come predittori scalari individuali, combinando spesso nitidezza e complessità in un singolo scalare tramite forme funzionali prescritte. Questo approccio lascia aperta la questione di quanto la generalizzazione possa essere spiegata dalla coppia di fattori $(S, C)$ senza impegnarsi in una specifica combinazione, e se i fallimenti nella predizione derivino dal framework a due fattori in sé o da definizioni metriche inadeguate.

Metodologia
Gli autori impiegano un'analisi empirica e concettuale per investigare l'ambito esplicativo della visione nitidezza-complessità attraverso diverse architetture e dataset.

1. Framework di Valutazione:

   • Regressione Lineare: Gli autori applicano un modello lineare $Gap = \beta_0 + \beta_S S + \beta_C C + \epsilon$ per valutare il potere predittivo delle coppie di metriche. Riportano $R^2$ e i segni dei coefficienti.
   • Analisi di Pareto (Pareto Contradiction Rate - PCR): Per evitare assunzioni sulla linearità, gli autori introducono uno strumento di valutazione non parametrico. Verificano se l'ordinamento indotto dalle metriche $(S, C)$ concorda con l'ordinamento dei gap di generalizzazione. Una "coppia candidata" consiste in due modelli in cui uno presenta sia una minore nitidezza che una minore complessità. Una "coppia contraddittoria" si verifica se il modello con $(S, C)$ inferiore presenta un gap di generalizzazione peggiore. Il PCR è il rapporto tra coppie contraddittorie e coppie candidate. Un basso PCR indica una forte concordanza con la relazione monotona attesa dalla visione a due fattori.

2. Definizioni delle Metriche:

   • Baseline a livello di Parametro: Lo studio valuta metriche esistenti invarianti per scala, specificamente Adaptive SAM (adapS) per la nitidezza e Path Norm per la complessità. Queste sono confrontate con baseline non invarianti come la traccia dell'Hessiana e la norma $\ell_2$ dei pesi.
   • Metriche Orientate alla Funzione: Per affrontare l'ambiguità della parametrizzazione (dove parametri diversi generano la stessa funzione), gli autori propongono metriche definite più vicino allo spazio delle funzioni:
     • Bayes Sharpness (bayesS): Definita come l'incremento normalizzato della perdita media della distribuzione a posteriori. Utilizza una distribuzione a posteriori adattiva $Q$ con covarianza proporzionale alle grandezze dei parametri per garantire l'invarianza di scala, misurando l'effettivo cambiamento della perdita indotto da predittori campionati piuttosto che fare affidamento su approssimazioni dell'Hessiana.
     • Divergenza KL Funzionale (func norm): Una metrica di complessità derivata dalla teoria PAC-Bayes. Calcola la divergenza KL tra le distribuzioni a priori e a posteriori dopo aver mappato i campioni dei parametri ai loro output funzionali indotti su un dataset di riferimento. Questo misura la deviazione nel comportamento predittivo piuttosto che i valori grezzi dei parametri.

3. Ambito Sperimentale:
   L'valutazione copre architetture dotate di normalizzazione (ResNet, VGG, WideResNet), varianti prive di normalizzazione (no-BN) e Vision Transformers (ViT). Fondamentalmente, lo studio include configurazioni "Mixed" dove modelli di diverse architetture e dataset (CIFAR-10 e CIFAR-100) vengono accorpati per testare la comparabilità tra architetture e dataset diversi.

Contributi Chiave

• Analisi del Potere Esplicativo Congiunto: Il documento fornisce la prima valutazione quantitativa su larga scala di quanto bene la nitidezza e la complessità congiuntamente spieghino la generalizzazione, andando oltre le misure a scalare singolo.
• Innovazione Metodologica: L'introduzione della Analisi di Pareto (PCR) come strumento complementare alla regressione lineare permette di valutare il modello a due fattori senza assumere una specifica forma funzionale (lineare o meno) tra $(S, C)$ e il gap di generalizzazione.
• Metriche Orientate alla Funzione: La proposta di Bayes Sharpness e Functional KL Divergence offre realizzazioni di nitidezza e complessità meno dipendenti dalle rappresentazioni grezze dei parametri. Ciò affronta il problema dell'ambiguità della parametrizzazione, particolarmente nelle architetture con connessioni skip o strati di normalizzazione.
• Approfondimenti Diagnostici: Lo studio distingue tra fallimenti causati da definizioni metriche inadeguate e potenziali limitazioni intrinseche del framework a due fattori.

Risultati

• Limitazioni delle Metriche a Livello di Parametro: Le baseline invarianti per scala esistenti (ad es. adapS + path norm) performano ragionevolmente bene su reti dotate di normalizzazione (ad es. ResNet18, WideResNet), ma perdono significativamente potere esplicativo quando la normalizzazione viene rimossa (ad es. no-BN ResNet18) o quando i modelli vengono accorpati tra diverse architetture. In questi casi, la regressione $R^2$ diminuisce, i coefficienti diventano negativi e il PCR aumenta (indicando frequenti contraddizioni).
• Successo delle Metriche Orientate alla Funzione: La coppia orientata alla funzione proposta $(bayesS, func norm)$ estende significativamente l'ambito esplicativo.
  • Recupera un alto $R^2$ e un basso PCR nelle configurazioni prive di normalizzazione dove le metriche a livello di parametro falliscono (ad es. no-BN ResNet18: $R^2$ migliora da 0.07 a 0.83; PCR scende da 77.8% a 1.2%).
  • Mantiene il potere predittivo nelle configurazioni miste cross-architettura e cross-dataset, suggerendo che queste metriche forniscono una base più stabile per il confronto rispetto alle metriche a livello di parametro.
• Fallimenti Residui: Le metriche orientate alla funzione non riescono a fornire una spiegazione completa per i Vision Transformers (ViT), in particolare nelle configurazioni standard dove le perdite di test sono estremamente elevate. In questi regimi, la visione a due fattori produce un alto PCR e coefficienti negativi. Gli autori suggeriscono che ciò possa essere dovuto al fatto che le metriche non sono completamente a livello di funzione (Bayes sharpness dipende ancora da perturbazioni nello spazio dei parametri) o perché questi modelli operano al di fuori del regime di generalizzazione significativo dove i limiti PAC-Bayes sono deboli.
• Insufficienza del Fattore Singolo: L'analisi a fattore singolo conferma che né la nitidezza né la complessità da sole sono sufficienti per spiegare la generalizzazione, supportando la necessità della visione a due fattori.

Significato e Rivendicazioni
Il documento sostiene che la prospettiva nitidezza-complessità è una lente informativa per comprendere la generalizzazione in diversi setting, ma non rivendica di essere una teoria completa.

• Raffinatezza della Visione: I risultati suggeriscono che molti apparenti fallimenti della visione a due fattori derivano dalle limitazioni nelle definizioni delle metriche (specificamente, la dipendenza dalle rappresentazioni a livello di parametro) piuttosto che da difetti intrinseci del framework stesso. Passando a definizioni orientate alla funzione, l'ambito esplicativo può essere significativamente ampliato.
• Domande Aperte: I fallimenti rimanenti (ad es. in ViT) indicano che le attuali realizzazioni non sono ancora complete. Gli autori ipotizzano due possibilità: o sono necessarie definizioni migliori e completamente a livello di funzione per la nitidezza e la complessità per estendere ulteriormente l'ambito, o il framework a due fattori è intrinsecamente incompleto e richiede fattori aggiuntivi oltre a $(S, C)$ per spiegare pienamente la generalizzazione.
• Utilità Pratica: Le metriche con forte potere esplicativo possono servire come strumenti diagnostici per il confronto tra modelli, la selezione degli iperparametri e la progettazione di penalità di regolarizzazione.

In sintesi, il lavoro caratterizza quantitativamente i confini del framework nitidezza-complessità, dimostrando che, sebbene sia uno strumento esplicativo potente, la sua efficacia è contingente su come questi fattori vengono realizzati e misurati.