Training Deep Visual Networks Beyond Loss and Accuracy Through a Dynamical Systems Approach

1. Il Problema

Le pratiche standard per l'addestramento e la valutazione dei modelli di riconoscimento visivo profondo si basano quasi esclusivamente su metriche scalari esterne come la perdita (loss) e l'accuratezza. Sebbene questi indicatori mostrino se un modello stia migliorando, rivelano pochissimo su come le rappresentazioni interne evolvano dinamicamente durante l'addestramento.
Esiste un "vuoto informativo": un modello potrebbe raggiungere un plateau di accuratezza mentre le sue dinamiche a livello di strato sono ancora in flusso, oppure la struttura rappresentativa potrebbe stabilizzarsi molto prima che la curva della perdita si appiattisca. Questa mancanza di strumenti diagnostici "consapevoli dello strato" limita la comprensione dei processi di apprendimento e impedisce di identificare fasi critiche o stati di convergenza che non sono visibili a livello di output.

2. Metodologia

Gli autori propongono un quadro di lavoro che adatta concetti della teoria dei sistemi dinamici e dell'analisi dei segnali neuroscientifici (originariamente usati per studiare l'attività neurale biologica e la coscienza) alle attivazioni dei layer delle reti neurali artificiali.

Il framework si basa su tre metriche principali calcolate dalle attivazioni dei layer raccolti durante le epoche di addestramento:

1. Integrazione Gerarchica (Heff):

   • Derivata dall'Analisi delle Fluttuazioni Detrended (DFA).
   • Per ogni layer, viene calcolato l'esponente di Hurst ($H$) sulla serie temporale delle medie delle attivazioni.
   • $H > 0.5$ indica correlazioni a lungo raggio persistenti.
   • Viene applicata una funzione di sintonizzazione gaussiana per ottenere un punteggio di integrazione efficace ($H_{eff}$), che massimizza quando le attivazioni mostrano correlazioni frattali ottimali (tipiche di un elaborazione gerarchica efficace).

2. Metastabilità (M):

   • Basata sul Parametro d'Ordine di Kuramoto.
   • Misura la sincronia di fase istantanea tra i diversi layer utilizzando la trasformata di Hilbert.
   • La metastabilità è definita come la deviazione standard temporale di questo parametro d'ordine. Un valore alto indica una flessibilità nel passaggio tra stati sincronizzati e desincronizzati, associata a stati dinamici ricchi e organizzati.

3. Indice di Stabilità Dinamica Composito ($\Psi$):

   • Una combinazione normalizzata di $H_{eff}$ e $M$.
   • Serve come indicatore globale della stabilità e della complessità del sistema durante l'addestramento.

Setup Sperimentale:

• Modelli: 9 combinazioni di architettura e dataset, inclusi varianti di ResNet (18, 34, 50, 101, 152), DenseNet-121, MobileNetV2, VGG-16 e un Vision Transformer (ViT) pre-addestrato.
• Dataset: CIFAR-10 e CIFAR-100.
• Procedura: Le attivazioni sono state catturate su 4 livelli rappresentativi di profondità per ogni architettura durante l'inferenza su batch di validazione alla fine di ogni epoca.

3. Contributi Chiave

1. Adattamento del Framework Heff–M–$\Psi$: Definizione formale di come adattare un framework dinamico complesso (nato per segnali EEG) per caratterizzare le dinamiche di addestramento delle reti visive profonde, fornendo un algoritmo di estrazione delle metriche.
2. Osservazioni Empiriche: Report di osservazioni su nove configurazioni che suggeriscono:
   • $H_{eff}$ distingue robustamente task facili (CIFAR-10) da task difficili (CIFAR-100).
   • Il crollo della volatilità di $\Psi$ ($\sigma_\Psi$) può essere un indicatore precoce di convergenza, anticipando il plateau dell'accuratezza.
   • La relazione tra integrazione e metastabilità riflette diversi stili di comportamento di addestramento.
3. Tassonomia degli Stati di Addestramento: Proposta di una tassonomia retrospettiva di quattro stati dinamici basata su firme misurabili ($H_{eff}$, volatilità di $\Psi$, sincronia inter-campo).

4. Risultati Principali

L'analisi dei dati ha rivelato tre pattern principali:

• Separazione per Complessità del Task ($H_{eff}$):

  • Le configurazioni su CIFAR-10 convergono verso valori di $H_{eff}$ alti (range [0.83, 0.98]), indicando un'integrazione gerarchica efficace.
  • Le configurazioni su CIFAR-100 rimangono in un regime di $H_{eff}$ molto basso (range [0.04, 0.30]), suggerendo un "soffitto di integrazione" o una struttura di correlazione cross-layer incompleta.
  • L'eccezione è VGG-16 su CIFAR-100, che mostra un'integrazione parziale ($H_{eff} \approx 0.30$), coerente con la sua architettura priva di connessioni skip.

• Volatilità di $\Psi$ come Indicatore di Convergenza:

  • La deviazione standard a finestra mobile di $\Psi$ ($\sigma_\Psi$) tende a collassare verso un plateau basso prima che l'accuratezza si stabilizzi completamente.
  • Esempio: In DenseNet-121, il crollo di $\sigma_\Psi$ avviene circa 7 epoche prima del plateau di accuratezza, suggerendo che la stabilità dinamica interna precede la stabilità delle prestazioni esterne.

• Sincronia Inter-Campo e Stati Dinamici:

  • È stata definita una tassonomia a quattro stati:
    1. Convergente Stabile (es. DenseNet-121): Alta integrazione, rapida stabilizzazione della volatilità, componenti decoppiati (bassa sincronia). Rappresenta lo stato ottimale.
    2. Iper-Integrazione Metastabile (es. ViT, ResNet-152): Alta integrazione ma volatilità persistentemente alta; il sistema esplora lo spazio delle rappresentazioni senza stabilizzarsi in un attrattore fisso.
    3. Integrazione Parziale (es. VGG-16 su CIFAR-100): Integrazione strutturata ma incompleta.
    4. Sincronizzato Rigido (es. ResNet-50/101 su CIFAR-100): Basso $H_{eff}$, volatilità piatta, alta sincronia tra integrazione e metastabilità. Indica un intrappolamento in un attrattore a bassa complessità con scarsa flessibilità rappresentativa.

5. Significato e Limitazioni

Significato:
Questo studio offre un nuovo modo esplorativo ma promettente per comprendere l'addestramento delle reti neurali profonde, andando oltre la semplice ottimizzazione della loss. Suggerisce che la complessità dinamica interna (integrazione e metastabilità) è un indicatore cruciale della qualità dell'apprendimento e della capacità del modello di adattarsi a task difficili. La possibilità di rilevare la convergenza prima del plateau di accuratezza ha implicazioni pratiche per l'early stopping e il debugging dei modelli.

Limitazioni:

• Variabilità del Seed: Tutti i risultati derivano da una singola esecuzione per configurazione (un solo seed). La variabilità seed-to-seed non è stata quantificata.
• Dimensione della Serie Temporale: L'uso di serie temporali corte (25-58 epoche) per la stima dell'esponente di Hurst è inferiore agli standard ideali per l'analisi DFA, rendendo le stime indicative piuttosto che precise.
• Generalizzazione: La tassonomia è stata derivata retrospettivamente sugli stessi dati usati per l'analisi e limitata ai dataset CIFAR. La validazione su benchmark più ampi (es. ImageNet) e con più seed è necessaria per confermare la generalizzabilità.
• Parametri: I parametri del framework sono stati ereditati da studi neuroscientifici e non sono stati ri-tarati specificamente per le reti neurali artificiali, sebbene l'analisi di sensibilità mostri una certa robustezza.

In conclusione, il paper propone un cambio di paradigma: monitorare non solo quanto bene un modello performa, ma come le sue dinamiche interne si organizzano, offrendo nuovi strumenti diagnostici per la ricerca e lo sviluppo di modelli di visione artificiale.