Riepilogo Tecnico: Come l'Augmentation dei Dati Modella le Rappresentazioni Neurali

Enunciato del Problema

Sebbene l'augmentation dei dati (DA) sia una tecnica fondamentale per migliorare la generalizzazione nelle reti neurali profonde, i meccanismi specifici attraverso cui diverse strategie di augmentation alterano la geometria delle rappresentazioni interne apprese rimangono scarsamente compresi. Le pratiche attuali spesso si affidano a euristiche o a ricerche basate sulle prestazioni per sintonizzare gli iperparametri di augmentation (es. intensità, probabilità, estensione spaziale). Tuttavia, combinazioni distinte di questi iperparametri possono produrre accresimenti di accuratezza sul compito quasi identici, suggerendo che le metriche di prestazione standard oscurano differenze significative nel modo in cui i modelli apprendono a rappresentare i dati.

Gli autori pongono diverse domande chiave:

1. I metodi di DA spostano le rappresentazioni lungo traiettorie ben definite al variare degli iperparametri?
2. I diversi tipi di augmentation (es. rotazione vs. ritaglio) scolpiscono i calcoli degli strati nascosti in modi fondamentalmente diversi, o i loro effetti sono ridondanti?
3. La diversità geometrica delle rappresentazioni può prevedere i guadagni funzionali ottenuti quando si ensembleano modelli addestrati con diverse augmentation?
4. Come si confrontano le variazioni indotte dall'augmentation in termini di grandezza con la variabilità introdotta dall'inizializzazione casuale dei pesi?

Metodologia

Il paper propone un framework geometrico per analizzare le rappresentazioni neurali incorporandole in uno spazio delle forme Riemanniano. Questo approccio tratta i pattern di attivazione degli strati nascosti come nuvole di punti (punti di riferimento o landmark) in uno spazio ad alta dimensionalità e ne analizza la geometria indipendentemente da trasformazioni lineari arbitrarie.

1. Distanza delle Forme Riemanniana

Per confrontare le rappresentazioni $X^A_\ell$ e $X^B_\ell$ provenienti da due reti (addestrate con diverse strategie di DA o iperparametri) su un insieme di $M$ immagini di prova pulite, gli autori definiscono una metrica di distanza invariante rispetto a traslazione, scala, rotazione e riflessione.

• Pre-elaborazione: Le risposte neurali vengono centrate e ridimensionate a norma unitaria per formare le "pre-forme" ($Z_i$).
• Allineamento: La distanza è calcolata trovando la trasformazione ortogonale ottimale $O \in O(N)$ che allinea le pre-forme.
• Metrica: La distanza delle forme Riemanniana $\rho(X_i, X_j)$ è definita come la distanza geodetica sull'ipersfera delle pre-forme:
  $$\rho(X_i, X_j) = \arccos\left( \sup_{O \in O(N)} \text{Tr}[Z_j^\top Z_i O] \right)$$
  Questa metrica tratta due rappresentazioni come equivalenti se le loro nuvole di punti possono essere sovrapposte tramite trasformazioni rigide e scala, implicando che portano le stesse informazioni decodificabili linearmente.

2. Analisi delle Traiettorie

Il framework concettualizza i cambiamenti graduali nell'intensità dell'augmentation come movimento lungo percorsi lisci (geodetiche) sulla varietà delle forme.

• Angoli Geodetici: L'angolo tra due traiettorie originanti da una forma di riferimento (nessuna augmentation) è calcolato utilizzando vettori tangenti nella varietà delle forme. Questo quantifica la similarità direzionale di come diverse augmentation rimodellano le rappresentazioni.
• Spostamento dei Landmark: Gli autori analizzano i vettori di spostamento specifici ($\Delta z_\mu$) delle singole immagini di prova (landmark) tra le rappresentazioni allineate. Questo rivela quali input specifici sono più distorti da una data augmentation e come queste distorsioni variano attraverso gli strati della rete.

3. Configurazione Sperimentale

• Modelli: ResNet-18 e Vision Transformers (ViT).
• Dataset: CIFAR-10 (con esempi di fine-tuning su ImageNet nell'appendice).
• Augmentation: Uno spettro di metodi inclusi rumore Gaussiano, Patch Gaussian (simile a CutOut), rotazione, shear, jitter di colore, scala di grigi e ritaglio casuale, applicati a diverse magnitudini.
• Valutazione: Le rappresentazioni sono state raccolte dagli strati nascosti (es. layer 2, avgpool) per 10.000 immagini di test pulite.

Risultati Chiave

1. Traiettorie Strutturate nello Spazio delle Forme

Gli autori dimostrano che l'aumento dell'intensità dell'augmentation guida le rappresentazioni lungo traiettorie ben comportate e strutturate nello spazio delle forme, ma non nello spazio Euclideo ingenuo.

• Necessità di Allineamento: Senza allineamento ortogonale, le matrici di distanza e le visualizzazioni MDS-PCA non mostrano alcuna organizzazione coerente rispetto ai parametri di augmentation. Con l'allineamento, emergono traiettorie chiare e lisce dove la distanza correla con la magnitudine dell'augmentation.
• Prevedibilità: I modelli di regressione lineare possono prevedere accuratamente gli iperparametri di augmentation (es. deviazione standard del rumore $\sigma$, dimensione del patch $C$) dalle rappresentazioni delle forme allineate delle immagini pulite, confermando che le rappresentazioni sono organizzate sistematicamente rispetto ai parametri di DA.

2. Magnitudine del Cambiamento: DA vs. Seed Casuale

Lo studio confronta la scala del cambiamento di rappresentazione indotto dalla DA con la variabilità causata da diversi seed casuali.

• Unità Naturali: Definendo $D_{aug}$ (distanza dovuta alla DA) e $D_{seed}$ (distanza dovuta al seed), gli autori identificano un punto di transizione. Per piccole intensità di augmentation, $D_{aug} \approx D_{seed}$. All'aumentare dell'intensità (es. deviazione standard del rumore $s > 0.2$), $D_{aug}$ diverge e supera $D_{seed}$. Questo fornisce una scala di "unità naturale" per determinare quando gli effetti della DA diventano distinguibili dal rumore di inizializzazione.

3. La Diversità Geometrica Prevede i Guadagni dell'Ensemble

Diversi tipi di augmentation producono traiettorie distinte nello spazio delle forme.

• Direzioni Distinte: Le heatmap degli angoli geodetici tra le traiettorie di diversi tipi di DA (es. rotazione vs. rumore) mostrano che muovono le rappresentazioni in direzioni non ridondanti.
• Correlazione con l'Ensemble: Esiste una forte correlazione positiva tra l'angolo geodetico tra due traiettorie di augmentation e il guadagno di accuratezza ottenuto ensembleando modelli addestrati con quelle rispettive augmentation. I modelli addestrati con rappresentazioni geometricamente diversificate (angoli ampi) producono miglioramenti maggiori nell'ensemble.

4. Spostamenti dei Landmark Dipendenti dallo Strato

L'analisi degli spostamenti dei landmark rivela che gli effetti della DA non sono uniformi attraverso la rete.

• Specificità dello Strato: Negli strati iniziali (es. layer 2 di ResNet-18), i landmark massimamente spostati correlano con caratteristiche di basso livello dell'immagine (es. bordi diagonali, sfondi luminosi). Negli strati più profondi (es. avgpool), questi pattern sono meno evidenti e gli spostamenti sono a dimensionalità inferiore.
• Meccanismo: Ciò suggerisce che la DA rimodella le rappresentazioni attraverso meccanismi specifici per strato, attenuando o amplificando le caratteristiche di sottoinsiemi specifici di immagini a seconda del tipo di augmentation e della profondità della rete.

Significato e Affermazioni

Il paper afferma di fornire uno strumento principiato per comprendere e confrontare i metodi di augmentation dei dati attraverso la lente della geometria rappresentazionale.

• Oltre l'Accuratezza: Gli autori sostengono che le metriche di prestazione da sole sono insufficienti per distinguere tra protocolli di addestramento che producono accuratezze simili ma rappresentazioni interne diverse. L'analisi dello spazio delle forme rivela queste differenze nascoste.
• Framework Unificato: Il framework offre un linguaggio comune per confrontare modelli addestrati con diversi iperparametri, architetture o seed di inizializzazione utilizzando strumenti della geometria differenziale.
• Utilità Pratica: I risultati suggeriscono che l'analisi delle traiettorie nello spazio delle forme può guidare:
  • Ricerca degli Iperparametri: Identificare regimi in cui gli effetti della DA sono significativi.
  • Costruzione dell'Ensemble: Selezionare strategie di augmentation che massimizzano la diversità geometrica per migliorare le prestazioni dell'ensemble.
  • Interpretabilità: Comprendere come specifiche augmentation deformano le rappresentazioni strato per strato tramite l'analisi dello spostamento dei landmark.

Gli autori limitano esplicitamente il loro ambito alla classificazione di immagini, ai metodi classici di DA e all'analisi post-hoc di immagini di prova fisse, notando che estendere questo approccio a politiche di augmentation apprese o dinamiche di addestramento è lavoro futuro. Riconoscono inoltre il costo computazionale della distanza delle forme Riemanniana per rappresentazioni ad alta dimensionalità, rendendo necessaria una riduzione della dimensionalità nella pratica.