What do CNNs Learn in the First Layer and Why? A Linear Systems Perspective

1. Il Problema

È stato ampiamente osservato che i primi strati delle Reti Neurali Convoluzionali (CNN) profonde apprendono rappresentazioni altamente consistenti, indipendentemente dall'inizializzazione dei pesi, dall'architettura della rete o dal dataset utilizzato. Tuttavia, la ragione fondamentale di questa consistenza rimaneva poco chiara.
Le spiegazioni tradizionali suggerivano che questa consistenza fosse dovuta all'ottimizzazione per il compito di riconoscimento degli oggetti (es. ignorare il rumore ad alta frequenza o le variazioni di illuminazione a bassa frequenza).
Il paper si pone la domanda: Perché le CNN apprendono sempre lo stesso profilo di sensibilità alle frequenze spaziali nella prima layer, anche quando vengono addestrate con etichette casuali o quando la prima layer viene congelata con filtri casuali?

2. Metodologia

Gli autori adottano una prospettiva di sistemi lineari per analizzare il primo strato di una CNN, trattandolo come una "banca di filtri".

• Profilo Energetico (Energy Profile): Per quantificare la similarità tra rappresentazioni diverse (evitando problemi di allineamento neuronale o rotazioni), gli autori definiscono un "profilo energetico". Questo misura la sensibilità della banca di filtri alle diverse frequenze spaziali.

  • Si calcolano i vettori PCA (Analisi delle Componenti Principali) delle patch di immagini del dataset.
  • L'energia $e_i$ della $i$-esima componente PCA è definita come la media dell'energia dei filtri proiettati su quel vettore: $e_i^2 = \frac{1}{K} \sum_{k=1}^K (w_k^T u_i)^2$.
  • La similarità tra due set di filtri è misurata dal coefficiente di correlazione tra i loro profili energetici.

• Esperimenti Empirici:

  • Addestramento di diverse architetture (VGG, ResNet) su dataset diversi (CIFAR-10, CelebA, ImageNet).
  • Addestramento con etichette casuali (random labels) per verificare se la consistenza dipende dal significato semantico dei dati.
  • Congelamento della prima layer con pesi casuali per testare se la rete può compensare filtri subottimali negli strati successivi.

• Analisi Teorica:

  • Derivazione di una formula analitica per il profilo energetico di una CNN lineare semplice (2 strati, perdita MSE) addestrata con discesa del gradiente.
  • Assunzione chiave: le etichette sono non correlate con le componenti PCA delle patch di immagine (ipotesi valida sia per etichette casuali che, in prima approssimazione, per quelle reali su dataset naturali).

3. Risultati Chiave

Risultati Empirici

1. Consistenza Estrema: I profili energetici delle CNN addestrate sono estremamente simili tra loro (correlazione > 0.98) su diverse inizializzazioni, architetture e dataset.
2. Differenza dall'Inizializzazione: Il profilo appreso è molto diverso dai pesi iniziali casuali (che hanno un profilo energetico piatto, costante su tutte le frequenze).
3. Etichette Casuali: Le reti addestrate con etichette casuali apprendono lo stesso profilo energetico di quelle addestrate con etichette vere. Questo smentisce l'ipotesi che la consistenza sia dovuta all'ottimizzazione per il riconoscimento semantico.
4. Congelamento della Prima Layer: Congelare la prima layer con filtri casuali non degrada significativamente le prestazioni delle reti profonde moderne (VGG, ResNet), suggerendo che gli strati successivi possono compensare la mancanza di filtri ottimali nella prima layer.

Risultati Teorici

1. Formula Analitica: Gli autori derivano una formula per il profilo energetico $e_i$ al passo $t$:
   $$e_i \propto \frac{|1 - (1 - \eta \lambda_i^2)^t|}{\eta^2 \lambda_i^2} \lambda_i$$
   Dove $\lambda_i$ è l'energia delle patch di training (statistiche del secondo ordine) e $\eta$ è il learning rate.
2. Whitening (Biancatura): Quando il numero di iterazioni $t \to \infty$, il profilo energetico converge a $e_i \propto 1/\lambda_i$. Questo corrisponde a una trasformazione di whitening (o decorrelazione spaziale), dove la sensibilità del filtro è inversamente proporzionale alla varianza dell'input a quella frequenza.
3. Applicabilità ai Modelli Non Lineari: La formula derivata per CNN lineari si adatta perfettamente (correlazione > 0.9) ai profili energetici di CNN non lineari reali (ResNet, VGG) addestrate sia con etichette vere che casuali.

4. Contributi Principali

• Nuova Metrica di Similarità: Introduzione del "profilo energetico" basato sulla PCA, che permette di confrontare quantitativamente rappresentazioni lineari in modo invariante rispetto a rotazioni e permutazioni.
• Smentita dell'Ipotesi Semantica: Dimostrazione empirica che la consistenza del primo strato non deriva dall'apprendimento di features semantiche per il riconoscimento, ma emerge anche con etichette casuali.
• Spiegazione Teorica: Derivazione di una formula analitica che spiega la consistenza come un effetto collaterale dell'ottimizzazione tramite discesa del gradiente su dati con statistiche specifiche (patch non correlate alle etichette).
• Whitening Implicito: Dimostrazione che le CNN, senza un loss esplicito di riduzione della ridondanza, tendono implicitamente a performare un'approssimazione di whitening degli input, riducendo la correlazione spaziale tra i pixel.

5. Significato e Implicazioni

Il lavoro fornisce una spiegazione fondamentale sul "bias induttivo" delle CNN. La consistenza osservata nella prima layer non è una proprietà magica dell'apprendimento profondo per la visione artificiale, ma una conseguenza matematica della combinazione di:

1. Le statistiche di secondo ordine delle immagini naturali (patch correlate).
2. La dinamica dell'ottimizzazione tramite gradiente (che tende a decorrelare l'input quando le etichette non sono correlate alle componenti PCA).

Questo risultato ha diverse implicazioni:

• Preprocessing: Suggerisce che il whitening esplicito potrebbe non essere necessario, poiché le CNN lo apprendono implicitamente.
• Transfer Learning: Supporta l'idea che i primi strati di modelli addestrati su task diversi (o con etichette casuali) siano riutilizzabili, poiché apprendono una struttura statistica universale dell'input.
• Teoria delle Reti Neurali: Rafforza l'idea che modelli lineari semplici possano catturare comportamenti fondamentali di reti non lineari complesse, offrendo una via per comprendere il "perché" dell'apprendimento profondo oltre alla semplice osservazione empirica.

In sintesi, il paper conclude che la prima layer delle CNN apprende una riduzione della ridondanza parziale (whitening) guidata dalle statistiche dell'input e dal bias dell'algoritmo di ottimizzazione, piuttosto che da una ricerca diretta di features semantiche ottimali.