What do CNNs Learn in the First Layer and Why? A Linear Systems Perspective

Probleemstelling

Het is al lang bekend dat de representaties die worden geleerd in de eerste laag van diepe Convolutionele Neural Networks (CNNs) opvallend consistent zijn, ongeacht de initiële gewichten, de architectuur of het gebruikte dataset. Echter, de onderliggende reden voor deze consistentie is niet volledig begrepen.

• Bestaande hypothese: Een veelgehoorde verklaring is dat CNNs deze specifieke filters leren omdat ze optimaal zijn voor objectherkenning (bijvoorbeeld door ruis op hoge frequenties te filteren en verlichtingseffecten op lage frequenties te negeren).
• Het onderzoeksvraag: Waarom ontstaat deze consistentie zelfs wanneer CNNs worden getraind met willekeurige labels (waarbij er geen semantische betekenis is om te leren) of wanneer de eerste laag wordt "bevroren" met willekeurige filters? Dit suggereert dat de consistentie niet noodzakelijk voortkomt uit het minimaliseren van een classificatieverlies voor specifieke taken.

Methodologie

De auteurs hanteren een lineair systeemperspectief om de eerste laag van een CNN te analyseren. In plaats van complexe neurale netwerken direct te bestuderen, benaderen ze de eerste laag als een filterbank.

1. Energieprofiel (Energy Profile):

   • Om de gelijkenis tussen verschillende CNNs te kwantificeren, definiëren de auteurs een "energieprofiel".
   • Ze gebruiken de Hoofdcomponentenanalyse (PCA) van de input-patches (kleine stukjes van de afbeeldingen) om een basis van ruimtelijke frequenties te vormen.
   • Het energieprofiel meet de gevoeligheid van de filterbank voor deze verschillende ruimtelijke frequenties. Het wordt berekend als de gemiddelde projectie van de filters op de PCA-vector.
   • Dit maakt de meting invariant voor schaling, permutatie en orthogonale transformaties van de filters.

2. Empirische Experimenten:

   • Bevroren eerste laag: De auteurs trainen moderne CNNs (zoals VGG) waarbij de eerste laag wordt vastgezet op willekeurige initiatie. Ze meten of de prestatie daalt.
   • Willekeurige labels: Ze trainen netwerken met echte labels versus willekeurig gegenereerde labels om te zien of de energieprofiel afhankelijk is van de semantische betekenis van de data.
   • Vergelijking: Ze vergelijken de energieprofielen van getrainde modellen met die van willekeurige initialisaties en met elkaar over verschillende datasets (CIFAR-10, CIFAR-100, CelebA, ImageNet) en architecturen (VGG, ResNet).

3. Theoretische Analyse (Lineaire CNN):

   • Om de oorzaak te verklaren, analyseren ze een vereenvoudigd model: een lineaire CNN met één verborgen laag, getraind met een MSE-verlies (Mean Squared Error).
   • Ze leiden een analytische formule af voor het energieprofiel van de filters als functie van het aantal training-iteraties, de leersnelheid en de tweede-orde statistieken (covariantie) van de input-patches.
   • Ze nemen aan dat labels ongecorreleerd zijn met de PCA-componenten van de input (een aanname die geldt voor willekeurige labels en empirisch ook voor echte labels blijkt te gelden).

Belangrijkste Bijdragen

1. Kwantificering van Consistentie: De auteurs bewijzen dat het energieprofiel van de eerste laag extreem consistent is (correlatie > 0.98) tussen verschillende initialisaties, architecturen en datasets, en sterk verschilt van het profiel van willekeurige initialisaties.
2. Afwijzing van de "Semantische Optimaliteit" Hypothese: Ze tonen aan dat deze consistentie niet komt omdat de filters optimaal zijn voor objectherkenning.
   • Netwerken met een bevroren, willekeurige eerste laag presteren bijna even goed als volledig getrainde netwerken (de volgende lagen compenseren de willekeur).
   • Netwerken getraind met willekeurige labels leren exact hetzelfde energieprofiel als netwerken met echte labels.
3. Analytische Formule voor Whitening: Ze leiden een formule af die aantoont dat het energieprofiel voornamelijk wordt bepaald door de tweede-orde statistieken van de input-patches (de covariantie) en het aantal training-iteraties.
4. Whitening als Implicit Bias: Ze tonen aan dat naarmate het aantal iteraties naar oneindig gaat, de filters een whitening-transformatie uitvoeren. Dit betekent dat ze de input decorreleren (redundantie verminderen), waarbij de gevoeligheid omgekeerd evenredig is met de variantie van de input op die frequentie.

Resultaten

• Energieprofiel: Getrainde CNNs vertonen een piek in gevoeligheid voor intermediaire ruimtelijke frequenties. Ze zijn minder gevoelig voor zeer lage (verlichting) en zeer hoge (ruis) frequenties. Dit profiel is bijna identiek voor modellen getraind met echte of willekeurige labels.
• Correlatie met Theorie: De analytische formule die is afgeleid voor lineaire CNNs, past uitstekend op de energieprofielen van complexe, niet-lineaire modellen zoals ResNet en VGG (correlatie > 0.9), zelfs op ImageNet.
• Decorrelatie: Metingen van de autocorrelatie van de activaties tonen aan dat de eerste laag van getrainde CNNs de ruimtelijke correlatie van de pixels significant verlaagt (benadert decorrelatie/whitening), terwijl dit niet het geval is bij willekeurige filters.
• Invloed van Statistieken: Experimenten waarbij de correlatie tussen labels en input-energie werd geforceerd, braken de consistentie tussen "ware" en "willekeurige" labels. Dit bevestigt dat de consistentie ontstaat wanneer labels en input ongecorreleerd zijn.

Betekenis en Conclusie

De paper biedt een fundamenteel nieuw inzicht in hoe diepe neurale netwerken werken:

• Implicit Bias: De consistentie in de eerste laag is geen gevolg van het leren van semantische features voor een specifieke taak, maar een impliciete bias van het gradient descent trainingsalgoritme in combinatie met de statistische eigenschappen van natuurlijke beelden.
• Redundantiereductie: Zelfs zonder een expliciete "redundantiereductie" loss-functie, neigen CNNs ertoe om een whitening-transformatie te leren. Dit komt doordat gradient descent, bij het minimaliseren van het verlies, de filters in de richting duwt die de inputstatistieken "ontkoppelt".
• Generalisatie: Omdat deze eigenschap voortkomt uit de inputstatistieken en niet uit de labels, is het eerste laag van een model getraind met willekeurige labels nog steeds bruikbaar voor transfer learning (een observatie die eerder werd gedaan maar nu theoretisch wordt onderbouwd).

Kortom, de eerste laag van een CNN fungeert als een ongebaseerde whitening-filterbank die wordt gedreven door de correlaties in natuurlijke beelden en de dynamiek van gradient descent, en niet door de specifieke semantische taak die het netwerk moet oplossen.