What do CNNs Learn in the First Layer and Why? A Linear Systems Perspective

Titre : Ce que les CNN apprennent dans la première couche et pourquoi : Une perspective des systèmes linéaires

1. Problématique

Les réseaux de neurones convolutifs (CNN) profonds réussissent remarquablement dans les tâches de reconnaissance d'images, souvent attribué à leur capacité à apprendre de bonnes représentations. Il a été observé empiriquement que des CNN très différents (architectures, initialisations, jeux de données) apprennent des représentations très similaires dans leur première couche.

Cependant, la raison fondamentale de cette cohérence reste débattue :

• Est-ce que cette cohérence découle de l'optimisation d'une tâche de reconnaissance sémantique (les filtres sont optimaux pour distinguer les objets) ?
• Ou est-ce le résultat d'un biais inhérent à l'algorithme d'entraînement (descente de gradient) et aux statistiques des données d'entrée, indépendamment de la tâche ?

L'article vise à quantifier cette cohérence et à déterminer si elle est due à la minimisation de la perte de classification ou à des propriétés statistiques sous-jacentes.

2. Méthodologie

A. Mesure de la cohérence : Le Profil d'Énergie
Les auteurs proposent une nouvelle méthode pour comparer les représentations apprises, basée sur la perspective des systèmes linéaires.

• Hypothèse : La première couche d'un CNN peut être vue comme une banque de filtres. Sa réponse fréquentielle peut être caractérisée par rapport aux composantes principales (PCA) des patches d'images.
• Définition du Profil d'Énergie ($e$) : Pour un ensemble de filtres $\{w_k\}$ et des vecteurs PCA $\{u_i\}$, le profil d'énergie est défini comme la moyenne de l'énergie projetée des filtres sur chaque vecteur PCA :
  $$e_i^2 = \frac{1}{K} \sum_{k=1}^K (w_k^T u_i)^2$$
• Similarité : La similarité entre deux ensembles de filtres est mesurée par le coefficient de corrélation entre leurs profils d'énergie. Cette mesure est invariante à l'échelle, à la permutation et aux transformations orthogonales des filtres.

B. Expériences Empiriques
Les auteurs testent l'hypothèse de la "réduction de redondance" (whitening) via plusieurs expériences :

1. Cohérence transversale : Comparaison de profils d'énergie sur différents modèles (VGG, ResNet), initialisations, largeurs de couches et jeux de données (CIFAR-10/100, CelebA, ImageNet).
2. Couches figées : Entraînement de CNN modernes en figeant la première couche avec des filtres aléatoires. Si la première couche est cruciale pour la sémantique, la performance devrait chuter.
3. Étiquettes aléatoires : Entraînement de réseaux avec des étiquettes de classe totalement aléatoires. Si la cohérence vient de la tâche de reconnaissance, les profils devraient diverger.

C. Analyse Théorique (CNN Linéaires)
Pour expliquer les observations, les auteurs dérivent une formule analytique pour un CNN linéaire simple (une couche cachée, perte MSE, descente de gradient).

• Hypothèses : Les patches d'images sont non corrélés entre eux, et les étiquettes sont non corrélées avec les composantes PCA individuelles (hypothèse valable pour les étiquettes aléatoires et approximativement vraie pour les vraies étiquettes sur des données naturelles).
• Résultat : Ils dérivent une formule fermée pour le profil d'énergie des filtres à l'itération $t$ en fonction des statistiques du second ordre des patches d'entrée ($\lambda_i$) et du nombre d'itérations.

3. Contributions Clés et Résultats

A. Cohérence Quantitative Élevée

• Les profils d'énergie appris sont extrêmement cohérents (corrélation > 0.98) entre différentes initialisations, architectures et jeux de données.
• Ce profil est très différent de l'initialisation aléatoire (qui est plat). Il présente un pic de sensibilité aux fréquences spatiales intermédiaires, étant peu sensible aux très basses et très hautes fréquences.
• Résultat surprenant : Cette cohérence persiste même lorsque le réseau est entraîné avec des étiquettes aléatoires. Les profils appris avec de vraies étiquettes et des étiquettes aléatoires sont presque identiques.

B. Inutilité de la Première Couche pour la Performance

• L'expérience de figer la première couche avec des filtres aléatoires montre aucune baisse significative de performance (perte ou précision) sur des réseaux profonds modernes.
• Cela contredit l'idée que la première couche doit apprendre des filtres spécifiques pour la reconnaissance d'objets. Le réseau compense simplement en ajustant les couches suivantes.

C. Dérivation Théorique et Whitening

• La formule analytique pour les CNN linéaires montre que le profil d'énergie dépend uniquement des statistiques du second ordre des patches d'entrée ($\lambda_i$) et du nombre d'itérations.
• Théorème de Whitening : À la limite du nombre d'itérations tendant vers l'infini, le profil d'énergie converge vers $e_i \propto 1/\lambda_i$. Cela correspond à une transformation de blanchiment (whitening) : les filtres deviennent inversement proportionnels à la variance des fréquences d'entrée, éliminant ainsi les corrélations spatiales (réduction de redondance).
• Pour un nombre fini d'itérations, le réseau effectue un blanchiment partiel, privilégiant les composantes à forte variance.

D. Validation sur des CNN Non-Linéaires

• La formule analytique dérivée pour les réseaux linéaires s'adapte parfaitement (corrélation > 0.9) aux profils d'énergie de réseaux non-linéaires complexes (VGG, ResNet) entraînés avec de vraies ou fausses étiquettes.
• Des expériences modifiant les statistiques des étiquettes (en introduisant une corrélation artificielle entre l'énergie des patches et les étiquettes) brisent cette cohérence, confirmant que la cohérence observée provient de l'absence de corrélation entre les patches et les étiquettes, et non de la tâche de classification elle-même.

4. Signification et Implications

1. Biais de l'Algorithme d'Entraînement : La cohérence des premières couches n'est pas due à une optimisation pour la tâche de reconnaissance, mais à un biais implicite de la descente de gradient appliqué à des données naturelles. Le gradient tend naturellement vers une solution qui réduit la redondance des entrées.
2. Whitening Implicit : Les CNN réalisent implicitement un blanchiment des entrées (whitening) sans avoir besoin d'une étape de prétraitement explicite ou d'une fonction de perte dédiée à la réduction de redondance.
3. Validité des Modèles avec Étiquettes Aléatoires : Puisque les premières couches apprennent la même représentation (basée sur les statistiques de l'entrée) que ce soit avec de vraies ou de fausses étiquettes, cela explique pourquoi les modèles entraînés avec des étiquettes aléatoires peuvent être utiles pour le transfert d'apprentissage (les premières couches contiennent déjà une bonne représentation des structures de l'image).
4. Perspective Linéaire : L'article démontre que l'analyse de systèmes linéaires simples peut prédire avec une grande précision le comportement des réseaux profonds non linéaires complexes, offrant un cadre théorique robuste pour comprendre l'apprentissage de représentations.

En résumé, l'article démontre que la première couche des CNN apprend une représentation cohérente et robuste qui correspond à une réduction de redondance (whitening) des patches d'images, un phénomène qui émerge naturellement de la dynamique de l'entraînement par descente de gradient sur des données naturelles, indépendamment de la tâche de classification spécifique.