Learning from almost nothing: How neural networks survive heavy input corruption

Résumé technique : Apprendre de presque rien

Énoncé du problème
L'article traite du problème de l'apprentissage à partir de données imparfaites, en se concentrant spécifiquement sur le bruit d'attribut (corruption des caractéristiques d'entrée) tout en préservant l'intégrité des étiquettes. Si le bruit d'étiquette a fait l'objet d'une attention analytique significative, le bruit d'attribut — courant dans les scénarios réels en raison d'erreurs de capteurs ou de caractéristiques manquantes — a été moins exploré théoriquement. La question centrale est de savoir si les réseaux de neurones peuvent apprendre une règle de classification cohérente et généraliser à des données de test propres lorsque l'entraînement est effectué sur des entrées sévèrement corrompues, au point où le signal est presque indiscernable d'un bruit aléatoire pour un observateur humain.

Méthodologie
Les auteurs emploient une double approche combinant l'expérimentation empirique et la dérivation analytique en utilisant le cadre du Noyau de Tangente Neuronale (NTK).

1. Configuration empirique :

   • Modèles : Perceptrons multicouches (MLP) avec 3 couches cachées et des largeurs variables (128 à 2048).
   • Jeux de données : MNIST, Fashion-MNIST et KMNIST.
   • Modèles de corruption : Deux types de corruption d'entrée sont testés :
     • Bruit de remplacement : Chaque pixel est remplacé indépendamment par un bruit uniforme avec une probabilité $p$.
     • Bruit additif : Chaque pixel est une combinaison convexe du pixel propre et d'un bruit indépendant.
   • Entraînement : Les réseaux sont entraînés sur des entrées corrompues avec des étiquettes propres en utilisant la perte d'entropie croisée ou l'erreur quadratique moyenne (MSE).
   • Évaluation : La performance est mesurée sur des ensembles de test propres et, dans certains cas, sur des ensembles de test simultanément corrompus.

2. Cadre analytique :

   • Les auteurs analysent la limite de largeur infinie des MLP en utilisant la description NTK, où l'entraînement avec la perte MSE est équivalent à une régression par noyau.
   • Ils effectuent une expansion inspirée du champ moyen dans le « régime de forte corruption » (où la force du signal $\epsilon = 1-p$ est faible et la dimension des caractéristiques $d$ est grande).
   • La dérivation implique l'expansion du NTK et du prédicteur résultant autour du point fixe du bruit pur ($\epsilon = 0$), en traitant le signal survivant comme une perturbation linéaire.
   • Un argument de symétrie basé sur l'invariance par permutation à la limite du bruit pur est utilisé pour expliquer l'universalité de la règle de décision résultante.

Contributions clés et résultats

1. Robustesse empirique :

   • Les expériences démontrent que les MLP restent remarquablement robustes au bruit d'attribut. Même lorsque les entrées d'entraînement sont corrompues à plus de 90 % (ex: $p=0,9$), les réseaux atteignent une précision de test bien supérieure au hasard (ex: ~70–80 % sur MNIST), bien que les images d'entraînement soient presque méconnaissables pour l'humain.
   • L'écart-type de la précision de test présente un comportement non monotone par rapport à la probabilité de corruption, culminant à des niveaux de bruit intermédiaires plutôt qu'au niveau de bruit maximal.
   • Lorsque les données d'entraînement et de test sont toutes deux corrompues, la performance optimale se produit lorsque le niveau de corruption de l'ensemble d'entraînement correspond à celui de l'ensemble de test ($p_{train} \approx p_{test}$), suggérant que le modèle apprend à généraliser au sein de la distribution corrompue spécifique.

2. La règle de décision par centroïde :

   • La principale découverte théorique est que, dans la limite de fort bruit, le réseau non linéaire complexe s'effondre en un classificateur simple et universel de type proche du centre (centroïde) :
   • La règle de décision de premier ordre pour un point de test $x_*$ consiste à l'assigner à la classe $i$ qui maximise le chevauchement avec la moyenne empirique centrée (centroïde) des données d'entraînement propres :
     $$i^* = \arg\max_i \frac{1}{d} \sum_{k=1}^d x_{k*} (\bar{x}^i_k - \bar{x}_k)$$
     où $\bar{x}^i_k$ est la moyenne de la classe $i$ et $\bar{x}_k$ est la moyenne globale.
   • Cette règle est universelle : elle est indépendante de la profondeur du réseau, de la fonction d'activation ou de la distribution spécifique du bruit (à condition qu'il soit i.i.d.), et ne dépend que des deux premiers moments de la distribution du bruit.

3. Validation analytique :

   • La forme analytique dérivée (Éq. 13/16) correspond au comportement des réseaux de largeur finie (largeur 2048) avec une grande précision ($R^2 > 0,96$) dans le régime de fort bruit ($p \approx 0,97$).
   • Le modèle prédit avec précision tant les sorties de logit moyennes que les fluctuations qui déterminent la précision de classification.
   • Une loi d'échelle du rapport signal sur bruit (SNR) dérivée suggère que la précision s'améliore avec la fraction de signal survivant $(1-p)$, la dimension des caractéristiques $d$, et le nombre d'exemples d'entraînement par classe $N/C$.

Signification et affirmations
L'article affirme que la robustesse surprenante des réseaux de neurones face à une lourde corruption d'entrée n'est pas due à un mécanisme complexe de débruitage ou de récupération de caractéristiques. Au contraire, elle provient du fait que le réseau agrège efficacement les faibles informations de classe survivantes en une règle de décision basée sur des prototypes.

• Simplicité issue de la complexité : Malgré la complexité architecturale et la non-linéarité des réseaux profonds, la règle apprise dans la limite du fort bruit devient simple, interprétable et linéaire (correspondance de modèles contre les centroïdes de classe).
• Universalité via la symétrie : Les auteurs attribuent l'universalité de cette règle à la symétrie de permutation du noyau de bruit pur. À la limite du bruit pur, les exemples d'entraînement sont échangeables ; la réponse de premier ordre à un faible signal brisant cette symétrie est contrainte de dépendre des moyennes de classe centrées.
• Tractabilité analytique : Ce travail identifie un régime rare où l'apprentissage par réseau de neurones peut être décrit en termes exceptionnellement explicites, fournissant un point fixe traçable (le bruit pur) à partir duquel dériver les corrections de premier ordre du prédicteur.

Les auteurs font preuve de modestie quant à la portée de leurs travaux, notant que si la règle de décision est universelle, l'exactitude dépend de la géométrie du jeu de données spécifique (c'est-à-dire si les centroïdes de classe propres contiennent des informations discriminantes suffisantes). Ils ne prétendent pas que cela s'applique à tous les jeux de données ou à des niveaux de corruption arbitraires, mais établissent un comportement générique de premier ordre pour les MLP dans le régime de fort bruit d'attribut.