Learning from almost nothing: How neural networks survive heavy input corruption

Technische Samenvatting: Leren van bijna niets

Probleemstelling
Het artikel behandelt het probleem van leren van imperfecte data, met een specifieke focus op attribuutruis (corruptie van inputkenmerken) terwijl de labels intact blijven. Terwijl labelruis aanzienlijke analytische aandacht heeft gekregen, is attribuutruis—veelvoorkomend in reële scenario's door sensorfouten of ontbrekende kenmerken—theoretisch minder onderzocht. De centrale vraag is of neurale netwerken een coherente classificatieregel kunnen leren en kunnen generaliseren naar schone testdata wanneer ze getraind worden op inputs die zwaar gecorrumpeerd zijn, tot op het punt dat het signaal voor menselijke waarnemers bijna niet meer te onderscheiden is van willekeurige ruis.

Methodologie
De auteurs hanteren een tweeledige aanpak waarbij empirische experimenten worden gecombineerd met analytische afleiding binnen het Neural Tangent Kernel (NTK)-raamwerk.

1. Empirische Opzet:

   • Modellen: Multi-layer perceptrons (MLP's) met 3 verborgen lagen en variërende breedtes (128 tot 2048).
   • Datasets: MNIST, Fashion-MNIST en KMNIST.
   • Corruptiemodellen: Twee typen inputcorruptie worden getest:
     • Replacement Noise (Vervangingsruis): Elke pixel wordt onafhankelijk vervangen door uniforme ruis met waarschijnlijkheid $p$.
     • Additive Noise (Additieve ruis): Elke pixel is een convexe combinatie van de schone pixel en onafhankelijke ruis.
   • Training: Netwerken worden getraind op gecorrumpeerde inputs met schone labels met behulp van cross-entropy of mean-squared error (MSE) loss.
   • Evaluatie: Prestaties worden gemeten op schone testsets en, in sommige gevallen, op gelijktijdig gecorrumpeerde testsets.

2. Analytisch Raamwerk:

   • De auteurs analyseren de oneindige breedte-limiet van MLP's met behulp van de NTK-beschrijving, waarbij trainen met MSE-loss equivalent is aan kernelregressie.
   • Ze voeren een mean-field-geïnspireerde expansie uit in het "zware corruptieregime" (waarbij de signaalsterkte $\epsilon = 1-p$ klein is en de kenmerkdimensie $d$ groot).
   • De afleiding omvat het expanderen van de NTK en de resulterende predictor rond het pure-ruis vast punt ($\epsilon = 0$), waarbij het overlevende signaal als een lineaire perturbatie wordt behandeld.
   • Een symmetieargument gebaseerd op permutatie-invariantie bij het pure-ruis limiet wordt gebruikt om de universaliteit van de resulterende beslissingsregel te verklaren.

Belangrijkste Bijdragen en Resultaten

1. Empirische Robuustheid:

   • Experimenten tonen aan dat MLP's opmerkelijk robuust blijven tegen attribuutruis. Zelfs wanneer trainingsinputs >90% gecorrumpeerd zijn (bijv. $p=0,9$), bereiken netwerken een testnauwkeurigheid die ver boven willekeurige kans ligt (bijv. ~70–80% op MNIST), ondanks dat de trainingsbeelden voor mensen bijna onherkenbaar zijn.
   • De standaarddeviatie van de testnauwkeurigheid vertoont een niet-monotoon gedrag met betrekking tot de corruptiekans, met een piek bij intermediaire ruisniveaus in plaats van bij maximale ruis.
   • Wanneer zowel de trainings- als de testdata gecorrumpeerd zijn, vindt optimale prestatie plaats wanneer het corruptieniveau van de trainingsset overeenkomt met dat van de testset ($p_{train} \approx p_{test}$), wat suggereert dat het model leert te generaliseren binnen de specifieke gecorrumpeerde distributie.

2. De Centroid Beslissingsregel:

   • De belangrijkste theoretische bevinding is dat in het hoge-ruislimiet, het complexe niet-lineaire netwerk convergeert naar een eenvoudige, universele nearest-class-mean (centroid) classifier.
   • De leidende-orde beslissingsregel voor een testpunt $x_*$ is om het toe te wijzen aan de klasse $i$ die de overlap maximaliseert met de gecentreerde empirische gemiddelde (centroid) van de schone trainingsdata:
     $$i^* = \arg\max_i \frac{1}{d} \sum_{k=1}^d x_{k*} (\bar{x}^i_k - \bar{x}_k)$$
     waarbij $\bar{x}^i_k$ het gemiddelde van klasse $i$ is en $\bar{x}_k$ het globale gemiddelde.
   • Deze regel is universeel: deze geldt ongeacht de netwerkdiepte, activatiefunctie of de specifieke distributie van de ruis (mits deze i.i.d. is), en hangt enkel af van de eerste twee momenten van de ruisdistributie.

3. Analytische Validatie:

   • De afgeleide analytische vorm (Eq. 13/16) komt met hoge precisie ($R^2 > 0,96$) overeen met het gedrag van eindige-breedte netwerken (breedte 2048) in het hoge-ruisregime ($p \approx 0,97$).
   • Het model voorspelt nauwkeurig zowel de gemiddelde logit-outputs als de fluctuaties die de classificatienauwkeurigheid bepalen.
   • Een afgeleide Signal-to-Noise Ratio (SNR) schaalwet suggereert dat de nauwkeurigheid verbetert met de fractie overlevend signaal $(1-p)$, de kenmerkdimensie $d$, en het aantal trainingsvoorbeelden per klasse $N/C$.

Betekenis en Claims
Het artikel beweert dat de verrassende robuustheid van neurale netwerken tegen zware inputcorruptie niet komt door een complex denoising- of feature-recovery mechanisme. In plaats daarvan komt het voort uit het feit dat het netwerk het zwakke, overlevende klasse-informatie effectief aggregeert in een prototype-gebaseerde beslissingsregel.

• Eenvoud uit Complexiteit: Ondanks de architecturale complexiteit en nonlineariteit van diepe netwerken, wordt de geleerde regel in het hoge-ruislimiet simpel, interpreteerbaar en lineair (template matching tegen klasse-centroids).
• Universaliteit via Symmetrie: De auteurs schrijven de universaliteit van deze regel toe aan de permutatiesymmetrie van de pure-ruis kernel. Bij het pure-ruis limiet zijn trainingsvoorbeelden uitwisselbaar; de leidende-orde respons op een klein signaal dat deze symmetrie doorbreekt, is gedwongen afhankelijk te zijn van gecentreerde klasse-gemiddelden.
• Analytische Tractabiliteit: Het werk identificeert een zeldzaam regime waarin het leren van neurale netwerken op een ongewoon expliciete wijze kan worden beschreven, wat een tractabele vaste punt (pure ruis) biedt van waaruit de leidende-orde correcties aan de predictor kunnen worden afgeleid.

De auteurs blijven bescheiden over de reikwijdte en merken op dat hoewel de beslissingsregel universeel is, de nauwkeurigheid afhangt van de geometrie van de specifieke dataset (namelijk of de schone klasse-centroids voldoende discriminerende informatie bevatten). Zij beweren niet dat dit voor alle datasets of willekeurige corruptieniveaus geldt, maar stellen een generieke leidende-orde gedrag vast voor MLP's in het regime van hoge attribuutruis.