Pruning-induced phases in fully-connected neural networks: the eumentia, the dementia, and the amentia

Probleemstelling

Moderne neurale netwerken zijn zwaar overparameteriseerd, wat betekent dat ze veel meer trainbare parameters bevatten dan strikt noodzakelijk is om de trainingsdata te fitten. Hoewel pruning (het verwijderen van overbodige neuronen of verbindingen) een veelgebruikte techniek is om deze netwerken te comprimeren zonder prestatieverlies, blijft de fundamentele aard van dit proces onduidelijk.
De centrale vraag die de auteurs stellen, is of pruning leidt tot scherpe fase-overgangen in het gedrag van het netwerk, en zo ja, tot welke universaliteitsklasse deze overgangen behoren. Bestaande theorieën, zoals de "Lottery Ticket Hypothesis", suggereren dat er zeldzame, trainbare subnetwerken bestaan, maar het ontbreekt aan een fysica-gebaseerd kader om te begrijpen hoe een netwerk van een stabiele, leerbare toestand overgaat naar een toestand waarin het zijn kennis vergeet of volledig faalt.

Methodologie

De auteurs onderzoeken dit probleem door een volledig verbonden neurale netwerken (FCNN) te trainen op het MNIST-dataset (handgeschreven cijfers). Ze hanteren een unieke experimentele opzet die inspiratie put uit de statistische mechanica:

1. Onafhankelijke Dropout-rates: In tegenstelling tot de standaardpraktijk waar dropout alleen tijdens het trainen wordt gebruikt, variëren de auteurs onafhankelijk twee parameters:

   • $p_{train}$: De dropout-rate tijdens het trainen.
   • $p_{eval}$: De dropout-rate tijdens de evaluatie (toepassing op onzichtbare data).
     Dit fungeert als een continue, extern instelbare "knop" om de stabiliteit van het getrainde netwerk te testen, los van de specifieke gewichten die het netwerk heeft geleerd.

2. Fasediagram Mapping: Ze bouwen een fasediagram in het tweedimensionale vlak van $(p_{train}, p_{eval})$.

3. Ordeparameter: Om de fasen te onderscheiden, analyseren ze de schaling van de cross-entropy fout ($\langle L_{CE} \rangle$) met de grootte van de trainingsdataset ($N$). Ze zoeken naar een machtsfunctie-schaling:
   $$\langle L_{CE} \rangle \sim N^{\alpha_{CE}}$$
   De exponent $\alpha_{CE}$ fungeert als de ordeparameter die de drie fasen definieert.

4. Finite-Size Scaling: Ze passen technieken uit de statistische mechanica toe (zoals eindgrootte-schaling) om de aard van de overgang tussen de fasen te karakteriseren, specifiek zoekend naar tekenen van een Berezinskii-Kosterlitz-Thouless (BKT)-achtige overgang.

Belangrijkste Bijdragen en Resultaten

De studie identificeert drie distincte fasen, die de auteurs met klinische neurologische termen hebben vernoemd:

1. Eumentia-fase (Gezond):

   • Voorwaarde: Lage $p_{train}$ en lage $p_{eval}$.
   • Gedrag: Het netwerk leert effectief en generaliseert goed. De cross-entropy fout neemt af naarmate er meer trainingsdata beschikbaar is.
   • Exponent: $\alpha_{CE} < 0$.
   • Fysische interpretatie: Dit gedrag (algebraïsche afname van de fout) is het kenmerk van quasi-langere orde (QLRO) in de statistische mechanica.

2. Dementia-fase (Vergeetachtig):

   • Voorwaarde: Lage $p_{train}$ (goed getraind) maar hoge $p_{eval}$ (veel neuronen verwijderd bij evaluatie).
   • Gedrag: Het netwerk heeft de data succesvol geleerd, maar verliest zijn generalisatievermogen wanneer neuronen worden verwijderd tijdens de evaluatie. Curieus genoeg neemt de fout toe naarmate er meer trainingsdata wordt gebruikt.
   • Exponent: $\alpha_{CE} > 0$.
   • Interpretatie: Dit herinnert aan cognitieve achteruitgang; het netwerk is "verward" door de hoge evaluatie-dropout.

3. Amentia-fase (Onleerbaar):

   • Voorwaarde: Hoge $p_{train}$ (onafhankelijk van $p_{eval}$).
   • Gedrag: De dropout tijdens het trainen is zo hoog dat het netwerk nooit effectief kan leren. De fout is ongevoelig voor de datasetgrootte.
   • Exponent: $\alpha_{CE} \approx 0$.
   • Interpretatie: Een "geest" die nooit de capaciteit heeft ontwikkeld om te leren.

Kritisch Gedrag en BKT-Overgang:
De overgang tussen de eumentia- en dementia-fasen vertoont tekenen van een Berezinskii-Kosterlitz-Thouless (BKT)-achtige faseovergang.

• De auteurs vinden dat de correlatielengte divergeert volgens een uitgerekt exponentieel gedrag ($\xi \sim \exp(a/|p-p_c|^\sigma)$) in plaats van een eenvoudige machtsfunctie.
• Via finite-size scaling analyseren ze de kritieke exponent $\sigma$. Ze vinden een waarde van $\sigma \approx 0.8 - 1.0$, wat consistent is met een BKT-overgang (waarbij de standaardwaarde $\sigma = 0.5$ is, maar hier wordt een veralgemeende vorm gevonden).
• De data collapse bevestigt dat deze overgang robuust is voor verschillende netwerkbreedtes ($n_h$) en dieptes ($L$).

Betekenis en Conclusie

Dit werk biedt een fundamenteel nieuw perspectief op het gedrag van neurale netwerken door ze te analyseren via de lens van de statistische mechanica.

• Conceptueel Kader: Het bewijst dat pruning (via dropout) niet slechts een technische optimalisatie is, maar een fysiek proces dat scherpe faseovergangen induceert. De termen eumentia, dementia en amentia bieden een krachtig conceptueel raamwerk om de stabiliteit van neurale netwerken te beschrijven.
• Universaliteit: De ontdekking dat de overgang tussen leren en vergeten een BKT-achtige overgang is, suggereert dat er diepe wiskundige parallellen bestaan tussen de thermodynamica van geordende systemen en de leerprocessen van kunstmatige intelligentie.
• Praktische Implicatie: Het inzicht dat een netwerk in een "dementia"-fase kan verkeren (goed getraind, maar kwetsbaar voor neuronverlies) benadrukt het belang van robuustheidstests die verder gaan dan standaard evaluatie.

Samenvattend establisheren de auteurs dat het gedrag van neurale netwerken onder pruning kan worden begrepen als een systeem dat fasen doorloopt met specifieke schalingswetten, waarbij de overgang tussen leren en vergeten wordt gekenmerkt door schaal-invariantie en kritisch gedrag vergelijkbaar met dat in gecondenseerde materie.