Technische Samenvatting: Dropout Universaliteit: Scaalwetten en Optimale Planning aan de Rand van het Chaos

Probleemstelling

Diepe neurale netwerken die zijn geïnitieerd aan de "rand van het chaos" (criticaliteit) vertonen optimale signaalvoortplanting en gradiëntpenetratie, gekenmerkt door een divergerende correlatielengte die informatie toelaat om diepe architecturen te doorkruisen. De invoering van dropout echter—a een standaard regularisatietechniek die activaties willekeurig maskert—verstort deze kritieke toestand. Eerdere mean-field theorieën (MFT) suggereerden dat dropout het perfect-uitgelijnde vaste punt ($c^*=1$) vernietigt, waardoor de correlatielengte zelfs bij kritieke initialisatie eindig blijft.

Het centrale probleem dat in dit werk wordt aangepakt, is tweeledig:

1. Theoretisch: Hoe vervormt dropout kwantitatief het fase-diagram aan de rand van het chaos, en behoren verschillende activatiefuncties (glad versus geknikt) tot verschillende universaliteitsklassen onder deze vervorming?
2. Praktisch: Gegeven een vast dropout-budget, hoe moet dropout over de netwerkdiepte worden verdeeld om de effectieve correlatielengte te maximaliseren en de testfout te minimaliseren? Standaard uniforme dropout is mogelijk niet optimaal, maar de theoretische basis voor een optimale ruimtelijke planning ontbrak.

Methodologie

De auteurs hanteren een mean-field theorie (MFT)-kader, waarbij diepe netwerken worden behandeld in de limiet van grote breedte, waarbij pre-activaties Gaussische statistieken volgen. De analyse verloopt via enkele cruciale stappen:

1. Perturbatie van Kritieke Voortplanting: Dropout wordt gemodelleerd als multiplicatieve Bernoulli-ruis die na de activatie wordt toegepast. De auteurs leiden de recursierelaties af voor de variantie en covariantie van pre-activaties onder dropout. Zij tonen aan dat dropout werkt als een symmetriebrekend "veld" ($h$) dat het vaste punt van de correlatiemap verschuift weg van $c^*=1$, zelfs wanneer het netwerk op het kritieke punt is geïnitieerd ($\chi_\perp = 1$).
2. Universaliteitsclassificatie: De analyse onderscheidt twee klassen van activatiefuncties op basis van hun analytische structuur nabij perfecte uitlijning:
   • Gladde Activaties (bijv. tanh, GELU): Staans een Taylor-ontwikkeling toe nabij $c=1$.
   • Geknikte Activaties (bijv. ReLU): Bezitten een niet-analytische "knik" (discontinue afgeleide), wat leidt tot een takpunt in de correlatiemap.
     De auteurs maken gebruik van Hermite-spectrale analyse om aan te tonen dat gladde activaties exponentieel afnemende Hermite-coëfficiënten hebben, terwijl geknikte activaties machtswetstaarten vertonen, wat de verschillende schaalgedragingen aandrijft.
3. Landau-theorie en Scaalwetten: Door de correlatiemap rond het verschoven vaste punt te ontwikkelen, leiden de auteurs een Landau-toestandvergelijking af voor de decorrelatie-ordeparameter $m \equiv 1 - c^*$. Dit levert kritieke exponenten ($\beta, \gamma, \delta, \nu, \alpha$) op en vestigt een tweeparameter-schaalcollaps die de afstand tot criticaliteit ($t$) en het dropout-veld ($h$) omvat.
4. Variatie-optimalisatie: Door de dropout-ratio te behandelen als een diepte-afhankelijk veld, formuleren de auteurs een beperkt variatieprobleem om de effectieve correlatielengte ($\xi_{eff}$) te maximaliseren onder een vast totaal dropout-budget. Het mean-field-doelwit suggereert een "verzadigde" (stap-achtige) toewijzing. Om de permutatie-invariantie van deze oplossing op te lossen (d.w.z. waar dropout te plaatsen), introduceren de auteurs een rang-stroom-tiebreaker, waarbij wordt betoogd dat dropout het meest effectief is in vroege lagen waar ranginstorting en co-aanpassing het meest dreigend zijn.

Belangrijkste Bijdragen

1. Distincte Universaliteitsklassen voor Dropout

Het artikel stelt vast dat gladde en geknikte activaties onder dropout-vervorming tot verschillende universaliteitsklassen behoren, gekenmerkt door verschillende kritieke exponenten:

• Gladde Klasse: Volgt standaard Landau-schaling met een kwadratische term ($m^2$). De correlatielengte schaalt als $\xi \sim h^{-1/2}$ (waarbij $h$ de sterkte van het dropout-veld is).
• Geknikte Klasse: Gedomineerd door een niet-analytische $m^{3/2}$-term die voortkomt uit de knik van de activatie. De correlatielengte schaalt als $\xi \sim h^{-1/3}$.
  Deze onderscheiding verklaart waarom ReLU-netwerken vaak vergevingsgezinder zijn voor imperfecte afstelling dan gladde netwerken; de geknikte klasse heeft een bredere overgangsfase.

2. Universele Scaalcollaps

De auteurs leiden een universele tweeparameter-schaalfunctie af die het gedrag van de ordoparameter $m$ over verschillende dropout-strengths en afstemmingen samenvoegt.

• Voor gladde activaties: $\tilde{m} = \sqrt{1 + \tilde{t}^2} - \tilde{t}$.
• Voor geknikte activaties: Een schaalvorm die $m \sim h^{2/3} F(t/h^{1/3})$ omvat.
  Deze voorspellingen worden geverifieerd tegen mean-field recursierelaties, wat aantoont dat de theoretische scaalwetten gelden in het asymptotische nabij-kritieke regime.

3. Optimale Dropout-planning

Het artikel biedt een theoretische afleiding voor de optimale ruimtelijke verdeling van dropout:

• Grootte: Het mean-functionele doelwit bevoordeelt een verzadigde, stap-achtige toewijzing (toepassing van maximale dropout op een fractie van de lagen en nul op de rest) in plaats van een uniforme verdeling.
• Positie: Hoewel de mean-field correlatiedynamiek permutatie-invariant is, introduceren de auteurs een rang-stroom-tiebreaker. Aangezien rangdiversiteit exponentieel afneemt met de diepte (vooral in attention-mechanismen), is de "toekomstige instorting" die dropout kan voorkomen monotoon afnemend met de diepte. Bijgevolg is de optimale strategie vooraanladen: het concentreren van het dropout-budget in de vroege lagen.

Resultaten

De theoretische voorspellingen werden getest op MLP's en Vision Transformers (ViT) met behulp van de CIFAR-10 en CIFAR-100 datasets in gecontroleerde, overgeparametriseerde regimes (breedte $\gg$ diepte) waar MFT-aannames gelden.

• Foutreductie: Vooraan geladen plannings (stap-achtig of lineair afnemend) reduceerden consistent de gehouden-out cross-entropy fout in vergelijking met constante dropout-baselines.
  • Bij MLP's varieerden de foutreducties van 18% tot 35%, afhankelijk van de activatie en het budget.
  • Bij ViT's bereikten lineair afnemende plannings een foutreductie van 4,2% en een statistisch significante nauwkeurigheidsverbetering (bijv. 49,38% versus 48,69% op CIFAR-100).
• Nauwkeurigheidsverbeteringen: Verbeteringen in nauwkeurigheid werden waargenomen als een secundair effect, consistent met de reductie in overfitting.
• Robuustheid: De voordelen bleven bestaan over verschillende activatiefuncties (ReLU, GELU), netwerkbreedtes en dropout-budgetten, mits de dropout-ratio binnen het perturbatieve regime bleef.
• Component Ablatie: In Transformers leverde het toepassen van vooraan geladen dropout op zowel attention- als MLP-blokken de beste resultaten op, wat bevestigt dat het mechanisme van toepassing is op moderne architecturen.

Betekenis en Aanspraken

Het artikel claimt een unificerend theoretisch kader te bieden dat de statistische mechanica van kritieke signaalvoortplanting verbindt met de praktische bruikbaarheid van dropout-planning.

• Theoretisch Inzicht: Het herformuleert dropout niet louter als een regularisator, maar als een relevante perturbatie die een nieuw kritiek oppervlak definieert met distincte universaliteitsklassen op basis van activatie-gladheid. Dit biedt een dieper inzicht in waarom verschillende architecturen zich verschillend gedragen onder regularisatie.
• Praktische Regel: Het werk vertaalt complexe mean-field theorie naar een eenvoudige, uitvoerbare ontwerpregel: vooraan laden dropout. Door dropout te concentreren in vroege lagen kunnen practitioners de effectieve correlatielengte van het netwerk behouden, wat leidt tot betere generalisatie zonder de rekenkosten te verhogen.
• Reikwijdte: De auteurs stellen expliciet dat hun analyse een initialisatietheorie is die zich richt op signaalvoortplanting. Zij claimen geen volledige trainingsdynamiek te modelleren (bijv. feature learning of catapult-dynamiek) of een complete theorie te bieden voor alle architecturen (bijv. volledige ResNet of CNN ruimtelijke modi worden overgelaten voor toekomstig werk). De resultaten zijn het meest betrouwbaar in brede netwerken waar correcties voor eindige breedte klein zijn.

Kortom, het artikel betoogt dat het behandelen van dropout als een diepte-afhankelijk veld een universele schaalstructuur onthult die optimale planning dicteert, en zo een principieel alternatief biedt voor de heuristiek van uniforme dropout.