Technische Samenvatting: Een Theorie van Generalisatie in Deep Learning

Probleemstelling

Deep learning-modellen met een aantal parameters dat de trainingsvoorbeelden overtreft, kunnen willekeurige ruis memoriseren en toch goed generaliseren op echte data. Klassieke op capaciteit gebaseerde grenzen (zoals VC-dimensie en Rademacher-complexiteit) zijn bij praktische schalen leeg, terwijl Neural Tangent Kernel (NTK)-theorieën alleen het "luie" regime beschrijven waarin kernen bevroren blijven. Moderne architecturen opereren in het volledige feature-learning-regime, waarin de kern tijdens training significant evolueert (met $O(1)$ in operatornorm). Er ontbreekt een niet-asymptotische theorie die generalisatie in dit dynamische regime verklaart, uiteenlopende fenomenen zoals benign overfitting en grokking verenigt, en een praktische methode biedt om direct op populatierisico te trainen zonder validatiedata.

Methodologie

De auteurs ontwikkelen een theorie gebaseerd op dynamiek in de outputruimte langs de gerealiseerde trainingsbaan. Het kernkader decomposeert de outputruimte met behulp van de cumulatieve dissipatie-Gramiaan ($W_S$), afgeleid uit de integratie van de evolutie van de empirische tangentkern ($K_{SS}$) en de output-gradiëntpropagator ($P_g$).

1. Signaalkanaal en Reservoir-decompositie

De theorie partitioneert de outputruimte in twee orthogonale deelruimten:

• Signaalkanaal ($\text{range}(W_S)$): Richtingen waarin training verlies dissipeert.
• Reservoir ($\ker(W_S)$): Richtingen waarin training geen verlies dissipeert.

Een belangrijk theoretisch resultaat is Reservoir Test-Invisibiliteit (Propositie 3.2): De testtransferoperator $G_Q$ verdwijnt in het reservoir. Bijgevolg is elke residu-fout of labelruis die tijdens training in het reservoir gevangen zit, onzichtbaar voor de testset.

2. Drift-Diffusie-scheiding in SGD

Binnen het signaalkanaal analyseert het artikel Minibatch Stochastic Gradient Descent (SGD). Het bewijst een scheiding van tijdschalen:

• Drift: Het coherente populatiesignaal accumuleert lineair ($O(T)$) langs signaaldirectionen.
• Diffusie: De gecentreerde fluctuatie (ruis) gedraagt zich als een martingaal en accumuleert slechts als een random walk ($O(\sqrt{T})$).
  Dit zorgt ervoor dat het echte signaal na verloop van tijd de idiosyncratische memorisatie domineert en ruis in het signaalkanaal onderdrukt.

3. Train-Test-koppeling onder Feature Learning

Zelfs wanneer de kern met $O(1)$ evolueert, bewijst het artikel dat testbeweging exact wordt bepaald door trainingsbeweging binnen het signaalkanaal. Door de trainings- en testverplaatsingsoperatoren te normaliseren met de cumulatieve dissipatie ($W_S^{1/2}$), kan de testverplaatsing $U_Q(T) - U_Q(s)$ worden uitgedrukt als een lineaire functie van de trainingsverplaatsing $U_S(T) - U_S(s)$ plus een onherleidbare restterm $R_\perp$. Bij kwadratisch verlies verdwijnt deze restterm, waardoor een exacte koppeling ontstaat:
$$U_Q(T) - U_Q(s) = A^\circ (U_S(T) - U_S(s))$$
waarbij $A^\circ$ de optimale lineaire voorspeller is, afgeleid uit de gerealiseerde baan.

4. Populatierisico-training-algoritme

Gedreven door de uitwisselbaarheid van trainingsdata, leiden de auteurs een onbevooroordeelde schatter af voor de snelheid van populatierisico-daling met behulp van een leave-one-out (LOO) perspectief.

• Doel: Ze definiëren een per-parameter poort op basis van de verhouding van het gekwadrateerde gemiddelde gradiënt ($\mu_k^2$) tot de batchvariantie ($\sigma_k^2$).
• Regel: Een parameter $k$ wordt alleen bijgewerkt als $\mu_k^2 > \sigma_k^2 / (b-1)$.
• Implementatie: Dit resulteert in een modificatie van de Adam-optimizer die slechts één extra toestandsvector vereist (voor het bijhouden van streaming-variantie). Deze "populatierisico-poort" onderdrukt updates op parameters waarbij het batchesignaal wordt gedomineerd door ruis, waardoor het aanpassen aan incoherente ruis effectief wordt voorkomen.

Belangrijkste Bijdragen

1. Niet-asymptotische Generalisatietheorie: Een kader dat volledig feature learning (evoluerende kernen) aankan in plaats van te vertrouwen op benaderingen met bevroren kernen. Het verklaart generalisatie via de geometrische scheiding van signaal en ruis in test-zichtbare en test-onzichtbare deelruimten.
2. Gefuseerde Verklaring van Fenomenen: De theorie biedt één mechanistische verklaring voor:
   • Benign Overfitting: Ruis die in het reservoir gevangen zit (test-onzichtbaar).
   • Double Descent: Ruis die zich verplaatst tussen reservoir en signaalkanaal naarmate de modelcapaciteit verandert.
   • Implicit Bias: Het spectrale schema van $W_S(t)$ dat het signaalkanaal vult van grootste naar kleinste eigenwaarden.
   • Grokking: Signaal dat migreert van het reservoir naar het signaalkanaal naarmate de kern in de tijd evolueert.
3. Exact Populatierisico-doel: Een methode om een exact populatierisico-doel af te leiden uit één enkele trainingsrun zonder validatiedata. Dit doel meet precies de ruis in het signaalkanaal.
4. Praktisch Algoritme: Een "Populatierisico-training"-algoritme dat fungeert als een SNR-preconditioner bovenop Adam. Het voegt minimale rekentijd toe (één toestandsvector) en vereist geen hyperparameter-tuning voor de poortdrempel.

Resultaten

De voorgestelde methode werd geëvalueerd in drie regimes waar standaard empirisch-risico-training bekend is om te falen of te overfitten:

1. Physics-Informed Neural Networks (PINNs): Op een advectieprobleem met een ruisbevatte beginvoorwaarde bereikte de populatierisico-methode een doelfout op de testset ($\ell_2 \le 0.40$) 2,4$\times$ sneller dan de beste met leersnelheid getune AdamW-baseline. Het onderdrukte ruis-aanpassing die ervoor zorgde dat standaardtraining afweek van de fysische oplossing.
2. Grokking (Modulaire Aritmetiek): Op een modulaire delingstaak ($a \cdot b^{-1} \mod 97$) die bekend staat om vertraagde generalisatie, bereikte de methode 95% held-out nauwkeurigheid bij stap 5.950, vergeleken met 29.450 voor AdamW. Dit vertegenwoordigt een 4,9$\times$ reductie in trainingsstappen, waardoor de grokking-vertraging effectief wordt ingelopen.
3. Noisy Preference Alignment (DPO): Bij het fine-tunen van Qwen2.5-0.5B-Instruct met 30% omgewisselde preferentielabels, verbeterde de methode de uiteindelijke beloningsnauwkeurigheid van 0,566 naar 0,641, terwijl het 3,05$\times$ dichter bleef bij het referentiebeleid in termen van gemiddelde absolute beloningsdrift. Het behield een aanhoudende hoge nauwkeurigheid waar AdamW faalde om te stabiliseren.

Betekenis en Claims

Het artikel claimt een geünificeerde theoretische lens te bieden die de spanning tussen overparametrisatie en generalisatie oplost zonder te vertrouwen op asymptotische limieten of bevroren kernen. Door het "reservoir" te identificeren als een test-onzichtbare put voor ruis, verklaart het waarom het overfitten van trainingsdata niet noodzakelijk impliceert dat testdata wordt overgefit.

De auteurs stellen dat hun afgeleide populatierisico-doel niet louter een heuristiek is, maar een exacte, onbevooroordeelde snelheid van populatierisico-daling die berekenbaar is vanuit één enkele run. De praktische betekenis ligt in het vermogen om direct op populatierisico te trainen, convergentie te versnellen (bijv. 5$\times$ snellere grokking), memorisatie in impliciete neurale representaties te onderdrukken en robuustheid te verbeteren bij preferentie-uitlijning, allemaal zonder de noodzaak van validatiesets of complexe hyperparameterzoektochten. De theorie overbrugt de kloof tussen het "luie" NTK-regime en het "feature-learning"-regime, en toont aan dat generalisatiemechanismen blijven bestaan zelfs wanneer de kern significant drijft.