Deep Neural Network Training as Random Effects: An Optimization-Inference Duality

Technische Samenvatting: Training van Diepe Neuronale Netwerken als Random Effects

Probleemstelling
Ondanks het empirische succes van Diepe Neuronale Netwerken (DNN's) op gebieden variërend van eiwitstructuurvoorspelling tot wiskundige ontdekking, blijft hun trainingsdynamiek vanuit statistisch perspectief slecht begrepen. Het huidige inzicht wordt gedomineerd door optimalisatieperspectieven, waardoor fundamentele vragen over de statistische aard van de trainingsbaan open blijven. Bestaande theorie mist namelijk een principieel kader om te bepalen: (1) of training statistisch significante structuur extrahert die verder gaat dan de initialisatie van het netwerk, en (2) hoe de optimale stoptijd kan worden geschat als een statistische parameter die de voorspellende prestaties controleert, in plaats van als een heuristische tune-parameter. Hoewel de Neural Tangent Kernel (NTK)-theorie een beschrijving in functieruimte biedt van overgeparametriseerde DNN's in het regime met oneindige breedte, biedt deze van nature geen inferentieel kader voor deze vragen.

Methodologie
De auteurs vestigen een statistisch kader voor DNN-training in het overgeparametriseerde NTK-regime door een exacte equivalentie aan te tonen tussen continue-tijd NTK-gradiëntstroom en een klassiek random-effects model.

1. Random-Effects Representatie: Het artikel bewijst dat de output van een continue-tijd NTK-gradiëntstroom, $\hat{f}^K_t(x)$, exact equivalent is aan de Best Linear Unbiased Predictor (BLUP) in een random-effects model:
   $$y = f_0(X) + u_t + \varepsilon_t$$
   waarbij $f_0(X)$ de initialisatie is, $u_t$ een latente random effect is met een covariantiestructuur bepaald door de NTK-matrix $H_\infty$ en de trainingstijd $t$, en $\varepsilon_t$ ruis is. Cruciaal is dat de trainingstijd $t$ fungeert als een variantiecomponent (of een empirische Bayes-covariantie-hyperparameter) die de toewijzing van variantie van residuale ruis naar gestructureerd signaal beheerst.

2. Tweestaps Inferentieprocedure:

   • Fase 1 (Toetsen van Noodzaak): De auteurs stellen een scoretest voor variantiecomponenten voor om de nulhypothese $H_0: t=0$ (geen door training geïnduceerd signaal) te toetsen tegen $H_1: t>0$. Deze test bepaalt of DNN-training statistisch significante structuur vangt die verder gaat dan de initialisatie.
   • Fase 2 (Optimale Stoppen): Onder de voorwaarde dat training gerechtvaardigd is, wordt de stoptijd geschat via Restricted Maximum Likelihood (REML). De REML-doelfunctie wordt geminimaliseerd om de optimale $t$ te vinden. De auteurs leiden een schattingsvergelijking af waarbij de optimale stoptijd overeenkomt met het punt waarop de empirische covariantie tussen de geoptimaliseerde spectrale verliezen en de NTK-eigenwaarden nul is (Spectrale Verliesdecorrelatie).

3. Theoretische Garantiën: Het artikel stelt vast dat de door REML geleide stoptijd asymptotisch optimale voorspellingsfouten bereikt. Dit geldt voor voorspelling binnen de steekproef bij vast ontwerp en, onder aanvullende regulariteitsvoorwaarden, voor voorspelling buiten de steekproef bij willekeurig ontwerp. De optimaliteit wordt bewezen ten opzichte van een "orakel"-stoptijd, zonder dat vereist wordt dat de fouttermen Gaussisch zijn.

Belangrijkste Bijdragen

• Dualiteit Optimalisatie–Inferentie: Het artikel onthult dat het NTK-gradiëntstroompad tegelijkertijd een optimalisatiebaan is (minimaliseren van empirisch verlies) en een inferentiebaan voor random effects (schatten van een latent signaal). Trainingstijd wordt geherinterpreteerd als een variantiecomponent in plaats van een louter algoritmische stap.
• Exacte Equivalentie met BLUP: Het vestigt dat NTK-gradiëntstroomoutput wiskundig identiek is aan de BLUP van een latent random effect met een exponentiële covariantiestructuur afgeleid van de NTK.
• Principieel Vroegtijdig Stoppen: Het herformuleert vroegtijdig stoppen als een op likelihood gebaseerd schattingsprobleem (REML) in plaats van een heuristische of op validatie gebaseerde tune-regel. Deze aanpak elimineert de noodzaak van een vastgehouden validatiestel, waardoor het volledige trainingssteekproef behouden blijft voor modelaanpassing.
• Spectrale Interpretatie: Het REML-criterium blijkt een stoptijd te selecteren waarbij de "Empirische Spectrale Covariantie" (ESC) tussen spectrale verliezen en NTK-eigenwaarden verdwijnt. Dit biedt een geometrische interpretatie: training gaat door totdat dominante eigenrichtingen voldoende zijn aangepast, maar voordat ruisachtige richtingen met kleine eigenwaarden overgefit worden.
• Complexiteitsmaat: Het kader introduceert een spectrale maat voor modelcomplexiteit via Effectieve Vrijheidsgraden (edf), gedefinieerd als de trace van de gladmakende matrix $I - \exp(-tH_\infty)$, die monotoon groeit met de trainingstijd.

Resultaten

• Simulatiestudies: Numerieke experimenten op synthetische data tonen aan dat de voorgestelde scoretest de nominale Type I-foutcontrole handhaaft en een hoge power bezit om de noodzaak van training te detecteren. De door REML geleide regel voor vroegtijdig stoppen bereikt testfouten die vergelijkbaar zijn met of iets beter zijn dan stoppen op basis van validatie, terwijl de rekentijd drastisch wordt gereduceerd (tot 98% reductie in epochs in complexe gevallen).
• Toepassing in de Wereld: De methode werd toegepast op proteomics-data van het UK Biobank om klinische kenmerken (LDL, HbA1c, SBP, BMI) te voorspellen. De scoretest bevestigde dat training voor alle kenmerken significante voorspellende voordelen bood. De door REML geleide stopregel identificeerde optimale stoptijden die bijna optimale testprestaties opleverden met aanzienlijk lagere rekentkosten in vergelijking met methoden op basis van validatie.

Betekenis
Het artikel beweert DNN-training te herformuleren als een statistisch inferentieprobleem, waardoor een principieel fundament wordt geboden om te beslissen of en hoe lang diepe neuronale netwerken getraind moeten worden. Door overgeparametriseerde neurale netwerken te verbinden met klassieke hulpmiddelen zoals random-effects modellen, inferentie van variantiecomponenten en empirische Bayes, biedt het werk een unificerend kader dat:

1. Heuristisch vroegtijdig stoppen vervangt door een op likelihood gebaseerde schatting van een variantiecomponent.
2. Een formele statistische test biedt voor de noodzaak van niet-lineaire training.
3. Een interpreteerbaar spectraal mechanisme biedt voor modelcomplexiteit en regularisatie.
4. Asymptotische optimaliteitsgaranties voor voorspellingsfouten levert zonder te vertrouwen op de Gaussische aanname voor het data-genererende proces.

De auteurs benadrukken dat hoewel de theorie berust op de oneindig-brede NTK-benadering en continue-tijd stroom, het resulterende kader een rigoureuze statistische lens biedt om de trainingsdynamiek van moderne deep learning-systemen te bekijken en te beheersen.