Technische Samenvatting: Canonische Regularisatie van Brede Feature-Learning Neurale Netwerken

Probleemstelling

Brede neurale netwerken die opereren in het feature-learning regime—waarbij het netwerk actief representaties leert in plaats van zich te gedragen als een vaste kernelmachine—zijn de motor van modern deep learning. De theoretische understanding van deze netwerken loopt echter aanzienlijk achter op die van het kernel regime (geformaliseerd door de Neural Tangent Kernel, NTK). Er bestaat een kritieke kloof met betrekking tot de impliciete regularisatie en de function-space prior die worden geïnduceerd door training via gradient flow.

In het kernel regime is het goed vastgesteld dat gradient flow de unieke oplossing selecteert die de kwadratische afstand in de parameter-ruimte tot de initialisatie minimaliseert (verankerde ridge, $\|\theta - \theta_0\|^2$). Deze eigenschap vormt de basis van de correspondentie tussen Neurale Netwerken en Gaussische Processen (NN-GP), wat gestructureerde ruismodellering en kwantificatie van onzekerheid mogelijk maakt. Praktijkers passen echter vaak standaard weight decay ($\|\theta\|^2$) of verankerde ridge als standaard toe op feature-learning netwerken. Dit artikel betoogt dat deze regularisatoren in het feature-learning regime geometrisch niet-op elkaar afgestemd zijn, wat leidt tot een "stille" bias die de inductieve bias van het netwerk vervormt, met name in transfer learning-scenario's waar vooraf getrainde features informatief zijn.

Methodologie en Theoretisch Kader

De auteurs ontwikkelen een geometrisch kader om de dynamiek in de parameter-ruimte van overgeparametriseerde netwerken te karakteriseren die voldoen aan de Uniform Jacobian Conditioning-aanname (Aanname 2.1). Deze aanname stelt dat de Jacobiaan $J(\theta)$ singuliere waarden heeft die begrensd zijn door waarden die verschillen van nul en oneindig in een omgeving van de interpolerende oplossingen.

1. Geometrische Decompositie

De auteurs decomponeren de parameter-ruimte $\Theta$ rondom een interpolator in drie sleutelelementen:

• Flow Orbit ($O_{flow}$): De verzameling van alle parameters die bereikbaar zijn via gradient flow vanuit een initialisatie $\theta_0$. In het feature-learning regime kan dit een hoog-dimensionale sub-Riemanniaanse verzameling zijn.
• Gauge-Fixed Flow Manifold ($M_{flow}(\theta_0)$): Een specifieke $n$-dimensionale submanifold binnen de flow orbit die de gerealiseerde gradient flow-trajectorie bevat. Het dient als een kaart in de parameter-ruimte voor de functieruimte in de buurt van de interpolator.
• Output Fibres ($\Theta(c)$): Richtingen transversaal tot de flow manifold waar de trainingsvoorspellingen $g(\theta)$ constant blijven, maar voorspellingen op onzichtbare inputs drastisch kunnen veranderen.

2. De Pathologie van Ridge Regularisatie

Het artikel bewijst dat in het feature-learning regime de flow manifold $M_{flow}(\theta_0)$ gekruld is, in tegenstelling tot de affiene deelruimte van het kernel regime.

• Falen van Verankerde Ridge: De gradiënt van verankerde ridge, $-2(\theta - \theta_0)$, is een Euclidische koorde. Op een gekrulde manifold verkrijgt deze gradiënt een component langs de output fibres (orthogonaal op de flow-richting).
• Gevolg: Naarmate de regularisatiesterkte $\lambda \to 0$, convergeert de oplossing niet naar de ongerelativeerde gradient flow-limiet $\theta^*$. In plaats daarvan trekt de regularisatiegradiënt parameters langs de fibres, wat de impliciete prior vervormt en potentieel nuttige inductieve biases die tijdens pretraining zijn geleerd, vernietigt. Dit wordt geformaliseerd in Stelling 3.1.

3. Axiomatische Afleiding van de Canonische Regularisator

Om dit op te lossen, axiomatiseren de auteurs de canonische function-space energy als de minimale controle-theoretische energie die nodig is om netwerkvoutputs van initialisatie naar een doel te transporteren onder gradient flow-dynamica.

• Uniciteit: Door axioma's van isometrie-invariantie en orthogonale additiviteit op te leggen, bewijzen ze dat in het kernel regime deze energie uniek correspondeert met de gekwadrateerde RKHS-norm (waarbij verankerde ridge wordt hersteld).
• Generalisatie: Het tillen van deze energie naar de parameter-ruimte via Definitie 4.3 levert de Geodesic Ridge-regularisator op:
  $$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$$
  Dit meet de gekwadrateerde geodetische afstand langs de flow manifold plus de geodetische afstand langs de output fibre.
• Impliciete Prior: De corresponderende function-space prior wordt geïdentificeerd als een Riemanniaans Gibbs-proces, wat het NTK-Gaussische Proces generaliseert naar gekrulde geometrieën.

4. Arc Ridge: Een Praktisch Surrogaat

Omdat het berekenen van geodetische afstanden op schaal onuitvoerbaar is, stellen de auteurs Arc Ridge voor als een minimax-robust surrogaat.

• Definitie: Arc ridge is de gekwadrateerde totale padlengte van het trainings-traject: $L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$.
• Eigenschappen: Het vormt een bovengrens voor geodesic ridge, behoudt de "no-bias"-eigenschap langs de gerealiseerde gradient flow-richting, en is formeel equivalent aan early stopping onder exacte gradient flow. Het vereist geen informatie van de tweede orde en accumuleert tijdens training slechts één scalair (padlengte).

Belangrijkste Resultaten

1. Bias van Standaard Regularisatoren: Het artikel bewijst dat zowel standaard ridge als verankerde ridge de gradient flow-limiet in het feature-learning regime bevooroordeelt (Stelling 3.1). Deze bias blijft bestaan zelfs naarmate de regularisatiesterkte verdwijnt, waardoor de oplossing afwijkt langs output fibres die onzichtbaar zijn voor de trainingsverlies.
2. Geodesic Ridge als Canonische Oplossing: De auteurs leiden geodesic ridge af als de unieke regularisator die in overeenstemming is met de geometrie van feature-learning netwerken, waarbij wordt gewaarborgd dat de limiet van verdwijnende regularisatie de ongerelativeerde gradient flow-oplossing herstelt (Stelling 4.2).
3. Equivalentie van Arc Ridge: Arc ridge wordt aangetoond als een strakke, hanteerbare bovengrens voor geodesic ridge. Cruciaal wordt bewezen dat het equivalent is aan early stopping in de limiet van exacte gradient flow (Propositie F.4), wat een theoretische rechtvaardiging biedt voor early stopping als een geometrie-bewuste regularisatietechniek.
4. Empirische Validatie: Experimenten op transfer learning-taken (Leeftijdsregressie op UTKFace met ResNet18; Review-score regressie op Yelp met DistilBERT) tonen aan dat:
   • Bij hoge regularisatiesterktes standaard en verankerde ridge leiden tot significante degradatie van de testprestaties door de vernietiging van de vooraf getrainde prior.
   • Arc ridge slechts mild degradeert, consistent met onschadelijk ondertraining.
   • Bij lage regularisatiesterktes alle methoden convergeren, aangezien early stopping de bias domineert.

Betekenis en Claims

Het artikel claimt het eerste gestructureerde kader te bieden voor het begrijpen en corrigeren van de impliciete bias van gradient flow in brede feature-learning netwerken. De primaire bijdragen zijn:

• Geometrisch Inzicht: Het identificeert de kromming van de flow manifold als de oorzakelijke factor van het falen van op Euclidische afstand gebaseerde regularisatoren (zoals verankerde ridge) in feature-learning regimes.
• Theoretische Unificatie: Het generaliseert de NN-GP-correspondentie naar het feature-learning regime door het Riemanniaans Gibbs-proces te identificeren als de canonische prior en geodesic ridge als de canonische regularisator.
• Praktische Oplossing: Het stelt arc ridge (gekwadrateerde padlengte) voor als een schaalbaar, minimax-robust alternatief dat in lijn is met de geometrie van training. Dit onthult een diepe, eerder niet-geformaliseerde relatie tussen early stopping en canonische regularisatie, wat suggereert dat early stopping niet slechts een heuristiek is, maar een regularisatiestrategie die de geometrie behoudt.

De auteurs benadrukken dat hoewel hun theorie uniforme Jacobiaan-conditioning veronderstelt (empirisch geverifieerd in Aanhangsel H), de geometrische intuïtie fenomenen verklaart zoals de degradatie van vooraf getrainde representaties tijdens fine-tuning en het "grokking"-fenomeen, en een weg biedt naar robuustere regularisatiestrategieën in deep learning.