🤖 machine learning

The Riemannian Geometry Associated to Gradient Flows of Linear Convolutional Networks

Dit artikel toont aan dat de gradiëntstroom voor het leren van diepe lineaire convolutienetwerken, ongeacht de initialisatie, kan worden beschreven als een Riemanniaanse gradiëntstroom op de functieruimte, mits de convolutiestraten groter dan één zijn voor één dimensionale convoluties.

Oorspronkelijke auteurs: El Mehdi Achour, Kathlén Kohn, Holger Rauhut

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: El Mehdi Achour, Kathlén Kohn, Holger Rauhut

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Reis van de Leren Machine: Een Wiskundig Avontuur

Stel je voor dat je een heel groot, ingewikkeld legpuzzel probeert op te lossen. Dit is wat een kunstmatige intelligentie (een "neuraal netwerk") doet als het leert. Het heeft duizenden stukjes (de parameters) die het moet verschuiven om de perfecte oplossing te vinden.

De auteurs van dit paper, El Mehdi Achour, Kathlén Kohn en Holger Rauhut, kijken naar hoe deze machine leert. Ze gebruiken een wiskundig concept genaamd "Gradient Flow" (stijgingsstroom).

De Metafoor: De Berg en de Mist

Stel je voor dat de machine zich bevindt op een enorme, mistige berg met oneindig veel dalen en pieken. Het doel is om naar het laagste punt (de beste oplossing) te lopen.

Gradient Flow is als een waterstroompje dat de berg afstroomt. Het zoekt altijd de steilste weg omlaag.
Parameters zijn de specifieke rotsen en paden waar het water over stroomt.
De Functie is het daadwerkelijke landschap dat je ziet als je uit het raam kijkt (het resultaat van de machine).

Tot nu toe wisten wetenschappers dat bij sommige soorten netwerken (de "volledig verbonden" netwerken), de manier waarop het water stroomt, afhankelijk was van welke rotsen je precies had gekozen om te starten. Als je een andere startpositie koos, stroomde het water op een heel andere manier, zelfs als je uiteindelijk op dezelfde plek uitkwam. Dit maakte het lastig om te voorspellen hoe het zou leren.

Het Nieuwe Ontdekking: De Magische Convolutie

De auteurs hebben gekeken naar een specifiek type netwerk: Convolutional Neural Networks (CNN's). Deze worden vaak gebruikt voor het herkennen van beelden (zoals gezichten of auto's).

Hun grote ontdekking is als volgt:
Bij deze CNN's is het waterstroompje onafhankelijk van de specifieke rotsen die je kiest!

De Analogie: Stel je voor dat je een rivier hebt die door een canyon stroomt. Bij een normaal netwerk hangt de stroming af van de exacte vorm van elke steen in het water. Maar bij een CNN is het alsof de canyon zo speciaal is gebouwd, dat het water altijd op precies dezelfde manier stroomt, ongeacht of je de stenen links of rechts hebt neergelegd.
De "Balans": Eerder dachten wetenschappers dat dit alleen gebeurde als je de stenen heel zorgvuldig in balans zette (een "balanced initialization"). Maar dit paper bewijst dat dit altijd zo is bij CNN's, zelfs als je de stenen willekeurig neerzet!

Waarom is dit belangrijk? (De Rijmische Meetlat)

In de wiskunde noemen ze dit een Riemanniaanse meetkunde. Dat klinkt eng, maar het is simpelweg een manier om afstanden te meten in een vreemd landschap.

Vroeger: Bij normale netwerken was de "meetlat" (de manier waarop de machine leert) wisselend en afhankelijk van de startpositie. Het was alsof je met een rekbaar elastiekje mat; soms was het lang, soms kort.
Nu: Bij CNN's is de "meetlat" vast en stabiel. Het hangt alleen af van het eindresultaat (het landschap) en een paar vaste getallen die je aan het begin hebt ingesteld.

Dit betekent dat we het leerproces van deze netwerken veel beter kunnen begrijpen en voorspellen. Het is alsof we eindelijk een perfecte kaart hebben van de berg, in plaats van alleen maar giswerk te doen.

De Uitzondering: De Eén-Dimensionale Valstrik

Er is één kleine uitzondering. Als het netwerk heel simpel is (alleen maar één rijtje getallen, "1-dimensionaal") en de stappen die het maakt heel klein zijn (soms 1), dan werkt deze regel niet meer. Dan wordt het weer chaotisch. Maar zodra het netwerk iets complexer is (in 2D of 3D, zoals echte foto's), werkt de magische regel weer perfect.

Wat betekent dit voor de toekomst?

Dit onderzoek is als een fundamentele ontdekking in de natuurkunde. Het laat zien dat de structuur van CNN's (die we gebruiken voor beeldherkenning) van nature "slimmer" is dan we dachten. Ze hebben een ingebouwde stabiliteit die hen helpt om efficiënter te leren, zelfs zonder dat we ze perfect hoeven in te stellen.

Kort samengevat:
De auteurs hebben bewezen dat bij beeldherkenningsnetwerken (CNN's) de manier waarop ze leren, altijd hetzelfde is, ongeacht hoe je ze start. Het is alsof het universum een vaste wet heeft ingesteld voor deze specifieke machines, waardoor ze betrouwbaarder en voorspelbaarder zijn dan hun "normale" broertjes. Dit helpt wetenschappers om in de toekomst nog betere en snellere AI te bouwen.

Titel: De Riemanniaanse Geometrie Geassocieerd met Gradient Flows van Lineaire Convolutionele Netwerken

Auteurs: El Mehdi Achour, Kathlén Kohn, Holger Rauhut
Publicatie: AISTATS 2026 (voorgesteld)

1. Probleemstelling

Het begrijpen van de convergentie-eigenschappen van (stochastische) gradient descent-algoritmen voor het trainen van diepe neurale netwerken is complex, voornamelijk vanwege de niet-convexe aard van de verliesfuncties. Recent onderzoek heeft aangetoond dat voor lineaire volledig verbonden netwerken (fully-connected networks), de gradient flow in de parameter ruimte onder een specifieke "balanced initialization" (evenwichtige initialisatie) kan worden herschreven als een Riemanniaanse gradient flow in de functieruimte.

Deze herschrijving impliceert dat de Neural Tangent Kernel (NTK), die de metriek van de Riemanniaanse structuur bepaalt, onafhankelijk is van de specifieke parameterisatie van het netwerk, mits de initialisatie aan de evenwichtsvoorwaarde voldoet.

Het centrale probleem dat dit artikel aanpakt, is of deze eigenschap ook geldt voor lineaire convolutionele netwerken (CNN's). In tegenstelling tot volledig verbonden netwerken hebben CNN's een gestructureerde architectuur met convoluties en strides. De auteurs onderzoeken of de NTK voor CNN's eveneens parameteronafhankelijk is, en of dit geldt ongeacht de initialisatie (dus ook zonder de strikte "balanced" voorwaarde die nodig is voor volledig verbonden netwerken).

2. Methodologie

De auteurs gebruiken een combinatie van algebraïsche meetkunde en optimalisatietheorie om de dynamica van gradient flows te analyseren.

Gradient Flow: In plaats van discrete gradient descent, analyseren ze de continue tijd-afhankelijke oplossing van de differentiaalvergelijking $\frac{d}{dt}\theta(t) = -\nabla L_D(\theta(t))$ .
Neuromanifold: Ze beschouwen de afbeelding $\mu: \Theta \to \mathcal{M}$ die parameters $\theta$ (filters) afbeeldt op de eind-tot-eind functie (de convolutiefilter). Het beeld $\mathcal{M}$ is de neuromanifold.
Invariants: Ze analyseren invarianten die constant blijven tijdens de gradient flow. Voor lineaire netwerken zijn dit de verschillen in de Frobenius-normen van opeenvolgende filters: $\delta_l = \|w_{l+1}\|_F^2 - \|w_l\|_F^2$ .
Algebraïsche Structuur: Ze benutten de isomorfie tussen convoluties en vermenigvuldiging van polynomen (voor 1D signalen) en tensor-polynomen (voor D-dimensionale signalen). Dit stelt hen in staat om de structuur van de vezels (fibers) van de parameterisatieafbeelding $\mu$ te bestuderen.
Riemanniaanse Metriek: Ze onderzoeken of de NTK ( $K_\theta = J_\theta J_\theta^\top$ ) alleen afhangt van het punt in de functieruimte ( $v = \mu(\theta)$ ) en de invarianten $\delta$ , en niet van de specifieke keuze van $\theta$ binnen de vezel $\mu^{-1}(v)$ .

3. Belangrijkste Bijdragen en Resultaten

De paper levert de volgende fundamentele inzichten:

A. Parameteronafhankelijkheid van de NTK voor CNN's

Het meest opvallende resultaat is dat voor lineaire CNN's de NTK onafhankelijk is van de parameterisatie, zelfs zonder dat de initialisatie "balanced" is. Dit geldt onder de volgende voorwaarden:

D-dimensionale convoluties ( $D \ge 2$ ): Voor elke vaste set invarianten $\delta = (\delta_1, \dots, \delta_{H-1})$ en elk punt $v$ in het gladde deel van de neuromanifold, is de NTK uniek bepaald door $v$ en $\delta$ .
1-dimensionale signalen ( $D=1$ ): De eigenschap geldt als alle strides $s_1, \dots, s_{H-1}$ groter zijn dan 1.

In deze gevallen vormen de NTK's een goed gedefinieerde Riemanniaanse metriek op het gladde deel van de neuromanifold. Dit betekent dat de evolutie van het netwerk in functieruimte kan worden beschreven als een Riemanniaanse gradient flow, ongeacht hoe de filters zijn geinitialiseerd.

B. Het geval van strides gelijk aan 1 (1D)

Als er strides gelijk aan 1 voorkomen in 1D-netwerken, is de projectivisatie van de parameterisatieafbeelding niet langer birationeel. Dit betekent dat een eind-tot-eend filter vaak meerdere verschillende parameterisaties heeft (zelfs na schaling). In dit geval is de NTK wel afhankelijk van de parameterisatie, zelfs bij vaste invarianten $\delta$ .

C. Vergelijking met Volledig Verbonden Netwerken

Voor lineaire volledig verbonden netwerken is de NTK algemeen afhankelijk van de parameterisatie, tenzij de initialisatie strikt "balanced" is ( $\Delta_i = 0$ ). De auteurs bewijzen formeel dat voor generieke (niet-balanced) initialisaties de NTK varieert binnen dezelfde vezel. Dit benadrukt een fundamenteel structureel verschil tussen CNN's en volledig verbonden netwerken: de structurele beperkingen van convoluties (translatie-equivariantie en lokale connectiviteit) beperken de parameterisatie zodanig dat de geometrie robuuster is.

D. Convergentie van de Gradient Flow

Voor 1D-netwerken met strides > 1 en generieke data/initialisatie:

De gradient flow convergeert naar een kritiek punt $\theta$ waarbij $\mu(\theta)$ een glad punt is van de neuromanifold.
De flow convergeert niet naar de nulfunctie (een zadelpunt), tenzij alle doelen $Y_i$ nul zijn.
Dit garandeert dat de training convergeert naar een zinvol minimum in zowel de parameter- als de functieruimte.

E. Uitbreiding naar ReLU Netwerken

De resultaten worden uitgebreid naar shallow ReLU netwerken (twee lagen):

Voor ReLU CNN's (met $D \ge 2$ of strides > 1) blijft de parameteronafhankelijkheid van de NTK behouden. Omdat de eerste laag lineair is op een open deel van het domein (waar de activaties positief zijn), en de filters uniek identificeerbaar zijn, hangt de NTK alleen af van de eindfunctie.
Voor ReLU MLP's (volledig verbonden) geldt dit niet; de NTK blijft parameterafhankelijk.

4. Significatie en Implicaties

Robuustheid van Implicit Regularisatie: De studie toont aan dat convolutionele architecturen een inherent robuustere "implicit geometric regularization" bezitten dan volledig verbonden netwerken. De geometrie van de optimalisatie (de Riemanniaanse metriek) is minder afhankelijk van de specifieke initialisatie in CNN's.
Finite-Width NTK: Terwijl de meeste NTK-analyses zich richten op de limiet van oneindige breedte (waar de NTK constant wordt), laten deze resultaten zien dat voor finite-width CNN's de NTK al een goed gedefinieerde structuur heeft die alleen afhangt van de functie en de invarianten, niet van de interne parameters.
Algebraïsche Meetkunde in Deep Learning: De paper versterkt het verband tussen algebraïsche meetkunde (birationaliteit, singulariteiten van neuromanifolds) en de dynamica van deep learning. Het toont aan hoe structurele beperkingen (convoluties) de representatie-geometrie van modellen kunnen dwingen tot uniciteit.
Praktische Implicatie: Voor het trainen van CNN's hoeven onderzoekers zich minder zorgen te maken over de specifieke schaal van de initialisatie om de "geometrische" eigenschappen van de gradient flow te behouden, in tegenstelling tot volledig verbonden netwerken waar een zorgvuldige "balanced" initialisatie cruciaal is voor deze specifieke theoretische eigenschappen.

Conclusie

De auteurs bewijzen dat lineaire convolutionele netwerken, in tegenstelling tot hun volledig verbonden tegenhangers, een Riemanniaanse gradient flow-dynamica vertonen die onafhankelijk is van de parameterisatie, zelfs zonder strikte evenwichtsvoorwaarden. Dit wordt mogelijk gemaakt door de algebraïsche structuur van convoluties die de parameterisatie van de eindfunctie (bijna) uniek maakt. Deze bevindingen bieden een dieper wiskundig inzicht in waarom convolutionele netwerken effectief trainen en hoe hun optimalisatielandschap fundamenteel verschilt van dat van andere netwerktypes.