🤖 machine learning

Singular Learning and Occam's Razor in Deep Monomial Networks

Dit artikel maakt gebruik van instrumenten uit de polynoomalgebra, specifiek de stelling van Mason, om aan te tonen dat in diepe monomiale netwerken met voldoende hoge activatiegraden, kritieke punten in het optimalisatielandschap exact overeenkomen met subnetwerken met inactieve of redundante neuronen, waarmee een wiskundige verklaring wordt geboden voor de impliciete bias naar eenvoudigere functies in deep learning.

Oorspronkelijke auteurs: Kathlén Kohn, Giovanni Luca Marchetti, Farhan Shabir, Vahid Shahverdi, Weisheng Wang

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kathlén Kohn, Giovanni Luca Marchetti, Farhan Shabir, Vahid Shahverdi, Weisheng Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Waarom AI de voorkeur geeft aan "eenvoudige" oplossingen

Stel je voor dat je een robot leert om een tekening te maken. Je geeft hem een enorme doos met krijtjes, een gigantisch canvas en een zeer complexe set instructies. Je zou verwachten dat de robot elk krijtje gebruikt en het meest ingewikkelde, gedetailleerde meesterwerk mogelijk tekent.

Echter, in de echte wereld doen diepe neurale netwerken (de "robots" van de AI) vaak het tegenovergestelde. Tijdens het trainen neigen ze ernaar om veel van hun eigen interne onderdelen te negeren en genoegen te nemen met een veel eenvoudigere oplossing. Dit staat bekend als Occam's Razor: het idee dat de eenvoudigste verklaring meestal de beste is.

Dit artikel vraagt zich af: Waarom doet de AI dit? Is het gewoon geluk, of is er een wiskundige regel die het dwingt om simpel te zijn?

De auteurs, een team van wiskundigen, zeggen dat het een wiskundige regel is. Ze bewijzen dat voor een specifiek type AI-netwerk, de "probleemgebieden" waar het leerproces van nature op blijft steken, precies de plekken zijn waar het netwerk eenvoudiger is geworden door onnodige onderdelen uit te schakelen of samen te voegen.

De Personages

Om het artikel te begrijpen, laten we de hoofdrolspelers ontmoeten met behulp van een metafoor:

Het Neurale Netwerk (De Fabriek): Denk aan de AI als een fabriek met veel assemblagelijnen (lagen) en werkers (neuronen). Elke werker neemt een input, voert een wiskundige operatie uit en geeft dit door aan de volgende werker.
De "Monomial" Activatie (De Speciale Regel): In deze specifieke fabriek volgt elke werker een zeer strikte regel: ze moeten hun inputs met zichzelf vermenigvuldigen een specifiek aantal keren (zoals een getal kwadrateren of tot de macht drie verheffen). De auteurs noemen dit een "monomiale" activatie. Het is een vereenvoudigde versie van de echte AI, maar het stelt wiskundigen in staat om krachtige algebraïsche hulpmiddelen te gebruiken om te zien wat er onder de motorkap gebeurt.
De "Kritieke Punten" (De Files): Wanneer de fabriek probeert te leren, beweegt deze langs een pad om de beste manier van werken te vinden. Soms komt het een "file" of een "doodlopende weg" tegen waar de instructies verwarrend worden. In de wiskunde worden dit kritieke punten genoemd. Het artikel stelt dat dit de belangrijkste plekken zijn om naar te kijken, omdat ze de verborgen vooroordelen van de AI onthullen.
Het "Subnetwerk" (Het Gestroomlijnde Team): Een subnetwerk is wat er gebeurt wanneer sommige werkers in de fabriek ofwel:
- Inactief zijn: Ze hebben geen gereedschap (gewichten zijn nul), dus ze doen niets.
- Redundant zijn: Ze doen exact hetzelfde werk als een buurman, dus een van hen is overbodig.
- Resultaat: Je zou deze werkers kunnen ontslaan, en de fabriek zou nog steeds exact dezelfde output produceren.

De Ontdekking: Files = Gestroomlijnde Teams

De kernontdekking van het artikel is een directe link tussen de Files (Kritieke Punten) en de Gestroomlijnde Teams (Subnetwerken).

De auteurs gebruikten geavanceerde wiskunde (specifiek een hulpmiddel genaamd Mason's Theorem, wat een soort superkrachtige regel is om te controleren hoe getallen en vormen in elkaar passen) om een verrassend feit te bewijzen:

Als de werkers van de fabriek de "Monomial"-regel volgen en de wiskunde complex genoeg is, dan zijn de enige plekken waar het leerproces "vastloopt" (kritieke punten) precies de plekken waar de fabriek redundant of inactieve werkers heeft.

De Analogie:
Stel je voor dat je een doolhof probeert te navigeren. Normaal gesproken kun je overal lopen. Maar in dit specifieke doolhof zijn de enige plekken waar je in een hoek vastloopt, de plekken waar de muren al zijn afgebroken, waardoor je een korter, eenvoudiger pad overhoudt.

Het artikel bewijst dat de AI niet zomaar toevallig eenvoudige oplossingen vindt; de wiskundige structuur van het netwerk maakt het onmogelijk om ergens vast te lopen, behalve bij de eenvoudige oplossingen.

Waarom dit ertoe doet (De connectie met "Occam's Razor")

In de wereld van AI zijn "vastgelopen" punten niet altijd slecht. Sterker nog, Singular Learning Theory (SLT) suggereert dat deze vastgelopen punten fungeren als een magneet. Het leerproces wordt er van nature naartoe getrokken.

Omdat het artikel bewijst dat deze "magneten" zich precies bevinden waar het netwerk eenvoudiger is (met minder actieve neuronen), verklaart dit waarom AI van nature de voorkeur geeft aan eenvoud. Het is geen bewuste keuze van de AI; het is een wiskundige wet. De AI wordt door zijn eigen architectuur fysiek gedwongen om de extra, complexe delen weg te snijden en te settelen op een slankere, efficiëntere versie van zichzelf.

Het "Hoe" (Een Blik op de Wiskunde)

De auteurs hebben dit niet alleen geraden; ze hebben het bewezen met behulp van Polynomiale Algebra.

Ze behandelden de output van de AI als een gigantische wiskundige vergelijking (een polynoom).
Ze keken naar de "Jacobiaan", een chique manier om te meten hoe gevoelig de output van de AI is voor kleine veranderingen in de instellingen.
Ze ontdekten dat wanneer de AI "complex" is (geen redundante werkers), de wiskunde soepel verloopt.
Maar op het moment dat de AI "eenvoudig" wordt (redundante werkers verschijnen), raakt de wiskunde een singulariteit (een rank-deficient punt).
Met behulp van Mason's Theorem (een hulpmiddel uit de getaltheorie dat normaal wordt gebruikt om priemgetallen te bestuderen), lieten ze zien dat voor voldoende grote complexiteit, deze singulariteiten alleen voorkomen wanneer het netwerk simpel is.

Samenvatting

Het Problebl: Waarom worden diepe neurale netwerken van nature simpel en negeren ze onnodige onderdelen?
De Methode: De auteurs bestudeerden een vereenvoudigd AI-model met behulp van geavanceerde algebra.
Het Resultaat: Ze bewezen dat de wiskundige "bulten" in het leerpad (kritieke punten) alleen voorkomen wanneer het netwerk redundante of inactieve onderdelen heeft.
De Conclusie: De architectuur van de AI dwingt het netwerk wiskundig gezien om te convergeren naar eenvoudige, efficiënte oplossingen. Dit is een wiskundige rechtvaardiging voor Occam's Razor in deep learning.

Noot: Het artikel richt zich strikt op dit wiskundige bewijs voor netwerken met "monomiale" (op machten gebaseerde) activaties. Het beweert niet dat dit voor elk type AI in het bestaan geldt (zoals die met ReLU), maar het biedt een sterke theoretische basis voor het begrijpen van waarom eenvoud een natuurlijk resultaat is van deep learning.

Technische Samenvatting: Singuliere Leerprocessen en Occam's Razor in Diepe Monomiale Netwerken

Probleemstelling
Het artikel onderzoekt de aard van kritieke punten in het optimalisatielandschap van diepe neurale netwerken. Specifiek richt het zich op het fenomeen waarbij kritieke punten ontstaan, niet door de data of de verliesfunctie, maar door de architectuur van het model zelf. Deze punten treden op waar de Jacobiaan van de parametrisatie van het model een tekort aan rang heeft, wat leidt tot singulariteiten in de parameterruimte. Binnen de Singular Learning Theory (SLT) wordt gesteld dat dergelijke singulariteiten fungeren als een impliciete bias, wat potentieel verklaart waarom diepe neurale netwerken de neiging hebben om te convergeren naar "eenvoudigere" functies (een vorm van Occam's Razor). De auteurs richten zich op diepe volledig verbonden netwerken met monomiale activatiefuncties ( $\sigma(z) = z^r$ ), waarbij de end-to-end functie een homogene multivariabele polynoom is. De kernvraag is: Wat karakteriseert de kritieke punten van de parametrisatiemap voor voldoende grote activatiegraden?

Methodologie
De auteurs maken gebruik van instrumenten uit de polynoomalgebra en algebraïsche meetkunde, opererend binnen het kader van "Neuroalgebraïsche Meetkunde". Hun benadering omvat:

Formalisering van de setting: Het definiëren van de "neuromanifold" als de afbeelding van de parametrisatiemap $\phi$ voor diepe monomiale netwerken. Ze analyseren de relatie tussen de parameterruimte, de functieruimte en de vezels (fibers) van $\phi$ .
Karakterisering van subnetwerken: Ze definiëren "subnetwerken" als parameterconfiguraties die inactieve neuronen (verdwijnende gewichten) of redundante neuronen (proportionele inkomende gewichten) bevatten. Ze stellen vast dat het verwijderen van dergelijke neuronen een kleiner netwerk oplevert dat dezelfde functie realiseert, wat impliceert dat de vezels in de parameterruimte groter zijn.
Algebraïsche instrumenten: In tegenstelling tot eerder werk over identificeerbaarheid in monomiale netwerken (bijv. [FRWY24]), dat vertrouwde op een polynoomversie van de Laatste Stelling van Fermat (Newman-Slater), maakt dit werk gebruik van Mason's Theorem (een polynoom-analoog van de abc-vermoeden). Dit instrument maakt een rigoureuze analyse mogelijk van de deelbaarheid en graden van polynomen gedefinieerd door de netwerklagen.
Kernel-analyse: De auteurs analyseren de kernel van de Jacobiaan $J_W\phi$ . Ze bewijzen dat voor niet-subnetwerkparameters de kernel uitsluitend wordt gespannen door specifieke symmetrieën (diagonale schaling van gewichten) die overeenkomen met de generieke vezeldimensie, terwijl subnetwerken een grotere kernel bezitten.

Kernbijdragen en Resultaten
De primaire bijdrage is Theorem 5.1, die een precieze equivalentie vaststelt voor diepe volledig verbonden monomiale netwerken met een voldoende grote activatiegraad $r$ :

Een parameterconfiguratie $W$ is een kritiek punt van de parametrisatiemap $\phi$ dan en slechts dan als $W$ een subnetwerk is (d.w.z. het bevat ten minste één inactief of redundant neuron).

De bewijsstrategie verloopt als volgt:

Voorwaartse richting: Er wordt aangetoond dat als $W$ een subnetwerk is, de vezel $\phi^{-1}(f_W)$ een dimensie heeft die groter is dan de generieke vezel. Volgens de vezeldimensietheorema impliceert dit dat $W$ een kritiek punt is.
Omgekeerde richting: De auteurs bewijzen dat als $W$ $W$ geen subnetwerk is, het een regulier punt is. Dit wordt bereikt door aan te tonen dat de kernel van de Jacobiaan voor niet-subnetwerken exact de dimensie van de generieke vezel is.
- Lemma 5.3 maakt gebruik van Mason's Theorem om de graden van polynoom-quotienten te begrenzen, waarbij wordt aangetoond dat niet-proportionele outputs van de netwerklagen bepaalde lineaire afhankelijkheden niet kunnen voldoen, tenzij de activatiegraad $r$ klein is.
- Lemma 5.4 en Proposition 5.5 breiden dit uit om te laten zien dat voor $r > 9(D(D-1))^{L-1}$ (waarbij $D$ de maximale breedte en $L$ de diepte is), elke lineaire afhankelijkheid in de kernel van de Jacobiaan wijst op de aanwezigheid van redundante of inactieve neuronen.

Betekenis en Claims
Het paper claimt een wiskundige rechtvaardiging te bieden voor de geobserveerde impliciete eenvoud-bias in deep learning. Door te bewijzen dat kritieke punten exact samenvallen met subnetwerken (configuraties waarbij neuronen kunnen worden weggepruned zonder de functie te veranderen), koppelen de auteurs de geometrische singulariteiten van het model aan de structurele eenvoud van de oplossing.

In de context van Singular Learning Theory, waar kritieke punten geassocieerd worden met lagere Local Learning Coefficients (LLC) en daarmee een hogere Bayesiaanse posterieure waarschijnlijkheid, suggereert dit resultaat dat de leerdynamiek impliciet wordt gestuurd naar "gepruned" of eenvoudigere netwerkarchitecturen. De auteurs kaderen dit als een wiskundige verklaring voor de neiging van diepe neurale netwerken om een vorm van Occam's Razor te implementeren.

Beperkingen en Reikwijdte
De auteurs zijn expliciet over de reikwijdte van hun resultaten:

De equivalentie geldt strikt voor diepe volledig verbonden netwerken met monomiale activaties van een voldoende grote graad.
Het bewijs steunt op complexe scalairen ( $\mathbb{C}$ ), hoewel het resultaat zich uitstrekt tot reële scalairen ( $\mathbb{R}$ ) vanwege de compatibiliteit van de definities.
Het paper erkent dat voor andere architecturen (bijv. convolutionele netwerken, ResNets, attention-mechanismen) of niet-monomiale activaties (bijv. ReLU), de relatie tussen kritikaliteit en subnetwerken kan verschillen of een openstaand probleem kan blijven. Zo merken zij op dat convolutionele netwerken met monomiale activaties mogelijk geen kritieke punten hebben, behalve die welke de nul-functie produceren.