In het uitgestrekte landschap van machine learning, waar computers leren gezichten te herkennen, talen te vertalen of aandelenmarkten te voorspellen, bestaat er een hardnekkige uitdaging: weten wanneer een model te ingewikkeld is geworden. Wetenschappers gebruiken al lang wiskundige hulpmiddelen die informatiecriteria worden genoemd om dit oordeel te vellen. Deze instrumenten werken als een weegschaal, die hoe goed een model bij de gegevens past, afweegt tegen het aantal bewegende onderdelen dat het heeft. Voor eenvoudige, goed gedefinieerde modellen werkt deze weegschaal perfect en biedt het een duidelijke formule om het ideale evenwicht tussen nauwkeurigheid en eenvoud te vinden. Echter, de krachtigste modellen van vandaag, met name de diepe neurale netwerken die de moderne kunstmatige intelligentie aansturen, zijn niet eenvoudig. Ze zijn vaak "singulier", wat betekent dat hun interne structuren verborgen redundanties en overlappende paden bevatten die de standaardregels van de weegschaal doorbreken. Wanneer deze standaardhulpmiddelen op zulke complexe systemen worden toegepast, kunnen ze misleidende antwoorden geven, wat er potentieel toe kan leiden dat onderzoekers het verkeerde model kiezen of de manier waarop het systeem leert verkeerd begrijpen.

Om dit op te lossen, hebben wiskundigen en computerwetenschappers zich tot een geavanceerder concept gewend dat bekend staat als de leercoëfficiënt (learning coefficient). Dit getal fungeert als een verfijnde maatstaf voor complexiteit, specifiek ontworpen om de rommelige, singuliere aard van moderne neurale netwerken aan te pakken. Het vertelt ons precies hoeveel de complexiteit van een model moet worden gestraft om een accuraat beeld van de prestaties te krijgen. Het probleem is dat het berekenen van dit getal ongelooflijk moeilijk is geweest. Jarenlang was de enige manier om dit getal te schatten het draaien van massale computersimulaties die miljoenen mogelijkheden beproefden, een proces dat traag, duur en foutgevoelig is omdat het steunt op statistische gissingen in plaats van exacte wiskunde.

Een team van onderzoekers heeft nu de eerste methode ontwikkeld om de leercoëfficiënt exact te berekenen voor een brede klasse van tweedimensionale modellen, waarbij de noodzaak voor trage simulaties volledig wordt omzeild. In plaats van te gissen, hebben zij een deterministisch algoritme gecreëerd — een reeks precieze, stapsgewijze instructies — dat de ware waarde direct kan berekenen vanuit de wiskundige beschrijving van het model. De onderzoekers testten hun methode op polynomiale neurale netwerken, een specifiek type kunstmatige intelligentie waarbij de wiskundige operaties gebaseerd zijn op machten van getallen. Ze ontdekten dat hun algoritme de exacte complexiteit van deze netwerken kon bepalen in een fractie van de tijd die simulatiegebaseerde methoden nodig hebben om een ruwe schatting te produceren. In sommige gevallen was de nieuwe methode duizenden malen sneller, en in tegenstelling tot de simulaties leverde het een definitief antwoord in plaats van een benadering met een foutmarge.

De ontdekking onthulde iets verrassends over hoe deze netwerken zich gedragen. Terwijl de onderzoekers meer lagen aan de neurale netwerken toevoegden, waardoor ze dieper en theoretisch complexer werden, nam de werkelijke leercoëfficiënt — de ware maatstaf voor hun complexiteit — soms af. Dit contra-intuïtieve resultaat suggereert dat het toevoegen van meer lagen de modellen in bepaalde configuraties zelfs efficiënter of gemakkelijker te leren kan maken, een fenomeen dat moeilijk te bewijzen was zonder een exact calculatietool. De onderzoekers toonden aan dat hun benadering werkt voor een breed scala aan polynomiale modellen, inclusief die met herhaalde gewichten en variërende dieptes, wat een nieuwe, betrouwbare manier biedt om de fundamentele geometrie van leren te begrijpen.

Dit werk doet meer dan alleen berekeningen versnellen; het biedt een nieuwe lens waardoor de "loss landscape", het wiskundige terrein dat leeralgoritmen navigeren, bekeken kan worden. Door exacte waarden te bieden, dient het algoritme als een grondwaarheid die gebruikt kan worden om de momenteel in gebruik zijnde, tragere simulatiegebaseerde methoden te kalibreren. Het stelt wetenschappers in staat om te verifiëren of hun schattingen accuraat zijn en om de algebraïsche structuur van leren te begrijpen op een manier die voorheen onmogelijk was. De onderzoekers toonden aan dat voor deze tweedimensionale modellen de complexiteit niet slechts een vast getal is gebaseerd op de omvang van het netwerk, maar een dynamische eigenschap die op onverwachte manieren kan veranderen naarmate het netwerk groeit.

De methode steunt op een slimme geometrische benadering. De onderzoekers behandelden de wiskundige functie die de fout van het model beschrijft als een vorm in de ruimte. Ze analyseerden de "hoeken" en "randen" van deze vorm om de complexiteit te bepalen. Waar eerdere pogingen om dit te doen een oneindig aantal stappen vereisten of faalden voor bepaalde soorten vormen, identificeert het nieuwe algoritme exact wanneer het moet stoppen. Het gebruikt een specifieke grens om te weten wanneer het genoeg informatie heeft verzameld om het uiteindelijke antwoord te berekenen. Dit zorgt ervoor dat het proces altijd eindigt en altijd het juiste resultaat geeft, mits het model aan de tweedimensionale criteria voldoet.

In hun experimenten vergeleken het team hun exacte algoritme met de standaard simulatiemethode, bekend als stochastic gradient Langevin dynamics. Voor eenvoudige netwerken produceerden beide methoden vergelijkbare resultaten, maar de simulatie deed er honderden seconden over om te draaien, terwijl het nieuwe algoritme in minder dan een seconde klaar was. Naarmate de netwerken dieper en complexer werden, begon de simulatiemethode moeite te krijgen, waarbij het soms faalde om een stabiel resultaat te produceren of meer dan een uur nodig had om te draaien. In contrast hiermee bleef het exacte algoritme precieze antwoorden leveren, hoewel de benodigde tijd toenam met de complexiteit van het polynoom. De resultaten waren zo duidelijk dat de onderzoekers de exacte rationale getallen konden zien die de complexiteit vertegenwoordigen, in plaats van de decimale benaderingen die de simulaties produceerden.

De implicaties van dit werk reiken verder dan alleen deze specifieke neurale netwerken. Het vermogen om deze coëfficiënten exact te berekenen geeft onderzoekers een krachtig instrument om de theorie van het leren zelf te bestudelen. Het stelt hen in staat om hypothesen te testen over waarom bepaalde modellen beter leren dan andere en om de verborgen structuren te begrijpen die sommige modellen singulier maken. Hoewel de huidige methode beperkt is tot modellen met twee parameters, suggereert het succes van deze aanpak dat vergelijkbare exacte methoden uiteindelijk ontwikkeld kunnen worden voor complexere, hogere-dimensionale systemen. Voor nu vormt het een belangrijke stap voorwaarts, waarbij een probleem dat ooit werd geacht een eindeloos gissen te vereisen, nu met zekerheid kan worden opgelost.

De onderzoekers benadrukken dat dit geen wondermiddel is voor alle machine learning-problemen, maar eerder een precies instrument voor een specifieke, belangrijke klasse van modellen. Door de onzekerheid uit de berekening van leercoëfficiënten te verwijderen, hebben zij de deur geopend naar een dieper begrip van hoe kunstmatige intelligentie leert. Het werk onderstreept dat zelfs in de meest complexe systemen een onderliggende orde aanwezig is die aan het licht kan worden gebracht met de juiste wiskundige instrumenten. Terwijl het veld van kunstmatige intelligentie blijft groeien, zal het hebben van een betrouwbare manier om de werkelijke complexiteit van deze modellen te meten en te begrijpen, essentieel zijn voor het bouwen van systemen die niet alleen krachtig, maar ook efficiënt en betrouwbaar zijn. Het vermogen om de exacte structuur van het leren te zien, in plaats van slechts een schatting, verandert het gesprek van "hoe dichtbij zijn we?" naar "waar zijn we precies?".