Configuration-Dependent Lower Bounds for Approximation by Shallow ReLU$^k$ Networks on the Sphere

In het landschap van de moderne computertechnologie hebben weinig hulpmiddelen onze wereld zo diepgaand hervormd als kunstmatige neurale netwerken. Dit zijn wiskundige systemen geïnspireerd door het menselijk brein, ontworpen om patronen te leren en voorspellingen te doen op basis van gegevens. In hun kern ligt een eenvoudig maar krachtig idee: door lagen van basisverwerkingseenheden op elkaar te stapelen, kan een netwerk bijna elke complexe functie benaderen. Decennialang hebben wiskundigen bestudeerd hoe goed deze netwerken specifieke vormen of curven kunnen nabootsen, een veld dat bekend staat als benaderingstheorie. Een centrale vraag in dit veld is het begrijpen van de grenzen van deze nabootsing. Net zoals een beeldhouwer een limiet heeft aan hoe fijn hij steen kan uithakken met een bepa�t gereedschap, hebben neurale netwerken een limiet aan hoe nauwkeurig ze een functie kunnen representeren, afhankelijk van de gladheid van de functie en de grootte van het netwerk. Deze limiet is niet slechts een kwestie van meer data of meer rekenkracht hebben; het is een fundamentele grens die wordt bepaald door de geometrie van het ontwerp van het netwerk.

Een specifiek type netwerk, bekend als een ondiep neuraal netwerk, gebruikt een enkele verborgen laag om deze benaderingen uit te voeren. Wanneer deze netwerken een specifieke activatiefunctie gebruiken genaamd ReLUk, die zich gedraagt als een gladde versie van een schakelaar die alleen aangaat voor positieve waarden, hebben ze een opmerkelijk vermogen getoond om complexe gegevens te modelleren. Onderzoekers weten al lang dat deze netwerken een zeer hoge nauwkeurigheid kunnen bereiken, maar er bleef een hardnekkig mysterie bestaan: is er een punt waarop het toevoegen van meer neuronen of het gladder maken van de functie simpelweg niet meer helpt? Met andere woorden, bereikt het netwerk een "plafond" waarbij het niet meer beter kan worden, ongeacht hoeveel het probeert? Deze vraag is cruciaal omdat, als een dergelijk plafond bestaat, het de ultieme potentie van deze krachtige instrumenten definieert.

Een recente studie door Tong Mao en Jinchao Xu behandelt deze vraag rechtstreeks, waarbij zij zich richten op hoe deze netwerken zich gedragen wanneer ze de opdracht krijgen functies te benaderen op het oppervlak van een sfeer. Stel je voor dat het netwerk probeert een patroon te leren dat op een wereldbol is getekend. De onderzoekers ontdekten dat de prestaties van het netwerk niet alleen afhangen van hoeveel neuronen het heeft, maar ook van hoe die neuronen in de ruimte zijn gerangschikt. Ze bewezen dat er voor een bepaalde klasse van gladde functies een strikte limiet is aan hoe snel de fout kan afnemen naarmate het netwerk groeit. Deze limiet is wat wiskundigen een "verzadigingspunt" noemen. Zodra het netwerk dit punt bereikt, kan het zijn nauwkeurigheid niet verder verbeteren, tenzij de functie die het probeert te leren een triviaal, oninteressant geval is, zoals een rechte lijn of een constante waarde.

De studie onthult dat deze limiet diep geworteld is in de fysieke ordening van de interne parameters van het netwerk, die kunnen worden beschouwd als de richtingen waarin de neuronen op de sfeer gericht zijn. De onderzoekers ontdekten dat als deze richtingen gelijkmatig verspreid zijn, het netwerk een specifieke snelheidslimiet bereikt voor zijn leerproces. Echter, als de richtingen bij elkaar geclusterd zijn of slecht zijn gerangschikt, presteert het netwerk zelfs nog slechter. De belangrijkste bevinding is dat, ongeacht hoe glad de doelfunctie is, het netwerk deze specifieke verbeteringssnelheid niet kan verslaan. Als een functie glad genoeg is om theoretisch toe te staan dat er sneller geleerd wordt, zal het netwerk toch vastzitten op dezelfde snelheidslimiet, tenzij de functie zo eenvoudig is dat deze effectief nul is. Dit betekent dat het voordeel dat deze neurale netwerken hebben ten opzichte van oudere, traditionele wiskundige instrumenten echt is, maar niet oneindig.

Om tot deze conclusie te komen, moesten de auteurs nauw kijken naar de geometrie van het probleem. Ze analyseerden hoe de "afstand" tussen de richtingen van de neuronen het vermogen van het netwerk beïnvloedt om verschillende delen van de functie te onderscheiden. Ze toonden aan dat de fout van het netwerk direct verbonden is met hoe ver deze richtingen uit elkaar liggen. Als de richtingen te dicht bij elkaar liggen of te dicht bij elkaars exacte tegenpool, verliest het netwerk zijn vermogen om zijn benadering te verfijnen. De onderzoekers demonstreerden dat voor een goed gerangschikte set richtingen, de fout afneemt met een precieze snelheid die wordt bepaald door de dimensie van de ruimte en de gladheid van de functie. Deze snelheid is het best mogelijke resultaat; proberen sneller te gaan is wiskundig onmogelijk voor enige niet-triviale functie.

Dit werk is significant omdat het neurale netwerken stevig plaatst binnen het klassieke kader van de wiskundige benadering. Lange tijd was er de hoop dat neurale netwerken in staat zouden zijn om de regels te breken die andere wiskundige instrumenten, zoals polynomen of splines, beheersen. Deze studie laat zien dat hoewel neurale netwerken krachtig zijn, ze niet magisch zijn. Ze zijn onderworpen aan dezelfde fundamentele wetten van geometrie en gladheid. De onderzoekers bewezen dat het "plafond" voor deze netwerken geen tijdelijke beperking is van de huidige technologie, maar een permanent kenmerk van hun structuur. Dit betekent dat voor elk gegeven niveau van gladheid in een functie, er een maximale snelheid is waarmee een ondiep neuraal netwerk deze kan leren, en die snelheid wordt vastgesteld door het ontwerp van het netwerk.

De implicaties van deze bevinding zijn duidelijk voor iedereen die op deze modellen vertrouwt. Het suggereert dat het simpelweg toevoegen van meer neuronen of het gladder maken van de activatiefuncties niet elk probleem zal oplossen. Zodra een netwerk dit verzadigingspunt bereikt, is de enige manier om te verbeteren het veranderen van de fundamentele structuur van het netwerk of het accepteren dat de functie die geleerd wordt te complex is voor deze specifieke architectuur. De studie levert een rigoureus wiskundig bewijs dat deze limieten bestaan en definieert exact wat ze zijn. Het biedt een duidelijke grens voor wat deze instrumenten kunnen bereiken, wat wetenschappers en ingenieurs helpt om realistische verwachtingen te scheppen voor wat neurale netwerken kunnen doen.

Uiteindelijk schetst het onderzoek een beeld van neurale netwerken als krachtige maar begrensde instrumenten. Ze kunnen dingen doen die oudere methoden niet kunnen, maar ze zijn niet grenzeloos. De studie bevestigt dat de prestaties van deze netwerken worden beheerst door een delicaat evenwicht tussen de gladheid van de gegevens en de geometrische ordening van de componenten van het netwerk. Door het exacte punt te identificeren waarop verbetering stopt, hebben de onderzoekers een cruciaal puzzelstukje geleverd in het begrijpen van de werkelijke capaciteiten van kunstmatige intelligentie. Deze kennis stelt ons in staat om de kracht van deze instrumenten te waarderen terwijl we hun inherente beperkingen respecteren, zodat we ze daar inzetten waar ze het meest effectief zijn en begrijpen wanneer we de rand van hun potentieel hebben bereikt.