Optimal Sobolev Approximation by Deterministic and Random Shallow Sigmoidal Networks

In het uitgestrekte landschap van de moderne wiskunde bestaat een hardnekkige vraag over hoe goed we de vorm van de complexe werkelijkheid kunnen vangen met eenvoudige bouwstenen. Stel je voor dat je een ruig bergmassief, een kolkende weerspatroon of de stroom van elektriciteit door een circuit probeert te beschrijven. Deze verschijnselen worden gedefinieerd door hun gladheid en hun ruwheid, hun zachte hellingen en hun scherpe randen. Wiskundigen noemen deze kwaliteit "regulariteit". Decennialang hebben onderzoekers vertrouwd op kunstmatige neurale netwerken — computationele modellen geïnspireerd door het menselijk brein — om deze complexe functies te benaderen. Specifiek gebruiken ze "ondiepe" netwerken, die een enkele laag verborgen verwerkingseenheden hebben die tussen een input en een output zijn geplaatst. Deze eenheden gebruiken vaak een gladde, S-vormige curve, bekend als een sigmoid, om gegevens te transformeren. Het centrale raadsel is geweest: als we de interne instellingen van deze eenheden vooraf vastleggen, ofwel door ze zorgvuldig te kiezen of door ze willekeurig te selecteren, kan het netwerk dan nog steeds leren om elke gladde functie met hoge precisie na te bootsen? Het antwoord bepaalt of deze flexibele instrumenten louter heuristische trucjes zijn of wiskundig rigoureuze instrumenten die in staat zijn de moeilijkste vergelijkingen in de natuurkunde en techniek op te lossen.

Een team van onderzoekers heeft deze vraag nu beantwoord voor een brede klasse van deze gladde, S-vormige curves. Ze bewezen dat ondiepe netwerken inderdaad de best mogelijke nauwkeurigheidsgraad kunnen bereiken bij het benaderen van gladde functies, mits het netwerk voldoende eenheden heeft. Dit geldt zowel wanneer de interne instellingen vooraf via een precies, deterministisch recept zijn gekozen als wanneer ze willekeurig zijn getrokken uit een pool van mogelijkheden. De onderzoekers concentreerden zich op standaard activatiefuncties die in de praktijk worden gebruikt, zoals de hyperbooltangent en de foutfunctie (error function), die bekend staan om hun gladde, klokvormige afgeleiden. Hun werk toont aan dat, met een specifiek aantal verborgen eenheden, het netwerk een doelfunctie kan benaderen met een fout die voorspelbaar krimpt naarmate er meer eenheden worden toegevoegd. Dit verbeteringspercentage is niet alleen goed; het is wiskundig optimaal, wat betekent dat geen enkele andere methode met hetzelfde aantal computationele middelen beter zou kunnen presteren.

De studie maakt onderscheid tussen twee manieren om deze netwerken op te zetten. In de eerste benadering construeerden de onderzoekers een deterministisch woordenboek van kenmerken. Ze kozen zorgvuldig de richtingen en verschuivingen voor elke verborgen eenheid, waarbij ze ze als een precies rooster arrangeerden om de ruimte van mogelijke inputs te dekken. Ze toonden aan dat voor elke functie met een bepaald niveau van gladheid, dit zorgvuldig opgebouwde netwerk deze kan benaderen met een fout die op de snelst mogelijke snelheid afneemt die door de wetten van de wiskunde wordt toegestaan. Deze snelheid hangt af van de dimensie van het probleem en de gladheid van de doelfunctie. Als de functie zeer glad is, daalt de fout snel; als de functie ruwer is, is de daling langzamer, maar volgt het een perfect, voorspelbaar algebraïsch reglement. Cruciaal is dat de onderzoekers ook bewezen dat de getallen die worden gebruikt om deze eenheden te combineren niet ongecontroleerd groeien, wat garandeert dat de methode stabiel en bruikbaar blijft.

In de tweede, misschien wel meer verrassende benadering, testten de onderzoekers wat er gebeurt wanneer de interne instellingen niet zorgvuldig worden gekozen, maar in plaats daarvan willekeurig worden gesampled. In veel praktische toepassingen geven ingenieurs de voorkeur aan willekeurige sampling omdat dit sneller en gemakkelijker te implementeren is dan het ontwerpen van een perfect rooster. De onderzoekers bewezen dat zelfs met willekeurige sampling het netwerk dezelfde krachtige eigenschap behoudt om gladde functies te benaderen. Zolang de willekeurige selectie afkomstig is van een distributie die de noodzakelijke ruimte dekt zonder grote gaten achter te laten, zal het netwerk met een zeer hoge waarschijnlijkheid dezelfde optimale nauwkeurigheidsgraad bereiken. De enige prijs voor deze willekeur is een kleine, logaritmische toename in het aantal eenheden dat vereist is om hetzelfde niveau van precisie te bereiken. Dit inzicht is significant omdat het het gebruik van willekeurige kenmerken in hoogdimensionale problemen valideert, en bevestigt dat het "geluk" van willekeurige sampling niet ten koste gaat van de wiskundige kracht.

Om hun theoretische bewijzen te verifiëren, voerden de onderzoekers uitgebreide numerieke experimenten uit over een breed scala aan scenario's. Ze testten dimensies variërend van twee tot tien, waarbij ze functies met verschillende graden van gladheid targetten en fouten op verschillende manieren maten, van eenvoudige gemiddelde verschillen tot complexere maten die afgeleiden omvatten. In elk geval kwamen de computatiesimulaties perfect overeen met hun wore mathematical voorspellingen. De grafieken van fout versus het aantal eenheden vertoonden rechte lijnen op een logaritmische schaal, wat bevestigde dat de fout op exact de algebraïsche snelheden kromp die de theorie voorspelde. Of de kenmerken nu deterministisch of willekeurig waren, of het doel nu een eenvoudige curve of een complex tiendimensionaal oppervlak was, de resultaten waren consistent. De experimenten bestreken een breed spectrum aan condities, inclus ook hoogdimensionale settings waar intuïtie vaak tekortschiet, en in elk geval presteerden de netwerken exact zoals de nieuwe theorie hen beschreef.

De implicaties van dit werk reiken verder dan de abstracte wereld van de benaderingstheorie. Het biedt een solide fundament voor het gebruik van netwerken met vaste kenmerken bij het oplossen van partiële differentiaalvergelijkingen, die de taal zijn van de natuurkunde, techniek en financiën. Deze vergelijkingen beschrijven vaak systemen met scherpe gradiënten of complexe grenzen, en de wetenschap dat een willekeurige of deterministische set kenmerken deze optimaal kan benaderen, geeft wetenschappers vertrouwen in hun numerieke instrumenten. De onderzoekers identificeerden ook de exacte schaal waarop de interne parameters van het netwerk moeten worden ingesteld om deze resultaten te bereiken, een detail dat cruciaal is voor praktische implementatie. Door vast te stellen dat gladde sigmoïdale activaties de volledige hiërarchie van benaderingssnelheden behouden, sluit de studie een langdurig gat in het wiskundige begrip van neurale netwerken. Het bevestigt dat deze modellen niet slechts flexibele curve-fitters zijn, maar theoretisch onderbouwde instrumenten die in staat zijn de volledige complexiteit van de gladde, hoogdimensionale werkelijkheid te vatten.