Technische Samenvatting: Het doorzoeken van de ruimte van gewicht-update regels voor feed-forward neurale netwerken met fixed-depth symbolische regressie

Probleemstelling

Het trainen van feed-forward neurale netwerken berust op gewicht-update regels (optimizers) om foutfuncties te minimaliseren. Hoewel standaard optimizers zoals SGD, Momentum, Adam en AdaGrad breed worden gebruikt, zijn deze vaak heuristisch ontworpen. De auteurs onderzoeken of symbolische regressie algoritmisch compacte, expliciete gewicht-update regels kan ontdekken die empirisch beter presteren dan deze handmatig ontworpen, hyperparameter-getunede optimizers op kleine schaal symbolische regressie-benchmarks, zonder de computationele complexiteit significant te verhogen.

Methodologie

Zoekruimte en Representatie

De studie maakt gebruik van Symbolische Regressie om te zoeken naar gewicht-update regels die worden gerepresenteerd als expression trees met een vaste diepte.

• Operatoren: De zoekruimte bevat een vaste set unaire operatoren (bijv. ln, exp, sin, tanh, sqrt), binaire operatoren (+, -, *, /, ^) en specifieke hyperparameters (η, θ, ϵ, γ, β1, β2).
• Operanden: De bladknopen van de expression trees zijn afgeleid van grootheden die gebruikelijk zijn in bestaande optimizers. Deze omvatten huidige gewichten, gradiënten, velocity-termen, voortschrijdende gemiddelden van gradiënten (eerste en tweede momenten) en geaccumuleerde gekwadrateerde gradiënten. De operanden zijn gedefinieerd om de mechanica van Heavy-Ball, Nesterov, AdaGrad, RMSProp, Adadelta, Adam en AdamW te weerspiegelen.
• Restrictie: Alle gegenereerde regels zijn beperkt tot een fixed-depth expression tree van 5.

Experimentele Opzet

• Benchmarks: De evaluatie gebruikt 10 symbolische regressie benchmark-functies (5 van Hemberg et al. en 5 van Feynman et al.) met variërende dieptes en complexiteiten van de expression trees.
• Architecturen: Drie verschillende volledig verbonden (fully-connected) feed-forward neurale netwerkarchitecturen worden voor elke benchmark getest, waarbij wordt gevarieerd in het aantal lagen en het gebruik van sigmoid versus lineaire activatiefuncties. Dit resulteert in 30 unieke benchmark/netwerk combinaties.
• Baseline Vergelijking: Voordat de symbolische regressie plaatsvindt, wordt een grid search uitgevoerd over de hyperparameters van gevestigde optimizers (Gradient Descent, Heavy-Ball, NAG, AdaGrad, RMSProp, AdaDelta, Adam, AdamW) om de best mogelijke baseline performance voor elke combinatie vast te stellen.
• Evolutionair Proces: Een Genetic Programming (GP) algoritme evolueert populaties van kandidaat update regels.
  • Populatie: Maximale grootte van ando 100 kandidaten per thread.
  • Evaluatie: Kandidaten worden geëvalueerd door een willekeurig geïnitialiseerd neuraal netwerk exact 10 epochs te trainen met de kandidaat regel. De fitness metriek is de Mean Squared Error (MSE).
  • Seeding: Vervolgexperimenten proberen populaties te voeden met regels die ontdekt zijn in voorgaande benchmarks, hoewel ze terugvallen op willekeurige populaties als seeding niet leidt tot competitieve resultaten.
  • Terminatie: Runs stoppen als verbeteringen verwaarloosbaar worden of als 100 expressies die de baseline overtreffen zijn gevonden.

Belangrijkste Bijdragen

1. Empirische Ontdekking van Optimizers: Het artikel demonstreert dat symbolische regressie expliciete gewicht-update regels kan ontdekken die beter presteren dan de best hyperparameter-getunede standaard optimizers.
2. Compactheid en Interpreteerbaarheid: De ontdekte regels zijn structureel compact (fixed depth) en interpreteerbaar, en combineren vaak herkenbare motieven zoals adaptieve normalisatie, momentum-achtige termen en niet-lineaire transformaties, ondanks dat ze hier niet expliciet op zijn beperkt.
3. Verkenning van de Zoekruimte: Het werk verkent een enorme ruimte van potentiële vergelijkingen (geschat op $\approx 1.71 \times 10^{65}$ unieke regels voor de gegeven diepte) om effectieve dynamieken te vinden, wat onthult dat meerdere algebraïsch verschillende expressies vergelijkbare prestaties kunnen behalen.

Resultaten

• Succespercentage: In 25 van de 30 benchmark/neurale netwerk combinaties ontdekte de symbolische regressie procedure een update regel die beter presteert dan de best hyperparameter-getunede gevestigde optimizer.
• Prestatiewinst: In de 25 gevallen van verbetering was de geaggregeerde reductie in Mean Squared Error (MSE) 44.47%.
• Falen: De 5 gevallen waarin symbolische regressie er niet in slaagde een superieure regel te vinden, waren geconcentreerd in de grootste neurale netwerk architectuur (Neural Network 3), wat suggereert dat de ontdekte regels minder competitief kunnen worden naarmate de modelcomplexiteit toeneemt.
• Structurele Diversiteit: De beste ontdekte regels convergeerden niet naar één enkele symbolische vorm. Echter, vier "canonieke expressie signaturen" kwamen herhaaldelijk voor in meerdere benchmarks, die allemaal geaccumuleerde gradiënt statistieken incorporeerden. Veel regels maakten gebruik van niet-lineariteiten (trigonometrische, hyperbolische, exponentiële functies) en rationale expressies met voortschrijdende gemiddelden.

Betekenis en Beperkingen

De auteurs positioneren dit werk als een voorlopige studie in plaats van een definitieve benchmark voor deep learning optimizers.

• Betekenis: De resultaten suggereren dat symbolische regressie dient als een lichtgewicht mechanisme voor het ontdekken van compacte, expliciete en hoogpresterende optimizer varianten. Het benadrukt dat effectieve optimalisatie dynamieken zelfs bij grote variaties in functionele vorm, een lage-complexiteit symbolische representatie kunnen toestaan.
• Beperkingen: De studie is beperkt tot kleine neurale netwerken die slechts 10 epochs worden getraind op symbolische regressie taken, niet op grootschalige machine learning datasets of classificatietaken. De zoektocht is stochastisch en de ontdekte regels missen theoretische convergentiegaranties.
• Toekomstperspectief: Het artikel concludeert dat verdere validatie vereist is op grotere architecturen, langere trainingshorizonten en standaard deep-learning benchmarks. Toekomstig werk zou ook complexiteitsstraffen, stabiliteitsrestricties en post-hoc algebraïsche vereenvoudiging moeten bevatten om ervoor te zorgen dat ontdekte optimizers zowel performant als analyseerbaar zijn.