Symbolic Regression Using Synergistic Basis Functions
Dit artikel introduceert Synergistic Basis Functions Regression (SBFR), een niet-evolutionaire symbolische regressiemethode die synergetische basisfuncties dynamisch genereert en selecteert om een concurrerende voorspellende prestatie met compacte feature-representaties te bereiken, waarbij het de baseline-modellen aanzienlijk overtreft in nauwkeurigheid terwijl de noodzaak voor computationeel dure evolutionaire zoektochten wordt geëlimineerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van data science proberen onderzoekers voortdurend de verborgen regels te vinden die de ene reeks getallen met de andere verbinden. Stel je voor dat je een lijst met inputs hebt, zoals de ingrediënten voor een cake, en een lijst met uitkomsten, zoals de hoogte waarop de cake rijst. Het doel is om het exacte wiskundige recept op te schrijven dat de ingrediënten in het resultaat verandert. Dit wordt regressie genoemd. Voor eenvoudige problemen volstaat een rechte lijn misschien, maar de echte wereld is zelden zo simpel. Vaak is de relatie gedraaid en verstrengeld, wat complexe formules vereist om het nauwkeurig te beschrijven.
Decennialang hebben wetenschappers een methode genaamd symbolische regressie gebruikt om dit probleem op te lossen. In plaats van alleen maar formules te gokken, doorzoeken deze computerprogramma's een enorme bibliotheek van mogelijke wiskundige expressies om de formule te vinden die het beste bij de data past. Het grote voordeel van deze aanpak is dat het uiteindelijke antwoord een duidelijke, geschreven vergelijking is die een mens kan lezen en begrijpen. Het vinden van die perfecte vergelijking is echter als het zoeken naar een specifieke naald in een hooiberg die steeds groter wordt. De traditionele manier om dit te doen omvat een proces dat lijkt op evolutie, waarbij duizenden kandidaat-formules generaties lang met elkaar concurreren, muteren en zich voortplanten. Hoewel dit kan werken, is het ongelooflijk traag en rekenintensief, en vereist het vaak enorme hoeveelheden computerkracht om een oplossing te vinden die misschien onnodig ingewikkeld is.
Een team van onderzoekers aan de Amirkabir University of Technology in Iran heeft een andere manier voorgesteld om dit probleem aan te pakken. Ze hebben een nieuwe methode geïntroduceerd genaamd Synergistic Basis Functions Regression, of SBFR, die de trage, evolutionaire zoektocht volledig overslaat. In plaats van duizenden formules tegen elkaar te laten vechten, bouwt deze nieuwe aanpak de oplossing stukje bij beetje op, zoals een ambachtsman die zorgvuldig individuele gereedschappen selecteert en past. De kern van het idee is het genereren van kandidaat-wiskundige onderdelen, zogenaamde basisfuncties, en vervolgens testen hoe goed ze samenwerken. De onderzoekers realiseerden zich dat een enkel wiskundig stukje op zichzelf misschien niet erg nuttig lijkt, maar wanneer het gecombineerd wordt met de juiste partner, ongelooflijk krachtig kan worden. Dit concept staat bekend als synergie: het geheel is groter dan de som der delen.
De onderzoekers ontwierpen hun systeem om te fungeren als een dynamische redacteur. Het begint met een lege set gereedschappen en begint nieuwe wiskundige expressies te genereren met behulp van een standaardmethode die diverse structuren creëert. Voor elke nieuwe expressie die het systeem creëert, stelt het twee vragen. Ten eerste: verbetert dit nieuwe stukje het model als we het simpelweg aan onze huidige collectie toevoegen? Ten tweede: zou dit nieuwe stukje een betere klus kunnen klaren als we het zouden uitwisselen voor een van de stukjes die we al hebben? Het systeem meet de verbetering in voorspellingsnauwkeurigheid voor beide scenario's. Als het toevoegen van het nieuwe stukje helpt, wordt het behouden. Als het uitwisselen ervan met een bestaand stukje het model nog beter maakt, wordt het oude stukje weggegooid en vervangen. Dit proces herhaalt zich en verfijnt voortdurend de collectie wiskundige instrumenten totdat het model zo nauwkeurig en compact mogelijk is.
Om te testen of deze nieuwe methode werkte, pasten de onderzoekers het toe op negen verschillende datasets, variërend van synthetische problemen ontworpen om wiskundige vaardigheden te testen tot real-world data met zaken als betonsterkte en huizenprijzen. Ze vergeleken hun nieuwe systeem met dertien andere methoden, waaronder de traditionele evolutionaire benaderingen en standaard machine learning-modellen. De resultaten toonden aan dat de nieuwe methode zeer effectief was. Gemiddeld hebben de modellen die met deze nieuwe aanpak zijn gebouwd, hun voorspellingsfouten met ongeveer veertig procent verminderd in vergelijking met de standaardmethoden. Ze verbeterden ook het vermogen van de modellen om de data te verklaren met meer dan twintig procent. Cruciaal was dat de nieuwe methode dit bereikte zonder de zware computationele kosten van een evolutionaire zoektocht.
Misschien wel de meest opvallende bevinding was hoe efficiënt het nieuwe systeem was in het simpel houden van de modellen. Terwijl sommige van de traditionele methoden modellen produceerden met honderden of zelfs duizenden wiskundige termen, waardoor ze moeilijk te interpreteren waren voor mensen, selecteerde de nieuwe methode doorgaans slechts tussen vier en twaalf stukjes om een werkend model te bouwen. Dit resulteerde in een uiteindelijke vergelijking die niet alleen accuraat was, maar ook kort genoeg om gemakkelijk begrepen en geïnspecteerd te worden. De onderzoekers ontdekten dat de beste balans tussen nauwkeurigheid en eenvoud werd bereikt wanneer de nieuwe methode werd gekoppeld aan een specifiek type machine learning-algoritme dat bekend staat als een Random Forest, die fungeerde als de uiteindelijke beslisser met behulp van de geselecteerde wiskundige stukjes.
De studie benadrukte ook dat het succes van de methode afhing van hoe goed de wiskundige stukjes samenwerkten. Een stukje dat in isolatie zwak leek, kon een sterspeler worden wanneer het werd gekoppeld aan de juiste buren. Door zich te richten op deze coöperatieve relaties in plaats van alleen op de kracht van individuele stukjes, vermeed het systeem de rommel van overbodige of nutteloze formules. Deze aanpak bewees een levensvatbaar alternatief te zijn voor de traditionele, brute-force evolutionaire methoden, en bood een manier om heldere, wiskundige regels te ontdekken uit complexe data zonder de enorme computationele overhead. Het werk suggereert dat door na te denken over hoe data-kenmerken met elkaar interageren en elkaar ondersteunen, we slimmere, schonere en begrijpelijkere modellen voor de toekomst kunnen bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.