🤖 machine learning

Adaptive Protection for Evolutionary Feature Construction in Symbolic Regression with Application to Credit Classification

Dit artikel stelt een adaptief beschermingsmechanisme voor dat gebruikmaakt van metrieken voor kenmerkbelang om waardevolle geconstrueerde kenmerken selectief te behouden tijdens evolutionaire symbolische regressie, waardoor het verlies van kritiek genetisch materiaal wordt voorkomen en de kwaliteit van de oplossingen voor zowel regressie- als classificatietaken aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Hengzhe Zhang, Qi Chen, Bing Xue, Lean Yu, Wolfgang Banzhaf, Mengjie Zhang

Gepubliceerd 2026-08-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hengzhe Zhang, Qi Chen, Bing Xue, Lean Yu, Wolfgang Banzhaf, Mengjie Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die probeert het perfecte recept te bedenken voor een nieuw gerecht. Je hebt een voorraadkast vol basisingrediënten (de ruwe data), en je doel is om deze samen te mengen om iets heerlijks te creëren (een wiskundig model dat de toekomst voorspelt). In de wereld van de informatica wordt dit Symbolic Regression genoemd. In plaats van alleen maar een vast recept te volgen, gebruikt de computer een methode genaamd Evolutionary Feature Construction. Denk hierbij aan een chaotische kookshow waarin de computer duizenden willekeurige ingrediëntencombinaties probeert, proeft, en de combinaties die goed smaken bewaart. In de loop van de tijd "evolueert" het naar steeds betere recepten door de succesvolle combinaties te mengen en te muteren.

Maar er is een addertje onder het gras. In deze chaotische keuken vernietigen de gereedschappen van de computer (genetische operatoren) soms per ongeluk een perfecte, heerlijke saus die je net hebt gemaakt, enkel om een nieuwe combinatie te proberen. Het is alsof een sous-chef een perfecte taart kapot slaat om te zien of een nieuwe smaak werkt, om vervolgens de taart te verpesten zonder iets beters te vinden. Dit artikel pakt dit probleem aan. Het introduceert een slim "vangnet" dat de beste ingrediënten en sauzen die je al hebt ontdekt beschermt, zodat ze niet per ongeluk worden vernietigd terwijl de computer met de rest blijft experimenteren. De onderzoekers hebben dit getest op een enorme bibliotheek van 98 verschillende datapuzzels en zelfs op echte kredietkaartaanvragen om te zien of hun vangnet computers helpt om sneller betere antwoorden te vinden.

Het Probleem: De "Slaande Chef"

In de wereld van Symbolic Regression proberen computers de wiskundige formule te vinden die een reeks gegevens het beste verklaart. Om dit te doen, gebruiken ze vaak Evolutionary Feature Construction. Stel je voor dat de computer een toren bouwt van blokken. Het begint met eenvoudige blokken (de originele data) en probeert deze op nieuwe manieren aan elkaar te lijmen om complexe structuren (nieuwe kenmerken) te bouwen.

De computer gebruikt een proces dat lijkt op biologische evolutie: het creëert een populatie van deze blokkentorens, controleert welke het sterkst zijn (het beste in het voorspellen van data), en mengt ze vervolgens met elkaar. Het neemt een stuk van de ene toren en wisselt het uit met een stuk van een andere (crossover) of verandert willekeurig een blok (mutatie). Het doel is om de ultieme toren te vinden.

Maar hier is het probleem: soms vindt de computer een heel sterke, stabiele blokstructuur—een "bouwsteen" die de toren erg sterk maakt. Wanneer de computer deze probeert te mengen en te matchen, kan hij per ongeluk deze perfecte blok breken en vervangen door een zwakkere. Het is alsof een meesterbouwer uren heeft besteed aan het perfectioneren van een enkele baksteen, om vervolgens te zien hoe een onhandige assistent de steen van de tafel stoot en vervangt door een brokkelige steen. Het artikel betoogt dat bestaande methoden vaak geen manier hebben om deze waardevolle, hardverdiende ontdekkingen te beschermen tegen accidentele vernietiging tijdens het mengproces.

De Oplossing: Het "Adaptieve Schild"

De auteurs van dit artikel stellen een slimme oplossing voor genaamd een Adaptive Protection Mechanism. Denk hierbij aan een magisch schild dat rond de bouwstenen van de computer wordt gewikkeld.

Zo werkt het in gewone taal:

De Smaaktest: Voordat de computer begint met het mengen en verbrijzelen van blokken, proeft hij elke blokstructuur om te zien hoe belangrijk deze is. Hij gebruikt een "score" om te bepalen hoe waardevol elk blok is. Sommige blokken zijn superbelangrijk (zoals het geheime kruid in een soep), terwijl andere minder cruciaal zijn.
Het Schild: De computer brengt vervolgens een schild aan op deze blokken. Maar het is geen schild dat voor iedereen hetzelfde is. Hoe belangrijker een blok is, hoe dikker het schild wordt.
- Als een blok superbelangrijk is, is het schild zeer dik. Als de computer het tijdens een mengproces probeert te verbrijzelen, houdt het schild stand en wordt het blok hersteld naar zijn perfecte staat.
- Als een blok minder belangrijk is, is het schild dun of afwezig. De computer is vrij om het te verbrijzelen, te veranderen of te vervangen om te zien of hij er iets nog beters mee kan vinden.
Het Resultaat: Op deze manier houdt de computer zijn beste ontdekkingen veilig, terwijl hij nog steeds de vrijheid heeft om met de rest te experimenteren. Het is als een chef die de geheime saus beschermt, maar vrij is om nieuwe groenten in de salade te proberen.

Wat Ze Hebben Gevonden

De onderzoekers hebben dit idee getest op 98 verschillende benchmark-datasets (denk hierbij aan 9gebraken die de computer moest oplossen). Ze hebben het ook geprobeerd op twee real-world kredietclassificatie-datasets (om te bepalen of iemand waarschijnlijk een lening zal terugbetalen).

Werkt het? Ja. Het artikel laat zien dat het gebruik van dit adaptieve schild de kwaliteit van de oplossingen consequent verbeterde vergeleken met het niet gebruiken ervan. De computers vonden betere formules en maakten nauwkeurigere voorspellingen.
Is het beter dan gewoon vertragen? De onderzoekers vroegen zich af: "Komt dit alleen omdat we minder veranderingen doorvoeren?" Ze ontdekten dat het simpelweg verminderen van het aantal veranderingen (mutaties) niet zo goed werkte. Het "slimme schild" was beter omdat het wist wat het moest beschermen, niet alleen hoeveel het moest beschermen.
Doet de "smaaktest" ertoe? Ze probeerden verschillende manieren uit om de belangrijkheidsscore te berekenen (zoals het controleren van de ingrediënten van het recept of hoeveel de smaak veranderde). Ze kwamen tot de conclusie dat hoewel verschillende methoden werkten, de aanpak robuust was—het werkte goed, ongeacht welke specifieke "smaaktest" ze gebruikten.

Waarom Dit Belangrijk Is

Dit artikel suggereert dat door computers een manier te geven om hun beste ideeën te "onthouden" en te beschermen tijdens het chaotische proces van evolutie, we betere modellen kunnen bouwen voor alles van het voorspellen van weerpatronen tot het beoordelen van kredietrisico's. De methode vereist niet dat de computer stopt met experimenteren; het maakt het experimenteren simpelweg slimmer. De auteurs ontdekten dat deze aanpak werkt voor verschillende soorten computertypen (zoals beslissingsbomen en lineaire modellen), wat suggereert dat het een veelzijdige tool is voor iedereen die probeert patronen te vinden in rommelige data.

Kortom, het artikel bewijst dat als je wilt dat een computer een perfecte oplossing evolueert, je niet zomaar alles willekeurig moet laten verbrijzelen. Je moet de computer een manier geven om het goede vast te houden terwijl hij op zoek blijft naar het geweldige.

Technische Samenvatting: Adaptieve Bescherming voor Evolutionaire Kenmerkconstructie in Symbolische Regressie

Probleemstelling

Evolutionaire kenmerkconstructie (Evolutionary Feature Construction, EFC) binnen symbolische regressie heeft als doel om automatisch informatieve transformaties van invoerkenmerken te ontdekken om voorspellende modellen te verbeteren. Hoewel Genetische Programmering (GP) effectief transformaties kan evolueren, blijft er een fundamentele uitdaging bestaan: het balanceren tussen het behoud van nuttige "bouwstenen" (hoogpresterende kenmerktransformaties) en het genereren van nieuwe combinaties. Standaard genetische operatoren, zoals mutatie en crossover, verstoren vaak onbedoeld waardevolle bestaande kenmerken. Het wijzigen of verwijderen van een belangrijk kenmerk kan de kwaliteit van de oplossing verslechteren door een zeer effectieve bouwsteen te vervangen door een minder effectief alternatief, zelfs als de nakomeling andere nuttige kenmerken introduceert. Bestaande benaderingen missen vaak expliciete, universele mechanismen om deze kritieke componenten te beschermen zonder dat de genetische operatoren opnieuw ontworpen moeten worden.

Methodologie

Het artikel stelt een Adaptief Beschermingsmechanisme (Adaptive Protection Mechanism, APM) voor, ingebed in een universeel beschermingskader. Dit mechanisme is ontworpen om compatibel te zijn met willekeurige genetische operatoren (bijv. standaard subtree crossover en mutatie) en diverse base learners.

Kernworkflow

Het evolutionaire proces volgt een generationeel kader met de volgende sleutelfases:

Initialisatie & Evaluatie: Een populatie van individuen wordt geïnitialiseerd, waarbij elk individu bestaat uit een set kenmerktransformatie-bomen. Elk individu wordt geëvalueerd door een base learner (bijv. Ridge Regressie, Random Decision Trees of Logistische Regressie) te trainen op de geconstrueerde kenmerken. Fitness wordt bepaald door $R^2$ (regressie) of AUC (classificatie).
Berekening van Kenmerkbelangrijkheid: Na evaluatie wordt de belangrijkheid ( $I_j$ $I_{j}$ ) van elk geconstrueerd kenmerk (boom) binnen een individu berekend. Het artikel evalueert drie verschillende methoden om algemeenheid aan te tonen:
- Ingebouwde Coëfficiënten: Het gebruik van absolute coëfficiënten voor lineaire modellen of onzuiverheidsafname (impurity decrease) voor beslissingsbomen.
- SHAP-waarden: Het gebruik van de gemiddelde absolute Shapley-waarden om de marginale bijdrage over deelverzamelingen van kenmerken te meten.
- Marginale Bijdrage: Het meten van de daling in $R^2$ wanneer een specifiek kenmerk wordt verwijderd en het model opnieuw wordt gefit.
Adaptieve Bescherming (De Nieuwigheid):
- Vóór de genetische operaties (crossover/mutatie) worden de originele bomen van een individu opgeslagen.
- Nadat de operaties zijn toegepast, wordt een beschermingsscore ( $s_j$ ) berekend voor elke boom $j$ : $s_j = m_{protect} \cdot \tilde{I}_j$ , waarbij $\tilde{I}_j$ de genormaliseerde belangrijkheid is en $m_{protect}$ een instelbare beschermingscoëfficiënt.
- Een uniforme willekeurige variabele $u \sim U(0,1)$ wordt getrokken. Als $u < s_j$ , wordt de gewijzigde boom hersteld naar de oorspronkelijke opgeslagen staat.
- Logica: Zeer belangrijke kenmerken hebben een hogere kans om te worden hersteld (beschermd), terwijl minder belangrijke kenmerken vrij blijven om te worden gewijzigd of vervangen, waardoor de zoektocht naar nieuwe combinaties mogelijk blijft.

Experimentele Opzet

Datasets: 98 regressie benchmark-datasets uit de Penn Machine Learning Benchmarks (PMLB) en twee kredietclassificatie-datasets (Australië en Duitsland).
Base Learners: Ridge Regressie, Random Decision Trees en Logistische Regressie.
Metrieken: $R^2$ voor regressie en AUC voor classificatie. Statistische significantie werd getest met de Wilcoxon signed-rank test.

Belangrijkste Bijdragen

Universeel Adaptief Beschermingsmechanisme: Het artikel introduceert een mechanisme dat selectief geconstrueerde kenmerken behoudt op basis van belangrijkheidsscores. In tegenstelling tot eerdere methoden die vaak een herontwerp van genetische operatoren vereisen, omhult deze aanpak bestaande operatoren, wat zorgt voor sterkere bescherming van belangrijke kenmerken terwijl de diversiteit in minder belangrijke kenmerken behouden blijft.
Algemeenheid over Metrieken en Learners: De studie vergelijkt systematisch meerdere methoden voor het berekenen van kenmerkbelangrijkheid (coëfficiënten, SHAP, marginale bijdrage) en toont de robuustheid van het mechanisme aan over verschillende base learners (lineaire modellen, beslissingsbomen en classificatiemodellen).
Empirische Validatie: Uit uitgebreide experimenten met 98 regressie-datasets blijkt een consistente verbetering van de oplossingskwaliteit ten opzichte van baseline-benaderingen zonder bescherming. De methode wordt ook gevalideerd op kredietclassificatietaken, wat de toepasbaarheid buiten pure symbolische regressie bewijst.

Resultaten

Prestatieverbetering: Het voorgestelde mechanisme verbetert de kwaliteit van de oplossing consequent (hogere $R^2$ en AUC) vergeleken met baseline-benaderingen over de 98 regressie-datasets.
Robuustheid: De aanpak toont effectiviteit ongeacht de specifieke methode voor kenmerkbelangrijkheid of de gebruikte base learner.
Kredietclassificatie: Experimenten op de Australische en Duitse krediet-datasets bevestigen dat de methode effectief wordt uitgebreid naar classificatieproblemen, wat de zoekeffectiviteit in reële financiële contexten verbetert.

Betekenis en Claims

De auteurs stellen dat het Adaptieve Beschermingsmechanisme een cruciaal gat in evolutionaire kenmerkconstructie aanpakt: het verlies van waardevol genetisch materiaal door verstorende genetische operatoren. Door gebruik te maken van kenmerkbelangrijkheidsscores om herstel te sturen, zorgt de methode ervoor dat hoogwaardige bouwstenen betrouwbaarder worden behouden dan in standaard evolutionaire processen.

Het artikel positioneert dit werk als een "universele" oplossing die de gebruiter niet bindt aan specifieke genetische operatoren of modeltypen. Het beweert een meer adaptieve vorm van elitairheid te bieden die opereert op het niveau van het kenmerk (bouwsteen) in plaats van op het niveau van het individu, waardoor de meest waardevolle componenten van de populatie worden bewaard terwijl de evolutionaire zoektocht naar nieuwe kenmerkcombinaties nog steeds mogelijk is. De studie concludeert dat dit mechanisme een robuuste, operator-agnostische manier biedt om de prestaties van evolutionaire symbolische regressie en kenmerkconstructie te verbeteren.