Technische Samenvatting: Verbeteren van Generalisatie in Evolutionaire Feature Constructie door Minimalisatie van de Vicinale Jensen-kloof

Probleemstelling

Op Genetic Programming (GP) gebaseerde feature constructie is een krachtige vorm van geautomatiseerde machine learning voor symbolische regressie geworden. Echter, een hardnekkige uitdaging die de bredere toepasbaarheid beperkt, is overfitting. Hoewel GP-methoden vaak een hoge prestatie leveren op trainingsdata, falen de geconstrueerde features vaak bij het generaliseren naar ongeziene data. Traditionele benaderingen om overfitting te beheersen, zoals het reguleren van de modelgrootte (parsimonie-druk), zijn aangetoond onvoldoende te zijn voor het karakteriseren van de complexiteit van moderne evolutionaire modellen. Bovendien schieten bestaande theoretische metrieken zoals de VC-dimensie of Rademacher-complexiteit vaak tekort in het accuraat voorspellen van generalisatieprestaties in contexten die geïnspireerd zijn door deep learning. Daarnaast is het direct toepassen van Vicinal Risk Minimization (VRM) — een techniek die succesvol is in deep learning voor het verzachten van overfitting via data-augmentatie — problematisch voor GP-regressie, omdat standaard VRM ervan uitgaat dat doelwaarden (target labels) stabiel blijven onder kleine perturbaties, een aanname die vaak niet standhoudt in regressietaken waar doelwaarden continu zijn.

Methodologie

Het artikel stelt een raamwerk voor om de generalisatie te verbeteren door Vicinale Risico te decomponeren in een empirische verliescomponent en een regularisatieterm. Deze decompositie maakt onafhankelijke optimalisatie van trainingsnauwkeurigheid en modelgladheid mogelijk.

1. Theoretische Decompositie van Vicinaal Risico

De auteurs bewijzen dat het vicinale risico begrensd wordt door de som van het empirische risico en een regularisatieterm, afhankelijk van de data-augmentatiestrategie:

• Ruis-perturbatie: Als vicinale voorbeelden worden gesynthetiseerd via ruis-perturbatie (bijv. Gaussische ruis), is de regularisatieterm een Eindige Differentie (Finite Difference). Dit straft snelle veranderingen in de output van de functie af als reactie op kleine variaties in de input.
• Mixup Augmentatie: Als viciale voorbeelden worden gesynthetiseerd met de Mixup-methode (lineaire interpolatie van inputs en labels), is de regularisatieterm de Vicinale Jensen-kloof. Deze term, gedefinieerd als $(\lambda f(x_i) + (1-\lambda)f(x_j) - f(\lambda x_i + (1-\lambda)x_j))^2$, straft convexiteit en concaviteit af, wat lokale lineariteit tussen nabijgelegen datapunten bevordert.

De auteurs betogen dat het decomponeren van het risico superieur is aan het optimaliseren van het ruwe vicinale risico omdat het de volgende zaken mogelijk maakt:

• Flexibele Afwegingen: Fijne controle over de balans tussen empirisch verlies en gladheid.
• Accurate Foutschatting: Ervoor zorgen dat het empirische verlies precies wordt berekend op de originele data in plaats van te worden vermengd met ruizige geaugmenteerde samples.
• Integratie van Validatieverlies: Het mogelijk maken van het gebruik van cross-validatieverlies (in plaats van alleen empirisch verlies) als de primaire nauwkeurigheidsmetriek.

2. Het Voorgestelde Algoritme (VJM-GP)

De auteurs introduceren Vicinal Jensen Gap Minimization-based GP (VJM-GP), een evolutionair framework voor feature constructie dat gezamenlijk optimaliseert voor:

1. Empirisch Verlies: Gemeten via Leave-One-Out Cross-Validation (LOOCV) om robuustheid te garanderen.
2. Regularisatieterm: De Vicinale Jensen-kloof (of Eindige Differentie).

Kerncomponenten van het algoritme zijn onder meer:

• Multi-Objective Optimalisatie: Gebruikt non-dominated sorting met crowding distance om een Pareto-front van oplossingen te evolueren, waarbij een balans wordt gevonden tussen cross-validatieverlies en de regularisatieterm.
• Ruis-inschatting Strategie: Omdat datasets variëren in ruisniveau, stellen de auteurs een dynamische strategie voor om de regularisatiegewicht ($\tau$) aan te passen. Ze gebruiken de $R^2$-score van Extremely Randomized Trees (Extra Trees) op de dataset om ruis in te schatten; hogere ruisniveaus triggeren een sterker regularisatiegewicht om het fitten van ruis te voorkomen.
• Manifold Intrusion Detectie: Om het probleem aan te pakken waarbij Mixup-gegenereerde samples buiten de ware datamanifold vallen (wat onrealistische samples creëert), stellen de auteurs een detectiemechanisme voor. Als de label van een gesynthetiseerd sample (voorspeld door een Extra Trees-model getraind op de originele data) significant afwijkt van de lineaire interpolatie van de ouders, wordt het sample verwijderd. Dit voorkomt dat de Jensen-kloof-minimalisatie effectieve modellen in sterk niet-lineaire regio's te zwaar straft.

Belangrijkste Bijdragen

1. Theoretische Decompositie: Het artikel leidt bovengrenzen af die aantonen dat perturbatie-gebaseerde VRM decomponereert in empirisch risico en eindige differentie, terwijl mixup-gebaseerde VRM decomponeert in empirisch risico en de vicinale Jensen-kloof.
2. Geregulariseerd GP Framework: Een nieuw GP-framework (VJM-GP) wordt voorgesteld dat tegelijkertijd de cross-validatieverlies en de vicinale Jensen-kloof optimaliseert, wat een effectievere controle over overfitting biedt dan traditionele complexiteitsmaten.
3. Adaptieve Regularisatie: Een ruis-inschattingstrategie wordt geïntroduceerd om de regularisatiestuctuur dynamisch aan te passen op basis van datasetkenmerken, waardoor overmatige bestraffing in scenario's met lage ruis wordt vermeden.
4. Mitigatie van Manifold Intrusion: Een detectiestrategie wordt voorgesteld om onrealistische geaugmenteerde samples te filteren, zodat de regularisatieterm de ware geometrie van de datamanifold reflecteert.

Experimentele Resultaten

De voorgestelde methode werd geëvalueerd op 58 reële regressiedatasets uit de Penn Machine Learning Benchmark (PMLB).

• Vergelijking van Regularisatoren: De Vicinale Jensen-kloof bleek een effectievere regularisator te zijn dan de Eindige Differentie, waarbij deze de andere overtrof op 15 datasets en er slechts op 5 onderpresteerde.
• Vergelijking met Complexiteitsmaten: VJM-GP presteerde significant beter dan standaard GP en zeven andere complexiteitscontrole-methoden (inclusief Parsimony Pressure, Tikhonov Regularisatie, Rademacher-complexiteit en P-VRM) in termen van test $R^2$-scores. Het bereikte superieure generalisatie op 36 datasets vergeleken met standaard GP.
• Vergelijking met Baselines: VJM-GP werd vergeleken met 15 state-of-the-art symbolische regressie- en machine learning-algoritmen (inclusief XGBoost en ExcelFormer). Het behaalde competitieve of superieure prestaties, vooral in scenario's met beperkte steekproeven, terwijl het aanzienlijk kleinere modelgroottes behield dan gradient boosting-methoden.
• Ablatie-studies:
  • Manifold Intrusion Detectie: Het verwijderen van deze strategie resulteerde in lagere testprestaties op 6 datasets, wat de noodzaak ervan bevestigt.
  • Ruis-inschatting: De adaptieve wegingstrategie verbeterde de prestaties aanzienlijk op 12 datasets vergeleken met een vast gewicht, wat de noodzaak van dynamische regularisatie valideert.
• Label Ruis: In experimenten met ruisige labels demonstreerde VJM-GP een superieure robuustheid vergeleken met standaard GP en P-VRM.

Betekenis en Claims

Het artikel claimt dat de voorgestelde decompositie van het vicinale risico een dieper theoretisch begrip biedt van overfitting in evolutionaire feature constructie. Door het empirische verlies te scheiden van de regularisatieterm, maakt de methode een genuanceerdere controle over modelcomplexiteit mogelijk die zich richt op functionele complexiteit (gladheid en lineariteit) in plaats van enkel op syntactische complexiteit (boomgrootte).

De auteurs stellen dat hun benadering GP in staat stelt om top-prestaties te leveren in symbolische regressietaken, met name wanneer data schaars of ruizig is. Ze benadrukken dat effectieve overfitting-controle vereist dat er een balans wordt gevonden tussen nauwkeurigheid en gladheid, en dat het blindelings minimaliseren van de modelgrootte onvoldoende is. Het werk suggereert dat het voorgestelde raamwerk kan worden geïntegreerd in andere evolutionaire algoritmen en potentieel kan worden aangepast voor deep learning-gebaseerde symbolische regressiemethoden in de toekomst.