Technische Samenvatting: GESR – Een op Genetische Programmering gebaseerde Methode voor Symbolische Regressie met Genbewerking

1. Probleemstelling

Symbolische regressie heeft tot doel automatisch wiskundige expressies te ontdekken uit observationele data die zowel een hoge voorspellende nauwkeurigheid als een sterke interpreteerbaarheid bereiken. Hoewel Genetische Programmering (GP) een klassieke en wijdverbreide aanpak is voor deze taak, is deze sterk afhankelijk van willekeurige genetische operatoren (mutatie en crossover) om expressiestructuren te evolueren. De auteurs betogen dat deze willekeur, hoewel deze natuurlijke evolutie nabootst, onvermijdelijk een groot aantal inefficiënte of schadelijke variaties genereert. Dit gebrek aan controleerbaarheid verlaagt de zoekefficiëntie, vertraagt de convergentie en verhoogt de rekenkosten. Bestaande methoden die proberen GP te sturen (bijvoorbeeld door het gebruik van LSTMs voor initialisatie of achterwaartse berekening voor subboomvoorspelling) lijden vaak aan hoge rekenkundige overhead of slagen er niet in om de mutatie- en crossoverprocessen tijdens het evolutionaire zoeken effectief te sturen.

2. Methodologie

Het artikel stelt GESR (Gene Editing Symbolic Regression) voor, een raamwerk dat multimodale BERT-modellen integreert in de GP-evolutielus om "genbewerking" uit te voeren. Deze aanpak vervangt puur willekeurige genetische operatoren door data-gedreven, geleide operaties. Het raamwerk bestaat uit twee hoofdcomponenten, metaforisch beschreven als de "Handen van God":

2.1 Geleide Mutatie via Masked Language Modeling

• Representatie: Symbolische expressies worden weergegeven als binaire bomen en gelineariseerd tot sequenties van pre-order traversaal.
• Mechanisme: Een multimodaal BERT-model wordt getraind om mutatie te sturen. Tijdens de mutatiefase worden specifieke operator- of operand-tokens in een expressiesequentie willekeurig gemaskeerd.
• Input: De gemaskeerde sequentie wordt samen met de regressiedataset $(X, Y)$ aan het BERT-model gevoerd. De data wordt gecodeerd met behulp van een SetTransformer om permutatie-invariantie te waarborgen en wordt samengevoegd met embeddings van symbolische tokens.
• Output: Het model voorspelt het meest geschikte vervangingssymbool voor de gemaskeerde positie op basis van de conditionele waarschijnlijkheidsverdeling die is afgeleid uit de data-verdeling. Dit transformeert mutatie van een willekeurige verstoring in een gerichte bewerking die gericht is op het verbeteren van de regressie-fit (bijvoorbeeld $R^2$).

2.2 Geleide Crossover via Subboomvoorspelling

• Mechanisme: Een tweede multimodaal BERT-model leidt de crossover-operatie.
• Input: Twee kandidaat-expressiessequenties worden samengevoegd met een speciale [SEP]-token, samen met de dataset $(X, Y)$.
• Output: Het model voorspelt de wortelknooppunten van de subbomen in beide ouderexpressies die het meest geschikt zijn voor uitwisseling.
• Strategie: In plaats van willekeurig crossoverpunten te selecteren, identificeert het model structurele fragmenten die, wanneer uitgewisseld, waarschijnlijk de fit van het nageslacht zullen verbeteren onder de gegeven data-beperkingen.

2.3 Constructie van Trainingsdata

De auteurs hebben specifieke pijplijnen ontworpen om hoogwaardige trainingsdata voor de BERT-modellen te construeren:

• Voor Mutatie: De pijplijn genereert paren van expressies waarbij de ene een "betere" versie is van de andere. Dit omvat het genereren van een doel-expressie, het stalen van data, het creëren van een willekeurige initiële expressie, het toepassen van differentieerbare mutatiefuncties, het optimaliseren van parameters via BFGS en het discretiseren van het resultaat. Als de gemuteerde expressie de fit verbetert ($R^2$), wordt de originele expressie gemaskeerd en dienen de verbeterde symbolen als doel.
• Voor Crossover: Trainingsdata wordt online verzameld tijdens het GP-evolutieproces. Paren van ouderexpressies worden gekruist (eerst met standaard GP of geleide mutatie), en het nageslacht wordt geëvalueerd. Als het nageslacht de ouders overtreft, worden het ouderpaar en de specifieke crossoverknooppunten die zijn gebruikt, vastgelegd als een trainingsvoorbeeld. Dit zorgt ervoor dat het model crossoverpunten leert die leiden tot fitverbeteringen.

2.4 Evolutionaire Lus

Het GESR-raamwerk doorloopt generaties:

1. Mutatie: De populatie ondergaat geleide mutatie met behulp van de mutatie-BERT.
2. Crossover: Geleide crossover wordt uitgevoerd met behulp van de crossover-BERT.
3. Optimalisatie: Constanten in de resulterende expressies worden verfijnd met BFGS.
4. Selectie: Individuen worden geëvalueerd op basis van $R^2$, en de top $N$ wordt geselecteerd voor de volgende generatie.

3. Belangrijkste Bijdragen

Het artikel schetst vier hoofdcontributies:

1. Een Genbewerkingsraamwerk: Stelt een raamwerk voor symbolische regressie voor dat gerichte sturing van genetische mutaties en crossovers mogelijk maakt, waardoor de evolutionaire efficiëntie aanzienlijk wordt verbeterd.
2. Dual "Handen van God"-modellen: Traint twee multimodale BERT-modellen om genbewerking uit te voeren, die kunnen dienen als een plug-and-play-module voor andere op GP gebaseerde algoritmen voor symbolische regressie.
3. Methode voor Dataconstructie: Ontwerpt een mutatiefunctie en een methode voor het construeren van hoogwaardige trainingsdata voor genbewerking op basis van fitverbetering.
4. Conceptuele Integratie: Introduceert het concept van "genbewerking" in het veld van evolutionaire berekening, waarbij diepe taalmodellen worden ingezet om het zoeken te sturen.

4. Experimentele Resultaten

De auteurs hebben GESR geëvalueerd op 13 datasets, waaronder standaard benchmarks (Nguyen, Keijzer, Korns, enz.) en de SRBench-suite (Feynman, Strogatz, Black-box).

• Fittingprestaties: GESR behaalde superieure of vergelijkbare $R^2$-scores in vergelijking met state-of-the-art baselines (PySR, NGGP, SNIP, GPlearn). Gemiddeld behaalde GESR een $R^2$ van 0,9903, wat beter was dan PySR (0,9876) en NGGP (0,9784).
• Complexiteit (Interpreteerbaarheid): GESR produceerde compactere expressies. Het gemiddelde aantal knooppunten voor GESR was 22,0, significant lager dan PySR (26,9), NGGP (28,1) en GPlearn (35,8).
• Efficiëntie: GESR vertoonde aanzienlijk snellere inferentietijden. De gemiddelde tijd om een $R^2 > 0,999$ te bereiken was 117,2 seconden voor GESR, vergeleken met 176,1 seconden voor de ongeleide GP-baseline en 124,4 seconden voor een variant met alleen mutatiegeleiding.
• Ablatiestudies: Het verwijderen van ofwel de mutatie- ofwel de crossovergeleidingsmodule resulteerde in een verslechterde prestatie op het gebied van nauwkeurigheid, complexiteit en zoektijd, wat bevestigt dat beide componenten bijdragen aan het succes van de methode.
• Chaotische Systemen: Bij tests op 16 chaotische dynamische systemen (bijvoorbeeld Lorenz, Duffing) vertoonde GESR een hogere vectorveld-fittingnauwkeurigheid en een betere consistentie bij korte-horizonprojecties in vergelijking met baselines.
• Overdraagbaarheid: Wanneer geïntegreerd in het NGGP-raamwerk, verbeterde de door BERT geleide genbewerkingsstrategie de prestaties van NGGP, wat aantoont dat de aanpak niet beperkt is tot de specifieke GESR-architectuur.

5. Betekenis en Claims

Het artikel beweert dat het integreren van diepe taalmodellen voor intelligente genbewerking een nieuwe en efficiënte onderzoeksrichting biedt voor symbolische regressie. Door ongeleide willekeurige exploratie te vervangen door data-gedreven, gerichte optimalisatie, doet GESR het volgende:

• Vermindert Inefficiënt Zoeken: Verlaagt aanzienlijk het aantal schadelijke mutaties en crossovers.
• Verbeterd Convergentie: Bereikt snellere convergentiesnelheden en een hogere zoekstabiliteit.
• Versterkt Interpreteerbaarheid: Genereert meer compacte en voor mensen interpreteerbare wiskundige formules.

De auteurs erkennen beperkingen, met name dat de methode afhankelijk is van de kwaliteit van de vooraf getrainde BERT-modellen en uitdagingen op het gebied van schaalbaarheid ondervindt wanneer de dimensionaliteit van testdata het bereik overschrijdt dat tijdens de voortraining werd ondersteund. Zij suggereren dat toekomstig werk zich moet richten op het ontwikkelen van lichtere, meer overdraagbare modellen en schaalbare raamwerken voor hoogdimensionale invoer.

Kortom, het artikel stelt dat de "metaforische God" van genbewerking – gerealiseerd door multimodale BERT-modellen – de efficiëntie van evolutionaire symbolische regressie aanzienlijk kan verbeteren door te leren voorspellen welke structurele wijzigingen gebaseerd op de data-verdeling voordelig zijn, waardoor het zoekproces wordt getransformeerd van blinde exploratie naar geleide optimalisatie.