Technische Samenvatting: EditSR – Het verbeteren van neurale symbolische regressie via edit-gebaseerde rectificatie

1. Probleemstelling

Modellen voor neurale symbolische regressie, met name die gebruikmaken van Transformer-architecturen en pretraining (bijv. NeSymReS), hebben de efficiëntie van inferentie verbeterd door de structurele zoeklast naar de pretraining-fase te verschuiven. Deze modellen vertrouwen echter op één-pass autoregressieve decodering, wat gevoelig is voor foutaccumulatie. In symbolische regressie, waarbij expressies boomstructuren zijn die worden beheerst door strikte ariteit-beperkingen, vervormt een vroege fout (bijv. het genereren van een binaire operator in plaats van een unaire een) de syntactische context voor alle daaropvolgende tokens. Dit leidt vaak tot structureel incorrecte expressies die niet zelfcorrigerend kunnen zijn.

Bestaande post-hoc rectificatiestrategieën proberen dit te verzachten, maar vertrouwen vaak op het opnieuw starten van de globale zoektocht (bijv. via Monte Carlo Tree Search) of het uitvoeren van optimalisatie in de latente ruimte tijdens de inferentie. Deze benaderingen brengen aanzienlijke computationele overhead met zich mee, wat de efficiëntievoordelen die oorspronkelijk door pretraining zijn bereikt, effectief tenietdoet. Bovendien blijven veel bestaande methoden vatbaar voor foutaccumulatie omdat ze beslissingen vaak baseren op de volledige geschiedenis in plaats van op de huidige staat.

2. Methodologie: Het EditSR-framework

De auteurs stellen EditSR voor, een tweelaags framework dat is ontworpen om efficiënte voorspelling en post-hoc rectificatie te bereiken zonder de globale zoektocht opnieuw te starten.

2.1. Architectuur

• Laag 1 (Neurale Predictor): Een standaard neuraal model voor symbolische regressie (geïnstantieerd als NeSymReS) dat datasets direct naar expressie-skeletten mapt via één-pass autoregressieve decodering.
• Laag 2 (De Rectifier): Een module die multi-step, edit-gebaseerde rectificatie uitvoert op incorrecte voorspellingen van Laag 1. Deze bestaat uit twee subcomponenten:
  • Tagger: Bepaalt de optimale edit-positie en het type edit-actie.
  • Editor: Voorspelt de inhoud voor de geselecteerde edit-actie.

2.2. Edit Acties en Syntactische Beperkingen

De Rectifier werkt op subtree-niveau in plaats van op token-niveau om syntactische validiteit te garanderen. De gedefinieerde edit-acties zijn:

• Keep (Behouden): Laat het token/de subtree ongewijzigd.
• Replace (Vervangen): Vervangt een token terwijl de ariteit behouden blijft.
• Delete (Verwijderen): Klapt een interne subtree samen tot een leaf (blad).
• Rewrite (Herschrijven): Regenereert een interne subtree.
• Insert (Invoegen): Breidt een leaf uit naar een nieuwe interne subtree.

Om de syntactische validiteit te handhaven, dwingt het framework strikte beperkingen af tijdens de decodering. Het "tekort-aantal" (het aantal wachtende kindnodes dat vereist is om de expressie te voltooien) wordt bijgehouden. Een edit is alleen toegestaan als de resulterende staat een geldige voltooiing binnen het resterende token-budget mogelijk maakt.

2.3. Training en Toestandsovergang

De kerninnovatie is het formuleren van rectificatie als een stap-voor-stap toestandsovergangsketen in plaats van een globale zoektocht.

• Dataconstructie: Initiële staten $f^{(0)}$ worden gegenereerd door willekeurige corrupties toe te passen op doel-expressies $f^*$.
• Deterministische Ketensconstructie: Een toestandsovergangsalgoritme brengt $f^{(0)}$ terug naar $f^*$ door de optimale sequentie van edit-acties te bepalen. Dit algoritme stemt de huidige staat af op het doel, berekent een kostenfunctie op basis van subtree-verschillen en selecteert de edit met de laagste kosten (positie en actie) om over te gaan naar de volgende staat $f^{(t+1)}$.
• Trainingsdoelstelling: De Rectifier wordt getraind op deze gesuperviseerde één-stap overgangen ($f^{(t)} \to f^{(t+1)}$). De Tagger leert de positie en actie te voorspellen, terwijl de Editor leert de inhoud te genereren.
• Inferentie: Tijdens de inferentie past de Rectifier een greedy (gulzig) selectie van edits toe op basis van de huidige staat $f^{(t)}$. Omdat beslissingen worden geconditioneerd op de huidige staat in plaats van de volledige geschiedenis, kunnen fouten die in eerdere stappen zijn gemaakt, worden gecorrigeerd door opeenvolgende edits, wat foutaccumulatie vermindert.

3. Belangrijkste Bijdragen

1. Herbezinning op Foutaccumulatie: Het artikel identificeert dat incorrecte voorspellingen in neurale symbolische regressie vaak herbruikbare structurele componenten (variabelen, constanten, subtrees) behouden en stelt voor dat deze via lokale edits kunnen worden gecorrigeerd in plaats van de zoektocht opnieuw te starten.
2. EditSR Framework: Een nieuw tweelaags framework dat een neurale predictor combineert met een syntactisch beperkte, edit-gebaseerde Rectifier. Het behoudt de efficiëntie van inferentie van neurale modellen terwijl het structurele fouten corrigeert zonder de globale zoektocht opnieuw te openen.
3. Iteratieve Toestandsovergang: Het rectificatieproces wordt gemodelleerd als een iteratieve toestandsovergangsketen waarbij elke stap wordt geconditioneerd op de huidige staat. Dit ontwerp onderdrukt foutaccumulatie en maakt de correctie van eerdere fouten mogelijk.
4. Empirische Validatie: Uit uitgebreide experimenten blijkt dat de Rectifier de symbolische structuurherstel aanzienlijk verbetert, vooral voor complexe expressies waar één-pass decodering faalt, met beperkte extra computationele kosten.

4. Experimentele Resultaten

De auteurs evalueerden EditSR op standaard benchmarks (Constant, Koza, Nguyen, etc.), SRBench 1.0 (Feynman, ODE-Strogatz) en SRBench 2.0 (Black-box, Phenomenological).

• Prestaties: EditSR behaalt consistent hoge Accuracy solution rates ($R^2 \ge 0.999$) en Symbolic solution rates (structurele correctheid). Het presteert beter dan of is gelijk aan baselines zoals uDSR, SR4MDL en TPSR, met name bij complexe expressies.
• Complexiteit vs. Accuratesse: In tegen tegenstelling tot sommige baselines die accuratesse inruilen voor complexiteit, behoudt EditSR een gunstige balans door simpelere expressies te genereren terwijl het een hoge $R^2$ bereikt.
• Efficiëntie: EditSR vertoont de laagste testtijd onder de vergeleken modellen (17,03s versus 174,24s voor TPSR op standaard benchmarks). Dit bevestigt dat het verschuiven van de rectificatie-inspanning naar de pretraining de hoge runtime-kosten van online zoekgebaseerde verfijning vermijdt.
• Robuustheid:
  • Ruis: EditSR behoudt een hoge prestatie onder Gaussische ruisniveaus (tot 0,1), waarbij het veel baselines overtreft in de Feynman en ODE-Strogatz benchmarks.
  • Distractoren: In aanwezigheid van irrelevante variabelen behoudt EditSR een hoge symbolische solution rate terwijl het aanzienlijk minder distractoren gebruikt dan baselines, wat wijst op een betere structurele herwinning in plaats van enkel numerieke fitting.
• Ablatiestudies:
  • Noodzaak van de Rectifier: Het toevoegen van de Rectifier verhoogt de prestaties aanzienlijk, vooral bij expressies met een hoge complexiteit waar het basismodel (NeSymReS) vaak faalt.
  • Fine-tuning: Hoewel pretraining op kunstmatige ketens een sterke baseline biedt, levert het fine-tunen van de Rectifier op de specifieke foutpatronen van het eerste laag-model verdere winst op.
  • Edit Stappen: Succesvolle rectificaties vereisen doorga \ de 4–6 edit stappen, wat de hypothese ondersteunt dat initiële voorspellingen vaak structureel dicht bij het doel liggen.

5. Betekenis en Claims

Het artikel claimt dat EditSR een praktische oplossing biedt voor de trade-off tussen zoekcapaciteit en computationele efficiëntie in neurale symbolische regressie. Door post-hoc rectificatie te herformuleren als een geleerd, edit-gebaseerd toestandsovergangsproces, biedt de methode:

• Behoud van Efficiëntie: Het vermijdt de computationele straf van het opnieuw starten van de globale zoektocht of het uitvoeren van dure optimalisatie in de latente ruimte tijdens de inferentie.
• Vermindering van Foutaccumulatie: Door edits te conditioneren op de huidige staat, maakt het de correctie van eerdere fouten mogelijk, een functie die ontbreekt in standaard autoregressieve decodering.
• Verbetering van Structurele Herwinning: Het doel is gericht op de doel-symbolische structuur, wat leidt tot hogere percentages exacte structurele herwinning vergeleken met methoden die alleen optimaliseren voor numerieke fouten.

De auteurs erkennen beperkingen en merken op dat de robuustheid van de Rectifier afhangt van de kwaliteit van de initiële voorspelling van de eerste laag en dat extreem complexe problemen waarbij de initiële voorspelling structureel ver verwijderd is van het doel, mogelijk nog steeds onopgelost blijven. Echter, het framework wordt gepresenteerd als een significante stap naar het zowel efficiënt als betrouwbaar maken van neurale symbolische regressie voor complexe wetenschappelijke ontdekkingsopdrachten.