Technische Samenvatting: ELMER – Evolutionary Language Model that Explores and Refines

1. Probleemstelling

Programmaevolutie staat traditioneel voor een kritieke disconnect: hoewel het kan meten of een mutatie de fitness verbetert, ontbreekt het aan controle over de omvang van de beweging van de mutatie in de gedragsruimte (behavior space). Huidige methoden vertrouwen op syntactische proxies (bijv. token-, boom- of subboom-bewerkingen) als schaal voor mutatie. Deze proxies zijn onbetrouwbaar omdat een kleine syntactische wijziging de uitvoering van een beleid drastisch kan veranderen, terwijl een grote herschrijving dezelfde gedragingen kan behouden. Het artikel identificeert de noodzaak voor een mutatieschaal waarbij de gevraagde omvang direct de gerealiseerde gedragsverplaatsing voorspelt.

2. Methodologie

De auteurs stellen ELMER voor, een systeem dat de representatie die wordt gebruikt voor variatie ontkoppelt van de representatie die wordt gebruikt voor evaluatie. De kerninnovatie is een Evolutionary Language Model dat zoekt over natuurlijke taal (NL) beleidsbeschrijvingen en deze compileert naar getypeerde uitvoerbare programma's.

Systeemarchitectuur

• Representatie: Beleidsregels worden gemuteerd als gestandaardiseerde natuurlijke taalbeschrijvingen.
• Uitvoering: Een geleerd compiler vertaalt NL-beschrijvingen naar Genetic Programming Trading Language (GPTL) code voor deterministische uitvoering en backtesting.
• Gedragsverplaatsing (Behavioral Displacement): Gedefinieerd als de discrepantie in het ruwe signaal tussen ouder- en kind-actiesequenties over een gedeeld historisch traject.
• Het Model: Een volledig gefinetuned Qwen3-8B model leert drie taakgeconditioneerde operaties:
  1. Conditionele Semantische Mutatie: Genereert een kind-NL-beschrijving gegeven een ouder-beschrijving, backtest-feedback en een gevraagde sterkte ($s \in \{low, medium, high\}$).
  2. NL-naar-GPTL Compilatie: Vertaalt NL naar uitvoerbare code.
  3. GPTL-naar-NL Translatie: Converteert code terug naar de gestandaardiseerde NL-vorm.

Trainingspipeline

Het trainingsproces bestaat uit twee afzonderlijke stadia om gedrag-gegronde controle te leren:

1. Gedrag-gegronde Supervised Fine-Tuning (SFT):
   • Supervisie wordt geconstrueerd uit "degradatieketens" beginnend bij hoog-fitness GPTL-programma's.
   • Grammaticaal geldige AST-bewerkingen worden toegepast om fitness te verminderen, waardoor ouder-kind-transities ontstaan met bekende gedragsafstanden.
   • Deze transities worden omgekeerd en gerenderd naar NL-paren, wat het model leert om semantische bewerkingen te associëren met specifieke gedragsverplaatsingen.
2. Common-Parent Offset Direct Preference Optimization (oDPO):
   • Om de controle te verscherpen, wordt het model geoptimaliseerd met een voorkeursframework.
   • Voor een gegeven ouder en gevraagde sterkte geeft het model de voorkeur aan een kind wiens gerealiseerde verplaatsing het dichtst bij het doelregime ($\mu_s$) ligt, boven een kind dat ervan afwijkt.
   • In tegenstelling tot standaard DPO, dat optimaliseert voor binaire kwaliteit, incorporeert oDPO paar-afhankelijke marges gebaseerd op de verplaatsingsoffset, waardoor het model een stuurbaar, ordinaal geometrie van de mutatieruimte kan leren.

Experimentele Opzet

• Domein: Financiële handel (E-mini S&P 500, Zilver, Amerikaanse staatsobligaties) met uurlijkse data van 2008–2025.
• Protocol: Fixed-budget evolutionaire zoektochten met strikte temporele holdouts. Het experimentele ontwerp bestaat uit 216 zoektochten in de geleerde operator-matrix (zes operatoren, drie algoritmen, drie activa en vier seeds) en een aparte 36-zoektochten AST-matrix voor de native baseline, totaal 252 zoektochten.
• Baselines:
  • Ongetraind basismodel.
  • SFT zonder sterkte-labels.
  • Prompt-only conditionering (sterktewoorden zonder gedragsgronding).
  • Gedrag-gegronde SFT (zonder oDPO).
  • Native AST mutatie (handmatig ontworpen operator).
  • Matched code-output oDPO (dezelfde trainingsdata/doelstelling, maar outputt GPTL-code in plaats van NL).

3. Belangrijkste Bijdragen

1. Executie-gegronde Mutatie Definitie: Een definitie van mutatieverplaatsing gebaseerd op gerealiseerde actie-sequentiële discrepantie, gekoppeld aan een conditionele variatie-operator over geordende gedragsregimes.
2. Multitask Gedrag-gegronde Model: Een enkel LLM getraind voor semantische mutatie, compilatie en translatie met behulp van uitvoerbare transities, wat het model in staat stelt te leren "hoe ver" te muteren.
3. Gecontroleerde Ablaties: Een systematische isolatie van domein fine-tuning, gedrag-gegronde conditionering, oDPO en de natuurlijke taalrepresentatie.
4. Mechanistische Analyse: Een analyse van kalibratie, semantische bewerkingscompositie en de syntaxis-gedrag lokalisatie van mutaties.

4. Resultaten

De studie rapporteert resultaten over 252 fixed-budget zoektochten (216 geleerde-operator runs en 36 native AST baseline runs).

• Kalibratie (Sterktecontrole):
  • oDPO bereikt een gemiddelde Spearman correlatie van 0.824 tussen gevraagde sterkte en gerealiseerde verplaatsing.
  • Gedrag-gegronde SFT alleen bereikt 0.310, en prompt-only conditionering bereikt 0.018.
  • oDPO transformeert partiële ordening succesvol in consistente regimecontrole.
• Zoekefficiëntie:
  • NL oDPO presteert aanzienlijk beter dan gedrag-gegronde SFT, native AST mutatie en het gematchte code-output oDPO model in termen van de Area Under the Curve (AUC) van de beste-tot-nu toe gevalideerde fitness.
  • De gematchte code-output controle (die de representatievariabele isoleert) laat zien dat NL een voordeel biedt in zoekefficiëntie binnen een eindig budget vergeleken met directe code-mutatie.
• Held-out Prestaties:
  • NL oDPO ontdekt het hoogst geobserveerde held-out beleid (Sharpe ratio van 2.3445).
  • Hoewel gedrag-gegronde SFT de hoogste gemiddelde en top-kwartiel test-fitness laat zien in beschrijvende aggregaten, vertoont NL oDPO superieure prestaties in de upper-tail.
• Mechanistische Inzichten:
  • Semantische Compositie: Gevraagde sterkte verandert systematisch het type bewerkingen. Lage sterkte wordt gedomineerd door parameterwijzigingen (86.4%), terwijl hoge sterkte verschuift naar structurele herschrijvingen, indicator-substituties en logische flips.
  • Syntaxis-Gedrag Lokalisatie: NL-mutaties vertonen een sterkere correlatie tussen syntactische afstand en gedragsverplaatsing ($\rho=0.88$) vergeleken met native AST-mutaties ($\rho=0.44$).
  • Fitness Preservatie: Bij gematchte kleine-tot-matige gedragsverplaatsingen behouden NL-mutaties meer ouder-fitness en hebben ze een lager catastrofaal falen (9% vs 14%) dan native AST-mutaties.

5. Betekenis en Claims

Het artikel claimt dat taal kan dienen als een stuurbare, executie-gegronde zoekrepresentatie over een uitvoerbare programmaruimte. Door semantische variatie te scheiden van deterministische uitvoering, adresseert ELMER de historische onmogelijkheid van programmarevolutie om de omvang van gedragsverandering te controleren.

De auteurs benadrukken dat het systeem programmarevolutie verplaatst van "blinde syntactische perturbatie" naar "bewuste, executie-gegronde beweging." De belangrijkste bevinding is dat het model niet alleen leert wat te veranderen, maar ook hoe ver te bewegen in de gedragsruimte. Hoewel de resultaten significante verbeteringen laten zien in kalibratie en zoekefficiëntie, blijven de auteurs bescheiden over de generaliseerbaarheid van de upper-tail prestaties, waarbij zij opmerken dat de outer-loop patronen (bijv. MAP-Elites vs. $(\mu, \lambda)$-ES) heterogeen zijn en dat het experiment de rol van archiefgeheugen bij het behoud van gestructureerde exploratie niet volledig isoleert.

Het werk demonstreert dat het conditioneren van een taalmodel op gedragsverplaatsing via oDPO een betrouwbaar ordinaal controlemechanisme creëert, wat een efficiëntere exploratie van de programmaruimte mogelijk maakt vergeleken met traditionele syntactische operatoren of ongeconditioneerde taalmodellen.