The Time Value of Evolution

Technische Samenvatting: De Tijdswaarde van Evolutie

Probleemstelling
In evolutionaire zoekprocessen, met name binnen semantische programmamutatie (bijv. automatische ontdekking van handelsbeleid), behandelen standaardalgoritmen de fitness van een nieuw gegenereerd kind vaak als de directe opbrengst van de mutatie die het voortbracht. Deze "onmiddellijke-opbrengst"-controle is blind voor vertraagde nuttigheid. Een mutatie die de fitness tijdelijk verlaagt (een "zwak kind") kan een waardevolle voorouder zijn die een productieve regio in de zoekruimte opent, waardoor later in het zoekproces hoogwaardige nakomelingen mogelijk worden. Echter, optimalisatie op basis van onmiddellijke opbrengst straft dergelijke mutaties af, wat paden kan elimineren die tot superieure oplossingen zouden kunnen leiden voordat het zoekbudget is uitgeput. Dit artikel formaliseert deze dynamiek als de Tijdswaarde van Evolutie (TVE), waarbij onderscheid wordt gemaakt tussen de waarde van een onmiddellijk nageslacht en de waarde van bereikbare lineages binnen een eindig horizon.

Methodologie: Lineage-Value Policy Gradients (LVPG)
De auteurs stellen Lineage-Value Policy Gradients (LVPG) voor, een actor-critic framework met een lange horizon dat is ontworpen om automatische handelsbeleidsstrategieën te optimaliseren binnen een Markov-beslissingsproces (MDP) met een eindig budget.

• Evolutionaire MDP-formulering: De zoektocht wordt gemodelleerd als een MDP met een horizon $H=8$. De status bevat het huidige programma, executiemetrieken en het resterende budget. De actieruimte bestaat uit drie gedragsmatig gekalibreerde mutatieradii: Refine (verfijnen), Interpolate (interpoleren) en Explore (verkennen).
• Kernarchitectuur:
  • Frozen Backbone: Een offline getraind Evolutionair Taalmodel (ELM), gebaseerd op Qwen3-8B, dient als de mutatie-operator. Dit model is bevroren tijdens het zoekproces om een consistente inhoudelijke distributie en compileerbaarheid te waarborgen.
  • Adaptieve Controllers: Afzonderlijke Actor en Critic LoRA-adapters worden getraind via Proximal Policy Optimization (PPO).
    • De Actor selecteert dynamisch de mutatie-intensiteit (radius) op basis van de huidige status en het resterende budget.
    • De Critic schat het potentieel van de lineage binnen de eindige horizon in. Deze wordt gebootstrapt met behulp van multi-step mutatiebomen (diepteniveaus van vijf ternaire bomen) om de verwachte beste-tot-nu verbetering over de resterende horizon te evalueren.
• Credit Assignment Mechanisme:
  • PPO-Path (Voorgesteld): Gebruikt een returnsignaal gebaseerd op de pad-beste-tot-nu verbetering ($G_{path}$). Een actie krijgt krediet als een latere afstammeling een nieuwe beste-tot-nu pad vestigt, zelfs als het onmiddellijke kind slechter was. De kortingsfactor $\gamma = 1$ zorgt ervoor dat verbeteringen niet louter worden afgewaardeerd vanwege de tijdelijke vertraging.
  • PPO-Immediate (Baseline): Gebruikt een afgeknotte eenstap-fitnessverandering ($\gamma = 0$), waarbij de fitness van het onmiddellijke nageslacht als de enige return wordt beschouwd.
• Trainingsprotocol: Het systeem wordt geëvalueerd op de ontdekking van automatische handelsbeleidsstrategieën voor S&P 500 E-mini, Zilver en 30-jarige staatsobligaties. Het protocol omvat 90 gepaarde runs per conditie, gebruikmakend van rolling-origin vouwen, sealed test windows en strikte afstemming van operatoren, seeds en budgetten om het effect van de credit-horizon te isoleren.

Belangrijkste Bijdragen

1. Conceptueel: Het artikel formaliseert de Tijdswaarde van Evolutie, waarbij het verschil wordt gedefinieerd tussen de waarde van de lineage binnen een eindige horizon en de waarde van het onmiddellijke nageslacht. Het betoogt dat onmiddellijke fitness een incomplete maatstaf is voor de waarde van een actie in een zoekproces met een eindig budget.
2. Methodologisch: De introductie van LVPG, die de zoekcontrole ontkoppelt in gespecialiseerde policy-koppen over een gedeelde generatieve backbone. Het integreert status- en budgetafhankelijke mutatiecontrole met een door mutatiebomen gebootstrapt critic om krediet toe te wijzen aan gerealiseerde evolutionaire paden in plaats van aan enkelvoudige stappen.
3. Empirisch: Door een gematchte gepaarde procedure toont de studie aan dat credit assignment met een lange horizon de zoekefficiëntie en de uiteindelijke prestaties van het beleid significant verbetert vergeleken met optimalisatie op basis van onmiddellijke opbrengst.

Resultaten
Over 90 gepaarde runs onder gematchte condities vertoonde LVPG (PPO-Path) een superieure prestatie ten opzichte van de baselines met onmiddellijke opbrengst (PPO-Immediate) en andere controlestrategieën:

• Zoekefficiëntie: PPO-Path verhoogde de validatie best-so-far Area Under the Curve (AUC) met 0,394 Sharpe-eenheden vergeleken met PPO-Immediate.
• Eindprestatie: De gemiddelde sealed-test Sharpe-ratio verbeterde van 0,862 (PPO-Immediate) naar 1,321 (PPO-Path).
• Zoekdynamiek: PPO-Path produceerde minder tijdelijke regressies (54,2% vs. 59,8%) en herstelde vaker van deze (48,0% vs. 39,9%). Wanneer regressies optraden, waren ze dieper maar herstelden ze sneller, wat resulteerde in grotere verbeteringen na herstel.
• Horizon-gevoeligheid: Het vergroten van de credit-horizon van één stap naar acht stappen verbeterde de validatie AUC aanzienlijk (0,599 eenheden), wat suggereert dat multi-step credit cruciaal is voor het navigeren door niet-monotone zoeklandschappen.
• Validatie van de Critic: De critic bereikte een Spearman-correlatie van 0,597 met de gerealiseerde pad-returns op uit de dataset gehouden statussen, waarmee het fungeerde als een informatieve ranker van toekomstige lineage-potentieel.

Betekenis en Claims
Het artikel claimt dat de waarde van een lineage binnen een eindige horizon leidt tot een selectiever niet-monotoon zoekproces en sterkere beleidsstrategieën binnen identieke middelenrestricties. De primaire betekenis ligt in het bewijs dat het behandelen van mutatiebeslissingen als investeringen — waarbij ze worden gewaardeerd door de toekomstige zoekmogelijkheden die ze ontsluiten in plaats van door hun onmiddellijke nageslacht — de myopie van standaard evolutionaire algoritmen kan overwinnen.

De auteurs benadrukken dat deze verbetering wordt bereikt zonder de mutatie-operator of het onderliggende taakdoel te wijzigen, maar uitsluitend door de temporele reikwijdte van de credit assignment te veranderen. De resultaten suggereren een algemeen principe voor optimalisatie met een eindig budget: de fitness van het onmiddellijke nageslacht is onvoldoende om acties in generatieve programmazoekprocessen te evalueren, en het behoud van de "tijdswaarde" van evolutionaire paden leidt tot betere ontdekking van beleidsstrategieën. De studie stelt deze winsten vast onder gecontroleerde historische evaluatie, waarbij wordt opgemerkt dat hoewel dit geen gegarandeerde winstgevendheid in live-omgevingen garandeert, het een robuust blauwdruk biedt voor het verbeteren van generatieve zoekprocessen binnen vaste computationele budgetten.