FactorEngine: A Program-level Knowledge-Infused Factor Mining Framework for Quantitative Investment

FactorEngine introduceert een nieuw raamwerk voor kwantitatieve belegging dat door het combineren van Turing-volledige code, LLM-gestuurde zoekstrategieën en een kennisverrijkte bootstrapping-module, stabielere en beter interpreteerbare alpha-factoren genereert dan bestaande methoden.

De kern

Stel je voor dat beleggen op de beurs een enorm, chaotisch oceaan is vol met ruis, golven en onvoorspelbare stormen. Beleggers (quant-fondsen) proberen hierin een schatkaart te vinden die hen vertelt waar de goudklompen zitten. Deze schatkaarten noemen ze "factoren".

Het probleem is dat de meeste bestaande methoden om deze schatten te vinden, ofwel te star zijn (als een oude, stijve kompasnaald die niet meer werkt in nieuwe stormen), ofwel te ingewikkeld en ondoorzichtig (als een zwarte doos die wel werkt, maar niemand weet waarom).

FactorEngine is een nieuwe, slimme machine die deze schatkaarten niet alleen ontwerpt, maar ze ook leert en verbetert alsof het een levend organisme is. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het is geen simpele formule, maar een "levend programma"

Vroeger probeerden mensen factoren te vinden door handmatige wiskundige formules te schrijven (zoals "Als de prijs stijgt, koop dan"). Dit is als proberen een auto te bouwen met alleen hamers en spijkers; het kan, maar het is traag en beperkt.

FactorEngine ziet factoren als Turing-complete code. Dat klinkt ingewikkeld, maar stel je voor dat elke factor een kleine, slimme robot is die zijn eigen beslissingen kan nemen, kan tellen, kan wachten en kan beslissen "als dit gebeurt, doe dan dat". Het is alsof je van simpele hamers overschakelt op een volledig uitgeruste fabriek die zelfstandig kan bouwen.

2. De Drie Grote Scheidingen (De "Chef en de Sous-chef")

De grootste uitdaging bij het vinden van goede factoren is dat het zoeken naar het idee (de logica) heel anders is dan het fijnafstellen van de instellingen (de parameters).

FactorEngine maakt hier slim gebruik van door drie dingen uit elkaar te halen:

• Het Idee vs. De Instellingen: Stel je voor dat je een gerecht kookt. De Chef (een AI die een menselijke taal spreekt, een LLM) bedenkt het recept: "Laten we wat citroen en kruidnagel proberen." De Sous-chef (een snelle computer) is verantwoordelijk voor het exact afwegen van de grammen en het regelen van de temperatuur. De Chef hoeft niet te rekenen; de Sous-chef doet dat razendsnel.
• Zoeken vs. Fijnafstellen: De Chef zoekt naar nieuwe richtingen (bijvoorbeeld: "Wat als we kijken naar de snelheid van de verkoop?"). De Sous-chef doet een precieze zoektocht om de perfecte instellingen voor die snelheid te vinden.
• De Brein vs. De Spieren: De AI (de brein) gebruikt veel rekenkracht om te denken, maar de zware berekeningen (de spieren) gebeuren lokaal op snelle servers, zodat de AI niet vastloopt.

3. De "Geestdriftige Start" (Bootstrapping)

Hoe begint deze machine? Hij is niet blind.

• Het Lezen van Rapporten: De machine leest duizenden financiële rapporten (zoals nieuwsberichten voor beleggers). In plaats van alleen te lezen, vertaalt hij de ideeën uit die rapporten direct in werkende computercode.
• De Multi-Agent Team: Stel je een team voor van drie experts: één die de tekst uitleest, één die de logica controleert op fouten, en één die de code schrijft. Als er een foutje in de code zit (bijvoorbeeld een verkeerde berekening), corrigeert het team dit direct. Zo ontstaat er een "zaadje" van goede ideeën dat al gebaseerd is op echte menselijke kennis.

4. Evolutie: Leren van Fouten (Macro-Micro Co-evolutie)

Dit is het hart van het systeem. Het werkt als een evolutie-simulatie:

• De "Eilandjes": De machine start met meerdere groepen (eilandjes) die tegelijkertijd factoren ontwikkelen.
• De Reis van Ervaring: Als een groep een goede factor vindt, deelt hij dit met de anderen. Maar belangrijker nog: als een groep een fout maakt en faalt, leert de machine daar ook van. Het onthoudt de "reis" (de trajecten) van goed én slecht.
• De "Chain of Experience": De AI kijkt niet alleen naar het beste resultaat, maar naar de hele geschiedenis. "Waarom faalde deze factor? Wat ging er mis?" Door dit te leren, wordt de AI slimmer in het vermijden van valkuilen.

5. Het Resultaat: Sterker en Stabiel

In de tests (terugkijkend op historische beursdata) bleek FactorEngine veel beter te presteren dan de oude methoden:

• Hoger rendement: Het verdiende meer geld.
• Minder risico: Het verloor minder tijdens stormen (minder "drawdown").
• Meer diversiteit: Het vond veel verschillende soorten factoren die niet op elkaar leken, waardoor het portfolio robuuster was.

Samenvattend

FactorEngine is als een onvermoeibare, super-slimme kok die duizenden kookboeken (rapporten) leest, zelf nieuwe recepten (factoren) bedenkt, en die recepten constant test in een keuken (de beurs). Als een recept faalt, analyseert hij waarom, past hij de ingrediënten aan, en probeert hij het opnieuw. Het resultaat is een set van "recepten" die niet alleen lekker zijn (winstgevend), maar ook bestand tegen elke storm die de beurs kan opwerpen.

Het is een stap van "handmatig zoeken met een kompas" naar "autonoom vliegen met een zelflerende drone".

Technische samenvatting

Probleemstelling

Het doel van alpha-mining in kwantitatieve investeringen is het automatisch ontdekken van voorspellende signalen (factoren) uit ruis-rijke en niet-stationaire marktdata. Bestaande methoden kampen met drie fundamentele beperkingen:

1. Beperkte expressiviteit: Symbolische methoden (gebaseerd op wiskundige expressies) zijn beperkt door handmatig ontworpen operatorruimtes, wat leidt tot fragiele factoren die slecht schalen.
2. Gebrek aan diversiteit en stabiliteit: Bestaande systemen integreren financiële theorie en ongestructureerde kennis (zoals onderzoeksrapporten) niet effectief in uitvoerbare code.
3. Inefficiënte evolutiepijplijnen: Er is een groot snelheidsverschil tussen het genereren van ideeën door Large Language Models (LLM's) en het evalueren daarvan (backtesting). Bestaande methoden laten LLM's vaak zowel logica als parameteroptimalisatie uitvoeren, wat leidt tot hoge rekenkosten en inefficiëntie.

Methodologie: FactorEngine (FE)

FactorEngine is een framework dat alpha-factoren behandelt als Turing-complete programma's (Python-code) in plaats van beperkte symbolische expressies. Het framework lost de bovengenoemde problemen op door drie cruciale scheidingen te implementeren:

1. Logica vs. Parameters: Het scheiden van logica-evolutie (idee-generatie) en parameter-optimalisatie.
2. Zoekstrategie: Het scheiden van LLM-gestuurde directionele zoekopdrachten (macro) en Bayesiaanse hyperparameter-zoekopdrachten (micro).
3. Resource-scheiding: Het scheiden van LLM-gebruik (voor logica) en lokale rekenkracht (voor zware berekeningen).

Het systeem bestaat uit drie hoofdmodules:

1. Bootstrapping Module (Kennis-injectie)

Deze module transformeert ongestructureerde financiële rapporten en expertkennis in uitvoerbare Python-code via een gesloten lus van multi-agenten:

• PDF-verwerking: Screening en consolidatie van kernkennis uit rapporten.
• Factorextractie: Een workflow die ideeën uit rapporten omzet in gestructureerde JSON en LaTeX-pseudocode, met iteratieve reflectie en verificatie.
• Codegeneratie: Vertaling van geverifieerde pseudocode naar uitvoerbare Python-code met automatische correctie van fouten (bijv. bibliotheekproblemen).
  Dit creëert een "kennisverrijkte" startpool voor de evolutie.

2. Evolutie Module (Macro-Micro Co-evolutie)

Dit is het hart van het systeem, geïnspireerd door OpenEvolve, maar aangepast voor factor mining:

• Programma-selectie: Factoren worden georganiseerd in een boomstructuur. De selectie van knooppunten voor verdere verfijning gebeurt via UCT (Upper Confidence Bound for Trees), wat een balans biedt tussen exploratie en exploitatie.
• Idee-generatie (Macro): LLM-agenten genereren structurele wijzigingen (macro-mutaties) gebaseerd op een "Chain of Experience" (CoE). De CoE bevat de historische evolutiepaden, inclusief mislukkingen en tijdelijke terugval, om het LLM te leren herstellen van fouten en robuuste richtingen te vinden.
• Implementatie (Micro): Parameteroptimalisatie (zoals venstergroottes) wordt volledig overgelaten aan Bayesiaanse optimalisatie (bijv. TPE) op lokale hardware. Dit gebeurt parallel en zonder LLM-betrokkenheid, wat de efficiëntie drastisch verhoogt.
• Multi-eiland strategie: Onafhankelijke evolutieprocessen ("eilanden") wisselen periodiek de beste programma's uit om de diversiteit te vergroten en lokale optima te vermijden.

3. Integratie Module

Selecteert de beste factoren ("elite nodes") uit de evolutiepool op basis van een gewogen fitness-score (IC, ICIR, Rank IC, Rank ICIR) en bouwt multi-factor modellen voor backtesting.

Belangrijkste Bijdragen

1. Program-niveau Hyper-Heuristiek: Het eerste framework dat factor mining behandelt als een evolutieprobleem van Turing-complete programma's, wat complexe controleflows en conditionele logica mogelijk maakt.
2. Macro-Micro Co-evolutie: Een unieke architectuur die logische evolutie (LLM) en parameteroptimalisatie (Bayesiaanse zoekopdracht) ontkoppelt, wat leidt tot snellere convergentie en lagere kosten.
3. Kennisverrijkte Diversiteit: Een gesloten lus-module die ongestructureerde financiële rapporten direct omzet in uitvoerbare code, waardoor prior kennis wordt benut zonder de beperkingen van vooraf gedefinieerde operatorruimtes.
4. Superieure Prestaties: Het framework levert state-of-the-art resultaten in zowel voorspellende nauwkeurigheid als portefeuilleprestaties.

Resultaten

Het framework is getest op real-world OHLCV-data (CSI300 en CSI500 markten) en vergeleken met baselines zoals GP-learn, neurale netwerken (LSTM, Transformer), en andere agent-based methoden (AlphaAgent, RD-Agent).

• Voorspellende Kwaliteit: FE-overtrof alle baselines. De variant die startte met financiële rapporten (FE-report) behaalde een IC van 0.0474 (CSI300) en een excess annual return van 18.99%. Dit is een verbetering van 58% in IC en 126% in excess return ten opzichte van de Alpha158-baseline.
• Stabiliteit: Factoren gegenereerd door FE vertoonden minder "alpha decay" (afname van prestaties over tijd) en hielden hun voorspellende kracht beter vast, zelfs in veranderende marktomstandigheden.
• Diversiteit: Analyse via Multidimensionale Scaling (MDS) toonde aan dat FE een veel diversere set factoren produceert met lagere correlatie onderling (hogere "Radius of Gyration"), wat leidt tot een robuustere portefeuille.
• Efficiëntie: FE is aanzienlijk sneller en goedkoper dan concurrenten. Het vereist minder API-calls voor debugging (32% vs. 68% bij RD-Agent) en haalt een uitvoeringsratio van 99% dankzij de gescheiden verwerking van logica en parameters.

Significantie

FactorEngine vertegenwoordigt een paradigmaverschuiving in kwantitatieve investeringen. Door factoren te behandelen als volledig uitvoerbare code en een gespecialiseerde architectuur te gebruiken die de sterktes van LLM's (creativiteit, logica) combineert met traditionele optimalisatietechnieken (Bayesiaanse zoekopdracht), overwint het de beperkingen van zowel handmatige als puur datagedreven benaderingen.

Het framework biedt niet alleen superieure financiële resultaten, maar lost ook het schaalbaarheidsprobleem op door de rekenlast van LLM's te minimaliseren. Het is een gradient-vrije optimalisatieframework dat toepasbaar is op andere discrete zoekproblemen met dure evaluaties, en opent de deur voor het actief integreren van ongestructureerde wereldkennis (zoals rapporten) in kwantitatieve modellen.