Technische Samenvatting: Moira – Taalgedreven Hiërarchische Versterkende Leer voor Paarhandel

1. Probleemformulering

Het artikel adresseert de uitdaging van sequentiële besluitvorming in omgevingen gekenmerkt door een hiërarchische structuur, vertraagde feedback en ambigu credit assignment. Specifiek richten de auteurs zich op paarhandel, een financieel domein dat op natuurlijke wijze twee distincte temporele en semantische schalen combineert:

1. Hoge-niveau abstractie (Paarselectie): Vereist semantische redenering op lange termijn om activa-paren met stabiele economische of statistische relaties te identificeren.
2. Lage-niveau uitvoering (Handelen): Vereist besluitvorming op korte termijn en reactief handelen onder gedeeltelijke waarneembaarheid (marktruis) om markt-neutrale transacties uit te voeren.

De kernmoeilijkheid ligt in credit assignment: wanneer een handelsstrategie faalt, is het onduidelijk of de fout voortkomt uit een gebrekkige hoge-niveau abstractie (het kiezen van het verkeerde paar), suboptimale lage-niveau uitvoering (slechte timing), of de interactie tussen beide. Traditionele end-to-end versterkende leer (RL) verweeft deze componenten, waardoor het moeilijk is om de bron van falen te isoleren. Bovendien vertrouwt standaard Hiërarchische RL (HRL) vaak op rigide temporele abstracties of veronderstelt het vaste ruisverdelingen, wat de aanpasbaarheid beperkt wanneer semantische relaties veranderen.

2. Methodologie: Moira Framework

De auteurs stellen Moira voor, een taalgedreven framework voor hiërarchische versterkende leer. In plaats van gebruik te maken van op gradiënten gebaseerde fine-tuning of door experts gelabelde data, parameteriseert Moira zowel de hoge-niveau selector als de lage-niveau handelaar als prompt-geconditioneerde Large Language Models (LLM's). De beleidslijnen worden uitsluitend geoptimaliseerd via prompt-updates gedreven door tekstuele feedback.

2.1 Hiërarchisch Beleidsontwerp

Het framework scheidt expliciet abstractie-selectie van uitvoering, en aligneert hun aanpassingsplanningen met de beschikbaarheid van feedback:

• Hoge-niveau Selector ($\pi_{sel}$): Werkt op episode-niveau (bijvoorbeeld maandelijks). Het observeert geaggregeerde prijsstatistieken en semantische samenvattingen (nieuws, sentiment) om een activa-paar $z$ te selecteren. Deze selectie blijft vast voor de duur van de episode.
• Lage-niveau Handelaar ($\pi_{tr}$): Werkt op intra-episode-niveau (bijvoorbeeld dagelijks/wekelijks). Geconditioneerd op het vaste paar $z$, voert het handelsacties uit op basis van real-time spread-dynamiek en lokale prijskenmerken.

2.2 Optimalisatie via Prompt-aanpassing

Het systeem maakt gebruik van een tweestaps tekstueel optimalisatieproces voor beide niveaus, waarbij gradiëntafdaling op modelgewichten wordt vermeden:

1. Traject-niveau Kritiek (Stap 1): Een "Critic" LLM analyseert het uitgevoerde traject (observaties, acties, beloningen) en genereert een feedbacksignaal in natuurlijke taal ($g_{text}$). Dit signaal identificeert gebreken in beslissingsregels (bijvoorbeeld "voortijdige exits" of "het negeren van nieuws-catalysatoren").
2. Prompt-update (Stap 2): Een "Update" LLM integreert de tekstuele feedback in de huidige beleids-prompt, en genereert een bijgewerkte prompt ($\theta^{(k)}$) voor de volgende sub-episode of episode.

Belangrijkste Onderscheid in Aanpassingsplanningen:

• Handelaar: Ondergaat intra-episode prompt-updates. Het past zijn uitvoeringsregels aan op basis van traject-niveau feedback terwijl de paart-context vast blijft.
• Selector: Ondergaat episodesgebonden prompt-updates. Het ontvangt vertraagde, geaggregeerde feedback (cumulatief rendement) nadat de Handelaar zijn aanpassing en uitvoering voor de episode heeft voltooid.

3. Belangrijkste Bijdragen

1. Taal als Gedeelde Semantische Interface: Het artikel introduceert een nieuwe aanpak waarbij taal dient als interface tussen hiërarchische niveaus. In tegenstelling tot scalare beloningen, maakt tekstuele feedback expliciete semantische attributie mogelijk, waarbij onderscheid wordt gemaakt tussen abstractiefouten (slechte paarkies) en uitvoeringsfouten (slechte timing).
2. Prompt-gedreven Hiërarchische Optimalisatie: De auteurs tonen aan dat LLM's kunnen fungeren als hiërarchische beleidslijnen die uitsluitend worden geoptimaliseerd via prompt-updates. Dit induceert een natuurlijke scheiding van tijdschalen zonder complexe algoritmische beperkingen of gradiënt-gebaseerde fine-tuning te vereisen.
3. Koppeling van Abstractie en Uitvoering: Door de paarselectie vast te leggen voor een episode terwijl de handelaar intra-episode mag aanpassen, reduceert het framework non-stationariteit tussen niveaus en maakt het gerichte aanpassing onder vertraagde feedback mogelijk.

4. Experimentele Resultaten

Het framework werd geëvalueerd op historische data van de Amerikaanse aandelenmarkt (10 liquide aandelen) van januari tot juni 2025.

4.1 Prestatievergelijking

Moira presteerde significant beter dan verschillende baselines:

• Statistische Baselines: GGR (afstandsminimalisatie), Correlatie en Cointegratie.
• RL Baseline: TRIALS (een standaard RL-framework).
• Flat LLM Baseline: Een niet-hiërarchische LLM die probeert paren te selecteren en transacties uit te voeren tegelijkertijd.

Belangrijkste Metrieken (Moira vs. Beste Baseline):

• Geanimaliseerd Rendement (AR): Moira behaalde 59,11%, vergeleken met 21,38% voor de beste statistische baseline (Correlatie/Cointegratie) en negatieve rendementen voor anderen.
• Sharpe Ratio (SR): Moira behaalde 3,791, significant hoger dan de statistische baseline (1,218) en de flat LLM (-0,403).
• Maximale Downtrend (MDD): Moira handhaafde een lage 1,70%, vergeleken met 5,11% voor de statistische baseline en 8,69% voor de flat LLM.

4.2 Ablatiestudies

De auteurs voerden ablatiestudies uit om de noodzaak van zowel hiërarchische decompositie als prompt-aanpassing te valideren:

• Moira-Selection (LLM Selector + Statistische Handelaar): Het vervangen van de LLM-handelaar door een statistische resulteerde in sterk negatieve rendementen (-17,10% AR), wat aangeeft dat semantische paarselectie alleen onvoldoende is zonder adaptieve uitvoering.
• Moira-Tuning (Statistische Selector + LLM Handelaar): Het gebruik van een op correlatie gebaseerde selector met de getunede LLM-handelaar leverde positieve rendementen op (17,63% AR), maar presteerde significant slechter dan het volledige Moira-model. Dit benadrukt dat statisch handelsgedrag kansen die door semantische selectie worden geïdentificeerd, niet volledig kan benutten.
• Flat-LLM: De niet-hiërarchische aanpak faalde om te leren, wat resulteerde in negatieve rendementen en hoge volatiliteit, wat bevestigt dat gezamenlijke optimalisatie van paarselectie en uitvoering te complex is voor één enkel beslissingsproces.

4.3 Leer-dynamiek

Analyse van de leercurven toonde aan dat de prestaties progressief verbeterden met prompt-updates. Vroege updates vestigden basisdiscipline (instap/uitstap-regels), terwijl latere updates geavanceerd risicobeheer introduceerden (meelopen stops, gedeeltelijke winstdeling), wat leidde tot soepelere vermogenscurves en verminderde downtrends.

5. Betekenis en Claims

Het artikel beweert dat taalgedreven hiërarchische beleidsoptimalisatie een principiële aanpak biedt voor problemen met sequentiële besluitvorming waarbij:

• Abstracties in de loop van de tijd evolueren.
• Feedback vertraagd en geaggregeerd is.
• Expliciete signalen voor credit assignment ontbreken.

De auteurs betogen dat door het gebruik van taal als beleidsrepresentatie, het systeem gerichte aanpassing kan bereiken op verschillende temporele schalen zonder de instabiliteit die geassocieerd wordt met gradiënt-gebaseerde fine-tuning of de rigiditeit van traditionele HRL. De resultaten suggereren dat LLM's, wanneer hiërarchisch gestructureerd en geoptimaliseerd via prompt-aanpassing, semantische redenering effectief kunnen ontwarren van tactische uitvoering, wat leidt tot robuuste financiële besluitvorming.

Erkende Beperkingen:
De auteurs merken op dat het onderzoek beperkt is tot een klein universum van activa (10 aandelen) en een specifiek marktregeime. Zij claimen geen robuustheid onder extreme regimewisselingen of adversariale omstandigheden, en de theoretische eigenschappen van tekstuele feedback als optimalisatiesignaal blijven een open vraag.