Dynamic Objective Selection with Safeguards and LLM Oversight for Financial Decision-Making

Technische Samenvatting: Dynamische Objectiefselectie met Beveiligingen en LLM-Toezicht voor Financiële Besluitvorming

Probleemstelling
Taken in de financiële besluitvorming, zoals aandelenadvies en portfolioallocatie, vertrouwen op het optimaliseren van een objectiefunctie (bijv. het maximaliseren van rendement, het minimaliseren van neerwaarts risico, of het optimaliseren van risico-gecorrigeerde metrieken) om transacties te selecteren. Hoewel de keuze van dit objectief de gerealiseerde prestaties aanzienlijk beïnvloedt, zijn marktomstandigheden niet-stationair; een vast objectief is vaak suboptimaal over verschillende regimes heen. Bestaande benaderingen die proberen objectieven te wisselen op basis van latente regime-inschattingen, lijden vaak aan ruisende of vertraagde signalen, wat leidt tot slecht getimede wisselingen. Bovendien kan frequent wisselen leiden tot operationele instabiliteit en excessieve omloopsnelheid (turnover). De kernuitdaging is het selecteren van de meest geschikte beslissingsrelevante objectieffunctie op elk tijdstip direct vanuit observeerbare marktkenmerken, zonder te vertrouwen op onobserveerbare regimevariabelen, terwijl wordt gewaarborgd dat het selectieproces robuust, vooruitziend en operationeel stabiel is.

Methodologie: DOSS
De auteurs stellen DOSS (Dynamic Objective Selection with Safeguards) voor, een leergestuurd framework dat objectiefselectie behandelt als een beleidsprobleem (policy problem). De methode werkt op een begrensde, vooraf gedefinieerde verzameling kandidaat-objectieven $\mathcal{O}$ (bijv. Rendementsgericht, Verliesavers, Risico-gecorrigeerd) en vermijdt het introduceren van tussenliggende latente regimevariabelen.

Het framework bestaat uit vier kerncomponenten:

1. Rolling-Window Objectiefselector: Het systeem formuleert objectiefselectie als een classificatieprobleem. Het gebruikt interpreteerbare statistische samenvattingen van recente rendementen als inputkenmerken ($x_t$) om het beste objectief uit de kandidaatverzameling te voorspellen. Om temporele lekkage (temporal leakage) en concept drift te voorkomen, wordt de selector getraind op een rolling window van "volgroeide" data. Een label voor een verleden tijdstip $i$ is pas beschikbaar op tijdstip $t$ als de evaluatiehorizon $H$ volledig is gerealiseerd ($i + H \leq t$). Het model is een lineaire softmax-classifier die via geregulariseerde cross-entropy wordt getraind op deze rolling dataset.
2. Confidence-Aware Safeguards (Vertrouwensbewuste Beveiligingen): Om misselectie en excessief wisselen te beperken, gebruikt DOSS een confidence gating-mechanisme. Het berekent een betrouwbaarheidsscore ($c_t$) als het waarschijnlijkheidsverschil tussen de top-1 en top-2 voorspelde objectieven. Als $c_t$ onder een drempelwaarde $\tau$ valt, overrulet het systeem het ruwe voorstel met een conservatief standaardobjectief ($o_{def}$). Daarnaast beperkt een optionele controle van de wisselfrequentie het aantal objectiefwijzigingen binnen een voortschrijvend venster om operationele onrust te voorkomen.
3. LLM Oversight (Governance/Toezicht): In plaats van een Large Language Model (LLM) te gebruiken om nieuwe objectieven te genereren, positioneert DOSS de LLM als een beperkte auditor. De LLM ontvangt het voorgestelde objectief, de inputkenmerken en de confidence score, en is beperkt tot hetzij het ACCEPTEREN van het voorstel, hetzij het OVERRIDEN ervan naar het vooraf gedefinieerde veilige standaardobjectief. Dit zorgt ervoor dat de beslissingsruimte begrensd blijft en biedt een controleerbaar spoor van het besluitvormingsproces.
4. Downstream Executie: Zodra het objectief is geselecteerd (en eventueel gefilterd/geaudit), voert een vast downstream beslissingsmodule de optimalisatie uit (bijv. het berekenen van portfolio-gewichten) op basis van het gekozen objectief.

Belangrijkste Bijdragen

• Policy Formulering: Het artikel herformuleert het wisselen van objectieffuncties in de financiële sector als een direct beleidsprobleem, waarbij objectieven worden geselecteerd uit observeerbare kenmerken op elk tijdstip, in plaats van het afleiden van latente regimes.
• DOSS Framework: De introductie van een leergestuurde selector die gebruikmaakt van rolling-window updates voor vooruitziende selectie zonder temporele lekkage, opererend op interpreteerbare statistische kenmerken.
• Safeguards en Governance: De integratie van confidence-aware gating naar een conservatief standaardobjectief en een optionele, beperkte LLM-auditor. Deze mechanismen zijn ontworpen om misselectie en excessief wisselen in deployment-georiënteerde omgevingen te beheersen, wat verantwoording en stabiliteit garandeert.

Experimentele Resultaten
De auteurs evalueerden DOSS op de FAR-Trans benchmark, een publieke dataset voor financiële activarecommandaties met een rolling evaluatieprotocol over 61 beslissingstijdstippen. De kandidaatverzameling bevatte drie objectieven: RETURN, DOWNSIDERISK en SHARPELIKE.

• Prestaties: DOSS met confidence gating (drempel $\tau=0.2$) behaalde een Hit Percentage Accuracy (HPA) van 0.5626, waarmee het de sterkste statische baseline (Static(DOWNSIDERISK), HPA 0.5235) met ongeveer 7,5% relatieve verbetering versloeg. Het presteerde ook beter dan een directe LLM-gebaseerde selector (GPT-4.1-mini) die een HPA van 0.5173 behaalde.
• Stabiliteit: Hoewel de hindsight oracle (bovengrens) de hoogste HPA behaalde (0.6150), vertoonde deze een hoge switch rate (0.8197). DOSS behaalde een aanzienlijk lagere switch rate (0.4590) vergeleken met de oracle en de directe LLM-selector (0.5902), wat een balans aantoont tussen adaptiviteit en operationele stabiliteit.
• Gevoeligheidsanalyse: Een sweep van de confidence drempel $\tau$ onthulde een "U-vormige" trade-off. Het uitschakelen van gating ($\tau=0$) verminderde de prestaties, terwijl te conservatieve gating ($\tau=0.4$) het systeem deed instorten richting een statische strategie. Een gematigde drempel ($\tau=0.2$) leverde optimale resultaten op, wat bevestigt dat het selectief verwerpen van laag-betrouwbare wisselingen de algehele nauwkeurigheid verbetert.
• Statistische Betrouwbaarheid: Bootstrap-analyse over tijdstippen bevestigde dat de verbetering van DOSS ten opzichte van de statische baseline robuust is, met een 95% betrouwbaarheidsinterval van $[0.0118, 0.0706]$ en een waarschijnlijkheid van positieve verbetering van 0.9986.

Betekenis en Claims
Het artikel claimt dat DOSS een praktisch middenpad biedt voor financiële implementatie. Het vangt een betekenend deel van de prestatieruimte (headroom) die beschikbaar is bij een ideale hindsight oracle, terwijl het expliciet de operationele instabiliteit controleert via conservatieve fallback-mechanismen. Door de LLM te beperken tot een accepterende/overridende rol in plaats van een generatieve rol, houdt het framework een begrensde beslissingsruimte aan, wat zorgt voor traceerbaarheid en afstemming met governance-vereisten. De resultaten suggereren dat dynamische objectiefselectie, wanneer gecombineerd met confidence-aware safeguards, statische strategieën en directe LLM-benaderingen kan overtreffen zonder de kosten van excessief wisselen met zich mee te brengen.