💰 quantitative finance

CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents

Het artikel introduceert CLQT, een closed-loop, kostenbewuste en strategie-consistente benchmark die de evaluatie van LLM-portfoliobeheeragenten verschuift van eenvoudige op rendement gebaseerde rangschikking naar een diagnostisch kader dat in staat is om specifieke redeneerfouten te isoleren en duurzame competenties te meten door middel van een verifieerbare, meerfasige handelscyclus.

Oorspronkelijke auteurs: Bo Qu, Mingguang Chen

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bo Qu, Mingguang Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van robot-financieel adviseurs inhuurt om je geld te beheren. In het verleden testten mensen deze robots door ze eenvoudige vragen te stellen zoals: "Wat is de prijs van het aandeel Apple?" of door te kijken wie het meeste geld verdiende in een enkel kwartaal.

De auteurs van dit artikel stellen dat deze oude tests gebrekkig zijn. Ze zijn als het beoordelen van een chef-kok uitsluitend op hoeveel calorieën hun gerecht bevat, zonder de eter te laten proeven of te controleren of ze daadwerkelijk het recept hebben gevolgd. Een robot kan veel geld verdienen simpelweg omdat de markt die dag toevallig omhoog ging, niet omdat de robot echt slim is. Of het kan valsspelen door "vooruit te gluren" naar het nieuws van morgen.

Dit artikel introduceert CLQT, een nieuwe manier om AI-agenten te testen. Zie CLQT niet als een race om te zien wie wint, maar als een medisch diagnostisch hulpmiddel voor AI. In plaats van een robot een enkele score te geven (zoals "Goud Medaille"), geeft het de robot een gedetailleerd rapport met vijf specifieke vitale functies.

Hier is hoe CLQT werkt, met behulp van eenvoudige analogieën:

1. De "Niet Valsspelen" Regel (De Tijdspoort)

Stel je een test voor waarbij studenten de antwoordenlijst mogen inzien voordat het examen begint. Dat is wat veel oude tests met AI deden; ze lieten de AI per ongeluk gegevens uit de toekomst zien.
CLQT heeft een strikte "Tijdspoort" (Time Gate). Het is als een beveiliger die de klok controleert. De AI mag alleen informatie gebruiken die bestond voordat het een beslissing nam. Als de AI probeert vooruit te gluren naar de aandelenkoersen van morgen, faalt de test onmiddellijk. Dit zorgt ervoor dat de AI echt nadenkt, en niet alleen herinnert.

2. De Vijfdelige Gezondheidscontrole (Het Scoreformulier)

In plaats van te vragen "Hoeveel geld heb je verdiend?", stelt CLQT vijf diepere vragen. Het geeft de AI een score van 0 tot 100 op elk punt:

Coherentie (De "Verhalenverteller"-test): Komt de actie van de AI overeen met het eigen verhaal?
- Analogie: Stel je voor dat een bestuurder zegt: "Ik ga langzaam rijden omdat het regent," maar dan vol gas geeft. CLQT controleert of de redenering van de AI overeenkomt met de werkelijke transacties. Het artikel vond dat veel AI's een geweldig verhaal vertellen, maar vervolgens iets totaal anders doen.
Acuïteit (De "Focus"-test): Kan de AI de ruis negeren?
- Analogie: Stel je voor dat je probeert naar een vriend te luisteren in een luid, chaotisch stadion. Sommige AI's raken afgeleid door elke harde knal (willekeurige prijsschommelingen) en vergeten de belangrijke signalen (echte trends). CLQT meet of de AI in staat is om zich op de juiste zaken te concentreren.
Compositie (De "Kalmte"-test): Raakt de AI in paniek als het onrustig wordt?
- Analogie: Wanneer de aandelenmarkt plotseling daalt, blijft een kalme belegger standvastig. Een paniekerige belegger verkoopt alles in een vlaag van paniek. CLQT controleert of de AI overreageert op kleine hobbels in de weg of gedisciplineerd blijft.
Discipline (De "Regelvolger"-test): Houdt de AI zich aan het plan?
- Analogie: Als je een robot vertelt: "Koop alleen blauwe shirts," en hij koopt een rood shirt, dan ontbreekt het hem aan discipline. CLQT controleert of de AI zijn eigen regels en budgetlimieten respecteert zonder dat er een mens hoeft te schreeuwen.
Betrouwbaarheid (De "Uithoudings"-test): Voltooit de robot daadwerkelijk de taak?
- Analogie: Sommige robots beginnen aan een taak, raken in de war, crashen of geven halverwege op. CLQT telt hoe vaak de AI een volledige cyclus van denken en handelen succesvol voltooit zonder vast te lopen.

3. Het "Twee Modus" Experiment

De onderzoekers testten de AI's in twee verschillende "persoonlijkheidsmodi":

Gestructureerde Modus: De AI handelt als een strikt comité. Het moet een stapsgewijze checklist volgen (zoals een piloot met een pre-flight checklist).
Autonome Modus: De AI krijgt volledige vrijheid om te doen wat hij denkt dat het beste is, zonder checklist.

De Verrassende Bevinding:
Het artikel ontdekte dat "vrijheid" een AI niet automatisch slimmer maakt.

Sommige AI's (zoals de genaamd DeepSeek) waren verschrikkelijk wanneer ze volledige vrijheid kregen, maar werden uitstekend wanneer ze werden gedwongen een checklist te volgen.
Andere AI's (zoals Claude) presteerden juist beter wanneer ze totale vrijheid hadden.
De Les: Je kunt niet simpelweg zeggen "AI is goed" of "AI is slecht". Je moet weten welke AI het beste werkt met welke stijl van management.

4. De "Echte Wereld" versus "Simulatie"

Het artikel draaide een simulatie voor een jaar en ook een "live" test voor twee weken met een echte broker (maar met fictief geld).

Het Resultaat: De "gezondheidscheck" werkte in beide gevallen perfect. Ondanks dat de AI de live data nog nooit eerder had gezien, kon de test nog steeds aangeven of de AI kalm, gefocust of betrouwbaar was.
De "Kloof": Het artikel vond een consistente kloof tussen wat de AI zei dat het zou doen en wat het daadwerkelijk deed. Zelfs in de live test kwamen de acties van de AI vaak niet overeen met de redenering. Dit suggereert dat de AI goed is in "praten met de pretentie" (talking the talk), maar soms moeite heeft met het "daadwerkelijke werk" (walking the walk).

5. Waarom dit ertoe doet (De "Kaart" versus de "Ranglijst")

De auteurs zeggen: "Stop met kijken naar de ranglijst."
Oude tests probeerden AI's te rangschikken van 1 tot 10. Dit artikel stelt dat dat nutteloos is omdat de markt verandert. Een AI die vandaag wint, kan morgen verliezen.

In plaats daarvan biedt CLQT een kaart van beperkingen.

Het vertelt je: "Deze AI is geweldig in het kalm blijven, maar slecht in het volgen van regels."
Het vertelt je: "Deze AI is slim, maar crasht als je hem niet genoeg tijd geeft om na te denken."

Samenvatting

CLQT is een nieuwe, rigoureuze manier om AI-investeerders te testen. Het voorkomt dat ze valsspelen, dwingt hen hun redenering uit te leggen en geeft hen een gedetailleerd rapport over hun persoonlijkheid en gewoonten. Het bewijst dat geld verdienen in een simulatie niet betekent dat een AI daadwerkelijk slim is; het kan ook gewoon geluk zijn. De echte waarde ligt niet in het vinden van de "winnaar", maar in het begrijpen van precies waar elke AI sterk is en waar hij waarschijnlijk zal falen.

Technische Samenvatting: CLQT – Een Closed-Loop, Kostenbewuste, Strategie-Consistente Benchmark voor de Diagnostische Evaluatie van LLM Portfolio-management Agents

1. Probleemstelling

Huidige benchmarks voor Large Language Model (LLM) agents in de financiële sector zijn verschoven van statische vraag-en-antwoordsystemen naar sequentiële handel. De heersende evaluatieparadigma leunt echter op leaderboards die agents rangschikken op basis van rendementen (bijv. Sharpe-ratio, cumulatief rendement) over vaste vensters. De auteurs stellen dat deze aanpak fundamenteel gebrekkig is voor onderzoeksdoeleinden omdat:

Marktdominantie: Rendementen worden vaak gedomineerd door het gerealiseerde marktpad en het risicoprofiel, in plaats van door de kwaliteit van de redenering van de agent.
Leakage en Alpha: Schijnbare "alpha" lost vaak op wanneer look-ahead data leakage wordt gecontroleerd, waardoor voornamelijk passieve factorblootstelling overblijft.
Onvolledige Diagnose: Een enkele score certificeert noch de degelijkheid van de redenering, noch de strategie-consistentie, noch de duurzaamheid van een voorsprong (edge).
Ontbrekende Infrastructuur: Bestaande benchmarks falen in het gelijktijdig afdwingen van point-in-time (PiT) datasemantiek, het modelleren van realistische transactie-/financieringskosten, het evalueren van portfolio-beslissingen, het meten van strategie-consistentie over rondes, het accumuleren van gestructureerd geheugen, en het behandelen van tool-orchestratie als een meetbare capaciteit.

Het artikel stelt dat de duurzame bijdrage van een benchmark niet een ranglijst moet zijn, maar een diagnostisch instrument dat lokaliseert waar en waarom het besluitvormingsproces van een agent slaagt of faalt.

2. Methodologie en Systeemontwerp

2.1 Kernarchitectuur: De Closed-Loop

CLQT is een volledig closed-loop, kostenbewuste en temporeel afgebakende omgeving. Het werkt volgens een vijftrapscyclus (verzamelen, synthetiseren, construeren, uitvoeren, reflecteren) die de redeneer–actie–reflecteer traditie volgt:

Intelligence Acquisition (IA): Verzamelt markt-, nieuws-, macro- en assetklasse-data.
Multi-Source Signal Synthesis (MSS): Produceert signalen, risico-inschattingen en factordecompositie.
Mandate-Aware Portfolio Construction (MAPC): Stelt doelallocaties voor en valideert deze tegen beleggingsmandaten.
Cost-Optimal Order Execution (COE): Genereert en voert orders uit met kostenminimaliserende strategieën.
Attribution & Lesson Extraction (ALE): Attrueert prestaties, extraheert gestructureerde lessen en werkt het geheugen bij.

Het systeem ondersteunt twee Skill Modes:

Gestructureerd: Een commissie van zes agents (Research, Analyst, PM, Risk Officer, Execution, Reflection) met beperkte tool-subsets en voorgeschreven workflows.
Autonoom: Een enkele agent die de volledige pijplijn bezit met volledige toegang tot tools en beslissingsautonomie.

2.2 Zes Ontwerppijlers

Hard TimeGate: Dwingt point-in-time datasemantiek af. Geen toegang tot data is toegestaan als timestamp > as_of_ts. Dit behandelt leakage als een mislukte precondition.
Institutionele Kostenmodellering: Houdt position-niveau PnL bij met een gewogen gemiddelde kostenbasis, dagelijkse financieringskosten en vier selecteerbare marktimpact-modellen (fixed, square-root, Almgren–Chriss, structural).
Strategie-Consistentie Scoring: Berekent een ConsistencyScore per ronde op basis van stijl-drift, omloopsnelheid-consistentie, signaal-naleving en mandaat-overeenstemming.
Drie-lagen Geheugen:
- Werkgeheugen: Huidige observatie + recente rondes.
- Episodisch: Vervagende event-actie-uitkomst records.
- Semantisch: Gegeneraliseerde cross-asset patronen.
- Inclusief een consolidatie-pass om records samen te voegen en vervagingsmechanismen om vergeten te simuleren.
Model-Context-Protocol (MCP) Tool Layer: Agents interageren via 19 getypeerde kwantitatieve tools (marktdata, quant tools, nieuws, uitvoering). Elke tool-call wordt gehasht, getimed en is auditeerbaar.
Mandate-Aware Synthese: Een pijplijn die kwantitatieve optimizer-voorstellen afstemt met tactische overlays van de agent, onderworpen aan beperkingen en validatie door de Risk Officer.

2.3 Dataintegriteit en Audit Trail

Tamper-Evident Hash Chain: Elke ronde emitteert een DecisionRound die is verzegeld in een hash chain. De observatie-hash en actie-hash zijn gekopperd aan de actie-hash van de vorige ronde. Elke post-hoc wijziging verbreekt de keten, wat verificatie door derden mogelijk maakt zonder extra instrumentatie.
Contaminatiecontrole: Gebruikt model trainings-cutoffs om backtest-vensters te filteren en een live broker track voor validatie van data na de cutoff.

3. Evaluatiekader: De Vijf-Assen Scorecard (APM-CS)

In plaats van een enkele rendement-metriek berekent CLQT een vijf-assen capaciteitsscorecard die volledig voortkomt uit de audit trail:

Coherence (Samenhang): Meet of de gekozen allocatie voortvloeit uit de gestelde analyse van de agent.
- Metriek: 50% Signal-Action Agreement (richting match) + 50% Held-Out LLM Judge Score (redeneer-consistentie).
- Innovatie: Gebruikt een niet-cohort, redeneer-ondersteunde LLM (minimax-m3) als rechter om self-preference bias te voorkomen.
Acuity (Scherpte): Meet de aandacht voor informatieve signalen versus ruis.
- Metriek: Correlatie van voorgestelde trades met een informatieve composiet (momentum, earnings, macro) minus de correlatie met een volatiliteitsruis-distractor.
Composure (Beheersing): Meet robuustheid tegen volatiliteit (voorkomen van churn).
- Metriek: Regressie van omloopsnelheid tegen marktvolatiliteit (lagere helling is beter) gecombineerd met strategie-consistentie.
Discipline (Discipline): Meet zelfregulatie ten opzichte van mandaten zonder harde grenzen.
- Metriek: Rate van zelf-beperkte rondes versus de afhankelijkheid van de MAPC clipper.
Reliability (Betrouwbaarheid): Meet protocol-naleving en operationele robuustheid.
- Metriek: Completion rate, parse-fail rate en truncation rate.

Aggregatie: Elke as wordt gemapt naar een cohort-percentiel. De samengestelde APM-CS is het gemiddelde van deze vijf percentielen. Een "superieure" agent wordt gedefinieerd als een agent die consistente dominantie vertoont over assen en sub-perioden, een lat die zelden schoon wordt gehaald.

4. Belangrijkste Resultaten

4.1 Campagne Opzet

Cohort: 5 modellen (Qwen, Gemini, DeepSeek, GPT-5, Claude) in Gestructureerde en Autonome modi.
Duur: 26 tweewekelijkse rondes (1 jaar) voor backtest; 9 dagen voor live broker paper trading.
Ablatie: 13 configuraties inclusief single-module knockouts en multi-module cluster verwijderingen.

4.2 Primaire Bevindingen

Capaciteit $\neq$ Uitkomst: De "Sharpe winnaar" (Qwen-gestructureerd, Sharpe 9.82) werd blootgesteld als een 5-ronde artefact met een Reliability score van 0.19 (door truncatie en rate-limiting). De echte capaciteitsleider (DeepSeek-gestructureerd, APM-CS 72.4) had een gemiddelde Sharpe (2.96) maar een gebalanceerd profiel.
Scaffold Effecten: Gestructureerde modi verbeterden over het algemeen de capaciteitsprofielen (vooral Composure en Discipline), maar de omvang varieerde per model (bijv. DeepSeek zag een +36 APM-CS lift; GPT-5 zag een +1 lift).
Verborgen Tekortkomingen:
- Reliability: Gemini-gestructureerd had een Reliability van 0.61 ondanks een gezonde Sharpe, door persistente schema parse-fails.
- Acuity: De cohort-brede Acuity was zwak (0.06–0.18), wat aangeeft dat agents moeite hadden om alpha-signalen van ruis te onderscheiden.
- Coherence Gap: Er bestaat een systematische kloof tussen mechanische signal-action agreement (~~0.6) en de reasoning judge score (~~0.28). Deze kloof bleef bestaan in zowel de backtest als de live data (+0.33 vs +0.34), wat duidt op een fundamenteel tekort in het vertalen van declaratieve kennis naar procedurele actie.
Ablatie Inzichten: Het verwijderen van modules (nieuws, macro, geheugen) schaadde de rendementen in het gunstige, stijgende marktregime niet significant (alle ablaties bleven binnen de ruisband). Echter, de capaciteitsassen onthulden ernstige degradatie (bijv. Acuity daalde naar 0.02 wanneer de informatie-stack werd verwijderd).
Live Track Validatie: Het instrument mat dezelfde beslissingseigenschappen op ongeziene live data. De coherence gap bleef stabiel, en de live track legde specifieke autonome-modus fouten bloot (intermitterende "hold" gedragingen door tool-budget uitputting of schema-fouten) die gestructureerde modi voorkamen.

5. Betekenis en Claims

Het artikel claimt dat CLQT geen leaderboard is, maar een diagnostisch instrument. De betekenis ligt in:

Scheiding van Uitkomst en Capaciteit: Het demonstreert dat hoge rendementen spuriaal kunnen zijn (gedreven door marktregimes of artefacten), terwijl lage rendementen een robuuste, gedisciplineerde redenering kunnen maskeren.
Proces boven Product: Door het besluitvormingspad (Coherence, Acuity, etc.) te scoren in plaats van alleen PnL, identificeert het specifieke foutmodi (bijv. "stating-versus-doing" tekorten) die rendement-gebaseerde metrieken missen.
Auditbaarheid: De tamper-evident hash chain stelt elke derde partij in staat om te verifiëren dat de gerapporteerde metrieken exact die zijn die door de engine zijn geproduceerd, zonder verborgen instrumentatie.
Algemene Agent Diagnostiek: De vijf assen zijn geframed als financiële instanties van algemene agent-capaciteiten (bijv. Coherence als systeem-niveau redenering, Composure als robuustheid tegen perturbatie), waardoor de benchmark toepasbaar is op bredere agents.
Bescheiden Rangschikking: De auteurs weigeren expliciet modellen te rangschikken, met het argument dat een geloofwaardige rangschikking een orde van grootte meer modellen, regimes en runs vereist dan een enkele studie kan bieden. In plaats daarvan bieden ze een "kaart van beperkingen" voor het geëvalueerde cohort.

Het artikel concludeert dat de "duurzame bijdrage" een duurzame, uitbreidbare kaart van agent-competenties en beperkingen is, in plaats van een snapshot van wie er momenteel "wint".