Technische Samenvatting: PORTBENCH

Probleemstelling

Hoewel Large Language Models (LLM's) bekwaamheid hebben getoond in diverse financiële taken zoals kennisretrieval en numeriek redeneren, blijft Portefeuillebeheer (PM) ontoereikend gebenchmarked. Bestaande financiële benchmarks lijden aan twee kritieke lacunes:

1. Verwaarlozing van Cross-Asset Correlatie: De meeste benchmarks beperken de dekking tot enkele activaklassen of evalueren activa geïsoleerd. Dit ontwerp faalt in het onderscheiden van werkelijk gediversifieerde portefeuilles en sterk geconcentreerde portefeuilles, en negeert de correlatiestructuren die essentieel zijn voor risicobeheer (Markowitz, 1952; Qian et al., 2005).
2. Onvolledige Beslissingspijplijnen: Huidige evaluaties vertrouwen op statische, single-step voorspellingen of gedeeltelijke multi-step beoordelingen. Ze vangen het volledige sequentiële workflow van PM niet: van marktinterpretatie, signaalgeneratie, gewichtsoptimalisatie, uitvoering tot risicomonitoring, waarbij fouten in vroege fasen kunnen escaleren tot catastrofale downstream-falen. Bovendien evalueren bestaande benchmarks typisch onder normale marktomstandigheden met één impliciet risicoprofiel, waardoor de veerkracht van strategieën onder stress en hun afstemming op specifieke investeraars-toleranties ongetest blijven.

Methodologie

De auteurs introduceren PORTBENCH, een correlatie-bewuste, full-pipeline benchmark ontworpen om LLM's te evalueren over zes heterogene activaklassen (aandelen, grondstoffen, obligaties, cryptocurrency, vastgoed en kasgeld-equivalenten) over een periode van tien jaar (2015–2025). Het kader bestaat uit vier kernmodules:

1. Markt Basisdataset

De dataset omvat 183 distincte financiële instrumenten, inclusief dagelijkse prijsverlopen, rendementreeksen en bijbehorende nieuwsartikelen. Deze omvat macro-economische indicatoren (rentetarieven, inflatie, krediet spreads, volatiliteitsindices) en is gestructureerd om het verschil te benadrukken tussen lage inter-class correlaties en sterke intra-class correlaties.

2. Dual-Layer Evaluatiekader

PORTBENCH evalueert LLM's via twee complementaire lagen:

• Statische QA-Layer: Een dataset van 6.269 correlatie-gebaseerde vragen over zeven taaktemplates (T1–T7), variërend van single-asset voorspelling tot regime-gedreven herallocatie. Vragen en grondwaarheden worden automatisch gegenereerd uit historische data met behulp van analytische formules.
• Dynamische Vijf-Fase Pijplijn: Een sandbox die de volledige PM-beslissingscyclus nabootst op elke herallocatiedatum:
  • S1 (Marktinterpretatie): Toewijzing van sentiment-scores en identificatie van marktre regimes.
  • S2 (Signaalgeneratie): Mapping van sentiment naar directionele trading signalen (kopen/verkopen/houden).
  • S3 (Gewichtsoptimalisatie): Voorstellen van portefeuillegewichten onderworpen aan beperkingen.
  • S4 (Uitvoeringssimulatie): Een deterministische doorgang die transactiekosten toepast en de omloopsafwijking ten opzichte van de oracle meet.
  • S5 (Risicomonitoring): Berekening van Value-at-Risk (VaR), drawdown en gewichtsdrift, met triggering van herallocatie bij overschrijding van drempels.

3. Nieuwe Metrieken

Om de beperkingen van bestaande scoremethoden aan te pakken, introduceert PORTBENCH:

• Two-Layer Correlatie Scoring (voor S3): Ontleden van de gewichtsoptimalisatie-score in nauwkeurigheid (nabijheid tot de optimale Sharpe-ratio) en correlatiestructuur. Het correlatie-component straft intra-class concentratie af en beloont inter-class hedging, zodat portefeuilles worden beoordeeld op hun diversiteitskwaliteit, niet alleen op rendementsoptimalisatie.
• CEPS (Cross-stage Error Propagation Score): Een metriek die kwantificeert hoe redeneerfouten zich vermenigvuldigen over de pijplijn. In tegenstelling tot een simpel gemiddelde, straft CEPS modellen af waarbij de prestaties significant dalen tussen opeenvolgende fasen (bijvoorbeeld sterke signalen die leiden tot slechte uitvoering), en onderscheidt cascaderend falen van uniform middelmatige prestaties.

4. Stress- en Investeraarsprofiel Evaluatie

Modellen worden geëvalueerd onder drie historische stressregimes (China Shock 2015, COVID Crash 2020, Crypto Collapse 2022) en drie investeraarsprofielen (Conservatief, Gebalanceerd, Aggressief). Prestaties worden gemeten aan de hand van of modellen een "stress-poort" passeren (het handhaven van drawdowns binnen profiel-specifieke toleranties) en door hun vermogen om allocaties aan te passen aan verschillende risicobeperkingen (Profiel Afstemming Score).

Belangrijkste Resultaten

De auteurs evalueerden tien frontier LLM's (waaronder DeepSeek-V4, Qwen3, GLM-5 en Kimi-K2) tegen vijf klassieke baselines (Equal-Weight, 60/40, Risk Parity, Covariance Risk Parity, Minimum Variance).

• Kennis-Competentie Kloof: Ondanks sterke prestaties op statische QA-taken (met name formuledreven taken waar covariantiematrices worden verstrekt), faalden 90% van de model-profielcombinaties om een basis equal-weight (1/N) benchmark te overtreffen qua risicogecorrigeerde rendementen.
• Executie-instorting: Een kritieke faalmodus die is geïdentificeerd is "universeel onder-handelen". Modellen genereren vaak sterke signalen (S2), maar falen deze om te zetten in betekenisvolle portefeuilleherallocatie (S4). Dit wordt toegeschreven aan modellen die de covariantiematrix als ruis behandelen of deze niet kunnen parseren, wat resulteert in bijna uniforme gewichten die minimale omloop vereisen, waardoor de executiescores instorten.
• Stress-Fragiliteit: Hoge prestaties in normale markten voorspellen geen stress-veerkracht. Zes van de tien modellen faalden de stress-poort onder het conservatieve profiel tijdens de Crypto Collapse van 2022, ondanks het voldoen aan alle procedurele beperkingen. Deze modellen leden aan catastrofale drawdowns omdat hun allocaties niet effectief heden tegen gecorreleerde activacollapsen.
• Rank Dissociatie: Er is een zwakke negatieve correlatie ($\rho = -0.32$) tussen statische QA-nauwkeurigheid en dynamische pijplijnprestaties (CEPS). Modellen die excelleren in geïsoleerde feitelijke recall, falen vaak om redenering te handhaven over de causale keten van portefeuillebeheer.
• Waarde van Adaptatie: De primaire waarde van LLM's die is geïdentificeerd, is niet ruwe rendementsgeneratie, maar beperkingadaptatie. Modellen die succesvol hun allocaties aanpasten aan specifieke investeraarsrisicoprofielen (bijvoorbeeld het aanscherpen van equity-caps voor conservatieve investeerders) toonden een vermogen dat statische baselines missen, zelfs als hun absolute rendementen niet altijd eenvoudige heuristieken overtroffen.

Betekenis en Claims

Het paper claimt dat PORTBENCH de eerste uitgebreide, correlatie-bewuste benchmark biedt voor LLM-gedreven portefeuillebeheer. De betekenis hiervan ligt in:

1. Blootleggen van de Grenzen van Huidige LLM's: Het demonstreert dat sterke statische financiële kennis niet vertaalt naar robuuste, real-world portefeuillebeheercapaciteiten, met name wat betreft het benutten van covariantiestructuren en het uitvoeren van herallocatie.
2. Herdelen van Evaluatiestandaarden: Door CEPS en correlatie-bewuste scoring in te voeren, verschuift de benchmark de focus van einduitkomsten naar de kwaliteit van het beslissingsproces en de propagatie van fouten.
3. Benadrukken van de "Compliance-val": De studie onthult dat modellen kunnen voldoen aan alle procedurele beperkingen (bijvoorbeeld asset-caps) terwijl ze toch uitkomstveiligheid schenden (bijvoorbeeld excessieve drawdowns) onder stress, een faalmodus die eerder niet werd gemeten in standaard benchmarks.

De auteurs concluderen dat de waarde van LLM's in portefeuillebeheer momenteel ligt in beperkingadaptatie en tail-risk bewustzijn binnen één beslissingskader, en niet in het genereren van superieure rendementen boven naïeve diversificatiestrategieën. Ze waarschuwen tegen het inzetten van door LLM's gegenereerde allocaties in live trading zonder strikt menselijk toezicht, aangezien zelfs frontier-modellen fragiel gedrag vertonen onder stresscondities.