Constructing a Portfolio Optimization Benchmark Framework for Evaluating Large Language Models

Deze studie introduceert een benchmarkframework voor het evalueren van de vermogensoptimalisatiecapaciteiten van grote taalmodellen via wiskundig onderbouwde meerkeuzevragen, waarbij wordt aangetoond dat GPT-4 over het algemeen de beste prestaties levert, gevolgd door Gemini 1.5 Pro en Llama 3.1-70B.

De kern

Stel je voor dat je een reisleider zoekt voor een complexe reis: het beleggen van geld. Je wilt iemand die niet alleen goed kan praten over de reis (de taal), maar die ook echt weet hoe je de beste route kiest om veilig en winstgeven te arriveren.

Dit onderzoek is als een grote test die twee dingen doet:

1. Het bouwt een nieuwe soort examen voor deze "reisleiders" (de slimme AI's, ofwel Large Language Models).
2. Het kijkt welke AI het beste is in het kiezen van de perfecte reisroute (een beleggingsportefeuille).

Hier is de uitleg, vertaald naar alledaags taalgebruik:

1. Het probleem: De oude examens waren te makkelijk

Tot nu toe werden AI's getest op hun taalvaardigheid. Het was alsof je ze vroeg: "Schrijf een mooi gedicht over een zonsondergang" of "Vat dit nieuwsartikel samen."
Maar in de echte financiële wereld gaat het niet om mooie woorden, maar om wiskundige keuzes. Het gaat om: "Hoe verdeel ik mijn geld over verschillende aandelen zodat ik de minste risico loop, maar toch genoeg winst maak?"

De oude tests konden niet meten of een AI echt goed kon rekenen en plannen. Ze konden alleen meten of de AI goed kon praten.

2. De oplossing: Een "Reisroute-examen"

De auteurs van dit paper hebben een nieuw examenbedacht, gebaseerd op de theorie van portefeuille-optimalisatie (een wiskundige manier om de beste mix van beleggingen te vinden).

Stel je dit examen voor als een keuzespel:

• De AI krijgt een opdracht: "Beleg in deze 3 aandelen, met als doel: minimale schokken in je portemonnee."
• De AI krijgt 4 mogelijke routes (antwoorden) voorgeschoteld.
• Eén route is de wiskundig perfecte oplossing (de "juiste" route).
• Drie andere routes zijn valkuilen (verkeerde routes) die er slim uitzien, maar niet de beste zijn.

Het mooie aan dit examen is dat er één duidelijk goed antwoord is, berekend met wiskunde. Er is geen ruimte voor "misschien" of "het hangt ervan af". De AI moet de perfecte route vinden.

3. De deelnemers: De drie reisleiders

De onderzoekers hebben drie beroemde AI's op de proef gesteld:

• GPT-4 (de "Veiligheids-expert")
• Gemini 1.5 Pro (de "Winst-jager")
• Llama 3.1-70B (de "Beginner")

Ze kregen 9.500 van deze vragen, variërend van simpele situaties tot complexe scenario's met veel regels (bijvoorbeeld: "Je mag niet meer dan 20% in één aandeel steken").

4. De resultaten: Wie wint de wedstrijd?

Hier zijn de bevindingen, vertaald in analogieën:

• GPT-4 (De Veiligheids-expert):
  Deze AI was de beste in het vinden van de veiligste routes. Als de opdracht was om risico te minimaliseren (zoals een rustige wandeling zonder valkuilen), wist GPT-4 bijna altijd de perfecte route te kiezen. Ook als er veel regels waren (bijvoorbeeld "niet te ver van de weg af"), bleef deze AI kalm en correct.

  • Kortom: GPT-4 begrijpt de wiskunde achter risico goed.

• Gemini (De Winst-jager):
  Deze AI was goed als de opdracht luidde: "Maak zoveel mogelijk winst!" Maar zodra de opdracht complexer werd (bijvoorbeeld: "Maak winst, maar zorg dat je niet te veel risico loopt"), begon Gemini te struikelen. Het neigde er vaak toe om de route te kiezen die er het meest winstgevend uitzag, zelfs als die route gevaarlijk was of niet aan de regels voldeed.

  • Kortom: Gemini is goed in dromen van winst, maar minder goed in het plannen van een veilige route.

• Llama (De Beginner):
  Deze AI had over het algemeen de meeste moeite. Het maakte veel fouten, vooral als de regels streng waren. Het leek soms de verkeerde route te kiezen omdat het de complexe instructies niet goed kon volgen.

5. De grote les: AI is nog niet klaar voor de stuurmanstoel

De belangrijkste conclusie van het papier is: AI's zijn slim in praten, maar nog niet perfect in het nemen van complexe financiële beslissingen.

• Als je een AI vraagt om een simpel verhaal te vertellen, doet hij dat geweldig.
• Als je vraagt om een complexe financiële strategie te bedenken met veel regels en risico's, maken ze nog veel fouten. Vooral bij moeilijke combinaties (zoals "maximaliseer winst én minimaliseer risico tegelijk") faalden alle drie de AI's bijna volledig.

De metafoor voor de toekomst:
Je kunt deze AI's nu al gebruiken als een handige assistent die je helpt met het verzamelen van informatie of het maken van een eerste opzet. Maar je kunt ze niet nog als de hoofd-belegger aan het stuur zetten zonder dat een mens (een expert) de routekaart nog eens goed controleert. Ze zijn nog niet betrouwbaar genoeg om alleen te beslissen als het echt ingewikkeld wordt.

Samenvattend

Dit onderzoek heeft een nieuwe "rijbewijstest" voor AI's bedacht. De test laat zien dat sommige AI's (zoals GPT-4) al redelijk goed kunnen rekenen met risico's, maar dat ze allemaal nog veel moeten leren voordat ze echt de leiding kunnen nemen in de complexe wereld van beleggen. Het is een belangrijke stap om te begrijpen waar we AI's nu al voor kunnen gebruiken en waar we nog voorzichtig moeten zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Constructing a Portfolio Optimization Benchmark Framework for Evaluating Large Language Models" in het Nederlands.

Probleemstelling

Hoewel Large Language Models (LLMs) steeds vaker worden ingezet in de financiële sector voor taken zoals nieuwsanalyse en fraudeopsporing, ontbreekt het aan robuuste benchmarks om hun kwantitatieve redeneervermogen en gestructureerde besluitvormingscapaciteiten te evalueren. Bestaande financiële benchmarks (zoals FinQA of FinBEN) richten zich voornamelijk op taalverwerking, informatiewinning en tekstuele vragen. Ze testen niet of een model in staat is om complexe, wiskundig gedefinieerde optimalisatieproblemen op te lossen die essentieel zijn voor het echte portefeuillebeheer, zoals het afwegen van rendement versus risico onder specifieke beperkingen. Er is een behoefte aan een framework dat de fundamentele principes van de portefeuilletheorie test in plaats van alleen taalbegrip.

Methodologie

De auteurs presenteren een nieuw benchmarkframework genaamd PortBench, dat is gebaseerd op de moderne portefeuilletheorie (Markowitz). Het framework genereert automatisch een dataset van 9.500 meerkeuzevragen die portfolio-optimalisatieproblemen simuleren.

Kerncomponenten van de methodologie:

1. Probleemgeneratie:

   • De dataset wordt gegenereerd door variaties in doelstellingen (objectieven), activa (asset lists) en beperkingen (constraints).
   • Er worden vijf optimalisatiedoelen gebruikt:
     • Minimaliseren van volatiliteit (variatie).
     • Maximaliseren van het verwachte rendement.
     • Maximaliseren van de Sharpe-ratio.
     • Minimaliseren van de maximale drawdown (MDD).
     • Minimaliseren van de Conditional Value-at-Risk (CVaR).
   • Er worden diverse beperkingen toegepast, zoals geen beperkingen, onder- en bovengrenzen voor gewichten (bijv. 0% tot 90%), en eisen voor het aantal activa in de portefeuille.

2. Vraagstructuur:

   • Elke vraag bestaat uit een natuurlijke taal-prompt met de specifieke parameters.
   • Er worden vier opties geboden: één theoretisch optimale toewijzing (het correcte antwoord, berekend via een wiskundige solver) en drie distractors (foutieve opties).

3. Generatie van Distractors:
   Om de moeilijkheidsgraad te controleren en te variëren, worden de foutieve opties systematisch gegenereerd op basis van hun afstand tot de optimale oplossing:

   • Afstandsbased: Gebaseerd op de Euclidische afstand tussen de gewichtsvector van het distractor en de optimale vector.
   • Drempel-based: Gebaseerd op de afwijking in de doelwaarde (bijv. variatie of rendement) ten opzichte van het optimum.
   • Dual-criteria: Combineert zowel structurele afwijking (gewichten) als prestatie-afwijking.
   • Quantile-based: Selectie op basis van verdelingen.

4. Evaluatie:
   Drie populaire LLMs werden getest: GPT-4o, Gemini 1.5 Pro en Llama 3.1-70B. De modellen moesten de optimale portefeuille selecteren zonder toegang tot externe optimalisatietools, puur op basis van hun interne redeneervermogen.

Belangrijkste Resultaten

De experimentele resultaten tonen duidelijke verschillen in prestaties tussen de modellen, afhankelijk van het type doelstelling en de complexiteit van de beperkingen:

• GPT-4o:
  • Bereikte de hoogste algehele nauwkeurigheid.
  • Presteerde uitstekend bij risicogerichte doelstellingen (minimaliseren van variatie en MDD).
  • Toonde stabiliteit onder verschillende beperkingen, wat wijst op een sterk begrip van de wiskundige structuur van risicobeheer.
• Gemini 1.5 Pro:
  • Presteerde goed bij rendementsgerichte taken (maximaliseren van rendement), maar had moeite met andere doelstellingen.
  • De prestaties daalden aanzienlijk bij complexere beperkingen en bij doelstellingen die een afweging vereisten (zoals de Sharpe-ratio).
  • Neigde vaak naar portfoli's met een hoger rendement, zelfs als deze niet theoretisch optimaal waren onder de gegeven beperkingen.
• Llama 3.1-70B:
  • Bereikte de laagste algehele nauwkeurigheid.
  • Had de grootste moeite met taken die complexe beperkingen combineerden met multi-criteria optimalisatie.

Specifieke inzichten:

• Alle modellen presteerden zeer slecht (<10% nauwkeurigheid) bij het maximaliseren van de Sharpe-ratio, wat aangeeft dat het interpreteren van multi-dimensionale afwegingen (rendement vs. risico vs. correlatie) nog een grote uitdaging is.
• De aanwezigheid van beperkingen (constraints) had een significant negatief effect op de prestaties, vooral bij Gemini en Llama. Hoe strikter de beperkingen, hoe groter het prestatieverschil tussen de modellen.

Belangrijkste Bijdragen

1. Nieuw Benchmark Framework: Het introduceert het eerste benchmarkframework dat specifiek is ontworpen om de financiële besluitvorming van LLMs te evalueren via wiskundig gedefinieerde portfolio-optimalisatieproblemen, in plaats van alleen taalverwerking.
2. Schaalbaarheid en Reproduceerbaarheid: Het framework biedt een schaalbare manier om duizenden unieke problemen te genereren door het combineren van verschillende activa, doelstellingen, tijdsperiodes en beperkingen.
3. Gedetailleerde Modelanalyse: Het biedt een duidelijk beeld van de sterke en zwakke punten van huidige state-of-the-art LLMs in financiële contexten, wat essentieel is voor het ontwikkelen van betrouwbare AI-gedreven adviesdiensten.

Significantie en Toekomstperspectief

De studie concludeert dat hoewel LLMs (met name GPT-4) veelbelovend zijn als ondersteunende tools voor risicogerichte strategieën, ze nog niet betrouwbaar genoeg zijn voor autonome financiële besluitvorming in complexe, real-world scenario's met meerdere doelstellingen en strikte beperkingen.

De resultaten benadrukken dat de huidige LLMs moeite hebben met geavanceerde wiskundige redenering en het integreren van numerieke analyse met taalkundige interpretatie. Voor de toekomst is het noodzakelijk dat modellen worden getraind om multi-objectieve optimalisatie beter te hanteren. Het framework vormt een fundamentele basis voor het verder ontwikkelen en testen van LLM-based diensten in het vermogensbeheer en financieel advies.