Investor risk profiles of large language models

Dit onderzoek analyseert hoe drie grote taalmodellen (GPT, Gemini en Llama) beleggingsrisicoprofielen vormen en aanpassen aan specifieke persona's, waarbij elk model een unieke balans toont tussen risicobereidheid en consistentie.

De kern

Stel je voor dat je drie verschillende digitale "financiële adviseurs" hebt: GPT, Gemini en Llama. Deze zijn allemaal superintelligente robots (gemaakt door grote taalmodellen) die je kunnen helpen met beleggen. Maar voordat ze je advies geven, moeten ze weten wat voor soort belegger jij bent. Ben je een rustige schildpad of een snelle haas?

De auteurs van dit onderzoek hebben deze drie robots getest om te zien hoe ze hun eigen "beleggingspersoonlijkheid" vormen en of ze zich kunnen aanpassen aan jouw wensen.

Hier is het verhaal van het onderzoek, vertaald naar alledaagse taal:

1. De "Standaard-Instelling" van de Robots

De onderzoekers gaven de robots een standaardvragenlijst (zoals die je ook op bankwebsites vindt) en vroegen ze: "Stel je bent een belegger. Wat zou jij doen?" Ze deden dit 100 keer per robot om te zien of ze consistent waren.

Het resultaat was verrassend, alsof je drie verschillende mensen in een kamer zet die allemaal een andere persoonlijkheid hebben:

• Gemini is de "Stabiele Middelweg":
  Denk aan een rustige, betrouwbare leraar. Gemini gaf bijna altijd hetzelfde antwoord. Hij is een gemiddelde belegger: niet te bang, niet te gretig. Hij is als een auto met cruise control: hij blijft precies op de snelheid die hij heeft ingesteld.
• Llama is de "Voorzichtige Opa":
  Llama is de meest conservatieve van de drie. Hij houdt van veiligheid en houdt zijn geld liever veilig in de koffer dan in risicovolle zaken te steken. Hij is als iemand die liever een fietsbeltje draagt dan een motorhelm, zelfs als hij op een fiets zit.
• GPT is de "Onvoorspelbare Avonturier":
  GPT is de meest avontuurlijke, maar ook de meest wispelturige. Soms is hij heel voorzichtig, soms heel dapper. Hij is als een jonge bestuurder die soms heel rustig rijdt en dan ineens hard optrekt. Hij heeft de grootste variatie in antwoorden.

Belangrijkste les: Als je deze robots vraagt om advies zonder dat je hen iets vertelt over jezelf, geven ze elk een heel ander advies op basis van hun eigen "ingebouwde" persoonlijkheid.

2. Kunnen ze zich aanpassen? (De "Vermomming")

De onderzoekers wilden weten: "Kunnen we deze robots veranderen door ze een 'rol' te geven?" Ze gebruikten een techniek die ze "persona-prompting" noemen. Dit is alsof je de robots een kostuum aandoet.

Ze gaven de robots opdrachten zoals:

• "Je bent een 20-jarige met veel geld."
• "Je bent een 50-jarige die nooit eerder heeft belegd."
• "Je bent iemand die risico's zoekt."

Wat gebeurde er?
De robots waren slim genoeg om zich aan te passen, maar niet perfect. Het was alsof je een acteur vraagt om een rol te spelen:

• Risico: Als je zei "Je bent risicovragend", gaven alle robots een hoger risicoscore. Maar ze deden het op hun eigen manier.
• Leeftijd: Alle robots vonden dat jongeren (20-er) meer risico durven te nemen dan ouderen (50-er). Dat klopt met de realiteit.
• Rijkdom: Als je zei "Je bent rijk", durfden de robots meer risico te nemen.
• Ervaring: Als je zei "Je hebt geen ervaring", werden ze allemaal heel voorzichtig.

Een vreemd detail:
Gemini deed iets raars. Als je hem zei dat hij "risicovragend" was, gaf hij wel een hoog risico, maar dacht hij plotseling dat hij niet lang hoefde te beleggen (een korte tijdshorizon). Alsof hij dacht: "Oké, ik ga gokken, maar ik doe het snel en stop dan." De andere robots dachten: "Risicovragend? Dan beleg ik langdurig."

3. Waarom is dit belangrijk voor jou?

Stel je voor dat je naar een dokter gaat. Als de dokter altijd dezelfde medicijnen voorschrijft, ongeacht wat je ziekte is, is dat gevaarlijk.

Dit onderzoek laat zien dat:

1. LLM's geen neutrale spiekers zijn. Ze hebben allemaal een eigen "standaardinstelling" (bias). Als je een robot vraagt om je te adviseren, moet je weten of die robot van nature een "schildpad" (Llama) of een "haas" (GPT) is.
2. Ze kunnen wel meedenken. Als je ze goed instrueert (door hun rol te definiëren), kunnen ze zich aanpassen aan jouw situatie. Ze zijn dus bruikbaar als financieel adviseur, mits je ze goed aanstuurt.
3. Voorzichtigheid is geboden. Omdat ze soms onvoorspelbaar zijn (zoals GPT) of vreemde combinaties maken (zoals Gemini), mag je ze niet blindelings vertrouwen. Je moet altijd zelf controleren of hun advies logisch is voor jouw situatie.

Samenvattend

Deze robots zijn als drie verschillende gidsen die je door een berggebied (de beurs) willen leiden.

• Gemini loopt altijd in een strak ritme.
• Llama loopt langzaam en kiest de veiligste paden.
• GPT rent soms vooruit en soms blijft hij staan.

Als je hen vraagt om jou te leiden, moeten ze weten wie jij bent. Als je dat niet doet, lopen ze op hun eigen manier, wat misschien niet past bij jouw conditie. Maar als je hen duidelijk zegt: "Ik ben een beginner en ik wil veilig wandelen", dan kunnen ze zich aanpassen en een goed advies geven.

De boodschap: Gebruik deze slimme robots als hulpmiddelen, maar vergeet niet dat ze hun eigen karakter hebben. Jij bent de bestuurder, niet de robot.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Investor risk profiles of large language models" in het Nederlands.

Titel: Investor risk profiles of large language models

Auteurs: Hanyong Cho, Geumil Bae, Jang Ho Kim

---

1. Probleemstelling

Met de opkomst van Large Language Models (LLM's) als potentiële financiële adviseurs voor retail-investeerders, rijst de vraag hoe deze modellen de risicoprofielen van investeerders interpreteren en internaliseren. Een risicoprofiel is fundamenteel voor het bepalen van geschikte activa (bijv. crypto of hefboomproducten) en de optimale allocatie. Hoewel traditionele methoden zoals vragenlijsten nog steeds de standaard zijn in de financiële praktijk, is er weinig inzicht in hoe LLM's deze profielen vormen, of ze consistent zijn in hun antwoorden, en of ze zich kunnen aanpassen aan specifieke gebruikerspersona's (zoals leeftijd, vermogen en ervaring). Het paper onderzoekt of LLM's betrouwbare, gepersonaliseerde risicoprofielen kunnen genereren of dat ze gebukt gaan onder eigen, model-specifieke bias.

2. Methodologie

De auteurs hebben een experimenteel ontwerp gebruikt waarbij drie toonaangevende LLM's werden getest: GPT-4o, Gemini 1.5 Pro en Llama 3.1 (70b).

• Instrument: Er werd een gestandaardiseerde vragenlijst van Charles Schwab gebruikt, bestaande uit zeven meerkeuzevragen.
  • Twee vragen meten de investeringshorizon (tijdshorizon).
  • Vijf vragen meten de risicotolerantie (bereidheid om risico te nemen, kennis, reactie op verliezen, etc.).
  • De antwoorden worden omgezet in een numerieke score voor tijdshorizon en risicotolerantie.
• Experimenteel Opzet:
  • Standaardprofiel: Elk model kreeg 100 keer dezelfde standaardprompt ("Stel je bent een individuele belegger...") om een basisprofiel te genereren.
  • Persona-prompting: De prompt werd aangepast om specifieke persona's toe te wijzen, variërend in:
    • Risicobereidheid (risico-avers, neutraal, zoekend).
    • Leeftijd (20, 30, 40, 50 jaar).
    • Vermogen (onder, gemiddeld, boven gemiddeld).
    • Beleggingservaring (geen, enige, professioneel).
  • Voor elke variatie werden opnieuw 100 antwoorden gegenereerd.
• Statistische Analyse:
  • Omdat de antwoorden discreet zijn en de variantiehomogeniteit vaak werd afgewezen (Levene's test), werden zowel ANOVA (voor gemiddelden) als de Kruskal-Wallis (K-W) test (voor medianen) gebruikt om statistische significantie te bepalen.

3. Belangrijkste Bijdragen

• Kwantificering van Model-Bias: Het paper biedt een empirisch bewijs dat verschillende LLM's fundamenteel verschillende "default" risicoprofielen hebben, zelfs zonder specifieke instructies.
• Validatie van Persona-Prompting: Het demonstreert dat prompt engineering (het toewijzen van persona's) effectief is om de output van LLM's te sturen, maar dat de mate van aanpassing per model verschilt.
• Statistische Vergelijking: Het biedt een robuust statistisch raamwerk (ANOVA en K-W) om de consistentie en significantie van verschillen tussen LLM-antwoorden te evalueren.

4. Resultaten

A. Default Risicoprofielen (Zonder specifieke persona)

• Consistentie:
  • Gemini: Toonde uitzonderlijk consistente antwoorden met weinig variatie.
  • Llama: Toonde enige variatie, maar neigde naar conservatievere antwoorden.
  • GPT: Toonde de grootste variatie in antwoorden en was het minst consistent.
• Risicoprofiel:
  • Alle modellen beschouwen zichzelf als langetermijnbeleggers (zeer lange tijdshorizon).
  • Gemini: Neemt een gematigd risicovol profiel aan.
  • Llama: Neigt naar een conservatiever profiel.
  • GPT: Neemt een gematigd agressief profiel aan.
• Statistiek: De verschillen in gemiddelde scores tussen de modellen waren statistisch significant (p < 0.01) voor de meeste risicovragen.

B. Invloed van Toegewezen Persona's

Wanneer specifieke kenmerken werden toegewezen, pasten de modellen hun antwoorden aan, maar op verschillende manieren:

1. Risicobereidheid: Alle modellen reageerden correct op prompts als "risico-avers" of "risico-zoekend" door hun scores aan te passen.
   • Opmerkelijk: Gemini en Llama reageerden anders op de relatie tussen risico en tijdshorizon. Bij "risico-zoekend" gaf Gemini een lage tijdshorizon-score, terwijl GPT een hoge tijdshorizon behield.
2. Leeftijd: Alle modellen gaven de hoogste risicoscores aan de leeftijdsgroep 20-er en de laagste aan de 50-er. GPT toonde de grootste spreiding tussen deze leeftijdsgroepen.
3. Vermogen: Een hoger vermogen leidde bij alle modellen tot een significant hogere risicoscore.
4. Ervaring: Gebrek aan beleggingservaring resulteerde bij alle modellen in aanzienlijk lagere risicoscores vergeleken met ervaren of professionele beleggers.

C. Statistische Significantie

De toewijzing van persona's resulteerde in statistisch significante verschillen (p < 0.01) in de antwoorden voor de meeste categorieën, wat aantoont dat de modellen gevoelig zijn voor prompt-instructies. Echter, de mate van deze aanpassing verschilde per model (bijv. Llama was minder gevoelig voor veranderingen in tijdshorizon bij verschillende risiconiveaus dan GPT).

5. Betekenis en Conclusie

Het paper concludeert dat LLM's potentieel kunnen fungeren als gestructureerde adviseurs voor risicoprofielen, maar dat ze geen neutrale, uniforme adviseurs zijn.

• Model-specifieke Bias: Elke LLM heeft een inherente "persoonlijkheid" (bias) die het standaardrisicoprofiel beïnvloedt. GPT is agressiever, Llama conservatiever en Gemini consistenter.
• Aanpasbaarheid: Hoewel persona-prompting werkt om de output te sturen, is de respons niet perfect lineair of voorspelbaar over alle modellen heen.
• Implicatie voor de Praktijk: Voor het gebruik van LLM's in financieel advies is voorzichtigheid geboden. Een adviseur moet zich bewust zijn van de inherente bias van het gekozen model en mogelijk extra validatiestappen nemen. De resultaten benadrukken dat prompt design cruciaal is, maar niet alle model-specifieke variabiliteit volledig kan elimineren.

Kortom, LLM's kunnen nuttige hulpmiddelen zijn voor het bepalen van risicoprofielen, maar ze moeten niet als "zwarte dozen" worden behandeld; hun specifieke gedrag en bias moeten worden begrepen en beheerd.