🤖 AI

Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation

Conv-FinRe is een nieuw conversatie- en longitudinaal benchmark voor aandelenrecommodaties dat large language modellen evalueert op basis van op gebruikersspecifieke risicopreferenties gebaseerde, rationele besluitvorming in plaats van louter imitatie van vaak kortzichtige gebruikersgedragingen.

Oorspronkelijke auteurs: Yan Wang, Yi Han, Lingfei Qian, Yueru He, Xueqing Peng, Dongji Feng, Zhuohan Xie, Vincent Jim Zhang, Rosie Guo, Fengran Mo, Jimin Huang, Yankai Chen, Xue Liu, Jian-Yun Nie

Gepubliceerd 2026-02-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yan Wang, Yi Han, Lingfei Qian, Yueru He, Xueqing Peng, Dongji Feng, Zhuohan Xie, Vincent Jim Zhang, Rosie Guo, Fengran Mo, Jimin Huang, Yankai Chen, Xue Liu, Jian-Yun Nie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op zoek bent naar een financieel adviseur. Je hebt er eentje gevonden die precies doet wat jij doet: als jij paniekverkoopt, verkoopt hij ook. Als jij impulsief koopt, koopt hij ook. Klinkt goed, toch?

Niet helemaal. In de echte wereld kan een adviseur die alleen maar "meekijkt" met jou, je juist in de problemen brengen. Jij bent misschien emotioneel of kijkt alleen naar de korte termijn, terwijl je lange termijn doel is om rijk te worden zonder je slaap te verliezen.

Dit is precies het probleem dat de auteurs van dit paper, Conv-FinRe, hebben opgelost. Ze hebben een nieuwe test (een "benchmark") bedacht om te zien of een AI-adviseur echt slim is, of dat hij alleen maar een imitator is.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Kloon" vs. De "Gids"

In de meeste tests voor AI wordt een model goed beoordeeld als het precies doet wat mensen eerder hebben gedaan.

De Kloon: Stel je voor dat je een spiegel hebt. Als jij naar links kijkt, kijkt de spiegel ook naar links. Als jij naar een gevaarlijke afgrond rent, rent de spiegel ook. De spiegel is perfect in het nabootsen van jouw gedrag, maar hij redt je niet van de afgrond.
De Gids: Een echte gids kijkt naar waar jij naartoe wilt (bijvoorbeeld een veilig pad), niet alleen naar waar je naartoe rent.

De auteurs zeggen: "In de financiële wereld is gedrag vaak luidruchtig en kortzichtig. Als we AI alleen testen op het nabootsen van gedrag, testen we of hij een goede spiegel is, niet of hij een goede gids is."

2. De Oplossing: Conv-FinRe (De Nieuwe Test)

Ze hebben een nieuwe testomgeving gebouwd die werkt als een rolspel met meerdere sporen.

Stel je voor dat je een AI-testcentrum binnenloopt. Je krijgt een gesprek met een klant (de "user"). De AI moet nu een lijst met aandelen maken. Maar hoe weten we of de AI het goed doet? Ze gebruiken vier verschillende kijkers (referenties) om de AI te beoordelen:

De Spiegel (User Choice): Wat deed de klant echt? (Vaak emotioneel of fout).
De Wiskundige (Rational Utility): Wat zou een perfect rationeel mens doen, gebaseerd op risico en rendement? (De ideale gids).
De Trendvolger (Market Momentum): Wat doen de meeste mensen nu? (De menigte).
De Veiligheidsman (Risk Sensitivity): Wat is het veiligste pad voor deze specifieke klant?

De magie: De AI krijgt niet te zien wat de "Wiskundige" of de "Veiligheidsman" denkt. Hij moet het zelf raden door met de klant te praten. De test kijkt dan: Kijkt de AI naar de spiegel (gedrag) of naar de wiskunde (verstand)?

3. Hoe werkt het in de praktijk?

De test simuleert een lang gesprek (longitudinaal).

De Onboarding: Eerst praat de AI met de klant om zijn karakter te leren (ben je een avonturier of een spaarzak?).
De Reis: Daarna volgen er 23 dagen van marktschommelingen. Elke dag moet de AI een keuze maken.
De Verwarring: Soms wil de klant iets riskants doen (bijvoorbeeld: "Ik wil al mijn geld in Tesla steken!"). De AI moet nu kiezen:
- Doen wat de klant zegt (goed voor de "spiegel", slecht voor de portemonnee)?
- Of de klant overtuigen van een verstandigere keuze (goed voor de "wiskunde", misschien slecht voor de "spiegel")?

4. Wat hebben ze ontdekt? (De Resultaten)

Ze hebben de beste AI-modellen (zoals GPT-4, Llama, Qwen) op deze test laten werken. Het resultaat was verrassend en leerzaam:

De "Rationele" AI's: Sommige modellen (zoals Llama) werden heel goed in het geven van rationeel advies. Ze wisten precies wat de beste keuze was voor de lange termijn. Maar... ze misten vaak de "klik" met de klant. Ze gaven advies dat te perfect was, en niet genoeg rekening hield met wat de klant voelde.
De "Empathische" AI's: Andere modellen (zoals Qwen of een gespecialiseerde financiële AI) waren heel goed in het nabootsen van wat de klant deed. Ze waren goede "kloons". Maar vaak kopieerden ze ook de fouten en de paniek van de klant. Ze waren te bang om de klant te corrigeren.
De Spanning: Er is een constante strijd tussen "het juiste advies geven" en "de klant tevreden houden door te doen wat hij zegt". De beste AI zou een balans moeten vinden: een gids die begrijpt dat jij soms angstig bent, maar je toch naar een veilige plek leidt.

5. Waarom is dit belangrijk?

Vroeger dachten we: "Als de AI doet wat mensen doen, is hij slim."
Dit paper zegt: "Nee, dat is gevaarlijk."

Als een AI alleen maar je slechte gewoonten nabootst, helpt hij je niet. Hij moet je helpen je doelen te bereiken, zelfs als dat betekent dat hij tegen je in moet gaan.

Samenvattend in één zin:
Conv-FinRe is een nieuwe test die kijkt of een AI-adviseur een slimme gids is die je naar je doelen leidt, of gewoon een domme spiegel die je fouten overneemt. En het blijkt dat de slimme gidsen vaak net iets minder populair zijn bij de "klant" dan de domme spiegels, wat een groot probleem is dat we moeten oplossen.

Probleemstelling

Bestaande aanbevelingsbenchmarks voor Large Language Models (LLMs) evalueren modellen voornamelijk op gedragsimitatie: een aanbeveling wordt als correct beschouwd als deze overeenkomt met wat een gebruiker in het verleden heeft geklikt, beoordeeld of gekozen. In de financiële wereld is deze benadering echter problematisch.

Ruis en Korte Termijn: Investeringsacties van gebruikers worden vaak beïnvloed door marktruis, emoties en kortetermijnveranderingen, wat kan leiden tot beslissingen die in strijd zijn met hun langetermijndoelen of risicoprofiel.
Verwarring van Imitatie met Kwaliteit: Het simpele nabootsen van gebruikersgedrag (dat "ruis" kan bevatten) wordt verward met het leveren van hoogwaardig financieel advies. Een model dat perfect imiteert, kan de gebruiker dus eigenlijk slecht adviseren.
Gebrek aan Utility: Bestaande benchmarks missen een "nut"-gebaseerde (utility-grounded) evaluatie die rekening houdt met de onderliggende risicopreferenties en langetermijndoelen van de investeerder.

Methodologie: Conv-FinRe

Om dit gat op te vullen, stellen de auteurs Conv-FinRe voor, het eerste conversatieve en longitudinale benchmark voor aandelenaanbevelingen dat LLMs evalueert op basis van nut in plaats van alleen gedrag.

1. Taakformulering (Multi-view Longitudinal Stock Recommendation)
De taak simuleert iteratieve interacties tussen een gepersonaliseerd financieel adviseur (de LLM) en een gebruiker over een vaste tijdsperiode ( $T$ ). In tegenstelling tot traditionele benchmarks met één "gouden standaard", evalueert Conv-FinRe modellen tegenover vier complementaire referentie-aanzichten:

Gebruikerskeuze ( $y_{user}$ ): De empirische selecties gemaakt door de menselijke deelnemer (kan ruis bevatten).
Rationeel Nut ( $y_{util}$ ): Een ideale rangschikking gebaseerd op een gekalibreerde nutfunctie die de theoretisch optimale balans tussen rendement en risico weergeeft.
Marktmomentum ( $y_{mom}$ ): Een winstgerichte rangschikking puur gebaseerd op recente cumulatieve rendementen.
Risicosensitiviteit ( $y_{safe}$ ): Een conservatieve rangschikking die de specifieke risicovermijding van de gebruiker isoleert door volatiliteit en neerwaartse risico's te straffen.

2. Data Collectie en Simulatie

Marktdata: Een universeel aanbod van 10 representatieve aandelen uit de S&P 500, gestratificeerd op volatiliteit (lage, gemiddelde en hoge beta), over een periode van 30 dagen.
Gebruikersinteractie: 10 deelnemers doorlopen een gestructureerde enquête (voor risicoprofiel) en een simulatie van 30 dagen waarin ze dagelijkse aankoopbeslissingen nemen.
Conversatiesimulatie: De ruwe data wordt omgezet in gestructureerde, multi-turn dialogen. Dit omvat een "onboarding-interview" (om het profiel te verwoorden) en longitudinale adviesgesprekken waarin drie gespecialiseerde adviseurs (Rationeel, Momentum, Risico) tegenstrijdige signalen geven. De LLM moet deze signalen synthetiseren om een finale rangschikking te maken.

3. Latente Voorkeursbepaling via Inverse Optimalisatie
Een kerninnovatie is het gebruik van Inverse Optimalisatie om de ware nutfunctie van de gebruiker af te leiden zonder deze direct aan het model te onthullen.

De auteurs veronderstellen dat de gebruiker een latente nutfunctie $U(s)$ volgt die rendement afweegt tegen volatiliteit en maximale drawdown.
Door de longitudinale gedragsreeks van de gebruiker te analyseren, worden de parameters voor risicosensitiviteit ( $\lambda$ en $\gamma$ ) geschat via een Multinomial Logit-model.
Deze geschatte parameters worden gebruikt om de Rationele Nut en Risicosensitiviteit referenties te construeren voor de evaluatie.

4. Evaluatiemetrics

uNDCG (Utility-based NDCG): Meet hoe goed het model rangschikt volgens de onderliggende rationele nutfunctie.
MRR en Hit Rate: Meten de mate waarin het model de daadwerkelijke (vaak ruizige) keuze van de gebruiker voorspelt.
Expert Alignment Score (EAS): Gebruikt Kendall's $\tau$ om de alignering van het model met de drie expert-adviezen (Nut, Momentum, Risico) te meten.

Belangrijkste Bijdragen

Conv-FinRe Benchmark: De introductie van het eerste benchmark dat financiële aanbevelingen formuleert als een multi-view alignementprobleem, waarbij gedrag en rationeel nut worden onderscheiden.
Diagnostisch Framework: Een methode die, ondersteund door inverse optimalisatie, in staat is om te diagnosticeren of een LLM rationele analyse volgt, gebruikersruis nabootst, of wordt gedreven door marktmomentum.
Systematische Evaluatie: Een uitgebreide evaluatie van state-of-the-art LLMs (zowel gesloten als open-source, inclusief financiële domeinmodellen) die nieuwe inzichten biedt in hun adviesgedrag.

Resultaten

De experimenten onthullen een fundamentele spanning tussen rationele besluitkwaliteit en gedragsalignement:

Hoge Nut vs. Laag Gedrag: Modellen die goed presteren op uNDCG (rationeel nut), zoals Llama-3.3-70B-Instruct, scoren vaak lager op het voorspellen van de daadwerkelijke gebruikerskeuze. Ze geven "ideale" advies, maar negeren soms de specifieke, irrationele voorkeuren van de gebruiker.
Gedragsoverfitting: Modellen die goed zijn in het voorspellen van de gebruikerskeuze (zoals Qwen2.5-72B en het financiële domeinmodel Llama3-XuanYuan3), neigen te overfitten op kortetermijnruis en tijdelijk gedrag, in plaats van stabiele voorkeuren te infereren.
Domeinmodellen: Het gespecialiseerde financiële model (XuanYuan3) gedraagt zich meer als een menselijke consultant die pragmatisch ingaat op de (ruizige) voorkeuren van de gebruiker, maar faalt in het strikt volgen van wiskundige optimaliteit.
Balans: DeepSeek-V3.2 toont het meest gebalanceerde profiel, met een stabiele alignering met veiligheidsprincipes zonder extreme bias naar rendement.
Dynamiek: Conversatiegeschiedenis helpt modellen om de basisvoorkeuren van een gebruiker te begrijpen (vooral in de vroege fasen), maar de meerwaarde van extra context neemt af zodra een "investeerder-persona" is gevestigd.

Significantie

Conv-FinRe markeert een verschuiving in de evaluatie van financiële AI-systemen. Het toont aan dat het enkel meten van "klikken" of "kopen" ontoereikend is voor het beoordelen van de kwaliteit van financieel advies.

Het benadrukt dat een goed financieel adviseur niet alleen moet voorspellen wat een gebruiker zal doen, maar ook moet begrijpen wat de gebruiker zou moeten doen op basis van hun langetermijndoelen en risicoprofiel.
Het biedt een diagnose-instrument om te bepalen of een LLM een rationele analist is, een blinde volger van trends, of een overgevoelige imitator van menselijke fouten.
De dataset en code zijn openbaar beschikbaar, wat de basis legt voor toekomstig onderzoek naar utility-grounded personalisatie in de financiële sector.