Technische Samenvatting: Fin-Bias: Uitgebreide Evaluatie voor Besluitvorming door LLM's onder Menselijke Bias in de Financiële Sector

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in financiële contexten voor taken zoals sentimentanalyse, vragen beantwoorden en aandelenhandel. Bestaande benchmarks vertrouwen echter vaak op kleine steekproeven, inputs met een korte context (bijvoorbeeld samengevoegde nieuwskoppen of tweets), en evalueren niet de vatbaarheid van LLM's voor menselijke bias binnen langere financiële documenten. Een kritische, nog onopgeloste vraag is of LLM's 'meelopen'-gedrag vertonen – de neiging om zich aan te passen aan expliciete menselijke meningen (zoals analistenratings) die in de context zijn opgenomen, in plaats van heterogene data te synthetiseren om onafhankelijke oordelen te vormen. Op financiële markten, waar menselijke analisten vaak systematische biases vertonen (bijvoorbeeld overoptimisme), kan een LLM die deze meningen blindelings volgt, falen in het verstrekken van accurate investeringsadviezen wanneer het consensusoordel verkeerd is.

Methodologie

Datasetconstructie: Fin-Bias

De auteurs introduceren Fin-Bias, een benchmarkdataset bestaande uit 8.868 bedrijfsspecifieke analistenrapporten afkomstig van Yahoo Finance.

• Reikwijdte: De dataset omvat acht grote sectoren (Technologie, Industrie, Financiële Diensten, Gezondheidszorg, nutsbedrijven, Energie, Communicatiediensten en Vastgoed).
• Context: In tegenstelling tot eerdere benchmarks die gebruikmaken van korte fragmenten, zijn dit langere rapporten (gemiddeld ~4.000 tokens) die diepgaand onderzoek, macro-economische analyse en bedrijfseconomische fundamenten bevatten.
• Grondwaarheid: Om het gebruik van bevooroordeelde analistenratings als labels te vermijden, construeren de auteurs grondwaarheids-investeringsratings (Bullish/Neutraal/Bearish) op basis van gerealiseerde Cumulatieve Abnormale Rendementen (CAR) over een venster van 60 dagen na de rapportagedatum. Ratings worden toegewezen met een op kwantielen gebaseerde aanpak (bovenste 30% = Bullish, onderste 30% = Bearish, middelste 40% = Neutraal).

Experimenteel Ontwerp

De studie evalueert 18 modellen (zowel private als open-source) onder drie experimentele condities om meelopen-gedrag te meten:

1. Originele Context: Het volledige analistenrapport, inclusief de expliciete investeringsrating in de eerste zin.
2. Rating Verwijderd: De eerste zin met de expliciete rating is verwijderd, waardoor alleen de narratieve analyse overblijft.
3. Valse Rating: De originele rating is vervangen door een tegenstrijdige 'valse' rating (bijvoorbeeld het veranderen van 'Bullish' in 'Bearish'), terwijl de rest van de analyse intact blijft.

Metrieken:

• Meelopenscore: Meet de overeenstemming tussen de gegenereerde rating van de LLM en de expliciete menselijke rating (of valse rating) die in de context aanwezig is.
• Voorspellingsnauwkeurigheid: Meet het vermogen van de LLM om de op rendement gebaseerde grondwaarheidsrating te voorspellen, vergeleken met de prestaties van menselijke analisten.

Mitigatiestrategieën

Het artikel stelt twee methoden voor om meelopen-gedrag te verminderen:

1. Lexiconfiltering: Het gebruik van het MPQA Subjectivity Lexicon om zinnen met sterke subjectieve meningen (gemarkeerd als strongsubj) te identificeren en uit de context te verwijderen voordat deze aan het model worden aangeboden.
2. Direct Preference Optimization (DPO): Een fine-tuning-aanpak voor open-source modellen waarbij het model wordt getraind om 'Onafhankelijke' antwoorden (afgeleid van marktgrondwaarheid zonder analistenmeningen) te prefereren boven 'Gemeleende' antwoorden (afgeleid van het volgen van analistenlogica).

Belangrijkste Resultaten

1. Voorkomen van Meelopen-gedrag

• Invloed van Expliciete Bias: Wanneer expliciete analistenratings aanwezig zijn, vertonen LLM's sterk meelopen-gedrag. De meelopenscores stijgen aanzienlijk (vaak boven de 90%) voor zowel private (bijvoorbeeld GPT-5, GPT-4) als open-source modellen, vergeleken met de conditie 'rating verwijderd'.
• Vatbaarheid voor Valse Ratings: Zelfs wanneer de expliciete rating wordt tegengesproken door de rest van de analyse (de conditie 'valse rating'), lopen modellen nog steeds mee met het expliciete label. De gemiddelde meelopenscore voor valse ratings bedraagt ongeveer 30%, waarbij sommige modellen tot 60% bereiken. Deze vatbaarheid bestaat ongeacht de modelgrootte; zelfs state-of-the-art modellen zoals GPT-5 en GPT-4 vertonen significant meelopen-gedrag.
• Sectorgebonden Variabiliteit: Meelopen is niet uniform; sectoren zoals Financiële Diensten en Gezondheidszorg vertonen een hogere basisovereenstemming, terwijl sectoren zoals Communicatiediensten een grotere variabiliteit tonen die consolideert wanneer expliciete ratings worden verstrekt.

2. Impact op Besluitvormingsnauwkeurigheid

• Overeenstemming versus Onafhankelijkheid: Wanneer analistenratings aanwezig zijn, bereiken de meeste modellen een nauwkeurigheid (~33%) die bijna identiek is aan die van menselijke analisten. Dit suggereert echter een gebrek aan onafhankelijk redeneren, aangezien de modellen de menselijke prestaties niet overtreffen.
• Prestatieafwijking: Wanneer expliciete ratings worden verwijderd:
  • Zien sommige open-source modellen (bijvoorbeeld gemma-2-9b-it, Llama-3-8B) een prestatiedaling van ongeveer 6%, wat wijst op zware afhankelijkheid van menselijke aanwijzingen.
  • Omgekeerd overtreffen verschillende modellen (bijvoorbeeld Qwen3-8B, Mistral-7B-it-v0.3) menselijke analisten in afwezigheid van expliciete ratings, wat suggereert dat ze informatie onafhankelijk kunnen synthetiseren wanneer ze niet worden beïnvloed door het expliciete label.

3. Effectiviteit van Mitigatie

• Lexiconfiltering: Het verwijderen van zinnen met sterke subjectieve meningen verbetert de voorspellingsnauwkeurigheid met 2–4 procentpunten, met name voor lichtere open-source modellen (bijvoorbeeld Qwen3-8B). Hierdoor kunnen sommige modellen de prestaties van analisten overtreffen.
• DPO: Fine-tuning via Direct Preference Optimization mitigeert meelopen-gedrag verder en verbetert de voorspellingsnauwkeurigheid, wat aantoont dat architecturale voorkeurslearning scepticisme tegenover menselijke signalen met hoge consensus kan internaliseren.

Bijdragen en Betekenis

Het artikel levert drie primaire bijdragen:

1. Uitgebreide Evaluatie van Meelopen-gedrag: Het biedt empirisch bewijs dat LLM's zeer vatbaar zijn voor het meelopen met menselijke meningen, zelfs wanneer deze meningen slechts een klein deel van een lange context uitmaken. Dit daagt de aanname uit dat grotere of geavanceerdere modellen inherent superieure onafhankelijke redeneercapaciteiten bezitten in financiële domeinen.
2. Fin-Bias Benchmark: Het introduceert een grootschalige benchmark met lange context die samengevatte bedrijfselementen omvat over diverse industrieën en menselijke bias integreert, waarmee de beperkingen van bestaande korte-context of kleine-steekproef financiële benchmarks worden aangepakt.
3. Mitigatie en Onafhankelijk Redeneren: Het stelt methoden voor en valideert deze (Lexiconfiltering en DPO) om LLM's aan te sturen om meelopen-gedrag te vermijden. De resultaten suggereren dat met de juiste inputcuratie of fine-tuning LLM's onafhankelijk redeneren kunnen bereiken dat soms de prestaties van menselijke analisten overtreft, wat het potentieel benadrukt voor onbevooroordeelde agents voor financiële besluitvorming.

Betekenis: Het werk onderstreept de noodzaak om inputs zorgvuldig te cureren en trainingsstrategieën te ontwikkelen die geworteld, onafhankelijk oordelen prioriteren boven de loutere reflectie van dominante menselijke verhalen, vooral in door meningen gedreven domeinen zoals de financiën. Het roept op tot toekomstige LLM-ontwikkeling die zich richt op het verminderen van de vatbaarheid voor adversariele of bevooroordeelde menselijke aanwijzingen.