Generative AI for Analysts
Door gebruik te maken van de integratie van GenAI in FACTSET in 2023 als een natuurlijk experiment, onthult deze studie dat hoewel de technologie de breedte en tijdigheid van financiële analistenrapporten aanzienlijk verrijkt, het tegelijkertijd de menselijke aandacht blootlegt als een nieuwe flessenhals, wat leidt tot een verminderde voorspellingsnauwkeurigheid onder hoge informatieverwerkingsvraag, ondanks de beschikbaarheid van superieure onderliggende data.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de financiële sector fungeren professionele analisten als essentiële gidsen voor beleggers. Hun taak is om een enorme, chaotische vloedgolf aan financiële gegevens — winstcijfers, markttrends en economisch nieuws — te distilleren tot helder, actiegericht advies. Decennialang werd dit werk gedefinieerd door een eenvoudige, menselijke beperking: er is slechts een beperkte hoeveelheid informatie die een persoon in een enkele dag kan lezen, begrijpen en synthetiseren. Zelfs de meest bekwame analist heeft een eindige hoeveelheid aandacht en tijd. Wanneer het volume aan gegevens sneller groeit dan de menselijke geest het kan verwerken, kan de kwaliteit van het uiteindelijke advies eronder lijden. Dit is het centrale vraagstuk waar een nieuwe studie zich mee bezighoudt: wat gebeurt er wanneer er een krachtig nieuw hulpmiddel arriveert dat in staat is om onmiddellijk veel meer informatie te verzamelen en te organiseren dan welke mens dan ook ooit zou kunnen?
De onderzoekers, onder leiding van Jian Xue, Qian Zhang en Wu Zhu, onderzochten deze vraag door te kijken naar een specifiek moment eind 2023. Een groot financieel databedrijf genaamd FactSet introduceerde een nieuw kunstmatige intelligentiesysteem genaamd Mercury. Dit hulpmiddel was ontworpen om analisten te helpen informatie sneller te vinden, automatisch grafieken te maken en rapporten op te stellen. Omdat FactSet dit hulpmiddel zonder extra kosten beschikbaar maakte voor zijn bestaande gebruikers, konden de onderzoekers een natuurlijk experiment observeren. Ze vergeleken de onderzoeksrapporten die door analisten met FactSet werden geschreven vóór de komst van de AI met de rapporten die daarna werden geschreven. Ze keken niet alleen naar de vraag of de rapporten langer waren; ze gebruikten geavanceerde taalmodellen om elk woord, elke tabel en elke grafiek in duizenden rapporten te lezen om precies te tellen hoeveel verschillende bronnen van informatie werden gebruikt, hoeveel verschillende onderwerpen werden behandeld en hoeveel verschillende analysemethoden werden toegepast.
De resultaten toonden een opmerkelijke transformatie in het werk zelf aan. Na de introductie van de AI-tool werden de rapporten die met FactSet werden geassocieerd aanzienlijk rijker. Ze bevatten 26 procent meer onderscheidende bronnen van informatie, behandelden een 24 procent breder scala aan onderwerpen en maakten gebruik van 21 procent meer analysemethoden. De rapporten verschenen ook sneller, vaak binnen drie dagen na de aankondiging van de winstcijfers van een bedrijf. De AI had de flessenhals bij het vinden en organiseren van gegevens succesvol weggenomen. Analisten vochten niet langer om de juiste cijfers te lokaliseren; ze presenteerden een veel breder en dieper beeld van de bedrijven die zij bespraken.
Het verhaal neemt echter een verrassende wending wanneer de onderzoekers naar de nauwkeurigheid van de voorspellingen kijken. Ondanks dat de rapporten rijker en sneller waren, nam de relatieve nauwkeurigheid van de prognoses feitelijk af. De analisten die de AI-tool gebruikten, waren minder precies in hun winstvoorspellingen dan hun vakgenoten die de tool niet gebruikten. Deze bevinding daagt de algemene aanname uit dat meer informatie altijd leidt tot betere beslissingen. De onderzoekers gingen dieper in om te begrijpen waarom dit gebeurde. Ze ontdekten dat de daling in nauwkeurigheid niet uniform was; het was geconcentreerd bij analisten die al onder de grootste druk stonden. Degenen die een groot aantal bedrijven bespraken, werkten in kleine teams met weinig ondersteuning, of probeerden de prognoses voor meerdere bedrijven op dezelfde dag bij te werken, vertoonden de grootste achteruitgang in prestaties.
De studie suggereert dat het probleem niet de kwaliteit van de informatie was die de AI leverde, maar de menselijke capaciteit om deze te verwerken. Wanneer de AI-tool de analisten een veel grotere stapel gegevens overhandigde, overhandigde het hen ook een veel zwaardere cognitieve belasting. De analisten moesten de informatie verifiëren, prioriteren en zin krijgen aan tegenstrijdige signalen die ze voorheen nooit hadden hoeven te managen. Voor hen met een beperkte tijd en aandacht leidde deze overbelasting tot verwarring en fouten. Om dit te bewijzen, bouwden de onderzoekers een computermodel dat exact dezelfde informatie verwerkte als die in de rapporten voorkwam. In tegen tegenstelling tot de menselijke analisten, werd de computer niet moe of afgeleid. Wanneer de machine de nieuwe, rijkere gegevens verwerkte, daalde de nauwkeurigheid niet. Dit bevestigde dat de informatie zelf nog steeds goed was; de flessenhals was simpelweg verschoven van het vinden van de gegevens naar het begrijpen ervan.
De onderzoekers sloten ook verschillende andere mogelijkheden uit. Ze controleerden of de AI onzin genereerde of feiten "halucineerde", maar vonden dat de gegevens in de rapporten net zo betrouwbaar bleven als voorheen. Ze controleerden of de rapporten simpelweg langer en repetitiever werden, maar vonden geen toename in nutteloze tekst. Ze testten zelfs of de analisten het werk versnelden om het sneller naar buiten te brengen, maar de afname in nauwkeurigheid was niet beperkt tot de snelste rapporten. Het bewijs wees consequent naar één conclusie: het hulpmiddel had de aanvoer van informatie sneller uitgebreid dan de menselijke geest het kon absorberen.
Deze bevinding biedt een genuanceerd beeld van kunstmatige intelligentie op de werkplek. Het suggereert dat, hoewel AI de productiviteit drastisch kan verhogen door het zware werk van gegevensverzameling op zich te nemen, het niet automatisch de besluitvorming verbetert. Sterker nog, als de menselijke gebruiker al tot het uiterste wordt belast, kan het toevoegen van meer informatie de situatie verergeren. De studie impliceert dat, om AI echt te laten helpen, organisaties de manier waarop hun werknemers werken mogelijk moeten herontwerpen. In plaats van analisten alleen maar meer hulpmiddelen te geven, zouden ze hen wellicht meer tijd, kleinere werklasten of betere systemen moeten geven om door de vloedgolf aan nieuwe informatie te navigeren. De waarde van de technologie hangt niet alleen af van wat de machine kan genereren, maar van de menselijke capaciteit om er betekenis aan te geven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.