Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
Deze studie uit het najaar van 2023 van de George Washington University toont aan dat een pipeline die gebruikmaakt van Falcon-7B met Summarize Chains de automatisering van financiële nieuws-samenvattingen voor tien grote bedrijven effectief automatiseert, waarbij deze zowel RAG-gebaseerde benaderingen als een Lead-3 baseline overtreft, terwijl tegelijkertijd hardnekkige uitdagingen zoals hallucinatie in kleinere modellen worden benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elke dag genereert de financiële wereld een vloedgolf aan informatie. Duizenden artikelen verschijnen online, elk met details over de bewegingen van bedrijven, de beslissingen van bestuurders en de verschuivende trends op de aandelenmarkt. Voor een investeerder of een analist die probeert zelfs maar een klein handvol van deze bedrijven bij te houden, is het lezen van elk afzonderlijk verhaal een onmogelijke taak. Het missen van een cruciaal detail kan het verschil betekenen tussen een slimme investering en een kostbare fout. Dit is waar het vakgebied van natuurlijke taalverwerking inspringt, specifiek de tak die bekend staat als tekstsamenvatting. Decennialang zijn computers geleerd om lange documenten te lezen en de belangrijkste zinnen te extraheren. Recentelijk is er een nieuwe generatie kunstmatige intelligentie opgekomen, genaamd large language models. Dit zijn systemen die getraind zijn op enorme hoeveelheden menselijke teksten en die niet alleen de kernzinnen kunnen selecteren, maar ook informatie in hun eigen woorden kunnen herschrijven, waardoor een fris, beknopt narratief ontstaat uit een berg tekst. De vraag die onderzoekers tegenkwam was of deze krachtige instrumenten vertrouwd kunnen worden om dit werk te doen voor de risicovolle wereld van de financiën, waar nauwkeurigheid niet onderhandelbaar is en de data in twee zeer verschillende vormen voorkomt: de vloeiende verhalen van nieuwsartikelen en de rigide, numerieke tabellen van aandelenkoersen.
In het najaar van 2023 zette een onderzoeker aan de George Washington University zich in om dit idee te testen. Het doel was om een systeem te bouwen dat automatisch nieuws, bedrijfshistorie en beursgegevens voor tien grote ondernemingen kon verzamelen en vervolgens één enkel, gemakkelijk leesbaar dagelijks overzicht kon produceren. De uitdaging was tweeledig. Ten eerste moest het systeem de enorme hoeveelheid tekst aan kunnen. Ten tweede, en wellicht moeilijker, moest het betekenis geven aan cijfers. Large language models zijn uitstekend in het begrijpen van taal, maar ze struikelen vaak wanneer ze worden geconfronteerd met ruwe spreadsheets van aandelenkoersen en handelsvolumes. Ze kunnen een kolom verkeerd lezen, een percentage onjuist berekenen of de cijfers simpelweg negeren. Om dit op te lossen, ontwikkelde de onderzoeker een eenvoudige maar slimme brug. Voordat de data naar de kunstmatige intelligentie werd gevoed, zette een computerprogramma de ruwe cijfers om in gewone Engelse zinnen. In plaats van het model een tabel te tonen met een datum en een prijs, schreef het systeem een zin als: "Op 4 oktober sloot de aandelenkoers op 261,16, omhoog 5,93 procent met een stijging van 27,20 procent in handelsvolume." Dit stelde het taalmodel in staat om zich te concentreren op het samenvatten van het verhaal, zonder zelf berekeningen te hoeven uitvoeren, een taak waar het van nature niet goed in is.
De onderzoeker testte vervolgens twee verschillende manieren om deze informatie voor de computer te organiseren. De eerste methode, de Summarize Chains-aanpak genoemd, werkt als een estafette. Het systeem breekt de lange collectie nieuws en achtergrondinformatie op in kleinere stukjes. Het vraagt de computer om het eerste deel samen te vatten, dan het tweede, enzovoort. Ten slotte neemt het al die kleine samenvattingen en combineert ze tot één hoofdsamenvatting. De tweede methode, bekend als retrieval-augmented generation, is meer als een bibliothecaris. Wanneer het systeem een samenvatting moet schrijven, doorzoekt het de gehele collectie documenten om de specifieke zinnen te vinden die het meest relevant zijn voor de huidige vraag, en geeft vervolgens alleen die geselecteerde zinnen aan de computer om mee te werken. De studie evalueerde drie verschillende open-source modellen voor kunstmatige intelligentie met behulp van deze methoden, naast een duurder, commercieel model voor de samenvattingen van de aandelengegevens.
De resultaten boden een duidelijk beeld van wat wel en niet werkt. De meest succesvolle aanpak bleek de Summarize Chains-methode te zijn met een specifiek open-source model genaamd Falcon-7B. Deze combinatie slaagde erin om elk belangrijk nieuwsfeit accuraat te dekken, waarbij belangrijke details zoals het exacte aantal werknemers dat door een techreus was ontslagen, werden behouden, en deed dit zonder zichzelf te herhalen of dingen te verzinnen. In contrast hiermee veroorzaakte de bibliothecaris-stijl retrieval-methode aanzienlijke problemen. Wanneer het systeem probeerde te veel relevante zinnen tegelijk op te halen, raakte de computer in de war en herhaalde hij dezelfde drie nieuwsitems tientallen keren in één enkele samenvatting. In andere gevallen leidde de retrieval-methode ertoe dat de computer feiten door elkaar haalde, zoals het toeschrijven van een boete betaald door het ene bedrijf aan een totaal ander bedrijf. Deze fouten, bekend als hallucinaties, kwamen vaker voor wanneer de computer werd gegeven te veel informatie om tegelijkertijd te verwerken.
De studie bevestigde ook dat de strategie om cijfers in zinnen om te zetten perfect werkte. Wanneer de computer de vooraf geschreven zinnen over aandelenkoersen kreeg, produceerde het samenvattingen die feitelijk juist waren over alle zes de geteste bedrijven, zonder verzonnen cijfers of onjuiste berekeningen. Dit bewees dat het verplaatsen van de wiskunde uit de handen van de kunstmatige intelligentie naar een eenvoudig computerscript de juiste zet was. Hoewel de retrieval-methode in theorie veelbelovend was, stelde de studie vast dat het in de praktijk te veel fouten en herhalingen introduceerde om betrouwbaar te zijn voor financiële verslaglegging zonder significante wijzigingen. De onderzoeker bouwde een werkend dashboard waarmee gebruikers aandelengrafieken kunnen bekijken en deze geautomatiseerde samenvattingen kunnen lezen, wat aantoont dat het systeem praktisch genoeg is om als echt hulpmiddel te worden gebruikt. Het werk suggereert dat hoewel kunstmatige intelligentie inderdaad de financiële nieuwsconsumptie kan automatiseren, de manier waarop de informatie aan de machine wordt gevoed net zo belangrijk is als de machine zelf. De meest betrouwbare weg voorwaarts is, voor nu, om de computer te laten doen waar hij het beste in is — taal begrijpen — terwijl een eenvoudig script de cijfers afhandelt en de informatie organiseert op een manier die voorkomt dat de machine overbelast raakt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.