Sentiment Classification of Saudi Stock Market Tweets: Lexicon-Based Weak Supervision, Classical Machine Learning, and Zero-Shot Open-Source Large Language Models
Deze studie evalueert de sentimentclassificatie van tweets over de Saoedische aandelenmarkt door klassieke machine learning-modellen getraind op op lexiconen gebaseerde labels te vergelijken met een zero-shot open-source LLM, waarbij wordt onthuld dat terwijl klassieke modellen slechts potentieel gebrekkige regelgebaseerde labels reproduceren, de LLM een onderscheidend, domeinbewust perspectief biedt dat de kritieke noodzaak van door mensen geannoteerde grondwaarheid benadrukt om financiële sentimentanalyse te valideren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne financiële wereld worden prijzen niet uitsluitend bepaald door balansen en economische rapporten. Ze worden ook gevormd door de collectieve stemming van beleggers, een kracht die markten in realtime kan verschuiven. Decennialang hebben onderzoekers geprobeerd deze stemming te meten door nieuws en berichten op sociale media te lezen, op zoek naar woorden die optimisme of angst signaleren. Wanneer een bedrijf winst aankondigt, is de toon meestal positief; wanneer het een verlies rapporteert, is de toon negatief. Deze taak is eenvoudig in het Engels, waar woordenboeken van emotionele woorden bestaan en computers deze gemakkelijk kunnen tellen. De uitdaging wordt echter veel complexer wanneer de taal Arabisch is, specif seguito de Arabische taal die gebruikt wordt in de bruisende financiële markten van Saoedezische Arabië. De taal is rijk aan variaties in spelling, dialect en grammatica, en financieel nieuws mengt vaak feitelijke aankondigingen met oprechte meningen, waardoor het voor standaard computerprogramma's moeilijk is om het verschil te zien.
Deze complexiteit leidde ertoe dat een team onderzoekers aan de King Khalid Universiteit onderzocht hoe goed computers het sentiment van tweets over de Saoedische aandelenmarkt kunnen begrijpen. Ze richtten zich op een specifieke vraag: werken de traditionele methoden die worden gebruikt om deze tweets te labelen werkelijk, of misleiden ze de computer simpelweg om een reeks regels uit het hoofd te leren? Om dit te ontdekken, verzamelden ze duizend tweets over bedrijven die genoteerd staan aan de Saoedische effectenbeurs, bekend als Tadawul. Deze berichten kwamen van een mix van financieel nieuws, marktanalisten en individuele handelaren. De onderzoekers wilden zien of ze een computer konden leren herkennen of een tweet positief, negatief of neutraal was, en om twee zeer verschillende benaderingen te vergelijken: één die vertrouwt op een vooraf samengestelde lijst met woorden, en een andere die gebruikmaakt van een krachtig, modern kunstmatig intelligentiesysteem dat in staat is de context te begrijpen zonder expliciet te worden onderwezen.
De onderzoekers begonnen met de traditionele benadering, die gebruikelijk is in veel studies van dit soort. Ze creëerden een lijst van 180 financiële termen, waarbij ze deze verdeelden in positieve woorden zoals "winst" en "groei", negatieve woorden zoals "verlies" en "daling", en neutrale woorden zoals "analyse". Vervolgens gebruikten ze deze lijst om de duizend tweets automatisch te labelen. Als een tweet een positief woord bevatte, werd deze als positief gemarkeerd; als deze geen overeenkomende woorden bevatte, werd deze als neutraal gemarkeerd. Zodra de tweets gelabeld waren, trainden ze vier verschillende soorten klassieke computermodellen om te leren van deze labels. Het doel was om te zien of deze modellen de labels die de lijst had toegewezen, konden reproduceren. De resultaten waren opvallend hoog. Een lineaire support vector machine, een van de geteste modellen, kwam in 86,1 procent van de gevallen overeen met de labels van de lijst. Dit leek een succes, wat suggereerde dat de computer had geleerd de stemming van de markt te begrijpen.
Echter, de onderzoekers introduceerden vervolgens een tweede, geavanceerdere tool: een groot taalmodel genaamd Qwen2.5. In tegen tegenstelling tot de klassieke modellen, was dit systeem niet getraind op de gelabelde tweets. In plaats daarvan werd het gevraagd de tweets te lezen en het sentiment te beslissen op basis van alleen een eenvoudige instructie om als financieel analist op te treden. Wanneer de onderzoekers de beslissingen van het grote taalmodel vergeleken met de oorspronkelijke lijstgebaseerde labels, was de overeenstemming verrassend laag. Het model stemde in slechts 37,6 procent van de gevallen overeen met de lijst. De discrepantie was niet willekeurig. Het grote taalmodel had de neiging om feitelijke aankondigingen, zoals dividendverklaringen of winstcijfers, als positief te labelen. De oorspronkelijke lijst, die strikt vertrouwde op het matchen van specifieke woorden, had deze zelfde aankondigingen als neutraal gelabeld omdat ze geen emotionele kernwoorden bevatten.
Deze onenigheid onthulde een kritiek gebrek in de oorspronkelijke methode. De onderzoekers realiseerden zich dat de lijst met woorden en de tweets niet op dezelfde manier waren voorbereid. De tweets waren schoongemaakt en gestandaardiseerd om verschillende spellingen af te handelen, maar de lijst met woorden was dat niet. Als gevolg hiervan kwamen veel woorden in de tweets niet overeen met de woorden in de lijst, simpelweg vanwege kleine spellingverschillen, en niet omdat het sentiment anders was. Wanneer de onderzoekers deze mismatch herstelden door dezelfde schoonmaakregels op de lijst toe te passen, veranderde de situatie drastisch. Het aantal tweets dat overeenkwam met de lijst steeg van 42,4 procent naar 67,8 procent. Belangrijker nog, de overeenstemming tussen het grote taalmodel en de gecorrigeerde lijst steeg naar 57,5 procent. Dit toonde aan dat een groot deel van de initiële onenigheid niet te wijten was aan het feit dat de kunstmatige intelligentie fout zat, maar aan het feit dat de referentielabels gebrekkig waren.
De studie concludeert dat hoge nauwkeurigheidsscores in dit soort onderzoek misleidend kunnen zijn. Wanneer een computermodel een nauwkeurigheid van 86 procent behaalt tegenover een set labels, betekent dit vaak dat het model simpelweg heeft geleerd om dezelfde rigide regels te volgen die gebruikt zijn om die labels te creëren, in plaats van werkelijk het sentiment te begrijpen. Het grote taalmodel, ondanks de lagere overeenstemming met de gebrekkige labels, leek een genuanceerderer beeld van de markt te vatten, waarbij het erkende dat feitelijk nieuws over winsten vaak een positief signaal is voor beleggers. De onderzoekers benadrukken dat een mens moet ingrijpen om de labels te verifiëren om echt te weten welke methode correct is, aangezien geen enkel computerprogramma momenteel in staat is om zijn eigen trainingsdata te valideren zonder een menselijke referentie. Dit werk dient als een herinnering dat in de haast om financiële analyse te automatiseren, de kwaliteit van de data die wordt gebruikt om de machines te onderwijzen even belangrijk is als de machines zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.