Sentiment Classification of Saudi Stock Market Tweets: Lexicon-Based Weak Supervision, Classical Machine Learning, and Zero-Shot Open-Source Large Language Models
Diese Studie bewertet die Sentiment-Klassifizierung von Tweets zum saudischen Aktienmarkt durch einen Vergleich klassischer Modelle des maschinellen Lernens, die auf lexikonbasierten Labels trainiert wurden, mit einem Zero-Shot Open-Source-LLM und zeigt auf, dass während die klassischen Modelle lediglich potenziell fehlerhafte regelbasierte Labels reproduzieren, das LLM eine distinkte, domänenspezifische Perspektive bietet, welche die kritische Notwendigkeit von menschlich annotierten Ground-Truth-Daten zur Validierung der Finanz-Sentiment-Analyse unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Finanzwelt werden Preise nicht ausschließlich durch Bilanzen und Wirtschaftsberichte bestimmt. Sie werden auch durch die kollektive Stimmung der Anleger geformt – eine Kraft, die Märkte in Echtzeit verschieben kann. Seit Jahrzehnten versuchen Forscher, diese Stimmung zu messen, indem sie Nachrichten und Social-Media-Beiträge lesen und nach Wörtern suchen, die Optimismus oder Angst signalisieren. Wenn ein Unternehmen einen Gewinn meldet, ist der Ton meist positiv; wenn es einen Verlust meldet, ist der Ton negativ. Diese Aufgabe ist im Englischen unkompliziert, da dort Wörterbücher mit emotionalen Begriffen existieren und Computer diese leicht zählen können. Die Herausforderung wird jedoch weitaus komplexer, wenn die Sprache Arabisch ist, speziell das Arabisch, das in den geschäftigen Finanzmärkten von Saudi-Arabien verwendet wird. Die Sprache ist reich an Variationen in Rechtschreibung, Dialekt und Grammatik, und Finanznachrichten vermischen oft sachliche Ankündigungen mit echter Meinung, was es Standardprogrammen erschwert, den Unterschied zu erkennen.
Diese Komplexität führte ein Forschungsteam der King Khalid University dazu, zu untersuchen, wie gut Computer die Stimmung von Tweets über den saudi-arabischen Aktienmarkt verstehen können. Sie konzentrierten sich auf eine spezifische Frage: Funktionieren die traditionellen Methoden, mit denen diese Tweets etikettiert werden, tatsächlich, oder führen sie den Computer lediglich dazu, sich eine Reihe von Regeln zu merken? Um dies herauszufinden, sammelten sie tausend Tweets über Unternehmen, die an der Saudi Exchange, bekannt als Tadawul, gelistet sind. Diese Beiträge stammten aus einer Mischung aus Finanznachrichten, Marktanalysten und einzelnen Tradern. Die Forscher wollten sehen, ob sie einem Computer beibringen konnten, zu erkennen, ob ein Tweet positiv, negativ oder neutral war, und wollten dabei zwei sehr unterschiedliche Ansätze vergleichen: einen, der auf einer vorgefertigten Wortliste basiert, und einen anderen, der ein leistungsstarkes, modernes KI-System nutzt, das in der Lage ist, den Kontext zu verstehen, ohne explizit darauf trainiert worden zu sein.
Die Forscher begannen mit dem traditionellen Ansatz, der in vielen Studien dieser Art üblich ist. Sie erstellten eine Liste von 180 Finanzbegriffen und unterteilten diese in positive Wörter wie „Gewinn“ und „Wachstum“, negative Wörter wie „Verlust“ und „Rückgang“ sowie neutrale Wörter wie „Analyse“. Anschließend nutzten sie diese Liste, um die tausend Tweets automatisch zu etikettieren. Wenn ein Tweet ein positives Wort enthielt, wurde er als positiv markiert; wenn er keine passenden Wörter enthielt, wurde er als neutral markiert. Sobald die Tweets etikettiert waren, trainierten die Forscher vier verschiedene Arten klassischer Computermodelle, um aus diesen Etiketten zu lernen. Das Ziel war es, zu sehen, ob diese Modelle die Etiketten reproduzieren konnten, die die Liste zugewiesen hatte. Die Ergebnisse waren beeindruckend hoch. Eine lineare Support Vector Machine, eines der getesteten Modelle, stimmte in 86,1 Prozent der Fälle korrekt mit den Etiketten der Liste überein. Dies schien ein Erfolg zu sein und deutete darauf hin, dass der Computer gelernt hatte, die Stimmung des Marktes zu verstehen.
Die Forscher führten jedoch ein zweites, fortschrittlicheres Werkzeug ein: ein großes Sprachmodell namens Qwen2.5. Im Gegensatz zu den klassischen Modellen wurde dieses System nicht auf den etikettierten Tweets trainiert. Stattdessen wurde es angewiesen, die Tweets zu lesen und die Stimmung eigenständig zu entscheiden, indem es lediglich die Anweisung erhielt, als Finanzanalyst zu agieren. Als die Forscher die Entscheidungen des großen Sprachmodells mit den ursprünglichen, listenbasierten Etiketten verglichen, war die Übereinstimmung überraschend gering. Das Modell stimmte nur in 37,6 Prozent der Fälle mit der Liste überein. Die Diskrepanz war nicht zufällig. Das große Sprachmodell neigte dazu, sachliche Ankündigungen, wie etwa Dividendenzahlungen oder Ergebnisberichte, als positiv einzustufen. Die ursprüngliche Liste, die sich strikt an der Übereinstimmung spezifischer Wörter orientierte, hatte dieselben Ankündigungen als neutral eingestuft, da ihnen emotionale Schlüsselwörter fehlten.
Diese Unstimmigkeit offenbarte einen kritischen Fehler im ursprünglichen Verfahren. Die Forscher erkannten, dass die Wortliste und die Tweets nicht auf die gleiche Weise vorbereitet worden waren. Die Tweets waren bereinigt und standardisiert worden, um verschiedene Schreibweisen zu handhaben, die Wortliste hingegen nicht. Infolgedessen stimmten viele Wörter in den Tweets nicht mit den Wörtern in der Liste überein, einfach weil es geringfügige Rechtschreibunterschiede gab, nicht weil die Stimmung unterschiedlich war. Als die Forscher diese Diskrepanz behoben, indem sie dieselben Bereinigungsregeln auf die Liste anwandten, änderte sich die Situation dramatisch. Die Anzahl der Tweets, die mit der Liste übereinstimmten, sprang von 42,4 Prozent auf 67,8 Prozent. Noch wichtiger war, dass die Übereinstimmung zwischen dem großen Sprachmodell und der korrigierten Liste auf 57,5 Prozent stieg. Dies zeigte, dass ein großer Teil der anfänglichen Unstimmigkeit nicht darauf zurückzuführen war, dass die künstliche Intelligenz falsch lag, sondern dass die Referenzetiketten fehlerhaft waren.
Die Studie kommt zu dem Schluss, dass hohe Genauigkeitswerte in dieser Art von Forschung irreführend sein können. Wenn ein Computermodell eine Genauigkeit von 86 Prozent gegenüber einem Satz von Etiketten erreicht, bedeutet dies oft nur, dass das Modell gelernt hat, denselben starren Regeln zu folgen, die zur Erstellung dieser Etiketten verwendet wurden, anstatt die Stimmung wirklich zu verstehen. Das große Sprachmodell schien trotz der geringeren Übereinstimmung mit den fehlerhaften Etiketten eine nuanciertere Sicht auf den Markt zu erfassen, indem es erkannte, dass sachliche Nachrichten über Gewinne oft ein positives Signal für Investoren sind. Die Forscher betonen, dass ein Mensch eingreifen muss, um die Etiketten zu verifizieren, um wirklich zu wissen, welche Methode korrekt ist, da derzeit kein Computerprogramm darauf vertrauen kann, seine eigenen Trainingsdaten ohne einen menschlichen Bezug zu validieren. Diese Arbeit dient als Erinnerung daran, dass bei der Eile, die Finanzanalyse zu automatisieren, die Qualität der Daten, mit denen die Maschinen gelehrt werden, genauso wichtig ist wie die Maschinen selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.