Sentiment Classification of Saudi Stock Market Tweets: Lexicon-Based Weak Supervision, Classical Machine Learning, and Zero-Shot Open-Source Large Language Models
Cette étude évalue la classification de sentiment des tweets du marché boursier saoudien en comparant des modèles d'apprentissage automatique classiques entraînés sur des étiquettes dérivées de lexiques avec un LLM open-source en zero-shot, révélant que si les modèles classiques ne font que reproduire des étiquettes basées sur des règles potentiellement erronées, le LLM offre une perspective distincte et consciente du domaine qui souligne la nécessité critique d'une vérité de terrain annotée par l'humain pour valider l'analyse du sentiment financier.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde financier moderne, les prix ne sont pas fixés uniquement par les bilans et les rapports économiques. Ils sont également façonnés par l'humeur collective des investisseurs, une force capable de faire basculer les marchés en temps réel. Pendant des décennies, des chercheurs ont tenté de mesurer cette humeur en lisant les actualités et les publications sur les réseaux sociaux, à la recherche de mots signalant l'optimisme ou la peur. Lorsqu'une entreprise annonce un profit, le ton est généralement positif ; lorsqu'elle rapporte une perte, le ton est négatif. Cette tâche est simple en anglais, où il existe des dictionnaires de mots émotionnels et où les ordinateurs peuvent facilement les compter. Cependant, le défi devient bien plus complexe lorsqu'il s'agit de la langue arabe, spécifiquement l'arabe utilisé dans les marchés financiers bouillonnants de l'Arabie saoudite. La langue est riche en variations d'orthographe, de dialectes et de grammaire, et les informations financières mélangent souvent des annonces factuelles avec des opinions authentiques, ce qui rend difficile pour les programmes informatiques standards de faire la distinction.
Cette complexité a conduit une équipe de chercheurs de l'Université King Khalid à étudier la capacité des ordinateurs à comprendre le sentiment des tweets concernant le marché boursier saoudien. Ils se sont concentrés sur une question spécifique : les méthodes traditionnelles utilisées pour étiqueter ces tweets fonctionnent-elles réellement, ou trompent-elles simplement l'ordinateur en lui faisant mémoriser un ensemble de règles ? Pour le découvrir, ils ont rassemblé mille tweets concernant des sociétés cotées à la Bourse saoudienne, connue sous le nom de Tadawul. Ces publications provenaient d'un mélange de sources d'actualités financières, d'analystes de marché et de traders individuels. Les chercheurs voulaient voir s'ils pouvaient apprendre à un ordinateur à reconnaître si un tweet était positif, négatif ou neutre, et comparer deux approches très différentes : l'une reposant sur une liste de mots préétablie, et l'autre utilisant un système d'intelligence artificielle moderne et puissant, capable de comprendre le contexte sans être explicitement enseigné.
Les chercheurs ont commencé par l'approche traditionnelle, courante dans beaucoup d'études de ce type. Ils ont créé une liste de 180 termes financiers, divisant ces derniers en mots positifs comme « profit » et « croissance », en mots négatifs comme « perte » et « déclin », et en mots neutres comme « analyse ». Ils ont ensuite utilisé cette liste pour étiqueter automatiquement les mille tweets. Si un tweet contenait un mot positif, il était marqué comme positif ; s'il ne contenait aucun mot correspondant, il était marqué comme neutre. Une fois les tweets étiquetés, ils ont entraîné quatre types différents de modèles informatiques classiques pour apprendre de ces étiquettes. Le but était de voir si ces modèles pouvaient reproduire les étiquettes que la liste avait assignées. Les résultats étaient étonnamment élevés. Une machine à vecteurs de support linéaire, l'un des modèles testés, correspondait correctement aux étiquettes de la liste dans 86,1 % des cas. Cela semblait être un succès, suggérant que l'ordinateur avait appris à comprendre l'humeur du marché.
Cependant, les chercheurs ont ensuite introduit un second outil, plus avancé : un grand modèle de langage appelé Qwen2.5. Contraなる aux modèles classiques, ce système n'a pas été entraîné sur les tweets étiquetés. Au lieu de cela, on lui a demandé de lire les tweets et de décider du sentiment par lui-même, en utilisant simplement l'instruction d'agir comme un analyste financier. Lorsque les chercheurs ont comparé les décisions du grand modèle de langage aux étiquettes basées sur la liste originale, l'accord était étonnamment faible. Le modèle de langage n'était d'accord avec la liste que pour 37,6 % des tweets. La divergence n'était pas aléatoire. Le grand modèle de langage avait tendance à étiqueter les annonces factuelles, telles que les déclarations de dividendes ou les rapports de bénéfices, comme positives. La liste originale, qui reposait strictement sur la correspondance de mots spécifiques, avait étiqueté ces mêmes annonces comme neutres car elles manquaient de mots-clés émotionnels.
Ce désaccord a révélé une faille critique dans la méthode originale. Les chercheurs ont réalisé que la liste de mots et les tweets n'avaient pas été préparés de la même manière. Les tweets avaient été nettoyés et normalisés pour gérer les différentes orthographes, mais la liste de mots ne l'avait pas été. En conséquence, de nombreux mots dans les tweets ne correspondaient pas aux mots de la liste simplement en raison de légères différences d'orthographe, et non parce que le sentiment était différent. Lorsque les chercheurs ont corrigé ce décalage en appliquant les mêmes règles de nettoyage à la liste, la situation a radicalement changé. Le nombre de tweets correspondant à la liste est passé de 42,4 % à 67,8 %. Plus important encore, l'accord entre le grand modèle de langage et la liste corrigée est passé à 57,5 %. Cela a montré qu'une grande partie du désaccord initial n'était pas due au fait que l'intelligence artificielle se trompait, mais plutôt au fait que les étiquettes de référence étaient défectueuses.
L'étude conclut que les scores de précision élevés dans ce type de recherche peuvent être trompeurs. Lorsqu'un modèle informatique affiche un score de précision de 86 % par rapport à un ensemble d'étiquettes, cela signifie souvent que le modèle a simplement appris à suivre les mêmes règles rigides utilisées pour créer ces étiquettes, plutôt que de véritablement comprendre le sentiment. Le grand modèle de langage, malgré son faible accord avec les étiquettes défectueuses, semblait capturer une vision plus nuancée du marché, reconnaissant que les informations factuelles sur les profits sont souvent un signal positif pour les investisseurs. Les chercheurs soulignent que pour savoir réellement quelle méthode est la bonne, un humain doit intervenir pour vérifier les étiquettes, car aucun programme informatique ne peut actuellement être considéré comme capable de valider ses propres données d'entraînement sans une référence humaine. Ce travail sert de rappel que, dans la course à l'automatisation de l'analyse financière, la qualité des données utilisées pour enseigner aux machines est tout aussi importante que les machines elles-mêmes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.