Sentiment Classification of Saudi Stock Market Tweets: Lexicon-Based Weak Supervision, Classical Machine Learning, and Zero-Shot Open-Source Large Language Models
تقيم هذه الدراسة تصنيف المشاعر لتغريدات سوق الأسهم السعودية من خلال مقارنة نماذج تعلم الآلة الكلاسيكية المدربة على تسميات مشتقة من المعاجم مع نموذج لغوي كبير مفتوح المصدر يعمل بتقنية التعلم الصفري، مما يكشف أنه بينما تكتفي النماذج الكلاسيكية بإعادة إنتاج التسميات القائمة على القواعد التي قد تكون معيبة، فإن النموذج اللغوي الكبير يقدم منظوراً متميزاً وواعياً بالمجال يسلط الض الضوء على الحاجة الماسة إلى حقيقة أرضية مشروحة بشرياً للتحقق من تحليل المشاعر المالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم المال الحديث، لا تُحدد الأسعار فقط بناءً على الميزانيات العمومية والتقارير الاقتصادية، بل تشكلها أيضاً الحالة المزاجية الجماعية للمستثمرين، وهي قوة يمكنها تغيير الأسواق في الوقت الفعلي. لعقود من الزمن، حاول الباحثون قياس هذه الحالة المزاجية من خلال قراءة الأخبار ومنشورات وسائل التواصل الاجتماعي، بحثاً عن كلمات تشير إلى التفاؤل أو الخوف. فعندما تعلن شركة ما عن ربح، يكون النبرة إيجابية عادةً؛ وعندما تعلن عن خسارة، تكون النبرة سلبية. تبدو هذه المهمة مباشرة في اللغة الإنجليزية، حيث توجد قواميس للكلمات العاطفية ويمكن للحواسيب عدّها بسهولة. ومع ذلك، يصبح التحدي أكثر تعقيداً عندما تكون اللغة هي العربية، وتحديداً العربية المستخدمة في الأسواق المالية الصاخبة في المملكة العربية السعودية. فاللغة غنية بالاختلافات في الإملاء واللهجات والقواعد، وغالباً ما تمزج الأخبار المالية بين الإعلانات الواقعية والآراء الحقيقية، مما يجعل من الصعب على البرامج الحاسوبية القياسية التمييز بينهما.
أدى هذا التعقيد بفريق من الباحثين في جامعة الملك خالد إلى استقصاء مدى قدرة الحواسيب على فهم مشاعر التغريدات المتعلقة بسوق الأسهم السعودي. وقد ركزوا على سؤال محدد: هل الأساليب التقليدية المستخدمة لتصنيف هذه التغريدات تعمل حقاً، أم أنها تخدع الحاسوب ببساء عبر جعله يحفظ مجموعة من القواعد؟ ولمعرفة ذلك، جمعوا ألف تغريدة حول الشركات المدرجة في السوق المالية السعودية، المعروفة باسم "تداول". جاءت هذه المنشورات من مزيج من المنافذ الإخبارية المالية، ومحللي السوق، والمتداولين الأفراد. أراد الباحثون معرفة ما إذا كان بإمكانهم تعليم الحاسوب التعرف على ما إذا كانت التغريدة إيجابية، أو سلبية، أو محايدة، ومقارنة نهجين مختلفين تماماً: أحدهما يعتمد على قائمة جاهزة من الكلمات، والآخر يستخدم نظام ذكاء اصطناعي حديث وقوي قادر على فهم السياق دون أن يتم تعليمه ذلك صراحةً.
بدأ الباحثون بالنهج التقليدي، وهو الشائع في العديد من الدراسات من هذا النوع. فقد أنشأوا قائمة تضم 180 مصطلحاً مالياً، وقسموها إلى كلمات إيجابية مثل "ربح" و"نمو"، وكلمات سلبية مثل "خسارة" و"تراجع"، وكلمات محايدة مثل "تحليل". ثم استخدموا هذه القائمة لتصنيف الألف تغريدة تلقائياً. فإذا احتوت التغريدة على كلمة إيجابية، تُصنف كإيجابية؛ وإذا لم تحتوي على كلمات مطابقة، تُصنف كمحايدة. وبمجرد تصنيف التغريدات، قاموا بتدريب أربعة أنواع مختلفة من النماذج الحاسوبية الكلاسيكية للتعلم من هذه التصنيفات. وكان الهدف هو معرفة ما إذا كانت هذه النماذج تستطيع إعادة إنتاج التصنيفات التي حددتها القائمة. وكانت النتائج مرتفعة بشكل لافت؛ حيث نجح نموذج "آلة ناقلات الدعم الخطي" (linear support vector machine)، وهو أحد النماذج المختبرة، في مطابقة تصنيفات القائمة بنسبة 86.1 بالمائة. بدا هذا وكأنه نجاح، مما يوحي بأن الحاسوب قد تعلم فهم مزاج السوق.
ومع ذلك، قدم الباحثون بعد ذلك أداة ثانية أكثر تقدماً: نموذج لغوي كبير يسمى "Qwen2.5". وخلافاً للنماذج الكلاسيكية، لم يتم تدريب هذا النظام على التغريدات المصنفة، بل طُلب منه قراءة التغريدات وتحديد المشاعر من تلقاء نفسه، باستخدام تعليمات بسيطة للعمل كمحلل مالي. وعندما قارن الباحثون قرارات النموذج اللغوي الكبير بالتصنيفات القائمة على القائمة الأصلية، كان الاتفاق منخفضاً بشكل مفاجئ؛ حيث اتفق النموذج مع القائمة في 37.6 بالمائة فقط من التغريدات. ولم يكن هذا التباين عشوائياً، إذ مال النموذج اللغوي الكبير إلى تصنيف الإعلانات الواقعية، مثل إعلانات توزيع الأرباح أو تقارير الأرباح، على أنها إيجابية. أما القائمة الأصلية، التي اعتمدت بصرامة على مطابقة كلمات محددة، فقد صنفت هذه الإعلانات نفسها على أنها محايدة لأنها افتقرت إلى الكلمات المفتاحية العاطفية.
كشف هذا الاختلاف عن خلل جوهري في الطريقة الأصلية. فقد أدرك الباحثون أن قائمة الكلمات والتغريدات لم يتم إعدادهما بنفس الطريقة؛ فقد تم تنظيف التغريدات وتوحيد معاييرها للتعامل مع الاختلافات في الإملاء، بينما لم يتم فعل ذلك مع قائمة الكلمات. ونتيجة لذلك، لم تتطابق العديد من الكلمات في التغريدات مع الكلمات في القائمة لمجرد وجود اختلافات إملائية طفيفة، وليس لأن الشعور مختلف. وعندما أصلح الباحثون هذا عدم التطابق بتطبيق قواعد التنظيف نفسها على القائمة، تغير الوضع بشكل دراماتيكي. فقد ارتفع عدد التغريدات التي تطابقت مع القائمة من 42.4 بالمائة إلى 67.8 بالمائة. والأهم من ذلك، أن الاتفاق بين النموذج اللغوي الكبير والقائمة المصححة ارتفع إلى 57.5 بالمائة. وهذا أظهر أن جزءاً كبيراً من عدم الاتفاق الأولي لم يكن بسبب خطأ الذكاء الاصطناعي، بل بسبب كون التصنيفات المرجعية معيبة.
خلصت الدراسة إلى أن درجات الدقة العالية في هذه الأنواع من الأبحاث قد تكون مضللة. فعندما يسجل نموذج حاسوبي دقة بنسبة 86 بالمائة مقابل مجموعة من التصنيفات، فغالباً ما يعني ذلك أن النموذج قد تعلم ببساطة اتباع نفس القواعد الجامدة المستخدمة لإنشاء تلك التصنيفات، بدلاً من الفهم الحقيقي للمشاعر. ويبدو أن النموذج اللغوي الكبير، رغم اتفاقه المنخفض مع التصنيفات المعيبة، قد نجح في التقاط رؤية أكثر دقة للسوق، حيث أدرك أن الأخبار الواقعية حول الأرباح غالباً ما تكون إشارة إيجابية للمستثمرين. ويؤكد الباحثون أنه لمعرفة أي طريقة هي الصحيحة حقاً، يجب أن يتدخل البشر للتحقق من التصنيفات، حيث لا يمكن حالياً الوثوق بأي برنامج حاسوبي للتحقق من صحة بيانات التدريب الخاصة به دون مرجع بشري. ويعمل هذا العمل كتذكير بأنه في الاندفاع نحو أتمتة التحليل المالي، فإن جودة البيانات المستخدمة لتعليم الآلات لا تقل أهمية عن الآلات نفسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.