Artificial Intelligence and Machine Learning for Stock Market Prediction: A Systematic Literature Review of Methods, Emerging Paradigms, Reproducibility, and Evaluation Gaps (2016-2026)
تُحلل هذه المراجعة المنهجية للأدبيات، والتي تشمل 685 دراسة (2016–2026)، التطور، وقابلية التكرار، وفجوات التقييم في التنبؤ بأسواق الأسهم المدفوع بالذكاء الاصطناعي، كاشفةً عن انفصال حرج بين دقة النماذج المُبلغ عنها والمنفعة التجارية العملية نتيجة مشكلات واسعة النطاق مثل تسرب البيانات، وعدم مشاركة الكود البرمجي، وعدم كفاية الاختبارات الإحصائية.
تُعد أسعار الأسهم صعبة التنبؤ بشكل ملحوظ؛ فهي لا تتحرك في خطوط مستقيمة، وغالباً ما تكون مشوبة بالضجيج، وتغير سلوكها بمرور الوقت. لعقود من الزمن، حاول الاقتصاديون التنبؤ بهذه التحركات باستخدام قواعد رياضية بسيطة تفترض أن المستقبل سيكون مشابهاً للماضي. ولكن مع زيادة سرعة وقوة أجهزة الكمبيوتر، بدأ جيل جديد من الباحثين في استخدام الذكاء الاصطناعي للعثور على أنماط وسط هذه الفوضى. هذه الأنظمة، المعروفة بنماذج تعلم الآلة، يمكنها استيعاب كميات هائلة من البيانات التاريخية لرصد إشارات دقيقة قد يغفل عنها المحللون البشريون. والوعد هنا مغرٍ: إذا استطاع الكمبيوتر أن يتعلم التنبؤ باتجاه حركة السهم، فقد يولد ثروات طائلة. ومع ذلك، ورغم هذا الحماس، عانى هذا المجال من مشكلة مستمرة؛ حيث تدعي دراسات كثيرة أنها وجدت صيغة رابحة، ولكن عندما يحاول آخرون تكرار العمل، غالباً ما تتلاشى النتائج.
لقد شرع فريق من الباحثين في فهم سبب وجود هذه الفجوة بين ما تنشره الأوراق البحثية وما ينجح فعلياً في العالم الحقيقي. أجروا مراجعة شاملة لـ 685 دراسة علمية نُشرت بين عامي 2016 و2026، فحصوا خلالها كيفية استخدام الذكاء الاصطناعي حالياً للتنبؤ بأسواق الأسهم. لم يكن عملهم نموذجاً تنبؤياً جديداً، بل كان تدقيقاً عميقاً للمجال بأكته. لقد نظروا في أنواع البنى الحاسوبية التي يتم بناؤها، وكيف تغيرت الأساليب على مدار العقد الماضي، والأهم من ذلك، ما إذا كانت النتائج جديرة بالثقة. ومن خلال تمحيص آلاف الصفحات من الأبحاث، كشفوا عن مشهد تتقدم فيه التكنولوجيا بسرعة، لكن المعايير الخاصة بإثبات نجاعة هذه التكنولوجيا لم تواكب هذا التقدم.
وجد الباحثون أن المجال قد تجاوز بكثير المعادلات الخطية البسيطة. في السنوات الأولى لمراجعتهم، اعتمدت الدراسات على أدوات إحصائية قديمة أو تقنيات تعلم آلة أساسية. وبحلول عشرينيات القرن الحادي والعشرين، تحول النهج السائد نحو التعلم العميق، وتحديداً نوع من الشبكات العصبية يسمى "الذاكرة الطويلة قصيرة المدى" (LSTM). صُممت هذه الشبكات لتذكر تسلسل الأحداث، مما يجعلها مناسبة جداً للبيانات القائمة على الزمن مثل أسعار الأسهم. وفي الواقع، استخدمت ما يقرب من 90 بالمائة من الدراسات التي فحصوها شكلاً من أشكال هذه التكنولوجيا. ومؤخراً، بدأ المجال في تبني أنظمة أكثر تعقيداً، بما في ذلك النماذج التي تحاكي الطريقة التي تعالج بها النماذج اللغوية الكبيرة النصوص، والأنظمة التي تحلل العلاقات بين الشركات المختلفة كما لو كانت عقدًا في شبكة ضخمة ومتغيرة. لقد انفجر تنوع الأدوات، حيث يجمع الباحثون الآن بين بيانات الأسعار والمقالات الإخبارية، وتحليل مشاعر وسائل التواصل الاجتماعي، وحتى اتصالات سلاسل التوريد لإجراء تنبؤاتهم.
ومع ذلك، اكتشف المؤلفون أن هذا الانفجار في التعقيد لم يواكبه زيادة مماثلة في الموثوقية. فعندما دققوا في الدراسات بحثاً عن "قابلية التكرار" — أي قدرة العلماء الآخرين على أخذ نفس البيانات والشيفرة البرمجية والحصول على نفس النتائج — وجدوا نقصاً صادماً. فقد قدمت حوالي 7.6 بالمائة فقط من أصل 685 دراسة الشيفرة البرمجية الفعلية اللازمة لتشغيل النماذج. ونشر الغالبية العظمى من الباحثين نتائجهم دون مشاركة الأدوات المستخدمة في إنتاجها. وهذا يعني أن معظم النجاحات المُبلغ عنها لا يمكن التحقق منها. علاوة على ذلك، حدد الباحثون خمس طرق محددة تقع من خلالها الدراسات في أخطاء غير مقصودة، حتى دون نية مسبقة. يتضمن أحد الأخطاء الشائعة استخدام معلومات من المستقبل لتدريب النموذج؛ فعلى سبيل المثال، إذا قام الباحث بتطبيع البيانات باستخدام أعلى وأدنى الأسعار لفترة العشر سنوات بأكملها قبل تقسيم البيانات إلى مجموعات تدريب واختبار، فإن النموذج يرى المستقبل فعلياً أثناء مرحلة التدريب. وهذا يخلق وهماً بدقة عالية ينهار بمجرد استخدام النموذج على بيانات جديدة لم يسبق رؤيتها.
كما سلطت المراجعة الضوء على الانفصال بين كيفية اختبار النماذج في المختبر وكيفية أدائها في السوق الحقيقية. تشير العديد من الدراسات إلى معدلات دقة مثيرة للإعجاب، وتدعي أحياناً التنبؤ باتجاه السهم بشكل صحيح بنسبة تزيد عن 90 بالمائة. ومع ذلك، تتجاهل هذه الدراسات غالباً تكاليف التداول، مثل الرسوم والفرق بين السعر الذي يرغب المتداول في دفعه والسعر الذي يحصل عليه بالفعل. وعندما بحث الباحثون عن الدراسات التي تضمنت هذه الاحتكاكات الواقعية، وجدوا عدداً قليلاً جداً. بالإضافة إلى ذلك، لم تستخدم معظم الأوراق اختبارات إحصائية صارمة لإثبات أن نتائجها أفضل من الصدفة العشوائية، بل اعتمدت بدلاً من ذلك على مقارنات بسيطة يمكن أن تكون مضللة بسهولة. وأشار المؤلفون إلى أن النموذج قد يبدو عبقرياً لمجرد أنه جيد في تكرار سعر الأمس، وهي حيلة تعمل جيداً على الورق ولكنها لا تحقق أي أرباح في سوق حية.
ورغم هذه العيوب، لم يخلص الباحثون إلى أن الذكاء الاصطناعي عديم الفائدة في التمويل، بل جادلوا بأن المجال يمر بنقطة تحول. فالأدوات قوية، لكن طريقة استخدامها وتقييمها فضفاضة للغاية بحيث لا يمكن الوثوق بها. اقترح الفريق مجموعة جديدة من المعايير لمعالجة هذه المشكلات؛ حيث طالبوا الباحثين بمشاركة شيفراتهم وبياناتهم بانفتاح، واختبار نماذجهم باستخدام نوافذ زمنية متدحرجة تمنع تسرب البيانات المستقبلية، وإدراج تكاليف التداول في عمليات المحاكاة الخاصة بهم. كما أصروا على أن الادعاءات بالنجاح يجب أن تكون مدعومة بإثبات إحصائي رسمي، وليس مجرد عرض رقم مرتفع على رسم بياني. وحذر المؤلفون من أنه بدون هذه التغييرات، سيستمر المجال في إنتاج نتائج براقة تفشل في التحول إلى قيمة اقتصادية حقيقية. إن الطريق إلى الأمام يتطلب تحولاً من مطاردة الخوارزمية الأكثر تعقيداً إلى بناء الخوارزمية الأكثر أمانة وقابلية للتحقق.
يتميز التنبؤ بسوق الأسهم بكونه بيانات زمنية غير مستقرة، مشوشة، وغير خطية. وبينما تشير فرضية كفاءة السوق (EMH) إلى أن تغيرات الأسعار تتبع حركة عشوائية (martingale)، إلا أن هناك ظواهر تجريبية مستمرة (مثل الزخم، والارتداد للمتوسط). وعلى مدار العقد الماضي، انتقل المجال من الاقتصاد القياسي الخطي الكلاسيكي (ARIMA, GARCH) إلى بنيات الذكاء الاصطناعي (AI) وتعلم الآلة (ML) عالية القدرة. ومع ذلك، تعاني الأدبيات من انفصال حرج: حيث تسجل الدراسات بشكل متكرر دقة اتجاهية عالية (غالباً >90%) تفشل في التحول إلى أرباح حقيقية في التداول الفعلي. ويُعزى هذا التباين إلى عيوب منهجية، بما في ذلك تسرب البيانات، غياب القابلية لإعادة الإنتاج، وغياب التحقق الإحصائي الصارم ونمذجة الاحتكاك الاقتصادي.
المتن: تراجع المراجعة 685 دراسة تجريبية أولية نُشرت بين عام 2016 وأوائل عام 2026.
مصادر البيانات: تم استرداد السجلات من Scopus (2,106)، وIEEE Xplore (1,206)، وWeb of Science (1,105)، بإجمالي 4,417 سجلاً أولياً.
معايير الاختيار: تطلب الاشتمال أن تكون الدراسات تجريبية أولية تقيم نماذج AI/ML/DL على أسعار الأسهم أو عوائدها، ومنشورة في منصات محكمة أو خوادم نسخ مسبقة منسقة، مع وجود مقاييس كمية صريحة. استبعدت معايير الاستبعاد الأعمال غير التجريبية، والأهداف غير المتعلقة بالأسهم (مثل العملات الرقمية أو الفوركس)، والدراسات ذات المقاييس غير القابلة للتحقق.
إطار التحليل: استخرج المؤلفون 22 حقلاً لكل دراسة، مصنفة إلى بيانات ببليوجرافية، وتفاصيل المجال المالي، وتصنيف معماري، وحالة القابلية لإعادة الإنتاج، ومقاييس التقييم. يركز التحليل على أربعة أسئلة بحثية (RQs):
التصنيف المعماري: ما هي النماذج المستخدمة، وكيف تتقارن؟
التطور المنهجي: كيف تحولت النماذج من الآلات النووية (kernel machines) إلى المحولات (Transformers) والنماذج اللغوية الكبيرة (LLMs)؟
القابلية لإعادة الإنتاج: ما هو وضع توفر الكود والبيانات والبيئة البرمجية؟
فجوات التقييم: ما هي المقاييس المستخدمة، وأين تحدث الثغرات الرياضية (مثل تسرب البيانات)؟
3. المساهمات الرئيسية
تقدم الورقة خمس مساهمات محددة للمجال:
النطاق: تجمع أكبر متن تجريبي أولي حتى الآن (N=685) لأدبيات التنبؤ بالأسهم.
الصياغة الرياضية: تقدم صياغات رسمية للنماذج الاقتصادية القياسية الكلاسيكية، وتعلم الآلة الضحل، وشبكات التسلسل العميقة (LSTM)، والمحولات (Transformers)، والشبكات العصبية الرسومية (GNNs)، والتعلم التعزيزي العميق (DRL) المراعي للاحتكاك.
تدقيق القابلية لإعادة الإنتاج: تقدم هرمية ثلاثية المستويات للقابلية لإعادة الإنتاج، لتدقيق توفر الكود والبيانات والبيئة عبر المتن بأكمله.
مصفوفة التسرب: تصيغ رياضياً خمس آليات متكررة لتسرب البيانات (مثل التطبيع العالمي قبل التقسيم، وانحياز الاستشراف في التفكيك) التي تضخم النتائج المبلغ عنها.
بروتوكول التقييس: تقترح بروتوكولاً رباعي الركائز للتقييس لسد الفجوة بين الدقة الأكاديمية المبلغ عنها والعوائد الاقتصادية المعقولة.
4. النتائج والنتائج الرئيسية
4.1 المشهد المعماري
هيمنة التعلم العميق: تظهر شبكات الذاكرة الطويلة قصيرة المدى (LSTM) في 89.2% من الدراسات. وتتواجد الأطر الهجينة (التي تجمع بين التفكيك والتعلم العميق) في 61.9%.
النماذج الناشئة: منذ عام 2024، هناك تسارع سريع في المحولات (36.4%)، والنماذج اللغوية الكبيرة المالية (LLMs) (6.4%)، والشبكات العصبية الرسومية الديناميكية الزمانية-المكانية (9.6%).
مفارقة الأداء: بينما تحقق نماذج التسلسل العميقة غالباً أدنى أخطاء الانحدار الاسمية (RMSE)، فإن مجموعات أشجار التدرج المعززة (XGBoost, LightGBM) المضبوطة جيداً غالباً ما تضاهي أو تتجاوزها في معدلات الضرب الاتجاهي باستخدام المؤشرات الفنية الجدولية، بتكاليف حوسبة أقل بكثير.
4.2 أزمة القابلية لإعادة الإنتاج
توفر الكود: توفر 7.6% فقط (52 دراسة) كوداً مصدرياً قابلاً للتنفيذ بالكامل مع بيانات وبيئة مفتوحة (المستوى 1).
الدراسات الغامضة: توفر 38.1% من الدراسات عدم وصول للكود أو البيانات (المستوى 3)، وغالباً ما تعتمد على بيانات مملوكة أو عبارات "متاحة عند الطلب" تفتقر للوصول الوظيفي.
فجوة التحقق: لا يمكن التحقق من الغالبية العظمى من الدراسات أو إعادة إنتاجها بشكل مستقل.
4.3 العيوب المنهجية وتسرب البيانات
حدد التدقيق تهديدات منهجية واسعة النطاق تبطل العديد من النتائج المبلغ عنها:
التطبيع العالمي قبل التقسيم (64% من الدراسات): تؤدي معاملات القياس المستمدة من كامل مجموعة البيانات (بما في ذلك بيانات الاختبار المستقبلية) إلى تسريب حدود التوزيع المستقبلي إلى مجموعة التدريب.
استشراف تفكيك الإشارة (42%): تطبيق تحويلات مثل VMD أو EMD عبر السلسلة الزمنية بأكملها قبل التقسيم يسمح لصدمات الأسعار المستقبلية بالتأثير على مكونات التدريب.
انحياز البقاء (78%): تستخدم المعايير المرجعية غالباً مكونات المؤشرات الحالية، مستبعدة الشركات التي شطبت أو أفلست، مما يضخم العوائد اصطناعياً.
التقسيمات الثابتة (83%): استخدام تقسيمات تدريب/اختبار ثابتة واحدة بدلاً من التحقق من المسار الأمامي المنقى (purged walk-forward validation) يؤدي إلى الإفراط في التخصيص (overfitting) على أنظمة سوق محددة.
الافتراضات الخالية من الاحتكاك (51%): تتجاهل العديد من الدراسات تكاليف المعاملات، وفروق البيع والشراء (bid-ask spreads)، والانزلاق السعري (slippage)، مما يعرض أرباحاً وهمية.
4.4 فجوات التقييم
نقص الصرامة الإحصائية: تستخدم 16.9% فقط من الدراسات اختبارات الفرضيات الإحصائية الرسمية (مثل اختبارات Diebold-Mariano أو Friedman). وتدعي أكثر من 83% التفوق بناءً على تقديرات نقطية فقط.
فخ "ظلال التأخر-1" (Lag-1 Shadowing Trap): تحقق نماذج الانحدار غالباً R2 مرتفعاً بمجرد التنبؤ بسعر اليوم السابق (الاستمرارية)، وهو ما يعطي "ألفا" (alpha) معدومة القابلية للتنفيذ رغم انخفاض RMSE.
المقاييس الاقتصادية المفقودة: لا تبلغ 45.8% من الدراسات أي مقاييس مالية (نسبة شارب، الحد الأقصى للتراجع، العائد التراكمي)، وتقيم النماذج بناءً على الدقة الإحصائية فقط.
5. الأهمية والبروتوكول المقترح
تجادل الورقة بأنه بينما تسارعت التعقيدات المعمارية (من الانتقال من ARIMA إلى الذكاء الاصطنا وحتى المحولات)، إلا أن الصرامة التجريبية قد ركدت. إن "الاختراقات" المبلغ عنها هي غالباً نتاج تسرب البيانات وعدم كفاية التحقق.
ولمعالجة ذلك، يقترح المؤلفون بروتوكول تقييس رباعي الركائز للبحوث المستقبلية:
تفويض العلم المفتوح الحتمي: مستودعات عامة إلزامية مع كود قابل للتشغيل، واعتمادات دقيقة، وبذور عشوائية ثابتة.
التحقق الزمني للمسار الأمامي المنقى: فصل صارم بين التدريب والاختبار مع فترات تطهير/حظر (purge/embargo) لمنع تسرب الاستشراف في هندسة الميزات والتفكيك.
اختبارات الأهمية الاقتصادية والإحصائية: الاستخدام الإلزامي لاختبارات Diebold-Mariano للمقارنات الثنائية واختبارات Friedman/Nemenyi لتصنيفات النماذج المتعددة.
الاختبار الخلفي الاقتصادي المراعي للاحتكاك والمخاطر: يجب أن يتضمن التقييم تكاليف المعاملات (≥10 نقاط أساس)، والانزلاق السعري، وفروق البيع والشراء، مع التركيز على المقاييس المعدلة حسب المخاطر (نسبة شارب، نسبة سورتينو، الحد الأقصى للتراجع) بدلاً من الدقة الخام.
يخلص المؤلفون إلى أنه لكي ينتقل الذكاء الاصطناعي المالي من التجريب المجزأ إلى علم تجريبي تراكمي، يجب على المجتمع العلمي إعطاء الأولوية للقابلية لإعادة الإنتاج والجدوى الاقتصادية على حساب التحسينات الهامشية في دقة مجموعات البيانات الثابتة.