Sequential Structure in Intraday Futures Data: LSTM vs Gradient Boosting on MNQ
تُثبت هذه الورقة أن كلاً من نماذج تعزيز التدرج (gradient boosting) ونماذج الذاكرة الطويلة قصيرة المدى (LSTM) لا يمكنهما تحقيق دقة تنبؤية ذات دلالة إحصائية فوق معدل الأساس البالغ 51.8% عند التنبؤ باتجاه عقود MNQ الآجلة خلال اليوم باستخدام بيانات OHLCV لمدة أربع سنوات بفاصل خمس دقائق، مما يشير إلى أن مجموعات البيانات أحادية الأداة هذه غير كافية للتعلم الآلي المالي المتسلسل الموثوق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بالطقس لمدينة معينة، لكن ليس لديك سوى سجلات يومية لأربعة أعوام فقط. تريد أن تعرف: "إذا أمطرت في الساعة الأولى من اليوم، فهل ستمطر طوال اليوم؟"
هذا البحث هو تقرير من باحث يدعى ماتياس ميسفين، حاول الإجابة على هذا السؤال، ولكن بدلاً من الطقس، نظر إلى عقود أسهم المستقبل (النازداك - MNQ). أراد أن يرى ما إذا كانت الأدمغة الحاسوبية الحديثة وعالية التقنية (تعلم الآلة) يمكنها العثور على أنماط خفية في "نبض قلب" السوق التي قد تفوت البشر.
إليك قصة ما فعله، وكيف فعله، وما وجده، مشروحة ببساة.
الفكرة الكبرى: "كرونوس" مقابل "المحل المحلي"
مؤخراً، تم إطلاق نموذج ذكاء اصطناعي ضخم يسمى كرونوس (Kronos). لقد تم تدريبه على ملايين من الرسوم البيانية للأسهم من أسواق مختلفة. تعلم أن ترتيب ظهور أعمدة الأسعار (التسلسل) يحمل في الواقع أدلة حول ما سيحدث لاحقاً. إنه يشبه طاهياً ماهراً تذوق ملايين الأطباق ويعرف بالضبط كيف سيكون طعم تسلسل معين من المكونات.
سأل ماتياس سؤالاً بسيطاً: "إذا أخذنا نفس هذه الفكرة، ولكن طبقناها على سوق واحد فقط (MNQ) وعلى مدار أربع سنوات فقط، فهل ستنجح أيضاً؟"
لقد أقام سباقاً بين نوعين من المتعلمين الحاسوبيين:
- "الرشاش" (تعزيز التدرج - Gradient Boosting): ينظر هذا النموذج إلى قائمة من الحقائق (مثل "كانت الأمس حارة"، "الفجوة كانت واسعة") ولكنه يعاملها ككومة من العناصر غير المرتبطة ببعضها. هو لا يهتم بالترتيب الذي حدثت به.
- "الحكواتي" (الذاكرة الطويلة قصيرة المدى - LSTM): هذا النموذج مصمم لقراءة قصة. ينظر إلى أعمدة الخمس دقائق الاثني عشر في الصباح ويحاول فهم تسلسل الأحداث، تماماً مثل قراءة جملة كلمة بكلمة.
التجربة: اختبار صارم
لم يترك ماتياس الحواسيب تخمن فحسب، بل وضع اختباراً صارماً للغاية يسمى التحقق من صحة السير للأمام (Walk-Forward Validation).
- القاعدة: يتعلم الكمبيوتر من عام 2022، ثم يحاول التنبؤ بعام 2023. ثم يتعلم من عامي 2022 و2023 ويتنبأ بعام 2024. وأخيراً، يتعلم من 2022-2024 ويتنبأ بعام 2025.
- الهدف: التنبؤ بما إذا كان السوق سيغلق أعلى مما افتتح عليه عند الساعة 10:30 صباحاً بمقدار 10 نقاط على الأقل.
- المعيار المرجعي: إذا قمت فقط برمي عملة معدنية، فستكون محقاً بنسبة 51.8% من الوقت (لأن السوق يرتفع قليلاً أكثر مما ينخفض). للفوز، كان على الكمبيوتر أن يتفوق على رمية العملة هذه.
النتائج: الحواسيب تاهت في الطريق
كانت النتائج صادقة ومخيبة للآمال بالنسبة للأمل "عالي التقنية"، لكنها كانت غنية بالمعلومات للعلم:
- "الرشاش" (تعزيز التدرج): حاول العثور على أنماط في البيانات اليومية. أحياناً حالفه الحظ (دقة 54% في عام واحد)، ولكن في أعوام أخرى، أخطأ أكثر من رمية العملة. عندما تحقق ماتياس من سبب اتخاذه للقرارات، وجد أن الأسباب تتغير كل عام. في عام ما كان يهتم بـ "الفجوات الليلية"، وفي العام التالي اهتم بـ "حجم التداول". كان الأمر أشبه بطالب حفظ إجابات امتحان العام الماضي لكنه فشل في تعلم الرياضيات الفعلية.
- "الحكواتي" (LSTM): كان هذا هو الاختبار الكبير. هل كان تسلسل أعمدة الصباح مهماً؟ الإجابة هي لا. لقد استسلم النموذج تقريباً. توقع احتمال 50/50 لكل يوم، بغض النظر عما حدث في الصباح. "ثقته" كانت مسطحة. لم يتعلم شيئاً.
الحكم: لم تستطع أي من النماذج التنبؤ بالسوق بشكل أفضل من رمية عملة. "الحكواتي" لم يجد قصة؛ بل وجد ضجيجاً فقط.
"لماذا": تشبيه المكتبة
لما لماذا فشل الذكاء الاصطناعي عالي التقنية؟ يقدم البحث تفسيراً رائعاً باستخدام تشبيه المكتبة:
- نموذج كرونوس (الفائز): تخيل مكتبة بها 9 ملايين كتاب. إذا كنت تريد تعلم لغة نادرة، يمكنك قراءة ملايين الأمثلة وإيجاد القواعد.
- مجموعة بيانات ماتياس (الخاسر): تخيل أن لديك 944 صفحة فقط (يوم واحد في السنة لمدة أربع سنوات).
- إذا حدث نمط معين بنسبة 5% من الوقت، فسيظهر 47 مرة فقط في مكتبتك بأكملها.
- محاولة تعليم ذكاء اصطناعي معقد التعرف على نمط يظهر 47 مرة فقط تشبه محاولة تعليم طفل التعرف على نوع معين من السحب عبر إظهار صورة لهذا السحاب له مرة واحدة كل أسبوعين لمدة أربع سنوات. ببساطة، لا يوجد "وقود بيانات" كافٍ ليعمل المحرك.
الذكاء الاصطناعي لم يفشل لأنه "غبي"، بل فشل لأنه كان يتضور جوعاً للبيانات. كان يحتاج إلى ملايين الأمثلة لتعلم "قواعد" السوق، لكن لم يُعطَ سوى بضع مئات.
الخلاية: "لا" صريحة
الجزء الأكثر أهمية في هذا البحث ليس فشل النماذج، بل هو أن الباحث اعترف بفشلها وشرح بالضبط لماذا.
- الادعاء: لا يمكنك استخدام الذكاء الاصطناعي المتقدم للتنبؤ باتجاه يومي لسوق أسهم واحد باستخدام أربع سنوات فقط من بيانات الـ 5 دقائق. البيانات صغيرة جداً.
- الدرس المستفاد: لجعل هذه النماذج تعمل، تحتاج إما إلى:
- تاريخ أطول بكثير (عقود، وليس سنوات).
- بيانات أسرع بكثير (بيانات التكات - Tick-by-tick، والتي تضاعف عدد نقاط البيانات بمقدار 50 ضعفاً).
- أسواق أكثر (التدريب على النازداك، وS&P، والدو جونز معاً لإعطاء الذكاء الاصطناعي المزيد من الأمثلة).
باختاً، "الذكاء الخارق" كرونوس يعمل لأنه قرأ موسوعة السوق بأكملها. أما ماتياس، فقد حاول تعليم ذكاء اصطناعي مشابه باستخدام صفحة واحدة فقط من قاموس، ومن الطبيعي ألا يتمكن من تعلم اللغة. هذا البحث هو خريطة قيمة توضح للباحثين بالضبط أين تقع "هاوية البيانات"، حتى لا يضيعوا وقتهم في محاولة القفز فوقها ببيانات غير كافية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.