FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting
تقدم هذه الورقة FinTSB، وهو معيار مرجعي شامل وعملي للتنبؤ بالسلاسل الزمنية المالية صُمم للتغلب على قيود التقييم الحالية من خلال معالجة فجوات تنوع البيانات، وتوحيد بروتوكولات التقييم، ودمج قيود السوق الواقعية لتمكين مقارنة واختيار النماذج بشكل أكثر موثوقية.
تخيل أنك تحاول تعليم روبوت كيف يكون متداول أسهم ناجحاً. تريد أن ترى ما إذا كان بإمكان الروبوت التنبؤ بما إذا كانت الأسهم سترتفع أو تنخفض غداً.
لفترة طويلة، كان الباحثون يبنون "أدمغة" مختلفة (خوارزميات) لهذه الروبوتات، تراوحت من الصيغ الرياضية البسيطة إلى الذكاء الاصطناعي المعقد. ومع ذلك، كانت هناك مشكلة كبيرة: لم يتفق أحد على كيفية اختبارها.
كان الأمر يشبه امتلاك مجموعة من السيارات المختلفة (نماذج الذكاء الاصطناوي) واختبارها على مسارات مختلفة (مجموعات البيانات) وقواعد مختلفة. قام أحد الفرق باختبار سيارته على طريق سريع سلس، واختبر فريق آخر سيارته على طريق ترابي وعر، وادعى الجميع أن سيارتهم هي "الأسرع". ولأن الاختبارات كانت مختلفة، لم يكن بإمكانك حقاً معرفة أي سيارة هي الأفضل فعلياً.
تقدم هذه الورقة البحثية FinTSB، وهو "مدرسة قيادة" و"مضمار اختبار" جديد فائق العدالة، مخصص للتنبؤ بالسلاسل الزمنية المالية. إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. المشكلة: "الثقوب الثلاثة" في الاختبارات القديمة
يقول المؤلفون إن طرق الاختبار القديمة كانت تحتوي على ثلاث ثغرات رئيسية (تسريبات) تسمح بمرور النتائج السيئة:
فجوة التنوع (مشكلة "الطقس الواحد"): غالباً ما كانت الاختبارات القديمة تستخدم بيانات من سنوات قليلة فقط أو نوعاً واحداً من الأسواق (مثل يوم مشمس وهادئ). لكن الأسواق الحقيقية تشهد عواصف، وأعاصير، وعواصف ثلجية مفاجئة. إذا دربت روبوتك على الأيام المشمسة فقط، فسوف يصطدم عندما تضرب العاصفة.
نقص التوحيد القياسي (مشكلة "المساطر المختلفة"): كان الجميع يستخدم أدوات قياس مختلفة. أحد الفرق يقيس السرعة بالميل في الساعة، وآخر بالكيلومتر، وآخر بمدى توفير الوقود. لم يكن بإمكانك مقارنة النتائج بشكل عادل.
عدم التطابق مع الواقع (مشكلة "ألعاب الفيديو"): تجاهلت العديد من الاختبارات القواعد الواقعية. فقد نسيت رسوم المعاملات (مثل تكلفة الوقود)، أو حدود التداول (مثل مطبات السرعة)، أو حقيقة أنه لا يمكنك دائماً بيع السهم فوراً. كان الأمر يشبه لعب لعبة فيديو حيث لا ينفد منك الوقود أبداً ولا تصطدم بحائط، مما يجعل الروبوت يبدو مثالياً بينما سيفشل في الواقع.
2. الحل: "المضمار الخارق" FinTSB
لإصلاح ذلك، بنى المؤلفون FinTSB، وهو معيار شامل. فكر فيه كمضمار قيادة ضخم متعدد الأغراض.
مناطق "الطقس" الأربعة: بدلاً من مضمار واحد، يقسم FinTSB السوق إلى أربعة أنماط طقس متميزة بناءً على كيفية حركة الأسهم:
الاتجاهات الصاعدة (Uptrends): السوق في اتجاه صعودي (طريق سريع سلس).
الاتجاهات الهابطة (Downtrends): السوق في اتجاه هبوطي (منحدر شديد الانحدار).
التقلب (Volatility): السوق يقفز صعوداً وهبوطاً بجنون (طريق ترابي وعر).
أحداث البجعة السوداء (Black Swan Events): انهيارات أو طفرات مفاجئة وعنيفة (إعصار). قام الباحثون بأخذ 15 عاماً من بيانات الأسهم الحقيقية، وتقطيعها، وتصنيفها إلى هذه الفئات الأربع لضمان اختبار الروبوتات على كل شيء، وليس فقط الأشياء السهلة.
"كتاب القواعد" الموحد: يجبر FinTSB كل روبوت على اللعب بنفس القواعد تماماً.
خط الإنتاج (The Pipeline): بنوا نظاماً "خفيف الوزن" (مثل خط تجميع موحد) حيث يمكنك فقط توصيل الروبوت الخاص بك، وسيقوم بتشغيل نفس الاختبارات تلقائياً. لا مزيد من العبث بالإعدادات المختلفة.
المقاييس (The Metrics): يقيسون الأداء بثلاث طرق:
التصنيف (Ranking): هل خمن الروبوت بشكل صحيح أي الأسهم كانت الأفضل؟
المحفظة (Portfolio): إذا اشتريت بالفعل الأسهم التي اختارها الروبوت، فهل ستجني المال؟ (يتضمن ذلك حساب الرسوم والمخاطر).
الخطأ (Error): ما مدى قرب تخمين الروبوت من الرقم الفعلي؟
محاكاة "العالم الحقيقي": يضيف النظام احتكاك العالم الحقيقي. فهو يفرض رسوماً صغيرة على كل عملية تداول (تكاليف المعاملات) ويحترم قواعد مثل "الحدود القصوى للارتفاع" (حيث لا يمكن للسهم أن يرتفع أكثر من نسبة معينة في اليوم). هذا يضمن أن الروبوت ليس بارعاً في الرياضيات فحسب، بل بارع في التداول.
3. النتائج: من فاز بالسباق؟
اختبر المؤلفون عشرات "الأدمغة" المختلفة (من النماذج الرياضية البسيطة إلى نماذج الذكاء الاصطناعي الضخمة) على هذا المضمار الجديد.
لا يوجد فائز واحد: تماماً كما في الرياضة، لم يكن هناك روبوت واحد يفوز في كل حدث. بعضها كان رائعاً في الأسواق الهادئة، والبعض الآخر في الأسواق المتقلبة.
مفاجأة الذكاء الاصطناعي: وجدوا أن أكبر نماذج الذكاء الاصطناعي وأكثرها تعقيداً (نماذج اللغات الكبيرة - LLMs) لم تفز تلقائياً. في الواقع، أحياناً كانت تسوء النتائج كلما زاد حجمها، حتى تصل إلى "حجم حرج" معين حيث تصبح أفضل بكثير فجأة. يبدو أن هذه النماذج الضخمة تحتاج إلى الكثير من "القدرة الذهنية" لفك تشابك الضجيج الفوضوي في سوق الأسهم.
سحر "التعلم الصفري" (Zero-Shot): كان الاكتشاف الأكثر إثارة هو أن الروبوتات التي تدربت على مضمار FinTSB المتنوع يمكن إسقاطها في سوق جديد تماماً (سوق الأسهم الصينية لعام 2024) دون أي تدريب إضافي، ومع ذلك لا تزال تعمل بشكل جيد جداً. هذا يثبت أن المضمار علّمها كيف تقود في أي طقس، وليس فقط الطقس الذي تدربت عليه.
الملخص
FinTSB هو ميدان اختبار جديد، عادل، وواقعي لاختيار الأسهم بواسطة الذكاء الاصطناعي. إنه يمنع الباحثين من اختيار البيانات السهلة، ويجبرهم على استخدام نفس أدوات القياس، ويضمن أن الروبوتات تأخذ في الاعتبار التكاليف الواقعية مثل الرسوم وحدود التداول. إنه لأول مرة يمتلك مجتمع الذكاء الاصطناعي المالي "ألعاب أولمبية" معيارية لمعرفة أي النماذج جاهزة حقاً للعالم الحقيقي.
ملخص تقني: FinTSB: معيار شامل وعملي للتنبؤ بالسلاسل الزمنية المالية
1. بيان المشكلة
يعد التنبؤ بالسلاسل الزمنية المالية (FinTSF) مجالاً حيوياً في التمويل الكمي، ومع ذلك يعاني المجال من ثلاث فجوات نظامية تعيق التقييم الموثوق والانتشار العملي لنماذج التنبؤ:
فجوة التنوع: غالباً ما تفشل مجموعات بيانات التقييم الحالية في التقاط الطيف الكامل لأنماط حركة الأسهم (مثل الاتجاهات الصاعدة، والاتجاهات الهابطة، والتقلبات، وأحداث البجعة السوداء) أو تغطي نطاقات زمنية غير كافية. يؤدي هذا إلى نماذج تفتقر إلى قدرات التعميم عند مواجهة أنظمة سوق غير مرئية. علاوة على ذلك، تركز العديد من الدراسات على أسواق منفردة، متجاهلة الاختلافات الهيكلية المتميزة بين الأسواق (مثل المشاركة العالية لقطاع التجزئة في أسهم A الصينية مقابل المزيج المؤسسي في السوق الأمريكي).
عجز التوحيد القياسي: هناك نقص في بروتوكولات التقييم الموحدة. تؤدي التباينات في مقاييس التقييم (التصنيف مقابل المحفظة مقابل الخطأ) وغياب مسار عمل موحد وسهل الاستخدام إلى جعل مقارنات الأداء بين الدراسات غير صالحة. كما أن إعادة تشغيل نماذج الحالة الراهنة (SOTA) على إعدادات مملوكة لجهات أخرى غالباً ما يكون مجهداً للعمل وعرضة للتحيز.
عدم التطابق مع الواقع: تتجاهل العديد من التقييمات قيود السوق الحرجة، مثل رسوم المعاملات، وقيود البيع على المكشوف (مثل أسهم A الصينية)، وتوقفات التداول (الحد الأقصى للارتفاع أو الانخفاض). ينتج عن ذلك مقاييس أداء متضخمة لا تترجم إلى ربحية فعلية في بيئات التداول الحية.
2. المنهجية: إطار عمل FinTSB
لمعالجة هذه القيود، يقترح المؤلفون FinTSB، وهو معيار شامل وعملي مصمم لتوحيد التقييم والمواءمة مع ظروف التداول في العالم الحقيقي.
2.1 بناء مجموعة البيانات والترميز (Tokenization)
مصدر البيانات: يستخدم المعيار بيانات تاريخية للأسهم لمدة 15 عاماً من أسواق مالية متعددة.
تصنيف الأنماط: يتم تقسيم البيانات إلى فترات غير متداخلة مدة كل منها 250 يوماً. وبناءً على معدلات التغير اليومي (δ)، يتم تصنيف الأسهم إلى أربعة أنماط حركة متميزة:
الاتجاهات الصاعدة (Uptrends): وتيرة عالية من العوائد الإيجابية.
الاتجاهات الهابطة (Downtrends): وتيرة عالية من العوائد السلبية.
التقلب (Volatility): تقلبات متكررة دون اتجاه واضح.
أحداث البجعة السوداء (القصوى - Black Swan Events): تقلبات سعرية حادة وكبيرة.
استراتيجية الاختيار: لكل نمط، يتم اختيار أفضل 300 سهم (بناءً على معدل التغير الإيجابي للاتجاهات الصاعدة، وأسوأ 300 للاتجاهات الهابطة، والبقية للتقلب). تُصنف القيم المتطرفة القصوى بشكل منفصل.
المعالجة المسبقة: يتم ترميز المعلومات الحساسة (إخفاء الهوية). وتتم عملية التسوية (Normalization) على مستوى السهم لكل يوم تداول لمنع تسرب المعلومات المستقبلية.
الهيكل: يتكون المعيار النهائي من 20 مجموعة بيانات (5 لكل نمط)، تحتوي كل منها على 300 سهم على مدار 250 يوماً، مقسمة إلى مجموعات تدريب/تحقق/اختبار (7:1:2).
2.2 تحليل خصائص المتواليات
يقيم FinTSB جودة البيانات والخصائص الجوهرية باستخدام أربعة خصائص للمتواليات:
أنماط الحركة: محددة بتكرار العوائد الإيجابية/السلبية وحجم التقلب.
عدم الاستقرار (Non-Stationarity): يُقاس عبر اختبار "ديكي-فولر الموسع" (ADF) لتأكيد وجود جذور الوحدة، وهو أمر شائع في البيانات المالية.
الارتباط الذاتي (Autocorrelation): يقيس تأثير الأسعار الماضية على السلوك المستقبلي.
قابلية التنبؤ (Forecastability): تُقيم باستخدام خصائص النطاق الترددي (الاعتلاج/Entropy) لتحديد القدرة النظرية للتنبؤ بالمتوالية.
2.3 مسار التقييم الموحد
يقدم FinTSB مسار عمل خفيف الوزن وسهل الاستخدام يتكون من أربع طبقات:
طبقة البيانات: تتعامل مع الترميز، والتسوية، وتحميل البيانات الديناميكي لأنماط الحركة المحددة.
طبقة التدريب: تدمج النماذج من ست بنيات أساسية:
الاستراتيجيات الكلاسيكية (مثل CSM، BLSW).
تعلم الآلة (مثل XGBoost، LightGBM، ARIMA).
التعلم العميق (مثل LSTM، Transformer، Mamba، GNNs).
التعلم التعزيزي (مثل PPO، DDPG).
النماذج التوليدية (مثل Diffusion، VAEs).
الأساليب القائمة على النماذج اللغوية الكبيرة (مثل TimeMoe، Chronos).
طبقة الاختبار العكسي (Backtesting): تحاكي التداول في العالم الحقيقي باستخدام استراتيجيات Top-K-Drop. تقوم هذه الاستراتيجية بالاحتفاظ بالأسهم ذات الأداء العالي واستبدال الأسهم ضعيفة الأداء فقط، مما يقلل من معدل دوران المحفظة. ومن الأهمية بمكان أنها تدمك رسوم المعاملات (0.1%) وتحترم قيود السوق (مثل عدم البيع على المكشوف في سياقات معينة).
طبقة التغذية الراجعة: تقوم بأرشفة السجلات وتوفر أدوات التصوير البياني لتتبع الأداء.
2.4 مقاييس التقييم
يستخدم المعيار 11 مقياساً عبر ثلاثة أبعاد لضمان تقييم شامل:
مقاييس التصنيف (Ranking Metrics): معامل المعلومات (IC)، نسبة معلومات معامل الارتباط (ICIR)، RankIC، وRankICIR. تقيس هذه المقاييس مدى التوافق بين الدرجات المتوقعة والعوائد الفعلية.
المقاييس القائمة على المحفظة (Portfolio-Based Metrics): نسبة العائد السنوي (ARR)، التقلب السنوي (AVol)، الحد الأقصى للتراجع (MDD)، نسبة شارب السنوية (ASR)، ونسبة المعلومات (IR). تقيم هذه المقاييس الربحية والعوائد المعدلة حسب المخاطر.
مقاييس الخطأ (Error Metrics): متوسط مربع الخطأ (MSE) ومتوسط الخطأ المطلق (MAE). يشير المؤلفون إلى أن انخفاض الخطأ لا يضمن الربحية، ولكن تم تضمينه للاكتمال.
3. المساهمات الرئيسية
تحدد الورقة أربع مساهمات رئيسية:
شمول التنوع: إنشاء FinTSB، الذي يقوم بترميز ومعالجة البيانات التاريخية لالتقاط جميع أنماط الحركة الرئيسية عبر أسواق متنوعة، مما يعالج فجوة التنوع.
اتساق التوحيد القياسي: اقتراح إطار تقييم موحد يغطي مقاييس التصنيف، والمحفظة، والخطأ، مما يسمح بمقارنات عادلة وقابلة للتكرار.
المواءمة مع الواقع: تصميم استراتيجيات استثمار تلتزم بصرامة بقيود السوق (الرسوم، توقفات التداول، قواعد البيع على المكشوف)، مما يسد الفجوة بين المقاييس النظرية والتطبيق العملي.
التقييم المتعمق: تقييم شامل لمجموعة واسعة من طرق التنبؤ بالسلاسل الزمنية المالية، مما يوفر رؤى نقدية حول أداء النماذج تحت ظروف السوق المتغيرة.
4. النتائج التجريبية
أُجريت تجارب مكثفة على FinTSB باستخدام المسار الموحد:
تباين الأداء: لم يحقق أي منهج واحد أفضل أداء عبر جميع أبعاد المقاييس الثلاثة. يوجد تباين كبير حتى داخل نفس فئة البنية الأساسية، مما يشير إلى أن التقاط التبعيات الزمنية والعلاقات المقطعية يعتمد بشكل كبير على المنهج المستخدم.
أداء النماذج اللغوية الكبيرة (LLM): أظهرت الأساليب القائمة على LLM نمط توسع "متناقض". حيث تدهور الأداء في البداية مع زيادة حجم النموذج، ولكنه أظهر تحسناً ملحو-ظاً عند المقاييس الأكبر (مثل Chronos-boltBase). يشير هذا إلى أن قدرات السلاسل الزمنية المالية قد تظهر فقط بعد تجاوز عتبات معينة من المعلمات المطلوبة لفك تشابك ضوضاء السوق المعقدة.
التعلم العميق مقابل التقليدي: على عكس التوقعات، لم تتفوق تقنيات التعلم العميق الحديثة عالمياً على الاستراتيجيات الكمية التقليدية أو النماذج القائمة على الأشجار (مثل XGBoost، LightGBM) من حيث عوائد المحفظة.
التعلم بنقل المعرفة (Transfer Learning): أظهرت النماذج المدربة مسبقاً على FinTSB اتساقاً ملحوظاً عند نقلها بنمط (zero-shot) إلى سوق CSI 300 لعام 2024، محققة عوائد متفوقة معدلة حسب المخاطر. وهذا يؤكد قدرة المعيار على التقاط أنماط قوية وقابلة للتعميم عبر مختلف أنظمة السوق (الصاعدة، والهابطة، والانتقالية).
الكفاءة: تضمنت الدراسة تحليلاً لكفاءة الاستدلال (inference efficiency)، مع موازنة أداء نسبة شارب (ASR) مع التكلفة الحسابية وبصمة الذاكرة.
5. الأهمية والادعاءات
يدعي المؤلفون أن FinTSB يوفر منصة جديدة وشاملة لتحسين وتقييم طرق التنبؤ بالسلاسل الزمنية المالية. ومن خلال معالجة فجوة التنوع، وعجز التوحيد القياسي، وعدم التطابق مع الواقع، يهدف المعيار إلى:
وضع أساس متين لتقييم النماذج في مجتمع التنبؤ بالسلاسل الزمنية المالية.
توجيه الباحثين في اختيار النماذج المناسبة تحت ظروف السوق المتغيرة.
دفع المجال نحو استراتيجيات استثمار أكثر عملية وقابلية للتطبيق في الواقع.
تخلص الورقة إلى أن التقييم الصارم ضروري للانتقال بعيداً عن النتائج المجزأة، وأن FinTSB يمثل خطوة ضرورية نحو مواءمة نماذج التنبؤ النظرية مع تعقيدات الأسواق المالية الفعلية. كما تم توفير الكود ومجموعة البيانات للجمهور لتسهيل المزيد من الأبحاث.