Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

في عالم التمويل، يعد التنبؤ بالسعر المستقبلي للسهم هو "الكأس المقدسة". يضخ المستثمرون والبنوك المليارات في أنظمة حاسوبية متطورة، آملين في العثور على نمط وسط فوضى تحركات السوق اليومية. هذه الأنظمة، التي تُبنى غالباً باستخدام التعلم العميق، مصممة لاستيعاب كميات هائلة من المعلومات — الأسعار الماضية والتقارير الاقتصادية — لتخمين ما إذا كان السهم سيرتفع أو ينخفض غداً. والطريقة القياسية للحكم على ما إذا كان أحد هذه الأنظمة جيداً حقاً هي مقارنة تنبؤاته بقائمة من الأنظمة الأخرى. فإذا قدم نموذج جديد أخطاءً أقل من النماذج القديمة، يُعلن فوزه، وينشر مبتكروه النتائج كإنجاز علمي. تعتمد هذه العملية على افتراض بسيط: وهو أن درجة الخطأ المنخفضة تعني أن النموذج قد وجد إشارة حقيقية في البيانات، أي قدرة فعلية على رؤية ما لا يستطيع الآخرون رؤيته.

ومع ذلك، تتحدى دراسة جديدة الأساس الذي يتم على أساسه اختيار هؤلاء الفائزين. فقد اكتشف الباحثون، الذين عملوا مع فريق من الخبراء في علوم الحاسوب والإدارة، أن طريقة تسجيل النقاط القياسية يمكن خداعها. ووجدوا أن النموذج الحاسوبي يمكنه تحقيق درجة مثالية ليس لأنه تعلم التنبؤ بالسوق، بل لأنه تعلم القيام بشيء يكاد يكون معدوماً. فعندما يكون السوق صعب التنبؤ، فإن الحركة الرياضية الأكثر أماناً هي ببساطة تخمين النتيجة المتوسطة في كل مرة. وإذا كان النموذج حذراً للغاية، أو إذا كان تصميمه يجبره على أن يكون محافظاً جداً، فإنه سيقلص تنبؤاته حتى تصبح مسطحة تقريباً. وتظهر الدراسة أن أنظمة التصنيف الحالية تخلط بين سلوك التقلص هذا وبين المهارة، مما يخلق لوحة صدارة تضم "أفضل" النماذج التي هي في الواقع النماذج التي استسلمت عن التنبؤ بأي شيء على الإطلاق.

وضع الباحثون هدفاً لاختبار بنية حديثة محددة مصممة للتنبؤ بعوائد الأسهم اليومية. هذا النظام، المسمى MFGate-Net، بُني ليكون متنبئاً من الطراز الرفيع. وقد دمج نوعين مختلفين من المعلومات: المؤشرات الفنية المستمدة من الرسوم البيانية للأسعار، والبيانات الاقتصادية الكلية مثل أسعار الفائدة وتقلبات السوق، جنباً إلى جنب مع آلية لوزن هذه المدخلات ديناميكياً. ولرؤية ما إذا كان يعمل، قام الفريق بتدريبه على سبع سنوات من البيانات التاريخية، ثم اختبره على فترة جديدة لم يسبق له رؤيتها تغطي الأعوام من 2022 إلى 2024. وقد تم اختيار فترة الاختبار هذه بعناية لتشمل ظروف سوق مختلفة، بما في ذلك فترة تضخم مرتفع ومرحلة تعافي، لضمان مواجهة النموذج لتحدٍ واقعي.

عندما أجرى الفريق المقارنة القياسية، بدت النتائج بمثابة انتصار. لقد تفوق النموذج الجديد على كل المنافسين، بما في ذلك طرق تعلم الآلة الأقدم والأبسط وغيرها من شبكات التعلم العميق المعقدة. فقد سجل أدنى معدل خطأ، وأكدت الاختبارات الإحصائية أن ميزته لم تكن محض صدفة. وبناءً على جميع المعايير التقليدية، كان ينبغي أن يكون هذا هو العنوان الرئيسي: طريقة جديدة ومتفوقة للتنبؤ بالسوق. لكن الباحثين لم يتوقفوا عند هذا الحد؛ فقد طرحوا سؤالاً أبسط وأكثر جوهرية: هل تفوق هذا النموذج حقاً على أبسط تنبؤ ممكن؟ في التمويل، التنبؤ الأبسط هو افتراض أن تغير سعر الغد سيكون صفراً تماماً. وهذا ما يُعرف بالمعيار غير المشروط، وهو خط الأساس لعدم فعل أي شيء.

وعندما قارنوا نموذجهم المتطور بهذا التنبؤ الصفري، تغيرت القصة تماماً. فالنموذج المعقد لم يتفوق على التنبؤ الصفري، بل في الواقع، كان لا يمكن تمييزه إحصائياً عنه. كانت تنبؤات النموذج قريبة جداً من الصفر لدرجة أنها لم تقدم أي ميزة حقيقية عن مجرد التخمين بأن شيئاً لن يحدث. والأمر الأكثر إثارة للدهشة هو أن كل النماذج الأخرى في لوحة الصدارة، من أحدث شبكات التعلم العميق إلى الطرق الإحصائية الأقدم، فشلت أيضاً في التغلب على التنبؤ الصفري. لقد كانت جميعها أسوأ من عدم فعل أي شيء. أدرك الباحثون أن التصنيف الذي رأوه سابقاً لم يكن يقيس من هو المتنبئ الأفضل، بل من هو الأكثر حذراً. فالنماذج التي قلصت تنبؤاتها أكثر، مقتربة من الصفر، بدت وكأنها تمتلك أدنى معدل خطأ. كان التصنيف قياساً لمدى انكماش النماذج، وليس لمدى ما تعلمته.

ولإثبات ذلك، استخرج الفريق تفسيراً رياضياً لسبب حدوث ذلك. فقد أظهروا أنه عندما يكون السوق غير قابل للتنبؤ تقريباً، فإن درجة خطأ النموذج تعتمد بشكل شبه كامل على مدى تباين تنبؤاته مقارنة بالسوق الفعلي. فإذا تنبأ النموذج بحركة ضئيلة جداً، ستبدو درجة خطئه جيدة، حتى لو كان مخطئاً. وأثبتت الدراسة أن التفوق الظاهري لنموذج على آخر كان ببساطة اختلافاً في مدى تقلص توقعاته. كانت الاختبارات الإحصائية المستخدمة لإعلان الفائز تقيس في الواقع هذا التقلص، وكلما جمعوا بيانات أكثر، زادت ثقتهم في استنتاج خاطئ. فكلما كبرت مجموعة البيانات، تعزز وهم المهارة، رغم عدم وجود أي مهارة.

ثم اقترح الباحثون حلاً بسيطاً. فقبل مقارنة النماذج، قاموا بتعديل كل تنبؤ بحيث يتوافق نطاق حركته مع نطاق السوق الفعلي. هذه العملية، التي يسمونها "مطابقة التشتت" (dispersion matching)، تزيل التحيز نحو التقلص. وبمجرد تطبيق هذا التصحيح، تلاشت الاختلافات الدراماتيكية بين النماذج. فالنماذج التي بدت سابقاً كفائزة واضحة أصبحت الآن متعادلة إحصائياً مع الخاسرة. واختفت "الأهمية" الهائلة التي كانت تشير إلى إنجاز علمي، وحل محلها نتيجة تظهر أن جميع النماذج تؤدي في الأساس نفس أداء التخمين العشوائي. وفي حالة محددة، وُجد أن النموذج الذي أُعلن أنه الأفضل لا يتفوق على التنبؤ الثابت بالصفر، باحتمالية قدرها 0.97 أن يكون الفرق ناتجاً عن الصدفة.

كما بحثت الدراسة فيما إذا كانت هذه النماذج قادرة على تحقيق الربح. فحتى لو لم يستطع النموذج التنبؤ بالسعر بدقة، فقد يظل مفيداً إذا استطاع توجيه صفقات مربحة. وقد قام الباحثون بمحاكاة استراتيجيات تداول بناءً على تنبؤات النماذج، مع مراعاة تكاليف الشراء والبيع. وكانت النتائج صارخة؛ فلم يحقق أي نموذج ربحاً يمكن أن يهزم الاستثمار الخالي من المخاطر، حتى عندما تم ضبط تكاليف المعاملات لتكون صفراً. وتبين أن النموذج الأكثر نجاحاً في مخططات الخطأ كان الأسوأ أداءً من حيث المال، لأن تنبؤاته الحذرة أدت إلى استراتيجية بالكاد تتحرك، مما تراكم معه خسائر صغيرة مقابل تكلفة رأس المال. وهذا أكد أن التصنيف الإحصائي لم يكن مضللاً فحداً فحسب، بل كان غير ذي جدوى اقتصادية أيضاً.

ولعل الاكتشاف الأكثر إثارة للقلق يتعلق بالأدوات المستخدمة لشرح كيفية عمل هذه النماذج. ففي مجال الذكاء الاصطناعي، يستخدم الباحثون غالباً الرسوم التوضيحية لإظية النقاط التي يوليها النموذج اهتمامها، آملين في إثبات أن النظام قد تعلم أنماطاً ذات معنى. اختبر الفريق ذلك عبر تدريب نموذجهم على بيانات تم فيها خلط الهدف عشوائياً، مما دمر أي علاقة حقيقية بين المدخلات والمخرجات. لا يمكن لنموذج مُدرب على مثل هذه الضوضاء أن يتعلم أي شيء بالضرورة. ومع ذلك، عندما حللوا هذا النموذج "المعطل"، وجدوا أنه أنتج تفسيرات تبدو مطابقة تقريباً لتلك الناتجة عن النموذج الحقيقي. أظهرت الرسوم التوضيحية نفس السمات التي يتم تسليط الضوء عليها ونفس أنماط الانتباه. وهذا يشير إلى أن أدوات التفسير هذه غالباً ما تعكس هيكل البيانات نفسها بدلاً من المعرفة المحددة التي اكتسبها النموذج. إنها لا تستطيع التمييز بين نموذج تعلم سراً ونموذج لم يتعلم شيئاً.

خلص الباحثون إلى أن المجال بأكمبله في التنبؤ المالي يحتاج إلى تغيير طريقة عرض نتائجه. فهم يوصون بضرورة أن تتضمن كل دراسة مقارنة مع التنبؤ الصفري البسيط لإثبات امتلاك النموذج لأي مهارة على الإطلاق. كما يقترحون تقديم مقياس لمدى تباين تنبؤات النموذج، لضمان أن درجة الخطأ المنخفضة ليست مجرد نتيجة لكون النموذج مفرط الحذر. وبدون هذه الضوابط، تمتلئ الأدبيات بنماذج تبدو وكأنها تطور من مستوى التقدم العلمي، بينما هي في الواقع تقوم فقط بترتيب نفسها بناءً على مدى براعتها في التظاهر بأنها لا شيء. لا تدعي الدراسة أن التنبؤ بالسوق مستحيل، ولا تقول إن التعلم العميق عديم الفائدة، بل توضح ببساطة أن الطريقة الحالية للحكم على النجاح معطلة، وأنه حتى يتم إصلاح القواعد، فإن الفائزين في لوحة الصدارة قد لا يكونون هم من يستطيعون رؤية المستقبل حقاً.