Decomposing Rank Reversals under Temporal Nonstationarity: Alignment, Aggressiveness, and Instability

في عالم التنبؤ المالي، يمثل التنبؤ بالمستقبل معركة مستمرة ضد مشهد دائم التغير. فالبيانات التي تعتمد عليها النماذج — مثل أسعار الأسهم، والمؤشرات الاقتصادية، واتجاهات السوق — لا تظل ساكنة؛ بل تنزاح، وتتغير، وأحياناً تتفكك تماماً. هذه الظاهرة، المعروفة باسم "عدم الاستقرار" (nonstationarity)، تعني أن النموذج الذي تدرب على بيانات الأمس قد يفشل غداً لأن قواعد اللعبة قد تغيرت. ولمواجهة ذلك، غالباً ما يلجأ المتنبئون إلى تعديل مقدار التاريخ الذي ينظرون إلى الوراء فيه؛ فقد يدربون نموذجاً على آخر شهر من البيانات فقط ليكونوا أكثر مرونة، أو على العقد الأخير لإيجاد أنماط مستقرة. ولطال heavy فرضية مفادها أن المزيد من البيانات هو أفضل بشكل عام، أو أن النماذج المعقدة والقوية ستتفوق دائماً على النماذج الأبسط إذا أُعطيت معلومات كافية. ولكن في الساحة عالية المخاطر للتنبؤ بعوائد الأسهم، الواقع أكثر فوضوية بكثير؛ فأحياناً يتفوق نموذج بسيط على نموذج معقد، وأحياناً يحدث العكس، اعتماداً كلياً على مقدار التاريخ الذي يُسمح للنموذج برؤيته.

لقد كشف فريق من الباحثين في جامعة كارنيجي ميلون عن السبب الميكانيكي وراء هذه التحولات المربكة في الأداء. فقد وجدوا أن ترتيب النماذج لا يتغير عشوائياً، بل ينقلب بطريقة يمكن التنبؤ بها ومدفوعة بثلاث قوى محددة: مدى قدرة النموذج على التوجيه في الاتجاه الصحيح، ومدى عدوانية تخميناته، ومدى عدم استقرار إجاباته عند تغير بيانات التدريب قليلاً. ومن خلال تفكيك أداء أربعة عشر نظام تنبؤ مختلفاً — من المعادلات الخطية البسيطة إلى الشبكات العصبية المعقدة — عبر مجموعات بيانات ضخمة للأسهم والصناعات الأمريكية، أثبت المؤلفون أن لقب "النموذج الأفضل" ليس لقباً ثابتاً، بل يعتمد الفائز بدلاً من ذلك على توازن دقيق بين طول تاريخ التدريب وتعقيد النموذج.

تعامل الباحثون مع هذه المشكلة من خلال معاملة التنبؤ ليس كرقم واحد، بل ككائن هندسي ذي ثلاث خصائص متميزة. الأولى هي "المحاذاة" (alignment)، والتي تقيس ما إذا كانت تنبؤات النموذج تشير إلى نفس اتجاه النتائج المستقبلية الفعلية. الثانية هي "العدوانية" (aggressiveness)، والتي تقيس حجم أو مقدار التنبؤ بالنسبة للهدف. وأخيراً، هناك "عدم الاستقرار" (instability)، الذي يرصد مدى تذبذب إجابة النموذج إذا أعدت تدريبه على شريحة مختلفة قليلاً من نفس البيانات. وقد أثبت الفريق رياضياً أن النجاح الإجمالي للتنبؤ هو مزيج من هذه العوامل الثلاثة: يكتسب النموذج نقاطاً مقابل المحاذاة الجيدة، لكنه يخسر نقاطاً إذا كان شديد العدوانية أو شديد عدم الاستقرار.

وكشف تحليلهم عن مقايضة حرجة تفسر سبب انعكاس ترتيب النماذج. فالنماذج المعقدة، مثل الشبكات العصبية العميقة أو الأشجار المعززة (boosted trees)، تمتلك ميزة طبيعية في التقاط الأنماط المعقدة، لكن هذه الميزة تأتي بتكلفة. فعندما يكون تاريخ التدريب قصيراً، يمكن للنماذج المعقدة أن تبالغ في رد فعلها تجاه البيانات المحدودة، فتصبح شديدة عدم الاستقرار وتطلق تخمينات عدوانية جامحة تخطئ الهدف. في سيناريوهات النوافذ الزمنية القصيرة هذه، غالباً ما تتفوق النماذج الأبسط لأنها أكثر استقراراً وأقل عرضة لهذه التقلبات الجامحة. ومع ذلك، مع توسع تاريخ التدريب، تبدأ النماذج المعقدة في الاستقرار؛ فهي تستخدم البيانات الإضافية لصقل أنماطها، وينخفض عدم استقرارها. وفي النهاية، إذا كان التاريخ طويلاً بما يكفي، فإن قدرتها الفائقة على نمذجة العلاقات المعقدة تسمح لها بتجاوز النماذج الأبسط.

أظهرت الدراسة أن هذا الانعكاس ليس لغزاً بل هو حدث قابل للحساب. فقد استنتج الباحثون حداً رياضياً محدداً يتنبأ بالضبط متى سيبدأ النموذج المعقد في التفوق على النموذج البسيط بناءً على طول نافذة التدريب. وقد تحققوا من هذه النظرية من خلال عمليات محاكاة محكومة حيث تمكنوا من التحكم بدقة في سرعة انزياح البيانات والضجيج في النظام. وفي هذه المحاكاة، لاحظوا أنه مع زيادة الانزياح في البيانات، تتقلص النافذة الزمنية المثلى للنماذج المعقدة، مما يجبرها على الاعتماد على البيانات الأحدث لتجنب التضليل بأنماط قديمة. وعلى العكس من ذلك، عندما كانت البيانات مليئة بالضجيج ولكنها مستقرة، سمحت التواريخ الطويلة للنماذج المعلقة بالازدهار.

وفي الاختبارات الواقعية باستخدام عوائد الأسهم اليومية لسبعة عشر صناعة أمريكية مختلفة، صمدت النظرية. ووجد الباحثون أنه عندما كانت النماذج المعقدة مثل (XGBoost) أو (Transformers) تسجل أداءً ضعيفاً مقارنة بنماذج الانحدار الخطي (ridge regression)، كان ذلك تقريباً دائماً بسبب معاناة النماذج المعقدة من طفرة في "العدوانية غير المعايرة". لقد كانت تخمن بقوة مفرطة، وكانت إجاباتها متقلبة للغاية. وعندما قام الباحثون بتعديل النماذج لتكون أقل عدوانية، تلاشت فجوة الأداء، مما أثبت أن الفشل لم يكن بسبب نقص في فهم الأنماط الكامنة، بل بسبب عدم القدرة على ضبط توقعاتها بشكل صحيح. علاوة على ذلك، وجدوا أنه من خلال متوسط تنبؤات نسخ متعددة من نفس النموذج (وهي تقنية تسمى "التجميع" أو ensembling)، يمكنهم القضاء على عقوبة عدم الاستقرار تماماً، واستعادة جزء كبير من الأداء الذي فُقد سابقاً بسبب الضجيج.

إن هذا العمل يتحدى الحدس الشائع الذي يقضي بضرورة تقييد نوافذ التدريب للبقاء في أمان في عالم متغير. ويجادل المؤلفون بأن قطع البيانات القديمة بشكل أعمى هو استراتيجية غير كافية. بدلاً من ذلك، يكمن المفتاح في فهم التوتر المحدد بين قدرة النموذج على تعلم الأنماط المعقدة وبين هشاشته أمام عدم الاستقرار الناتج عن البيانات المحدودة. وبالنسبة للممارسين، يعني هذا أن قرار استخدام نموذج ذكاء اصطناعي متطور مقابل أداة إحصائية بسيطة لا ينبغي أن يبنى على تفضيل عام للتعقيد، بل يجب أن يكون خياراً محسوباً بناءً على طول التاريخ المتاح والمستوى الحالي للضجيج في السوق. فإذا كان التاريخ قصيراً والبيانات متقلبة، فإن النموذج الأبسط والأكثر استقراراً هو الخيار الأرجح. وإذا كان التاريخ طويلاً والأنماط عميقة، فإن النموذج المعقد سيتفوق في النهاية، بشرماً أن يتم ضبطه لتجنب ردود الفعل المبالغ فيها تجاه البيانات.

في الختام، يوفر هذا البحث إطاراً تشخيصياً لفهم سبب نجاح أو فشل النماذج عندما يتغير العالم. فهو يتجاوز مجرد قياس أي نموذج هو الأفضل ليصل إلى شرح سبب انقلاب الترتيب بالضبط. ومن خلال عزل المكونات المحددة للتنبؤ — المحاذا، والعدوانية، وعدم الاستقرار — أظهر المؤلفون أن أداء النموذج ليس سمة ثابتة بل هو استجابة ديناميكية لكمية التاريخ الذي يُمنح إياها. وتسمح هذه الرؤية للمتنبئين بتوقع متى سيفقد النموذج ميزته وتعديل استراتيجياتهم وفقاً لذلك، مما يحول مشكلة اختيار النماذج الفوضوية إلى عملية حسابية مدروسة للذاكرة والتعقيد.