Perturbation-Specific Reliability of Intrinsic and Post-Hoc Explainable Machine Learning in Volatility Forecasting
تُظهر هذه الدراسة أن موثوقية كل من التفسيرات الجوهرية والتفسيرات البعدية في التنبؤ بالتقلبات تعتمد بشكل كبير على نوع الاضطراب، حيث تتباين اختلافاً كبيراً عبر تكوينات النماذج والتمثيلات والمفسرات المختلفة، مما يستلزم إجراء تقييم تجريبي في ظل ظروف متنوعة مثل إعادة التدريب، والتحولات الزمنية، وضجيج المدخلات.
المؤلفون الأصليون:Haikal Djauhari, Anton Yudhana, - Sunardi
في عالم التمويل، يُعتبر التنبؤ بمدى تقلب سعر السهم غالباً أسهل من التخمين في اتجاه حركة السعر. وهذا المقياس للحركة، المعروف باسم التقلب، يعد أمراً حيوياً لإدارة المخاطر، ومع ذلك يظل من الصعب التنبؤ به بشكل ملحوظ لأن الأسواق فوضوية وغير متوقعة ومتغيرة باستمرار. وللتنقل عبر حالة عدم اليقين هذه، يعتمد الخبراء الماليون بشكل متزايد على التعلم الآلي، حيث تتعلم برامج الكمبيوتر من البيانات الماضية لإجراء تنبؤات مستقبلية. ومع ذلك، غالباً ما تعمل هذه البرامج القوية كـ "صناديق سوداء"، مما يعني أن منطقها الداخلي مخفي ويصعب على البشر فهمه. هذا النقص في الشفافية يخلق مشكلة: إذا قدم الكمبيوتر تنبؤاً محفوفاً بالمخاطر، يحتاج المنظمون ومديرو المخاطر إلى معرفة السبب. ولحل هذه المشكلة، طور العلماء طريقتين رئيسيتين لجعل هذه الآلات تشرح نفسها. النهج الأول يبني التفسير مباشرة داخل تصميم الآلة منذ البداية، مما يخلق نماذج سهلة القراءة بطبيعتها. أما النهج الثاني فيقوم بتدريب آلة معقدة وغامضة أولاً، ثم يستخدم أداة منفصلة للنظر في المنتج النهائي وتخمين ما كانت تفكر فيه. والسؤال الكبير كان دائماً: أي من هاتين الطريقتين هو الأكثر موثوقية؟
وضع فريق من الباحثين من جامعة أحمد داليا في إندونيسيا هدفاً للإجابة على هذا السؤال من خلال إخضاع هذين النهجين لاختبار صارم في بيئة التنبؤ بسوق الأسهم عالية المخاطر. لم يسألوا ببساء عما إذا كان أحد النهجين يبدو أفضل على الورق؛ بل أخضعوا التفسيرات لسلسلة من اختبارات الضغط في العالم الحقيقي لمعرفة مدى صمودها عندما تتغير الظروف. ركز الباحثون على التنبؤ بالتقلب لمدة خمسة أيام لعشرين سهماً رئيسياً من الولايات المتحدة وأوروبا واليابان، باستخدام بيانات تمتد من عام 2016 إلى عام 2025. قاموا بتدريب خمسة أنواع مختلفة من نماذج التعلم الآلي، مع ربط كل منها بطريقة التفسير الأنسب لبنيتها. والأهم من ذلك، أنهم لم يدرجوا في تحليلهم النهائي إلا النماذج التي أثبتت قدرتها بالفعل على التنبؤ بالتقلب بشكل أفضل من مجرد تخمين بسيط يعتمد على التاريخ الحديث. وقد ضمن هذا أنهم يقومون فقط بتقييم التفسيرات للنماذج التي تمتلك بالفعل مهارة تنبؤية حقيقية.
قدمت الدراسة التواءً ذكياً لعزل مصدر الموثوقية. فبالنسبة لنوع واحد محدد من نماذج التعلم الآلي، طبق الباحثون كلاً من التفسير "المدمج" والتفسير "ما بعد التدريب" على نفس الشبكة المدربة تماماً. سمح لهم ذلك برؤية ما إذا كان الفرق في الموثوقية نابعاً من النموذج نفسه أو من الطريقة المستخدمة للتفسير. ثم اختبروا هذه التفسيرات تحت ثلاثة أنواع مختلفة من الضغط. أولاً، أضافوا كمية صغيرة من الضوضاء العشوائية إلى بيانات المدخلات لمعرفة ما إذا كان التفسير سيظل ثابتاً عندما تكون الأرقام ضبابية قليلاً. ثانياً، قاموا بإزاحة النافذة الزمنية لمعرفة ما إذا كان التفسير سيصمد مع تغير ظروف السوق عبر الأشهر والسنوات. ثالثاً، أعادوا تدريب النموذج من الصفر باستخدام نقاط بداية عشوائية مختلفة لمعرفة ما إذا كان التفسير سيظل متسقاً حتى لو تباينت عملية التدريب قليلاً.
كشفت النتلائج عن حقيقة مذهلة: لا توجد طريقة واحدة "أفضل" لشرح نموذج التعلم الآلي. فموثوقية التفسير تعتمد كلياً على المزيج المحدد من النموذج، والبيانات التي يراها، ونوع الضغط الذي يواجهه. وفي واحدة من أكثر النتائج إثارة للدهشة، اكتشف الباحثون أنه بالنسبة لشبكة تعلم آلي معينة، كان التفسير المدمج أكثر استقراراً بكثير عندما كانت بيانات المدخلات مشوبة بالضوضاء، لكنه انهار تماماً عند إعادة تدريب النموذج. وعلى العكس من ذلك، كان التفسير الناتج بعد التدريب أقل استقراراً ضد البيانات المشوبة بالضوضاء، ولكنه ظل أكثر اتساقاً عند إعادة بناء النموذج من الصفر. وهذا يعني أن اختيار طريقة التفسير لا ينبغي أن يستند إلى قاعدة عامة حول ما إذا كانت "مدمجة" أو "مضافة لاحقاً"، بل على المهمة المحددة المطلوبة. فإذا كان المستخدم بحاجة إلى تفسير يمكنه تحمل الأخطاء الصغيرة في البيانات، فإن الطريقة المدمجة هي الأفضل. وإذا كان بحاجة إلى تفسير يظل متسقاً حتى عند تحديث النموذج أو إعادة تدريبه، فإن طريقة ما بعد التدريب هي الخيار الأفضل.
كما تحدت الدراسة افتراضاً شائعاً في هذا المجال فيما يتعلق بكيفية قياس جودة هذه التفسيرات. غالباً ما يحاول الباحثون التحقق مما إذا كان التفسير صادقاً عن طريق إزالة الميزات الأكثر أهمية واحدة تلو الأخرى لمعرفة ما إذا كان تنبؤ النموذج سيزداد سوءاً. ووجد الفريق أنه في سياق تقلب الأسهم، فشلت هذه الطريقة في التمييز بين التفسير الذكي والتخمين العشوائي. ولأن الإشارة في البيانات المالية ضعيفة جداً والضوضاء عالية جداً، فإن إزالة ميزة ما لم تؤدِ إلى تغيير النتيجة بشكل موثوق، مما جعل هذا الاختبار المعياري عديم الفائدة لهذه المشكلة تحديداً. علاوة على ذلك، وجد الباحثون أن نموذجاً إحصائياً تقليدياً بسيطاً يُعرف باسم نموذج (HAR-RV) حقق أفضل متوسط دقة تنبؤ في الدراسة، متفوقاً بشكل حاسم على جميع نماذج التعلم الآلي التي تم اختبارها. ومن المثير للاهتمام أن نموذج (GAM) القائم على الـ (spline)، وهو نموذج قابل للتفسير ذاتياً، قد أدى بشكل جيد تماماً مثل هذا المعيار (HAR-RV) المتفوق في الأداء. وهذا يشير إلى أنه بالنسبة لهذه المهمة المحددة، فإن التعقيد المضاف للتعلم العميق لم يمنح أي دقة إضافية، وكانت النماذج الأبسط والأكثر شفافية فعالة بنفس القدر.
في النهاية، خلص البحث إلى أننا لا نستطيع افتراض أن التفسير جدير بالثقة لمجرد أنه يأتي من نموذج مصمم ليكون شفافاً. فقد ثبت أن التفسيرات "المدمجة"، والتي غالباً ما يتم تسويقها كمعيار ذهبي لقابلية التفسير، كانت الأقل قدرة على التكرار عند إعادة تدريب النموذج. وتحديداً، أظهر قناع الانتباه الجوهري لنموذج (TabNet) قدرة شبه معدومة على تكرار النتائج بناءً على البذرة العشوائية (باتفاق رتبة قدره 0.006 فقط)، مما يعني أنه غير قصته تماماً مع مجموعة جديدة من الأرقام العشوائية الأولية، مما جعله التفسير الأقل موثوقية في الدراسة. وتوضح الدراسة أن الموثوقية ليست خاصية متأصلة في نوع معين من التفسيرات، بل هي خاصية هشة يجب اختبارها تجريبياً لكل موقف جديد. وبالنسبة لأي شخص يعتمد على هذه الأدوات لاتخاذ قرارات مالية، فإن الدرس واضح: يجب عليك التحقق من أن التفسير يصمد أمام الضغوط المحددة التي سيواجهها نظامك، بدلاً من الوثوق به لمجرد كيفية بناء الآلة.
ملخص تقني: موثوقية التفسير المحددة بالاضطراب بين التفسير الجوهري وما بعد التدريب في التنبؤ بالتقلبات
بيان المشكلة
غالبًا ما يُفترض أن موثوقية التفسيرات التي تولدها نماذج تعلم الآلة (ML) في التنبؤ المالي هي خاصية متأصلة في طريقة التفسير (جوهري مقابل ما بعد التدريب) أو في بنية النموذج. ومع ذلك، يفتقر هذا الافتراض إلى التحقق التجريبي في ظل ظروف السوق الواقعية التي تتميز بعدم الاستقرار، والضجيج العالي، وتحولات الأنظمة (regime shifts). تعالج هذه الورقة فجوة حرجة: هل يوفر التفسير الجوهري (المدمج في النموذج) أم التفسير "ما بعد التدريب" (المطبق بعد التدريب) موثوقية فائقة، وكيف تؤدي هذه الطرق أداءها تحت اضطرابات محددة مثل ضجيج المدخلات، والتحولات الزمنية، وإعادة تقدير النموذج. تتحدى الدراسة الاعتقاد بأن أحد النماذج هو موثوق عالميًا، وتجادل بدلاً من ذلك بأن موثوقية التفسير تعتمد على تكوين (النموذج–التمثيل–المفسر) المحدد وطبيعة الاضطراب.
المنهجية
البيانات والمهمة
تتنبأ الدراسة بالتقلب المحقق لخمسة أيام لخمسة وعشرين سهمًا في ثلاثة أسواق (10 في الولايات المتحدة، 5 في أوروبا، 5 في اليابان) من عام 2016 إلى 2025. الهدف هو الانحراف المعياري لعوائد اللوغاريتم خلال الـ h=5 أيام القادمة.
تمثيلات الميزات: تم استخدام مجموعتين متميزتين من الميزات لمقارنة هياكل الارتباط:
المؤشرات الفنية (Technical Indicators): ثلاثة عشر مؤشرًا هندسيًا (عالية الانخلاف الخطي، حيث تمتلك حوالي 23% من الأزواج معامل ارتباط ∣r∣>0.8).
بروتوكول التحقق: تم استخدام تقسيم "walk-forward" متدحرج ومنقح (purged, rolling walk-forward split) لمنع تسرب المعلومات المستقبلية (look-ahead leakage). تم تنقية كتل التدريب (756 يومًا) بإزالة 10 صفوف قبل نافذة الاختبار (63 يومًا) لضمان عدم تداخل التسميات مع فترة الاختبار.
النماذج والمفسرات
تم تقييم خمس عائلات من النماذج، كل منها مقترن بطرق التفسير المناسبة:
XGBoost: مقترن بـ TreeSHAP (ما بعد التدريب).
LSTM: مقترن بـ Integrated Gradients (IG) (ما بعد التدريب).
النموذج الجمعي العام (GAM): جوهري (قائم على الـ splines).
آلة التعزيز القابلة للتفسير (EBM): جوهري (إضافي).
TabNet: مقترن بكل من قناع الانتباه الجوهري (Intrinsic Attention Mask) و Integrated Gradients لما بعد التدريب.
التصميم الحاسم: يعمل TabNet كعنصر تحكم "نفس النموذج". يتم تفسير نفس الشبكة المدربة بواسطة آلية جوهرية وطريقة ما بعد التدريب، مما يعزل تقنية التفسير كمتغير وحيد.
مقاييس التقييم
خضعت النماذج أولاً لـ بوابة المهارة (Skill Gate): فقط النماذج التي تفوقت على خط الأساس (step-5 persistence) حيث (RelMAE < 1) تم قبولها في تحليل التفسير. تم تقييم ثلاثة أبعاد لجودة التفسير:
الأمانة (Faithfulness): قيست عبر مساحة منحنى الاضطراب (AOPC) باستخدام الاستئصال المتسلسل. تم استخدام ضابط عشوائي للتمييز بين التصنيفات المعلوماتية والضجيج.
الاستقرار (Stability): تم تقييمه تحت ثلاثة اضطرابات:
ضجيج المدخلات: إضافة ضجيج غاوسي (Gaussian noise) إلى مدخلات الاختبار.
التحول الزمني: مقارنة التصنيفات عبر طيات (folds) متجاورة من الـ walk-forward.
استقرار البذرة (Seed Stability): إعادة تدريب النموذج ببذور عشوائية مختلفة على بيانات متطابقة.
الاتساق (Consistency): الاتفاق بين القناع الجوهري و IG لما بعد التدريب على نفس شبكة TabNet.
الاتفاق المصحح بالحجم (Size-Corrected Agreement): لتجنب العيوب الناتجة عن حجم فضاء الميزات، تم استخدام مقاييس مثل Rank-Biased Overlap (RBO) و Jaccard المصحح بالحجم جنبًا إلى جنب مع تداخل top-k ثابت العمق.
النتائج الرئيسية
دقة التنبؤ
حقق نموذج HAR-RV (النموذج الذاتي المتغاير للتقلب المحقق) أفضل دقة وسيطة في الدراسة.
كان نموذج GAM (القائم على الـ splines) غير متمايز إحصائيًا عن HAR-RV (الفرق الزوجي الوسيط 0.004، p=0.648) وتفوق على جميع النماذج "الصندوق الأسود" (XGBoost, LSTM, TabNet, EBM).
تفوق HAR-RV بشكل كبير على TabNet، حيث هزم نموذج TabNet في جميع الأسهم العشرين عبر كلا مجموعتي الميزات. كان TabNet أسوأ بكثير من نموذج HAR-RV المرجعي.
كان LSTM على لوحة المؤشرات الفنية هو الأضعف في الدراسة، حيث لم يقبل أي سهم على الإطلاق (0/20) تحت بوابة المهارة.
قبولات بوابة المهارة: اجتازت 68.8% من الخلايا بوابة المهارة. كانت الأسواق الأمريكية لديها معدل قبول أقل بكثير (~49%) مقارنة بأوروبا واليابان، مما يعكس صعوبة أكبر في السوق الأمريكي.
نتائج موثوقية التفسير
الأمانة تعتمد على المهمة: لم يوفر التقييم القائم على الاستئصال (AOPC) أي إشارة لتمييز تصنيفات التفسير عن الترتيب العشوائي لـ 10 من أصل 11 ذراعًا مقبولًا. نسبة الإشارة إلى الضجيج المنخفضة في التنبؤ بالتقلب جعلت مقاييس الاستئصال غير مفيدة.
الاستقرار محدد بالاضطراب:
الاستقرار الزمني: أظهر TabNet (سواء الجوهري أو ما بعد التدريب) استقرارًا زمنيًا منخفضًا للغاية (Spearman ρ≈0.05−0.11)، وغالبًا ما عكس ترتيب أهمية الميزات بين الفصول. في المقابل، أظهر GAM و XGBoost استقرارًا عاليًا (ρ≈0.43−0.64).
استقرار المدخلات: كان القناع الجوهري لـ TabNet قويًا للغاية تجاه ضجيج المدخلات، متفوقًا على Integrated Gradients.
استقرار البذرة: كان القناع الجوهري لـ TabNet غير مستقر للغاية عبر إعادة التدريب (اتفاق رتبة البذرة إلى البذرة ≈0.006)، بينما أظهر Integrated Grands على نفس الشبكة قابلية تكرار أفضل قليلاً.
الانفصال في "نفس النموذج": عند مقارنة القناع الجوهري و IG لما بعد التدريب على نفس شبكة TabNet المدربة:
تحت ضجيج المدخلات، كان القناع الجوهري أكثر استقرارًا.
تحت إعادة التدريب (البذور)، كان القناع الجوهري أقل استقرارًا بشكل ملحوظ.
تحت التحولات الزمنية، كان الاثنان غير متمايزين.
الاستنتاج: "الأفضل" يعتمد تمامًا على نوع الاضطراب؛ لا يوجد نموذج فائق عالميًا.
عيوب القياس: تبين أن تداخل top-k ثابت العمق (Jaccard) منحاز لحجم الميزات. في لوحة الـ 6 ميزات، كان المقياس يمتلك حدًا أدنى مرتفعًا (0.667)، مما خلق انطباعًا خاطئًا باتفاق عالٍ. كشفت المقاييس المستقلة عن الحجم (RBO، و Jaccard المصحح بالحجم) أن الاتفاق كان في الواقع أعلى في لوحة الـ 13 ميزة.
المساهمات الرئيسية
تباين "نفس النموذج": تعزل الدراسة تأثير طريقة التفسير من خلال تطبيق كل من التقنيات الجوهرية وما بعد التدريب على شبكة TabNet المدربة نفسها، مما يزيل بنية النموذج كمتغير مربك.
تفكيك الاضطراب: تفكك الدراسة استقرار التفسير إلى ثلاثة اضطرابات متميزة (ضجيج المدخلات، التحول الزمني، إعادة التقدير)، مما يثبت أن موثوقية الطريقة ليست خاصية متجانسة بل تختلف حسب نوع الضغط المطبق.
التحقق التجريبي من الأمانة: من خلال إدخال ضوابط عشوائية، توضح الدراسة أن مقاييس الأمانة القائمة على الاستئصال يمكن أن تفشل في تمييز التصنيفات ذات المعنى عن الضجيج في المهام المالية ذات الإشارة المنخفضة.
تصحيح تحيز المقياس: تسلط الضوء على وتصحح "تأثير الأرضية" (floor effect) في مقاييس التداخل top-k ثابتة العمق، وتدعو لاستخدام مقاييس مستقلة عن الحجم عند مقارنة التفسيرات عبر أبعاد ميزات مختلفة.
الأهمية والادعاءات
تدعي الورقة أن الجدل بين التفسير الجوهري وما بعد التدريب لا ينبغي حله بافتراض أن أحد النماذج هو الأكثر موثوقية بطبيعته. بدلاً من ذلك، موثوقية التفسير هي خاصية لتكوين (النموذج–التمثيل–المفسر) المحدد الذي يتم تقييمه تحت اضطراب محدد.
للممارسين: يجب أن يكون اختيار المفسر مدفوعًا بحالة الاستخدام. قد تكون الأقنعة الجوهرية مفضلة للقرارات المحلية التي تتطلب قوة تجاه ضجيج المدخلات، بينما قد تكون طرق ما بعد التدريب (أو فحوصات إعادة التقدير) ضرورية للتصنيفات العالمية التي يجب أن تستمر عبر تحديثات النموذج.
للأبحاث: تتحدى الدراسة الافتراض بأن النماذج "القابلة للتفسير بالتصميم" (مثل TabNet) تضمن تفسيرات موثوقة. في هذه الدراسة، أنتجت البنية التي يتم تسويقها كبنية قابلة للتفسير أقل التفسيرات قابلية للتكرار عبر البذور.
الصرامة المنهجية: تشير النتائج إلى أن بروتوكولات التقييم يجب أن تتضمن فحوصات إعادة التقدير (استقرار البذرة) وضوابط عشوائية للأمانة، حيث إن تقييمات النموذج الواحد يمكن أن تخفي عدم استقرار جوهري.
يخلص المؤلفون إلى أنه لا توجد طريقة تفسير واحدة موثوقة عالميًا؛ يجب قياس الموثوقية تجريبيًا لكل تكوين واضطراب بدلاً من استنتاجها من التصميم المعماري.