ملخص تقني: تعلم ديناميكيات ماركوف غير المتجانسة زمنياً في السلاسل الزمنية المالية عبر المعلمة العصبية

1. بيان المشكلة

يتناول البحث تحدي نمذجة الأنظمة العشوائية غير المستقرة، وتحديداً السلاسل الزمنية المالية، حيث تعاني كل من نماذج ماركوف الكلاسيكية ونهج التعلم العميق الحديث من قيود جوهرية.

• حاجز الندرة (The Sparsity Barrier): تعتمد نمذجة ماركوف الكلاسيكية على العد التجريبي للانتقالات بين حالات منفصلة. ولتجسيد دقة العوائد ذات الذيول الثقيلة، يتطلب الأمر تقسيمًا دقيقًا (عدد كبير من الفئات، $n$). ومع ذلك، فإن عدد الانتقالات المحتملة يتوسع بشكل تربيعي ($n^2$). وفي البيانات المالية المحدودة والمشوبة بالضجيج، يؤدي هذا إلى ندرة شديدة في البيانات، حيث تكون الغالبية العظمى من خلايا الانتقال غير مرصودة (على سبيل المثال، 99.9% من الخلايا تحتوي على أقل من 5 ملاحظات عند $n=55$). ويتسبب هذا في انهيار المقدرات التجريبية إلى مؤثرات متدهورة مليئة بالأصفار والضجيج عالي التباين، مما يجعلها عديمة الفائدة للتحليل الهيكلي.
• فجوة التفسير (The Interpretability Gap): بينما يمكن لنماذج التسلسل العصبية التعامل مع التبعيات المعقدة، إلا أنها تعمل عادةً عبر تمثيلات كامنة غامضة، مما يمنع تطبيق التشخيصات النظرية للمؤثرات الكلاسيكية (مثل الخرائط الحرارية للانتقال، وعدم تجانس الصفوف، واتساق تشابمان-كولموغوروف).

يقترح المؤلفون حلاً وسطاً: إطار عمل يستخدم مرونة الشبكات العصبية لمعلمة مؤثرات انتقال ماركوف صريحة ومتغيرة زمنياً، مما يتغلب على ندرة العد التجريبي مع الحفاظ على الشفافية الرياضية.

2. المنهجية

المساهمة الجوهرية هي المعلمة العصبية (Neural Parameterization) لمؤثرات ماركوف غير المتجانسة زمنياً.

2.1 صياغة إطار العمل

يتم نمذجة النظام كسلسلة ماركوف غير متجانسة زمنياً مشروطة بالميزات.

• فضاء الحالة: يتم تقسيم العوائد إلى فضاء حالة محدود $S = \{s_1, \dots, s_n\}$ عبر تقسيم المئينات (Quantile Binning).
• الاشتراط بالميزات: تعتمد احتمالات الانتقال على متغيرات تفسيرية مرصودة $F_t$ (مؤشرات اقتصاد كلي، أساسيات الشركات) والحالة الحالية $X_t$.
• بناء المؤثر: بدلاً من عد الانتقالات، تتعلم شبكة عصبية $f^{(h)}_\theta$ رسم الخرائط من $(X_t, F_t)$ إلى توزيع احتمالي على الحالة التالية.
  $$\hat{A}^{(h)}_t(i, \cdot) = f^{(h)}_\theta(s_i, F_t)$$
  لبناء مصفوفة الانتقال الكاملة $\hat{A}^{(h)}_t$ عند الزمن $t$، يتم تقييم الشبكة لكل حالة محتملة $s_i \in S$ تحت نفس اللقطة للميزات $F_t$. يضمن هذا إنتاج مؤثر عشوائي سلس وصالح حتى بالنسبة للانتقالات غير المرصودة.

2.2 بنية النموذج والتدريب

• البنية: تستخدم شبكة مدركة متعددة الطبقات (MLP) ترميز الحالة بنظام (One-hot) مع متجه الميزات. وتنتج توزيعاً احتمالياً عبر طبقة (Softmax).
• هدف التدريب: تُدرب النماذج باستخدام تحسين Adam لتقليل سلب اللوغاريتم الاحتمالي (Negative Log-Likelihood). وللتعامل مع الضجيج في العوائد المجزأة، يُستخدم اختيارياً هدف مستهدف سلس، حيث يتم تخصيص كتلة جزئية للفئات المجاورة.
• النماذج المرجعية (Baselines):
  • الاستبعاد الخالي من الحالة (State-Free Ablation): نموذج مشروط فقط بالميزات $F_t$ (مع إزالة $X_t$)، مما ينتج مؤثرات ثابتة الصفوف.
  • العدادات التجريبية (Empirical Counters): المقدرات الكلاسيكية (الهامشية، الشرطية، والمخففة بالتدخل الخلفي) لإظهار فشل العد عند الدقة العالية.

2.3 الأدوات التشخيصية

بما أن المخرج هو مؤثر مصفوفي صريح، فإن إطار العمل يتيح أدوات تشخيصية محددة:

• عدم تجانس الصفوف (Row Heterogeneity): يقيس مسافة التباين الكلي بين الصفوف لتحديد درجة الاعتماد على الحالة.
• إنتروبيا الصف (Row Entropy): يقيس تشتت/عدم يقين توزيع الانتقال.
• اتساق تشابمان-كولموغوروف (CK Consistency): يقارن بين مؤثر الخطوة $h$ المقدر مباشرة وبين تركيب مؤثرات الخطوة الواحدة لـ $h$ من الخطوات. يعمل هذا كتشخيص موضعي لتحديد النوافذ الزمنية التي ينهار فيها افتراض ماركوف من الدرجة الأولى.

3. النتائج الرئيسية

تركز التجارب على سهم واحد (JPM) مع $n=55$ فئة ومختلف آفاق التنبؤ.

3.1 فشل العد التجريبي

عند الدقة المستهدفة ($n=55$)، تكون مصفوفات الانتقال التجريبية فارغة فعلياً. 57% من الخلايا غير مرصودة تماماً، و99.9% منها تحتوي على أقل من 5 ملاحظات. وهذا يؤكد أن الجدولة لا يمكنها دعم التحليل على مستوى المؤثر عند هذا المستوى من التفصيل.

3.2 الصلاحية الهيكلية والاعتماد على الحالة

• الاشتراط بالحالة: ينتج النموذج المشروط بالحالة مؤثرات ذات بنية غير تافهة، محققاً متوسط عدم تجانس صفوف $\bar{\rho} = 0.0073$. في المقابل، ينهار النموذج الخالي من الحالة إلى $\rho = 0.0000$ تماماً (صفوف متطابقة)، مما يؤكد أن الحالة المجزأة $X_t$ تحمل معلومات انتقال فريدة.
• التقلب والتجانس: هناك نتيجة مثيرة للجدل وهي أن أنظمة التقلب العالي تجانس ديناميكيات الانتقال بدلاً من تنويعها.
  • ترتبط إنتروبيا الصف بقوة وعلاقة عكسية مع التباين المحقق ($r = -0.62, p \approx 10^{-251}$).
  • خلال فترات الضغط (أعلى 20% من التباين المحقق)، تنهار صفوف الانتقال نحو توزيع مركز متشابه. خلال الفترات الهادئة، تكون الصفوف أكثر تنوعاً.

3.3 تشخيصات تشابمان-كولموغوروف

يكشف تشخيص CK أن فرضية ماركوف من الدرجة الأولى لا تُنتهك بشكل موحد، بل تفشل في نوافذ زمنية محددة.

• يظهر النموذج المشروط بالحالة تبايناً أعلى في CK (متوسط تباعد KL قدره 0.140 مقابل 0.022 للنموذج المرجعي) لأنه يتعلم ديناميكيات حقيقية تعتمد على الحالة لا يمكن لضرب مؤثرات الخطوة الواحدة إعادة بنائها بدقة.
• تتركز انتهاكات CK في نوافذ محددة (مثلاً $t \in [2120, 2200]$)، وهي ترتبط بفترات الديناميكيات المركزة ذات الإنتروبيا المنخفضة. وهذا يسمح للنموذج بتحديد المواضع التي تنهار فيها افتراضات "الذاكرة".

3.4 الأداء التنبئي

يسجل البحث مكاسب تنبؤية متواضلة، وهو أمر متسق مع كفاءة الشكل الضعيف للبيانات اليومية للأصول الفردية والقيود المفروضة من الميزات منخفضة التردد.

• عند الأفق $h=10$، يحقق النموذج المشروط بالحالة $\Delta$NLL قدره $+0.025$ بالنسبة للمرجع الهامشي (فاصل ثقة 95%: $[-0.020, +0.028]$).
• تظهر الآفاق الأقصر أداءً قريباً من أو أقل من المرجع الهامشي.
• المعايرة معقولة، حيث حقق النموذج المشروط بالحالة خطأ معايرة متوقع (ECE) قدره 0.079 للعوائد السالبة.

4. الأهمية والادعاءات

يدعي البحث أن أهميته الأساسية لا تكمن في تحقيق دقة تنبؤية فائقة، بل في استعادة القدرة على التفسير الهيكلي لنمذجة السلاسل الزمنية المعقدة.

• جسر الفجوة: يوضح البحث أن الشبكات العصبية يمكن تقييدها لتنتج أشكالاً هيكلية متماسكة رياضياً (مؤثرات عشوائية صريحة)، مما يجعل التحليل العملياتي الكلاسيكي الصارم ممكناً للبيانات عالية الدقة وغير المستقرة.
• القدرة التشخيصية: من خلال كشف مؤثر الانتقال، يتيح إطار العمل استخدام الأدوات الكلاسيكية (الخرائط الحرارية، مقاييس عدم التجانس، فحوصات CK) التي يستحيل استخدامها مع النماذج التسلسلية "الصندوق الأسود".
• فهم ديناميكيات السوق: يكشف إطار العمل عن سلوكيات هيكلية محددة، مثل تجانس ديناميكيات الانتقال أثناء التقلب العالي وانهيار افتراضات ماركوف الموضعي، مما يوفر "مجهراً شفافاً ومعايراً" لدراسة أنظمة السوق.

يظل المؤلفون متواضعين بشأن الفائدة التنبؤية المباشرة، مشيرين إلى أن إعداد السهم الواحد والبيانات اليومية يحد من نسبة الإشارة إلى الضجيج. ويقترحون أن التوسع ليشمل عوالم متعددة الأصول وعالية التردد هو المسار الضروري لتحقيق تحسينات مادية في القدرة التنبؤية مع الاحتفاظ بهذه المزايا التفسيرية.