Modelling multivariate ordinal time series using pairwise likelihood

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نمذجة السلاسل الزمنية الترتيبية متعددة المتغيرات باستخدام الاحتمالية الزوجية" (Modelling multivariate ordinal time series using pairwise likelihood) للباحثين آنا نالبانتيدي وديميتريس كارليس.

1. بيان المشكلة

تتناول الورقة البحثية تحدي النمذجة المشتركة لـ سلاسل زمنية ترتيبية متعددة المتغيرات. وبينما تعد نمذجة السلالوات الزمنية الترتيبية أحادية المتغير أمراً راسخاً (باستخدام نماذج ماركوف، أو الانحدار، أو النماذج المستمرة الكامنة، إلخ)، فإن توسيع ذلك ليشمل الإطار متعدد المتغيرات يعد أمراً صعباً بسبب عاملين رئيسيين:

1. تعقيد التوزيع المشترك: إن بناء توزيع متعدد المتغيرات للمتغيرات الترتيبية يكون مرناً وقابلاً للحساب في آن واحد هو أمر صعب بطبيعته.
2. بنية الاعتماد (Dependence Structure): يجب أن يأخذ الإطار متعدد المتغيرات الصالح في الاعتبار في وقت واحد:
   • الارتباط الذاتي (Autocorrelation): الاعتماد التسلسلي داخل كل سلسلة زمنية على حدة.
   • الارتباط المتبادل (Cross-correlation): الاعتماد بين السلاسل الزمنية المختلفة عند نفس النقطة الزمنية (المتزامن) وعبر فترات الإبطاء (lags).

تعتمد الأساليب التقليدية غالباً على "الكوبولا" (copulas) عالية الأبعاد لربط التوزيعات الهامشية. ومع ذلك، فإن حساب دالة الكتلة الاحتمالية المشتركة لمتجه ترتيب $K$-أبعاد يتطلب تقييم $2^K$ من الحدود، مما يؤدي إلى اختناقات حسابية شديدة مع زيادة عدد السلاسل ($K$).

2. المنهجية

يقترح المؤلفون نهج "الاحتمالية الزوجية" (Pairwise Likelihood) مقترناً بـ "الكوبولا" (Copulas) لتجاوز عدم القدرة الحسابية على التعامل مع الاحتمالات المشتركة كاملة الأبعاد.

أ. توصيف النموذج

• النماذج الهامشية: يتم نمذجة كل سلسلة زمنية ترتيبية $Z_{kt}$ هامشياً باستخدام نموذج لوجيت ذاتي الانحدار ترتيبي (Ordinal Autoregressive Logit Model) من الدرجة $p$. ومن الأهمية بمكان أن النموذج الهامشي للسلسلة $k$ يتضمن القيم المتأخرة (lagged values) من جميع السلاسل الـ $K$ في النظام لالتقاط الاعتماد المتبادل في البنية المتوسطة.
  $$\text{logit}(\gamma_{sjt}^{(k)}) = \alpha_{k0j} + \sum_{m=1}^K \sum_{g=1}^p \alpha'_{kmg} \tilde{Z}_{m, t-g}$$
  حيث $\gamma_{sjt}^{(k)}$ هو الاحتمال التراكمي $P(Z_{kt} \leq s_j | \mathcal{F}_{t-1})$.
• الربط عبر الكوبولا (Copula Linkage): لالتقاط الارتباط المتبادل المتزامن (الدرجة صفر من الإبطاء)، يستخدم المؤلفون الكوبولا. لأي زوج من السلاسل $(Z_{rt}, Z_{st})$، يتم تعريف التوزيع التراكمي المشترك كالتالي:
  $$F_{Z_{rt}, Z_{st}}(z_{rt}, z_{st} | \mathcal{F}_{t-1}) = C(F_{Z_{rt}}(z_{rt}), F_{Z_{st}}(z_{st}) | \mathcal{F}_{t-1}, \phi)$$
  حيث $C$ هي كوبولا ثنائية المتغيرات و $\phi$ هو معامل الاعتماد.

ب. التقدير عبر الاحتمالية الزوجية

بدلاً من تعظيم الاحتمالية الكاملة $K$-أبعاد، يقوم المؤلفون بتعظيم اللوغاريتم الزوجي الشرطي للاحتمالية (Conditional Pairwise Log-Likelihood):
$$\ell_{prw}(\theta; z) = \sum_{t=2}^T \sum_{r=1}^{K-1} \sum_{s=r+1}^K \log f_{Z_{rt}, Z_{st}}(z_{rt}, z_{st}; \theta_{rs} | \mathcal{F}_{t-1})$$
هذا يقلص المشكلة إلى تقدير $K(K-1)/2$ من النماذج ثنائية المتغيرات.

ج. إجراء التقدير ذو المرحلتين

لتجنب صعوبة تحسين الاحتمالية المركبة عالية الأبعاد مباشرة، يتبع المؤلفون نهجاً من مرحلتين (تبعاً لـ Fieuws و Verbeke، 2006):

1. التعظيم المستقل: يتم ضبط كل نموذج ثنائي المتغير من أصل $K(K-1)/2$ بشكل مستقل للحصول على تقديرات المعلمات الفردية $\tilde{\theta}_{rs}$.
2. التجميع الموزون: يتم دمج التقديرات الفردية لتشكيل مجموعة فريدة من المعلمات للنظام الكامل.
   • بدلاً من المتوسط البسيط، يقترح المؤلفون متوسطاً موزوناً بناءً على مصفوفة "هيسيان" (Hessian matrix) للوغاريتمات الاحتمالية.
   • باستخدام توسيع تايلور من الدرجة الثانية، يتم اشتقاق الأوزان من مصفوفة "هيسيان" السالبة $H(\tilde{\theta}_{rs})$.
   • يتم حساب المقدر النهائي $\tilde{\theta}_{wm}$ كالتالي:
     $$\tilde{\theta}_{wm} = \left( \sum_{r,s} H(\tilde{\theta}_{rs}^f) \right)^{-1} \left( \sum_{r,s} H(\tilde{\theta}_{rs}^f) \tilde{\theta}_{rs}^f \right)$$
     حيث $\tilde{\theta}_{rs}^f$ هو المتجه المضاف إليه أصفار ليتناسب مع أبعاد متجه المعلمات الكامل $\theta$.

د. التنبؤ (Forecasting)

يعد التنبؤ أمراً صعباً لأن التوزيع المشترك الكامل غير متاح صراحة. يقترح المؤلفون طريقتين لتوليد تنبؤات من النماذج ثنائية المتغيرات:

• الطريقة (أ) (تجميع المنوال - Mode Aggregation): توليد التنبؤات من كل نموذج ثنائي المتغير بشكل فردي، ثم اختيار الحالة النهائية كـ المنوال (الحالة الأكثر تكراراً) لهذه التنبؤات الفردية.
• الطريقة (ب) (تجميع الاحتمالات - Probability Aggregation): متوسط احتمالات الحالة الشرطية ($\pi_{jt}$) من جميع النماذج ثنائية المتغير لإنشاء توزيع احتمالي مجمع، ثم اختيار الحالة ذات الاحتمالية الأعلى (أو الوسيط) من هذا التوزيع المجمع.

3. المساهمات الرئيسية

1. الكفاءة الحسابية: يحول نهج الاحتمالية الزوجية مشكلة $O(2^K)$ المستعصية إلى مجموعة من المشكلات ثنائية المتغيرات $O(K^2)$ التي يمكن إدارتها، مما يجعل نمذجة السلاسل الزمنية الترتيبية عالية الأبعاد أمراً ممكناً.
2. نمذجة اعتماد مرنة: يسمح الإطار باختيار عائلات مختلفة من "الكوبولا" لأزواج مختلفة من السلاسل الزمنية، مما يستوعب هياكل اعتماد متباينة (مثل الارتباطات الإيجابية مقابل السلبية).
3. استراتيجية تقدير محسنة: يوفر تقديم المتوسط الموزون بهيسيان لدمج التقديرات طريقة دقيقة إحصائياً لجمع النتائج ثنائية المتغير المستقلة، وهي تتفوق على المتوسط البسيط في دراسات المحاكاة.
4. إطار التنبؤ: تعالج الورقة البحثية الغموض المحدد المرتبط بالتنبؤ في سياق الاحتمالية المركبة من خلال اقتراح ومقارنة استراتيجيتين مختلفتين للتجميع.

4. النتائج

دراسة المحاكاة

• الإعداد: تم استخدام حالة ثلاثية المتغيرات ($K=3$) مع 3 حالات باستخدام كوبولا "جمبل" (Gumbel) بقيمة ($\phi=2$) وأحجام عينات $T = 100, 500, 1000$.
• النتائج:
  • كان كل من مقدري المتوسط البسيط والمتوسط الموزون غير متحيزين ومتسقين (نقص التباين مع زيادة $T$).
  • تفوق المتوسط الموزون باستمرار على المتوسط البسيط، لا سيما بالنسبة لمعلمة الاعتماد $\phi$، حيث أظهر خطأً تربيعياً متوسطاً (MSE) أقل.
  • مع زيادة حجم العينة، اقترب الـ MSE من الصفر لكلا الطريقتين.

تطبيق على بيانات حقيقية

• مجموعة البيانات: معدلات البطالة الفصلية لست دول من الاتحاد الأوروبي (البرتغال، سلوفاكيا، فنلندا، اليونان، إسبانيا، إيطاليا) من 1998–2023.
• المعالجة المسبقة: تم تحويل المعدلات المستمرة إلى 4 حالات ترتيبية بناءً على المئينات (quantiles).
• النموذج: نماذج لوجيت ذاتية الانرجار ترتيبية مع تأثيرات الإبطاء (lag-1) من جميع الدول الست، مرتبطة بكوبولا "فرانك" (Frank copulas) (التي اختيرت لقدرتها على التعامل مع الارتباطات الإيجابية والسلبية معاً).
• النتائج:
  • نجح النموذج في التقاط الارتباط الذاتي القوي والارتباطات المتبادلة بين الدول (على سبيل المثال، الروابط القوية بين إسبانيا واليونان، وإسبانيا وإيطاليا).
  • التنبؤ (2021–2023): قدمت كل من الطريقة (أ) والطريقة (ب) نتائج متشابهة.
    • دقة عالية: تم التنبؤ بالبرتغال وسلوفاكيا وفنلندا باحتمالية عالية للحالة الصحيحة.
    • دقة منخفضة: أظهرت اليونان وإسبانيا وإيطاليا أداءً أقل. ويعزو المؤلفون ذلك إلى أن البيانات أظهرت "فترات طويلة" (runs) من نفس الحالة (الاستمرارية)، والتي قد لا يلتقطها نموذج اللوجيت ذاتي الانرجار القياسي بنفس كفاءة النماذج المتخصصة (مثل نماذج DAR).

5. الأهمية والخاتمة

توفر هذه الورقة إطاراً قوياً وقابلاً للتوسع لتحليل البيانات الترتيبية متعددة المتغيرات المعقدة، المنتشرة في مجالات الاقتصاد والصحة والعلوم البيئية. ومن خلال فصل ديناميكيات الهامش عن بنية الاعتماد عبر الاحتمالية الزوجية، تمكن المؤلفون من التغلب على "لعنة الأبعاد" المرتبطة بالكوبولا متعددة المتغيرات الكاملة.

النقاط الجوهرية:

• نهج الاحتمالية الزوجية يعد بديلاً قابلاً للتطبيق للاحتمالية الكاملة في السلاسل الزمنية الترتيبية عالية الأبعاد.
• التوسيط الموزون للتقديرات يتفوق على التوسيط البسيط، مستفيداً من انحناء سطح الاحتمالية (الهيسيان) لتحسين الدقة.
• المنهجية مرنة: فهي تسمح بنماذج هامشية وعائلات كوبولا مختلفة لكل زوج، رغم أن المؤلفين يشيرون إلى أن اختيار النموذج يصبح مهمة غير بسيطة في ظل هذه المرونة العالية.
• يمكن للعمل المستقبلي استكشاف إدراج المتغيرات المصاحبة (covariates)، وإبطاءات من رتب أعلى، ونماذج متخصصة للاستمرارية طويلة الأمد في البيانات الترتيبية.