Conformal Prediction for Hierarchical Data

ملخص تقني: التنبؤ المطابق للبيانات الهرمية

بيان المشكلة
تتناول الورقة البحثية تحدي بناء مناطق تنبؤ صالحة للبيانات متعددة المتغيرات التي تظهر بنية هرمية، حيث تكون بعض المكونات عبارة عن تركيبات خطية من مكونات أخرى (مثل المجاميع الإقليمية التي تجمع إلى إجماليات وطنية). وبينما يوفر التنبؤ المطابق (Conformal Prediction - CP) القياسي ضمانات تغطية في العينات المحدودة للبيانات متعددة المتغيرات، إلا أنه غالباً ما يتجاهل القيود الهيكلية المتأصلة في البيانات الهرمية. وفي المقابل، تستغل تقنيات تسوية التوقعات (Forecast Reconciliation) هذه القيود الخطية لتحسين دقة التوقعات النقطية، لكنها واجهت تاريخياً صعوبات في التوسع لتشمل التنبؤ الاحتمالي مع التحديد الكمي الدقيق لعدم اليقين. وتتمثل المشكلة الجوهرية في الجمع بين هذين الإجراءين اللاحقين (Post-hoc) لإنتاج مناطق تنبؤ تكون صالحة إحصائياً (تضمن التغطية) وفعالة (تقلل حجم المنطقة) مع احترام قيود الاتساق الهرمي.

المنهجية
يقترح المؤلفون إطار عمل يدمج التنبؤ المطابق المنقسم (Split Conformal Prediction - SCP) مع تسوية التوقعات عبر خطوة إسقاط. تعمل المنهجية تحت فرضية التوزيع المستقل والمتماثل (i.i.d.) للبيانات ولدرجات عدم التطابق، مع تقديم افتراضات توزيعية محددة للتحليل الخاص بالكفاءة.

1. الإطار الهرمي: تحقق البيانات $y \in \mathbb{R}^m$ العلاقة $y = H y_{1:n}$، حيث $H$ هي مصفوفة هيكلية معروفة تربط المستويات الأكثر تفصيلاً ($n$) بالمستويات المجمعة ($m$). وتُسمى المتجهات التي تحقق $u = H u_{1:n}$ بالمتجهات "المتسقة".
2. هدفان للتغطية:
   • التغطية المشتركة (Joint Coverage): ضمان وقوع المتجه الحقيقي $y_{T+1}$ ضمن منطقة تنبؤ متعددة المتغيرات $C(x_{T+1})$ باحتمالية $1-\alpha$.
   • التغطية لكل مكون (Component-wise Coverage): ضمان وقوع كل مكون فردي $y_{T+1,i}$ ضمن فترته الخاصة $C_i(x_{T+1})$ باحتمالية $1-\alpha$. وقد تم تحديد هذا كهدف أكثر طبيعية للبيانات الهرمية حيث يتم تحليل المكونات غالباً بشكل فردي.
3. الإجراء المقترح (المطابق المنقسم المُسوّى - Reconciled SCP):
   • للتغطية المشتركة: يتبنى المؤلفون نهج SCP الإهليلجي (Johnstone & Cox, 2021; Messoudi et al., 2022). ويقدمون مصفوفة إسقاط $P_A$ (متعامدة في معيار $A$) على الفضاء المتسق $\text{Im}(H)$. ويتم تعديل المفسر (Regressor) ليصبح $\hat{\mu} = P_A \hat{\mu}_{base}$، وتُحسب درجات عدم التطابق بناءً على المسافة بين الملاحظات والتوقعات المسقطة.
   • للتغطية لكل مكون: يستخدم المؤلفون درجات عدم التطابق الموقعة ($s_t = y_t - \hat{\mu}_t$). وبخلاف البواقي المطلقة، تحافظ البواقي الموقعة على خاصية الاتساق الخطي ($s_t = P s_t$ إذا كان $\hat{\mu}_t$ مسقطاً). ويطبق الإجراء SCP لكل مكون على هذه الدرجات الموقعة بعد إسقاط التوقعات الأساسية على الفضاء المتسق.
4. تحليل الكفاءة:
   • يتم تحليل الكفاءة النظرية تحت افتراض أن البواقي تتبع توزيعاً إهليلجياً.
   • بالنسبة لمتجه أوزان ثابت $w$، يثبت المؤلفون أن إسقاط التوقعات باستخدام مصفوفة إسقاط محددة $P_w$ (مشتقة من $H$ و $w$) يقلل من مجموع مربعات أطوال الفترات المتوقع مقارنة بالتوقعات غير المسقطة.
   • يتم استخلاص نتيجة "أوراكل" (Oracle) أقوى بافتراض معرفة مصفوفة التغاير $\Sigma$ للدرجات. باستخدام إسقاط الحد الأدنى للأثر (MinT) ($P_{\Sigma^{-1}}$)، تحقق الطريقة تحسينات كفاءة موحدة فوق أي مصفوفة إسقاط أخرى.

المساهمات الرئيسية

1. توليف مبتكر: يعد هذا العمل أول من يجمع رسمياً بين التنبؤ المطابق وتسوية التوقعات لبناء مناطق تنبؤ صالحة وفعالة للبيانات الهرمية.
2. ضمانات التغطية لكل مكون: تقدم الورقة وتحلل معيار التغطية لكل مكون، وهو معيار أكثر صلة بالتطبيقات الهرمية من التغطية المشتركة. كما تثبت أن SCP المُسوّى المقترح (الخوارزمية 5) يحافظ على هذه الضمانات.
3. إثباتات الكفاءة:
   • التغطية المشتركة: يثبت المؤلفون أن مناطق التنبؤ الإهليلجية المُسوّاة أصغر (من حيث مقياس ليبيج) من المناطق الإهليلجية القياسية، بشرط اختيار مصفوفة الإسقاط بشكل صحيح.
   • التغطية لكل مكون: تحت افتراضات التوزيع الإهليجي، تثبت الورقة أن فترات التنبؤ المطابقة المُسوّاة أكثر كفاءة (أصغر في متوسط مربعات الأطوال) من الفترات القياسية لكل مكون. ويتحقق ذلك من خلال ربط تقليل أطوال الفترات بمسائل تقليل الأثر المركزية في أدبيات تسوية التوقعات (تحديداً نهج MinT).
4. الابتكار التقني: يربط المؤلفون بين هذين المجالين عبر استخدام درجات عدم التطابق الموقعة للتعامل مع غياب افتراضات عدم الانحياز المطلوبة عادةً في تسوية التوقعات، مع الاستفادة من متراجحات الأثر لإثبات مكاسب الكفاءة في سياق التنبؤ المطابق.

النتائج
تم التحقق من النتائج النظرية من خلال تجارب مكثفة على بيانات هرمية اصطناعية ذات تعقيدات متغيرة (تصل إلى 1,801 عقدة).

• التغطية: حققت جميع الخوارزميات المقترحة مستويات التغطية المستهدفة (90%) لكل من أهداف التغطية المشتركة والتغطية لكل مكون عبر جميع الإعدادات.
• الكفاءة (المشتركة): تنتج الطريقة الإهليلجية المُسوّاة (الخوارزمية 2) باستمرار أحجام تنبؤ أصغر من النموذج المرجعي (الخوارزمية 1).
• الكفاءة (لكل مكون):
  • استراتيجية تسوية المربعات الصغرى الموزونة (WLS) (باستخدام تقديرات مصفوفة التغاير القطرية) تفوقت باستمرار على النموذج المرجعي (Direct) وعلى الطرق الأخرى (OLS, Combi)، مما قلل إجمالي أطوال الفترات بنسبة تتراوح بين 15% إلى 65%.
  • استراتيجية MinT (باستخدام مصفوفة التغاير الكاملة) كانت الأفضل للهياكل الصغيرة، لكنها أصبحت غير موثوقة للهياكل الكبيرة (الإعدادات 5 و 6) بسبب مشاكل محتملة في تفرد مصفوفة التغاير عند التقدير.
  • أظهرت طرق Combi و OLS أداءً مختلطاً، حيث كان OLS قوياً ولكنه أقل كفاءة من WLS.

الأهمية والادعاءات
تدعي الورقة توفير أساس نظري لتحسين التقييم الكمي لعدم اليقين في السياقات الهرمية. ومن خلال إثبات أن القيود الهيكلية يمكن استغلالها لاحقاً (post-hoc) لتقليص مناطق التنبؤ دون التضحية بالتغطية، يقدم هذا العمل بديلاً عملياً للنماذج الهرمية المكلفة حوسبياً أثناء مرحلة التدريب.

يتسم المؤلفون بالتواضع فيما يتعلق بنطاق ضماناتهم النظرية، مشيرين إلى أن التحليل يعتمد على إطار عمل i.i.d. وافتراضات التوزيع الإهليجي. كما أوضحوا صراحة أن السلاسل الزمنية الهرمية في العالم الحقيقي غالباً ما تنتهك فرضية i.i.d. لدرجات عدم التطابق. وبناءً على ذلك، تضع الورقة نتائجها كخطوة تأسيسية، مقترحة أن العمل المستقبلي يجب أن يوسع هذه المبادئ لتشمل البيانات غير المتماثلة (على سبيل المثال، عبر الاستدلال المطابق التكيفي) والهياكل الديناميكية. تكمن الأهمية الأساسية في إثبات أن "التسوية" ليست مجرد أداة للتوقعات النقطية، بل هي آلية صالحة لتعزيز كفاءة مجموعات التنبؤ الخالية من التوزيع.