Learning to Defer in Non-Stationary Time Series via Switching State-Space Models

ملخص تقني: التعلم من أجل التأجيل في السلاسل الزمنية غير المستقرة عبر نماذج فضاء الحالة التبديلية

صياغة المشكلة
تعالج الورقة تحدي التعلم من أجل التأجيل (Learning-to-Defer - L2D) في بيئات السلالت الزمنية المتدفقة وغير المستقرة. بخلاف إعدادات L2D غير المتصلة (offline) التي تفترض إشرافاً كاملاً (الوصول إلى جميع تنبؤات الخبراء) ومتنبئاً داخلياً ثابتاً، يتضمن الإعداد المقترح ما يلي:

1. تغذية راجعة جزئية غير متماثلة: في كل جولة $t$، يلاحظ النظام السياق $x_t$ ومجموعة من الخبراء الخارجيين المتاحين $E_t$. يجب عليه إما التنبؤ داخلياً (الإجراء 0) أو التأجيل لخبير خارجي $k \in E_t$ (متحملاً تكلفة استعلام $\beta_k$). والأهم من ذلك، أن النتيجة الحقيقية $y_t$ تظهر بعد القرار، مما يجعل البواقي الداخلية ($e_{t,0} = \hat{y}_{t,0} - y_t$) قابلة للملاحظة دائماً. ومع ذلك، فإن البواقي الخارجية لا تُلاحظ إلا إذا تم استعلام الخبير المقابل؛ وإلا تظل محجوبة.
2. تعلم مرتبط بالقرار: يتم تدريب المتنبئ الداخلي $f_{\theta_t}$ عبر الإنترنت (online). تؤثر قرارات التوجيه مباشرة على الحالة المستقبلية للمتعلم لأن استعلام الخبير يوفر إشارة "معلم" إضافية ($\hat{y}_{t,k}$) يمكنها تحديث النموذج الداخلي.
3. عدم الاستقرار والخبرة الديناميكية: بيئة النظام غير مستقرة، حيث تتغير جودة الخبراء عبر أنظمة كامنة (regimes). علاوة على ذلك، فإن مجموعة الخبراء ديناميكية؛ فقد يدخل خبراء جدد، أو يغادرون، أو يعودون بمرور الوقت.

الهدف هو تقليل تكلفة التوجيه المتوقعة، مع موازنة خطأ التنبؤ الفوري مقابل تكالفي الاستعلام، وفي الوقت نفسه تحسين المتعلم الداخلي والتكيف مع تغير الأنظمة.

المنهجية: L2D-SLDS
يقترح المؤلفون L2D-SLDS، وهو إطار عمل مرحلي واحد يعمل عبر الإنترنت ينمذج بشكل مشترك بواقي المتنبئ الداخلي وجميع الخبراء الخارجيين المحتملين باستخدام نموذج فضاء الحالة الخطي-الغاوسي التبدلي (SLDS) المتجزئ.

• النموذج التوليدي: يفكك النموذج الموثوقية الكامنة لكل خبير $k$ إلى ثلاثة مكونات:

  1. عامل عالمي مشترك $g_t$ يلتقط الارتباطات بين الخبراء وينقل المعلومات عبر مجموعة الخبراء.
  2. حالات خاصة بكل خبير $u_{t,k}$ تلتقط الموثوقية الخاصة بكل خبير.
  3. متغير نظام منفصل $z_t$ يختار من بين $M$ من الديناميكيات الخطية-الغاوسية، مما يسمح للنظام بالتكيف مع التغيرات الهيكلية في أداء الخبراء.
     يتم نمذجة الباقي للخبير $k$ كإرسال خطي-غاوسي لمتجه الموثوقية $\alpha_{t,k} = B_k g_t + u_{t,k}$.

• الاستدلال عبر الإنترنت: يستخدم النظام مرشحًا ذا مرحلتين بأسلوب IMM (النموذج المتعدد المتفاعل):

  1. المرحلة الداخلية: تُنفذ دائماً. وهي تدمج الباقي الداخلي الملحوظ دائماً $e_{t,0}$ لتحديث العامل المشترك $g_t$ وأوزان النظام. يضمن هذا أنه حتى عند عدم استعلام أي خبير خارجي، يقوم النظام بتحديث معتقداته حول جميع الخبراء غير المستعلم عنهم عبر العامل المشترك.
  2. المرحلة الخارجية: تُنفذ فقط إذا تم استعلام خبير خارجي. وهي تدمج الباقي الخارجي الملحوظ لزيادة صقل حالة الخبير المحدد والعامل العالمي.
  3. إدارة السجل: يتعامل سجل ديناميكي مع ولادة وموت الخبراء. يتم تنقية الخبراء القدامى (غير المتاحين لمدة $\Delta_{max}$) عبر التهميش الدقيق، مما يضمن كفاءة حسابية وذاكرة دون التأثير على التوزيعات التنبؤية للخبراء المتبقين.

• درجة توجيه مدركة للمتعلم: يتم توجيه قرار التوجيه بواسطة درجة $S_t(k)$ توازن بين ثلاثة أهداف:

  1. الاستغلال (Exploitation): التكلفة الزائدة الفورية لاستعلام الخبير $k$ مقابل المتنبئ الداخلي.
  2. الاستكشاف (Exploration - كسب المعلومات): المعلومات المتبادلة الشرطية $I((z_t, g_t); e_{t,k} | e_{t,0})$، والتي تقيس مدى تقليل الاستعلام لحالة عدم اليقين حول الحالة الكامنة عما يوفره الباقي الداخلي بالفعل. يتم تقريب ذلك عبر حد مغلق للعامل المشترك وحد مونت كارلو لتحديد النظام.
  3. تحسين المتعلم: تقدير للتحسن المتوقع في خطوة واحدة للمتعلم الداخلي، بناءً على احتمال تفوق الخبير على المتنبئ الداخلي وحجم هذا التفوق.

• التحديث المرتبط بالقرار: عندما يتم استعلام خبير، يتم تحديث المتعلم الداخلي باستخدام هدف منظم بالمعلم. وزن إشارة المعلم يكون تكيفياً، حيث يتحكم في التحديثات بناءً على الموثوقية المتوقعة للخبير، والمساعدة المتحققة، والاختلاف مع المتعلم.

المساهمات الرئيسية

1. الصياغة الرسمية: تصيغ الورقة أول نموذج L2D عبر الإنترنت من مرحلة واحدة للسلاسل الزمنية غير المستقرة، مع التعامل صراحة مع التغذية الراجعة غير المتماثلة، والتعلم الداخلي المرتبط بالقرار، وسجلات الخبراء الديناميكية، وتكاليف الاستشارة.
2. الخوارزمية: تقدم L2D-SLDS، وهو نموذج تبديلي خطي-غاوسي متجزئ يتيح الاستدلال القابل للتوسع ونقل المعلومات بين الخبراء تحت ظروف الحجب. ويتضمن آلية تنقية السجل التي تحافظ على التوزيعات الهامشية للخبراء المتبقين.
3. استراتيجية التوجيه: اقتراح درجة استعلام مبتكرة مدركة للمتعلم، تجمع بين كسب المعلومات للحالة الكامنة وتحسين المتعلم المتوقع، متجاوزة مجرد تقليل التكلفة أو الاستكشاف الصرف.
4. الضمانات النظرية: يثبت المؤلفون تفكيك الندم (regret decomposition) مقابل مقارن تعلم وتأجيل متغير زمنياً. يتم تفكيك الندم إلى ميزانية مكافأة الاستعلام، وحد خطأ التكلفة التنبؤية لـ SLDS ($E_{SLDS}$)، والندم الديناميكي للفترات للمتعلم الداخلي. تحت شروط محددة (الندم غير الخطي لـ $E_{SLDS}$ والمتعلمين الداخليين المعتمدين)، يثبتون معدل ندم متحقق غير خطي.
5. الأداء التجريبي: تُظهر التجارينات المكثفة على البيانات الاصطعية والمعايير الواقعية (Melbourne, Jena, Delhi) أن L2D-SLDS يتفوق على نماذج بنديت (bandit) السياقية وغير المستقرة، مع التأجيل في أقل من 2% من الجولات في سيناريوهات البيانات الواقعية.

النتائج

• البيانات الاصطعية: حقق L2D-SLDS أدنى تكلفة توجيه (0.336) مقارنة بأفضل نموذج بنديت أساسي (0.427). وأكدت دراسات الاستئصال (ablation) أن العامل المشترك $g_t$ ضروري لنقل المعلومات، حيث أدى حذفه إلى تدهور الأداء.
• المعايير الواقعية:
  • Melbourne: حقق L2D-S LDS تكلفة قدرها 5.914 مع معدل تأجيل 0.8%، متفوقاً على جميع نماذج بنديت الأساسية (التي تراوحت بين 6.047 و6.302 وكانت لديها معدلات تأجيل أعلى).
  • Jena: حقق L2D-SLDS تكلفة قدرها 3.293 مع معدل تأجيل 0.22%. ومن الملاحظ أنه كان الطريقة التكيفية الوحيدة التي تحسنت على المتنبئ الداخلي غير المرجح (3.297)، بينما كان أداء جميع نماذج بنديت أسوأ من المتنبئ الداخلي غير المرجح.
  • Delhi (24 خبيراً): حقق L2D-SLDS تكلفة قدرها 2.528 مع معدل تأجيل 1.70%. أقوى نموذج بنديت أساسي (SharedLinUCB+0) حقق 2.542 ولكنه تطلب معدل تأجيل 34.8%، مما يبرز كفاءة L2D-SLDS في اختيار عمليات التأجيل عالية القيمة.
• الدراسات الاستئصالية (Ablations): أدى حذف العامل المشترك أو استبدال درجة المعلومات الموجهة بأسلوب "ثامبسون" (Thompson sampling) إلى تدهور الأداء بشكل كبير أو زيادة معدلات الاستعلام، مما يؤكد صحة الخيارات التصميمية للنموذج وآلية التقييم.

الأهمية والادعاءات
تدعي الورقة أنها العمل الأول الذي يدرب معلماً داخلياً ويقوم بالتوجيه إلى خبراء خارجيين عبر الإنترنت تحت ظروف التغذية الراجعة غير المتماثلة، وتبديل الأنظمة الكامنة، وسجلات الخبراء الديناميكية. تكمن الأهمية في إثبات أن النمذجة الاحتمالية للبواقي يمكن أن تتعامل بفعالية مع الطبيعة "المحجوبة" لتغذية الخبراء الراجعة في البيئات غير المستقرة، مما يسمح للنظام بالتعلم عن الخبراء غير المستعلم عنهم عبر بنية كامنة مشتركة. يؤكد المؤلفون أن نهجهم يحقق أداءً تنافسياً أو متفوقاً مع معدلات استعلام أقل بكثير مقارنة بنماذج بنديت القياسية، مما يجعله مناسباً للتطبيقات عالية المخاطر أو الحساسة للتكلفة حيث يكون التأجيل مكلفاً. يوفر تفكيك الندم النظري إطاراً نموذجياً لفهم المقايضات بين الاستكشاف، وخطأ التنبؤ، وتكيف المتعلم.