ملخص تقني: SurF – نموذج توليدي للتنبؤ بالسلاسل الزمنية متعددة المتغيرات غير المنتظمة

بيان المشكلة

تشكل تدفقات الأحداث متعددة المتغيرات ذات العينات غير المنتظمة (عمليات النقطة الزمنية، أو TPPs) تحديًا كبيرًا للنمذجة التوليدية. فخلافًا للسلاسل الزمنية منتظمة العينات، حيث تصل البيانات في فترات زمنية ثابتة، تتميز تدفقات الأحداث بوصولات غير متزامنة مع فترات زمنية بين الأحداث يمكن أن تتفاوت بعدة مراتب عشرية. تواجه النهج الحالية عقبتين رئيسيتين:

1. النماذج القائمة على التجزئة (Tokenization-based models) (مثل TimesFM وChronos): تفشل عندما تتباين الفترات بين الأحداث بشكل جذري، لأنها تعتمد على افتراضات ذات معدل ثابت.
2. عمليات النقطة الزمنية العصبية (Neural TPPs): غالبًا ما تعتمد على تقدير الاحتمالية القصوى الذي يتطلب التكامل العددي لدالة الكثافة $\lambda(t)$ عبر نافذة الملاحظة $[0, T]$. هذا "التكامل العددي على مستوى النافذة" يخلق عنق زجاجة حسابي يتناسب مع حجم النافذة ويتراكم الخطأ أثناء خطوات التدرج. علاوة على ذلك، فإن نماذج Neural TPP السابقة تُدرب عادةً لكل مجموعة بيانات على حدة، مما يفتقر إلى القدرة على التعميم عبر تدفقات الأحداث غير المتجانسة.

المنهجية: SurF (تدفق البقاء - Survival Flow)

يعيد SurF صياغة نظرية إعادة قياس الزمن (TRT) ليس مجرد أداة للتقييم، بل كتحويل متبادل (bijection) قابل للتعلم والتدفق بين تسلسلات الأحداث وضجيج أسي (exponential noise) مستقل ومتماثل التوزيع (i.i.d.) بمعدل وحدة واحد.

الرؤية النظرية الجوهرية

تنص نظرية TRT على أنه إذا كانت دالة الكثافة التراكمية $\Lambda^*(t) = \int_0^t \lambda^*(s|H_s) ds$ صحيحة، فإن الفترات الزمنية بين الأحداث المعاد قياسها $\Delta z_i = \Lambda^*(t_i) - \Lambda^*(t_{i-1})$ هي توزيعات $\text{Exp}(1)$ مستقلة ومتماثلة التوزيع.
يقدم SurF النظرية 2، التي تثبت أنه تحت شروط مخففة (كثافة مستمرة مع حد أدنى موجب تمامًا $\lambda_{min} > 0$)، فإن $\Lambda^*$ هي تحويل متبادل من فئة $C^1$ مع معكوس سلس. وهذا يسمح للنموذج بـ:

• الأمام (التدريب): رسم خرائط لأوقات الأحداث المرصودة إلى ضجيج $\text{Exp}(1)$.
• العكس (أخذ العينات): رسم خرائط لضجيج $\text{Exp}(1)$ مرة أخرى إلى أوقات الأحداث عن طريق عكس الكثافة التراكمية المتعلمة.

هذا التدفق ثنائي الاتجاه يلغي الحاجة إلى التكامل على مستوى النافذة. فبدلاً من نمذجة $\lambda$ ثم تكاملها، يقوم SurF بنمذجة الكثافة التراكمية $\Lambda_\theta$ مباشرة واستعادة الكثافة اللحظية $\lambda_\theta$ عبر التفاضل التلقائي (أو المشتقات ذات الصيغة المغلقة).

البنية والتمثيلات الوسيطة (Parameterizations)

يستخدم SurF مشفرًا يعتمد على المحولات (Transformer-based encoder) لمعالجة تاريخ الأحداث، لإنتاج متجه سياقي $h_{i-1}$. الابتكار الأساسي يكمن في ثلاثة تمثيلات وسيطة مختلفة للكثافة التراكمية $\Lambda_\theta(\Delta t | h)$، حيث يقدم كل منها مقايضات مختلفة بين القدرة التعبيرية والتكلفة الحسابية:

1. SurF-MoE (خليط الأسيات - Mixture of Exponentials):
   • ينمذج الكثافة كمجموع من الأسيات المتلاشية.
   • المزايا: احتمالية ذات صيغة مغلقة بالكامل؛ لا تتطلب تكاملًا عدديًا؛ الأسرع في التدريب.
   • العيوب: تقتصر على الكثافات المتناقصة رتيبًا بين الأحداث.
2. SurF-CSB (أساس Softplus التراكمي - Cumulative Softplus Basis):
   • يستخدم مجموعًا من بدائيات الـ softplus المزاحة.
   • المزايا: ذات صيغة مغلقة بالكامل؛ قادرة على نمذجة ملفات الكثافة غير الرتيبة (مثل الملفات ذات الشكل المنحني/الحدبي)؛ وهي مقرب شامل (universal approximator) للكثافات الموجبة.
   • العيوب: أكثر تعقيدًا قليلاً من MoE ولكنها لا تزال دقيقة تمامًا.
3. SurF-GLQ (تكامل غاوس-ليجندر التربيعي - Gauss-Legendre Quadrature):
   • يستخدم شبكة عصبية متعددة الطبقات (MLP) موجبة غير مقيدة للكثافة، مع تقريب $\Lambda_\theta$ عبر تكامل Gauss-Legendre ذي نقاط $Q$ ثابتة لكل فترة زمنية بين الأحداث (وليس عبر النافذة الكاملة).
   • المزايا: أعلى قدرة تعبيرية (كثافة غير مقيدة)؛ التكلفة الحسابية هي $O(NQ)$ حيث $Q$ ثابت (على سبيل المثال $Q=8$) ومستقل عن طول التسلسل $T$.
   • النتيجة الرئيسية: الخطأ التجريبي عند $Q=8$ يكون أقل من مستوى ضجيج التدرج، مما يعني أن خطأ التكامل التربيعي لا يؤثر على تدرجات التدريب.

التدريب وأخذ العينات

• دالة الخسارة: الهدف هو سالب لوغاريتم الاحتمالية الموزعة (amortized negative log-likelihood) المستمدة من صيغة تغيير المتغيرات:
  $$L_{SurF} = \sum_{i=1}^N \Lambda_\theta(\tau_i | h_{i-1}) + \Lambda_\theta(\Delta T | h_N) - \sum_{i=1}^N \log \lambda_\theta(\tau_i | h_{i-1})$$
  وهذا يتجنب تكلفة التكامل $O(T)$ الموجودة في الطرق السابقة.
• أخذ العينات: يتم توليد الأحداث عن طريق أخذ عينات $z \sim \text{Exp}(1)$ وحل المعادلة $\Lambda_\theta(\Delta t | h) = z$ بالنسبة لـ $\Delta t$ باستخدام طريقة نيوتن المحمية، والتي تتقارب عالميًا وبسرعة تربيعية.
• التدريب المسبق متعدد مجموعات البيانات: من خلال رسم خرائط لجميع مجموعات البيانات إلى نفس الهدف المعياري ($\text{Exp}(1)$)، يتيح SurF لمشفر مشترك ($\phi_\theta$) ورأس كثافة تراكمية ($\Lambda_\theta$) أن يتم تدريبهما معًا عبر مجموعات بيانات غير متجانسة. وهذا يسهل النقل الصفري (zero-shot transfer) إلى مجموعات بيانات غير مرئية.

المساهمات الرئيسية

1. اعتبار TRT كتدفق ثنائي الاتجاه: يصيغ البحث صراحةً TRT كتحويل متبادل قابل للتعلم، موفرًا الشروط النظرية (النظرية 2) للقابلية للعكس والنعومة، مما يسمح بحساب الاحتمالية الدقيق والتوليد.
2. التمثيلات الوسيطة الفعالة: تقديم ثلاثة تمثيلات رتيبة (MoE, CSB, GLQ) قابلة للتوسع مع التسلسلات الطويلة. ومن الجدير بالذكر أن SurF-GLQ يحقق تكلفة حسابية مستقلة عن $T$.
3. نموذج تأسيسي متعدد مجموعات البيانات: إثبات أن نموذجًا واحدًا تم تدريبه على عدة مجموعات بيانات غير متجانسة يمكنه تحقيق أداء يضاهي أو يتفوق على النماذج المتخصصة في اختبارات "التعلم من خارج المجموعة" (held-out datasets) دون أي ضبط دقيق، مما يمثل خطوة أولى نحو النماذج التأسيسية لتدفقات الأحداث غير المتزامنة.

النتائج التجريبية

تم تقييم SurF على ستة معايير واقعية: Taobao, Taxi, Retwee, StackOverflow, Amazon, و Earthquake.

• التنبؤ بالحدث التالي:
  • حقق SurF أفضل خطأ جذر متوسط المربعات (RMSE) مسجل في Earthquake و Retweet و Taobao.
  • في مجموعات البيانات الثلاث المتبقية، كان أداؤه ضمن "ضجيج المستوى التجريبي" مقارنة بأقوى النماذج المتخصصة.
  • تحت بروتوكول "ترك واحد خارج المجموعة" (leave-one-out zero-shot) الصارم (التدريب على 5 مجموعات واختبار النموذج على السادسة)، تفوق نموذج SurF على جميع النماذج المرجعية الكلاسيكية والعصبية ذاتية الانحدار في 5/6 من مجموعات البيانات (خسر فقط في StackOverflow). وقد تفوق على جميع النماذج المرجعية في Amazon و Earthquake دون أي تكيف خاص بالمجموعة.
• التنبؤ متعدد الآفاق الزمنية: أظهر SurF استقرارًا تحت فك التشفير ذاتي الانحدار المتكرر، حيث كان نمو الـ RMSE تحت خطي (sub-linear) وظلت دقة النوع مستقرة عبر 10 أحداث مستقبلية.
• المعايرة: كانت بقايا إعادة قياس الزمن معايرة جيدًا، حيث أشارت إحصائيات Kolmogorov-Smirnov إلى أن التوزيعات المتوقعة للنموذج تطابق بدقة هدف $\text{Exp}(1)$ النظري.
• الكفاءة: لا يتطلب SurF-MoE و SurF-CSB أي تكامل عددي أثناء التدريب. أما SurF-GLQ فيستخدم قاعدة تكلفة ثابتة لكل فترة. مقارنة بالنماذج المرجعية القائمة على التكامل التربيعي (مثل NJDTPP)، حقق SurF-MoE تسريعًا في التدريب بنحو $\sim9\times$ وتسريعًا في الاستدلال بنحو $\sim17\times$.

الأهمية والادعاءات

يضع البحث SurF كخطوة تأسيسية نحو النماذج التأسيسية لتدفقات الأحداث غير المتزامنة. وتكمن أهميته الأساسية في:

• توحيد التقييم والتوليد: من خلال معاملة TRT كتدفق توليدي، فإنه يوحد بين تقييم جودة المطابقة وآلية أخذ العينات.
• القابلية للتوسع: يزيل الحاجة إلى التكامل على مستوى النافذة، مما يسمح للنماذج بالتعامل مع التسلسلات الطويلة بكفاءة.
• التعميم: يقدم أول دليل تجريبي على أن الكثافة التراكمية المتعلمة يمكن أن تنتقل عبر النطاقات (zero-shot) من بيانات التواصل الاجتماعي إلى البيانات الزلزالية، مما يشير إلى أن فضاء $\text{Exp}(1)$ المعياري يلتقط الديناميكيات الزمنية العالمية بغض النظر عن مقياس أو تردد مجموعة البيانات المحددة.

يقر المؤلفون بوجود قيود، مثل الحاجة إلى حد كثافة موجب تمامًا (مما يسبب انحيازًا ضئيلاً للغاية)، ويحددون التوسع في الحجم كالمرحلة الرئيسية التالية.