ملخص تقني: CAST (النقل البسيط المرتبط سببيًا)

1. بيان المشكلة

تتناول الورقة البحثية التنبؤ بـ السلاسل الزمنية ذات القيم التوزيعية، حيث لا تكون الملاحظات مسارات عددية بسيطة، بل توزيعات احتمالية تتطور عبر الزمن. تعيش هذه التوزيعات على "المنبسط الاحتمالي" (probability simplex) $\Delta^{D-1}$ وتمثل حالات الأنظمة الكلية مثل إشغالات الطوابير، أو حصص التنقل، أو ملفات شدة جودة الهواء، أو التكوينات البيئية.

يتمثل التحدي الجوهري المحدد في تداخل نواة الانتقال الكامن (latent transition-kernel aliasing). ففي العديد من الأنظمة العشوائية، يمكن أن ينشأ نفس التوزيع الحالي الملحوظ $p_t$ من أنظمة كامنة مختلفة (على سبيل المثال: طابور يدخل في حالة ازدحام مقابل طابور يفرغ بعد حدوث طفرة) ذات خلفاء (successors) متباينة. المتنبئات التقليدية التي تعتمد فقط على ملخص ثابت للحالة الحالية (أو مدخلات الحالة الحالية فقط) تُجبر على حساب متوسط هذه الخلفاء غير المتوافقة، مما يؤدي إلى خطأ غير قابل للتقليل. علاوة على ذلك، تتعامل بنيات التعلم العميق القياسية (مثل Transformers وRNNs) مع هذه المدخلات كمتجهات غير مقيدة وتفرض صحة المنبسط فقط عبر دالة softmax نهائية، مما يفشل في نمذجة الهيكل السببي لمحلية الخلفاء، أو تمييز الأنظمة، أو حركة الكتلة المرتبة بشكل صريح.

2. المنهجية: نموذج CAST

يقترح المؤلفون CAST (النقل البسيط المرتبط سببيًا)، وهو عامل انتقال مهيكل مصمم خصيصًا للمنبسط. يعمل CAST كخط إنتاج سببي محلي للخلفاء يتكون من ثلاث مراحل متميزة، وجميعها تحافظ على المنبسط بالبناء:

1. استرجاع الخلفاء السببي (Causal Successor Retrieval):
   يقوم CAST بترميز التاريخ السببي $p_{1:t}$ إلى حالات خفية باستخدام Transformer يعتمد على فك الترميز فقط (decoder-only). ثم يسترجع الخلفاء التجريبيين $r_t$ من بنك ذاكرة صارم من أزواج (الحالة-الخلفاء) السابقة $(p_s, p_{s+1})$ حيث $s < t$. تسمح آلية الاسترجاع هذه للنموذج بتمييز الأنظمة: إذا ظهرت الحالة الحالية $p_t$ في سياقات مختلفة مع مستقبلات مختلفة، فإن آلية الاسترجاع تختار الخلفاء المتوافق مع السياق السببي الحالي.

2. مرساة الاستمرار-الخلفاء (Persistence–Successor Anchor):
   لتحقيق الاستقرار في الخلف المسترجع المشوش، يشكل CAST مرساة $a_t$ عن طريق الاستيفاء (interpolation) بين التوزيع الحالي $p_t$ والخلف المسترجع $r_t$:
   $$a_t = \lambda_t p_t + (1 - \lambda_t) r_t$$
   هنا، $\lambda_t$ هو بوابة استمرار قابلة للتعلم. تضمن هذه الخطوة بقاء التنبؤ قريبًا من الحالة الحالية إذا كان التاريخ المسترجع غير موثوق، مع الاستفادة من الانتقالات التاريخية عند الاقتضاء.

3. النقل المحلي المحدود (للدعامات المرتبة):
   بالنسبة للدعامات التي تمتلك ترتيبًا طبيعيًا (مثل أطوال الطوابير، أو مستويات جودة الهواء)، يطبق CAST عامل نقل عشوائي محلي محدود $T_t$ على المرساة. التنبؤ النهائي هو:
   $$\hat{p}_{t+1} = (1 - \rho_t) a_t + \rho_t T_t a_t$$
   حيث $\rho_t$ هي قوة نقل محدودة. يتم تقييد نواة النقل $T_t$ لتنقل الكتلة الاحتمالية محليًا (على سبيل المثال، إزاحات بنصف قطر 1) وتتضمن "ميزانية إزاحة المتوسط" لمنع الانجراف الجامح أثناء عمليات التمرير الذاتي (autoregressive rollouts). بالنسبة للدعامات غير المرتبة، يتم تعطيل هذه المرحلة ($\rho_t \equiv 0$).

التدريب: يتم تدريب النموذج باستخدام خسارة تباعد KL لخطوة واحدة بأسلوب "التدريس القسري" (teacher-forced). ومن المهم ملاحظة أنه لا يستخدم خسارة التمرير (rollout loss)، أو أهداف متعددة الآفاق، أو إشرافًا مثاليًا (oracle supervision). يتم إضافة مُسبق عامل (operator prior) $R_{op}$ خالٍ من الأهداف لمعاقبة النقل القوي، والكتل البعيدة عن الهوية، والنوى الخشنة، مما يضمن الاستقرار دون إشراف مباشر على الخطوات المستقبلية.

3. المساهمات النظرية

تقدم الورقة ثلاث نتائج نظرية رئيسية فيما يتعلق بحدود المتنبئات ذات الملخص الثابت وتعبيرية CAST:

• الحد الأدنى لتداخل الخصائص (المبرهنة 1): يثبت المؤلفون أنه في ظل وجود تداخل في نواة الانتقال الكامن (حيث تشترك أنظمة متعددة في نفس الملخص الملحوظ ولكن لها خلفاء مختلفون)، فإن أي متنبئ ذي ملخص ثابت سيتعرض لخطر زائد غير قابل للتقليل في تباعد جونسون-شانون (JS) الموزون. هذا الحد يكون موجبًا تمامًا ما لم تكن جميع الخلفاء الخاصة بالأنظمة متطابقة.
• التمثيل المثالي (المبرهمة 2): يوضحون أن فئة فرضية CAST تحتوي على الخلف البايزي المدرك للنظام. إذا استطاع التمثيل السببي تحديد النظام الكامن وكان الذاكرة يحتوي على المرساة المناسبة، يمكن لـ CAST نظريًا تحقيق صفر من الخزي الزائد.
• الفصل للدعامات المرتبة (المبرهنة 3): بالنسبة للدعامات المرتبة، يظهر المؤلفون أنه حتى الطريقة المثالية (oracle) المقيدة بفئة "مرساة عدم النقل" (التركيبات الخطية للحالات الحالية والمسترجعة) تعاني من خطر زائد في تباعد KL مشروط محكوم بحد أدنى من حد "بينسكير" (Pinsker separation) إذا كان الخلف الحقيقي يقع خارج حيز المرساة. يمكن لـ CAST، من خلال استخدام النقل المحلي المحدود، جسر هذه الفجوة.

4. النتائج التجريبية

قيم المؤلفون CAST عبر مجموعة من 11 اختبارًا مرجعيًا تشمل علم البيئة، الطاقة، النظام الغذائي، الوفيات، التوظيف، جودة الهواء، الطقس القاسي، التنقل، والطوابير (G/G/1 و Gt/G/1).

• الأداء: حقق CAST أفضل متوسط رتبة في كل من تباعد KL للخطوة الواحدة (1.27) و JSD للتمرير الذاتي (1.91) عبر جميع الاختبارات الـ 11.
• المقارنات: تفوق على مجموعة واسعة من النماذج المرجعية بما في ذلك الطرق الإحصائية (persistence, ETS, il or-VAR)، والنماذج التركيبية، وبنيات السلاسل الزمنية العميقة الحديثة (Transformers, iTransformer, N-HiTS, TimeMixer, إلخ). فاز CAST في 8 من أصل 11 قسمًا في كلا المقياسين، وكان في المرتبة الثانية في جميع الأقسام الـ 11 فيما يخص KL غير المتصل (offline KL).
• الدراسات الاستقصائية (Ablations): أدى إزالة مزيج الاستمرار إلى انخفاض كبير في الأداء (انخفضت انتصارات KL من 8/11 إلى 5/11)، بينما أدى إزالة التنظيم الهيكلي بشكل أساسي إلى تدهور استقرار التمرير طويل الأمد.
• التحقق الاصطناعي: أكدت تجربة اصطناعية مضبوطة نظرية التداخل. حيث انهارت المتنبئات ذات الملخص الثابت عند متوسط JS للخلفاء غير المتوافقة، بينما نجح CAST في استعادة الخلف الخاص بالنظام، مغلقًا فجوة الخطأ إلى ما يقرب من الصفر.
• التحليل النوعي: أظهرت التصورات لبيانات الطوابير أنه بينما أنتجت النماذج المرجعية نطاقات ثابتة أو توزيعات مشوهة، حافظ CAST على الأنماط المتحركة وشكل التوزيع، بما يتوافق مع آلية النقل المحلي المحدود لديه.

5. الأهمية والادعاءات

تدعي الورقة أن CAST يقدم بديلًا هيكليًا لنماذج (تسلسل-إلى-توزيع) العامة. تكمن أهميته في:

1. النمذجة الصريحة للهيكل السببي: من خلال استرجاع الخلف التجريبية وربطها بالمرساة، يعالج CAST مباشرة مشكلة التداخل حيث لا تكفي الحالات الحالية لتحديد المستقبلات.
2. تصميم أصيل للمنبسط: على عكس النماذج التي ترسم إلى لوجيت (logits) غير مقيدة ثم تعيد الإسقاط، يتم بناء عامل الانتقال في CAST ليبقى داخل المنبسط في كل مرحلة، مما يضمن توزيعات احتمالية صالحة دون تصحيح لاحق.
3. الاستقرار في التمرير (Rollout): يمنع الجمع بين مرساة الاستمرار والنقل المحلي المحدود تراكم الأخطاء أثناء التنبؤ بالتمرير الذاتي طويل الأمد، وهو نمط فشل شائع في نماذج السلاسل الزمنية العميقة.
4. تمييز الأنظمة: تشير النتائج إلى أنه بالنسبة للسلاسل الزمنية ذات القيم التوزيعية، فإن الاستفادة من التاريخ السببي لتمييز الأنظمة الكامنة أكثر أهمية من مجرد زيادة قدرة النموذج أو طول التسلسل.

يظل المؤلفون متواضعين بشأن النطاق، مشيرين إلى أن النظرية تقدم حجة وجود (existence argument) للمجال الذي يتفوق فيه CAST، بدلاً من ضمان تدريب في عينة محدودة. كما يقرون بأن النماذج الأخرى قد تظل منافسة في حالات الديناميكيات السلسة تمامًا على الدعامات غير المرتبة، وأن التنفيذ الحالي يعتمد على تدريب خطوة واحدة مع استخدام التمرير كبروتوكول تقييم بحت.