🤖 machine learning

Multivariate Time Series Forecasting needs Cross Variable Loss

تقترح هذه الورقة البحثية "خسارة المتغيرات المتقاطعة" (CvLoss)، وهي منظم بنيوي يعالج الفجوة في الأهداف في التنبؤ المباشر من خلال تقييد التبعيات بين المتغيرات المتقاطعة صراحةً في التنبؤات المستقبلية، مما يؤدي إلى تحسين أداء نماذج التنبؤ بالسلاسل الزمنية متعددة المتغيرات.

المؤلفون الأصليون: Kuiye Ding, Yifan Hu, Hanchen Wang, Hao Xue

نُشر 2026-08-07

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Kuiye Ding, Yifan Hu, Hanchen Wang, Hao Xue

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بحالة الطقس لمدينة بأكملة في الأسبوع المقبل. لديك بيانات من مئات المستشعرات: درجة الحرارة، والرطوبة، وسرعة الرياح، والضغط الجوي. إذا حاولت تخمين درجة الحرارة ليوم غد دون النظر إلى الرياح، أو تخمين الرياح دون التحقق من الرطوبة، فمن المرجح أن تخطئ. في العالم الحقيقي، لا تحدث هذه الأشياء في عزلة؛ إنها تتراقص معاً. عندما تشتد الرياح، تنخفض درجة الحرارة، وتتغير الرطوبة. هذا هو جوهر التنبؤ بالسلاسل الزمنية متعددة المتغيرات (Multivariate Time Series Forecasting): التنبؤ بمستقبل تتطور فيه متغيرات عديدة معاً، متأثرة بقواعد مشتركة وروابط خفية.

لسنوات، حاولت أذكى النماذج الحاسوبية حل هذه المشكلة عبر معاملة كل متغير كطالب منفصل في فصل دراسي. فهي تنظر إلى تاريخ درجة الحرارة، وتتنبأ بمستقبل درجة الحرارة، ثم تنظر إلى تاريخ الرياح، وتتنبأ بمستقبل الرياح، وكل ذلك دون أن يتحدث الطلاب مع بعضهم البعض. هذا النهج، المسمى التنبؤ المباشر (Direct Forecasting)، يشبه مطالبة كل طالب بكتابة مقال خاص به دون التحقق أبداً مما إذا كانت قصصهم تتناقض مع بعضها البعض. وبينما ينجح هذا النهج بشكل جيد في المهام البسيطة، إلا أنه غالباً ما يفشل عندما تكون المتغيرات مرتبطة بعمق، مثل إشارات المرور في مدينة مزدحمة أو أسعار الأسهم في سوق مالي. قد تصيب النماذج الأرقام الفردية "صح" في المتوسط، لكن الصورة الإجمالية التي ترسمها تكون فوضوية وغير ممكنة فيزيائياً.

هذه الورقة البحثية، بعنوان "التنبؤ بالسلاسل الزمنية متعددة المتغيرات يحتاج إلى فقدان عبر المتغيرات" (Multivariate Time Series Forecasting needs Cross Variable Loss)، تتناول هذه المشكلة تحديداً. يجادل المؤلفون، كويي دينغ وفريقه، بأن الطريقة الحالية التي تتعلم بها الحواسيب التنبؤ بالمستقبل تفتقد إلى قطعة حاسمة من اللغز: وهي العلاقة بين المتغيرات في المستقبل نفسه. لقد اقترحوا أداة جديدة تسمى CvLoss (فقدان عبر المتغيرات - Cross-Variable Loss) تجبر الحاسوب على احترام "القواعد الاجتماعية" للبيانات، مما يضمن أنه إذا قفز أحد المتغيرات، فإن المتغيرات الأخرى ستتفاعل بطريقة منطقية.

المشكلة: استراتيجية "الذئب المنفرد"

لفهم اكتشاف المؤلفين، دعونا ننظر إلى كيفية عمل النماذج الحالية. تخيل مجموعة من الأصدقاء يخططون لحفلة مفاجئة. الطريقة الحالية (التنبؤ المباشر) تشبه سؤال كل صديق لتخمين تفاصيل الحفلة بشكل مستقل. الصديق (أ) يخمن الوقت، والصديق (ب) يخمن الموقع، والصديق (ج) يخمن الطعام. قد يكونون جميعاً على حق بشكل فردي، ولكن إذا قال الصديق (أ) "الظهر" وقال الصديق (ب) "منتصف الليل"، فإن الخطة ستنهار.

في عالم البيانات، تتجاهل استراتيجية "الذئب المنفرد" هذه حقيقة أن المتغيرات غالباً ما تتطور معاً. في شبكة حركة المرور في مدينة ما، إذا هطلت عاصفة مطرية مفاجئة، فإن حركة المرور لا تتباطأ عند مستشعر واحد فحسب، بل تتباطأ في مئات المستشعرات في وقت واحد. إذا تنبأ النموذج بأن طريقاً ما مزدحم بينما الطريق الموازي فارغ، فقد انتهك الواقع الفيزيائي للنظام. يشير المؤلفون إلى أن طرق التدريب القياسية، التي تركز فقط على تقليل الخطأ في كل تنبؤ فردي (مثل التحقق مما إذا كانت درجة الحرارة المتوقعة تطابق درجة الحرارة الفعلية)، تفشل في رصد هذه الأخطاء الهيكلية. وقد أطلقوا على هذا التفاوت اسم "الفجوة الهدفية" (Objective Gap). الأمر يشبه تقييم طالب بناءً على إملائه فقط، مع تجاهل حقيقة أن قصته لا معنى لها منطقياً.

الحل: منظم "المحادثة الجماعية"

قدم المؤلفون CvLoss، وهي إضافة ذكية تعمل مثل معلم صارم أو مشرف لمحادثة جماعية للنموذج. بدلاً من مجرد التحقق مما إذا كانت الأرقام النهائية قريبة من الحقيقة، يتحقق CvLoss مما إذا كانت العلاقات بين الأرقوة صحيحة.

إليكم كيف يعمل ذلك، باستخدام تشبيه مرح:
تخيل أن النموذج عبارة عن فرقة موسيقية تعزف أغنية. الطريقة القياسية (MSE) تستمع إلى كل موسيقي بشكل فردي. إذا كان عازف الطبول خارج الإيقاع قليلاً، فإنها تعطيه عقوبة. لكنها لا تهتم إذا كان عازف الطبول يعزف إيقاع الجاز بينما يعزف عازف الجيتار موسيقى الروك الثقيلة. الأغنية ستبدو سيئة، حتى لو كانت النوتات الفردية "قريبة" مما هو مطلوب.

CvLoss هو المايسترو الذي يستمع إلى الفرقة بأكملها. إنه يتحقق من "الحواف" بين الموسيقيين. إذا سرع عازف الطبول، يجب أن يتسارع عازف الباص أيضاً. إذا أبطأ عازف الجيتار، يجب على المغني أن يعدل وتيرته. يقوم CvLoss بمعاقبة النموذج إذا لم يتطابق الفرق بين تنبؤات متغيرين مع الفرق بين سلوكياتهما السابقة الفعلية. إنه يجبر النموذج على تعلم أنه "إذا ارتفع المتغير (أ)، فإن المتغير (ب) عادة ما يرتفع (أو ينخفض) بطريقة محددة".

يصف المؤلفون هذا بأنه "منظم هيكلي" (Structural Regularizer). فكر في الأمر كرباط مطاطي يربط بين تنبؤات المتغيرات المختلفة. إذا حاول النموذج سحب أحد التنبؤات في اتجاه يكسر الاتصال مع جيرانه، فإن الرباط المطاطي يرتد، مما يصحح الخطأ. هذا يضمن أن توقع المستقبل يبدو كنظام متماسك ومتزامن بدلاً من كونه مجموعة من التخمينات العشوائية.

ماذا وجدوا: أداء جماعي أفضل

اختبر الفريق قاعدة "المحادثة الجماعية" الجديدة هذه على مجموعة متنوعة من مجموعات البيانات الواقعية، بما في ذلك استهلاك الكهرباء، وتدفق حركة المرور، وأنماط الطقس. قاموا بدمج CvLoss في العديد من أكثر نماذج التنبؤ تقدماً المتاحة اليوم.

كانت النتائج متسقة ومثيرة للإعجاب. من خلال إضافة هذه القاعدة الهيكلية الواحدة، أصبحت النماذج أفضل بكثير في التنبؤ بالمستقبل:

تعزيز الدقة: في مجموعات البيانات المعقدة مثل تدفق حركة المرور (التي تضم أكثر من 800 مستشعر)، انخفض الخطأ بنسبة تقارب 11% في بعض الحالات. وفي بيانات الكهرباء، كانت التحسينات كبيرة أيضاً.
إصلاح الهيكل: أظهر المؤلفون أنه بينما قد تتنبأ النماذج القديمة بالقدر الصحيح من حركة المرور، إلا أنها غالباً ما تخطئ في النمط. مع CvLoss، تعلمت النماذج التنبؤ بالزيادات والانخفاضات المتزامنة التي تحدث في الحياة الواقعية.
لا تكلفة إضافية: أحد أروع النتائج هو أن هذا "المايسترو" لا يبطئ الفرقة. يُستخدم CvLoss فقط أثناء عملية تعلم النموذج (التدريب). وبمجرد أن يصبح النموذج جاهزاً لإجراء التنبؤات في العالم الحقيقي، يتم إزالة الأربطة المطاطية، ويعمل النموذج بنفس السرعة كما كان سابقاً.

ما استبعدوه

الورقة البحثية واضحة جداً بشأن ما ليس عليه CvLoss. فهو ليس عصا سحرية تصلح البيانات السيئة، ولا يتطلب أن يكون النموذج بنية برمجية جديدة تماماً. يصرح المؤلفون صراحةً بأنك لست بحاجة إلى إعادة بناء "الدماغ الحاسوبي" بالكامل؛ بل تحتاج فقط إلى تغيير طريقة تعلمه. كما استبعدوا فكرة أننا بحاجة إلى معرفة الصيغة الرياضية المعقدة والدقيقة لكيفية اتصال كل متغير بكل متغير آخر مسبقاً. يعمل CvLoss حتى لو افترض النموذج فقط أن "كل شيء قد يكون متصلاً بكل شيء آخر"، تاركاً للبيانات مهمة تعليم الاتصالات المحددة.

الخلاصة

تشير هذه الورقة إلى أن مستقبل التنبؤ بالأنظمة المعقدة يكمن في تعليم الحواسيب الاهتمام بالعلاقات، وليس فقط بالأرقام. من خلال إضافة "فقدان عبر المتغيرات" بسيط، يمكننا منع النماذج من تقديم تنبؤات مستحيلة فيزيائياً ومساعدتها على فهم الرقصة المتزامنة للعالم الحقيقي. إنه تذكير بأنه في عالم مترابط، لا يمكنك التنبؤ بمستقبل شيء واحد دون فهم كيف يتحرك مع كل شيء آخر. يظهر المؤلفون أنه مع القليل من التوجيه الهيكلي، يمكن حتى لأفضل النماذج الموجودة أن تتعلم عزف الأغنية بشكل أفضل بكثير.

ملخص تقني: خسارة عبر المتغيرات (Cross-Variable Loss) للتنبؤ بالسلاسل الزمنية متعددة المتغيرات

1. تعريف المشكلة والدوافع

يهدف التنبؤ بالسلاسل الزمنية متعددة المتغيرات (MTSF) إلى التنبؤ بالقيم المستقبلية لمتغيرات متعددة مترابطة فيما بينها. وبينما ركزت التطورات الأخيرة بشكل كبير على نمذجة الاعتمادات الجانبية للمدخلات (استخراج التمثيلات من الميزات التاريخية)، تجادل هذه الورقة بأن الاعتمادات الجانبية للمخرجات — أي الارتباطات الجوهرية بين التنبؤات المستقبلية — قد تم تجاهلها إلى حد كبير.

تتبع معظم النهج السائدة حالياً نموذج التنبؤ المباشر (Direct Forecasting - DF). في هذا النموذج، يتعلم النموذج رسم خرائط $f_\theta: \mathbb{R}^{H \times D} \to \mathbb{R}^{T \times D}$ لتوليد تنبؤات لـ $T$ خطوة زمنية لـ $D$ من المتغيرات في آن واحد. ومع ذلك، يعتمد تدريب الـ DF القياسي بشكل أساسي على دوال خسارة نقطية (مثل متوسط مربع الخطأ، MSE) التي تعامل كل مدخل في كل خطوة زمنية ومتغير كأنه تنبؤ قياسي مستقل.

وقد حدد المؤلفون قصوراً حرجاً في هذا النهج:

عدم التطابق الفيزيائي: تظهر الأنظمة متعددة المتغيرات في العالم الحقيقي (مثل الأسواق المالية أو شبكات المرور) ديناميكيات نظام مشتركة حيث تتطور المتغيرات معاً. إن فصل التنبؤات المستقبلية بشكل أعمى ينتهك هذه القوانين الفيزيائية، مما قد يؤدي إلى تنبؤات دقيقة عددياً من الناحية النقطية ولكنها متناقضة هيكلياً (على سبيل المثال، انتهاك قواعد السوق أو القيود الفيزيائية).
فجوة الهدف: من منظور احتمالي، يفترض تحسين MSE النقطي القياسي أن بقايا التنبؤ (residuals) تتبع توزيعاً غاوسياً متماثلاً ومستقلاً تماماً (مصفوفة تغاير قطرية). ومع ذلك، نظراً للاعتمادات المتبادلة بين المتغيرات والاعتمادات المتأخرة (lagged dependencies)، فإن مصفوفة التغاير الزمكاني الحقيقية للبقايا تحتوي على عناصر غير صفرية خارج القطر. وهذا يخلق "فجوة هدف" ( $\Delta \neq 0$ ) بين الخسارة القياسية والتوزيع المشترك الحقيقي للبيانات. وبالتالي، فإن تقليل MSE النقطي يفشل في التقاط الطوبولوجيا الهندسية المشتركة للبيانات الأصلية.

2. المنهجية: خسارة عبر المتغيرات (CvLoss)

لمعالجة فجوة الهدف، يقترح المؤلفون خسارة عبر المتغيرات (CvLoss)، وهي منظم هيكلي (structural regularizer) يُضاف للنموذج لضبط اتساق بقايا التنبؤ عبر المتغيرات بشكل صريح.

2.1 الأساس النظري

صاغ المؤلفون المشكلة باستخدام منظور مهيكل بيانياً (graph-structured). قاموا بتعريف متجه خطأ التنبؤ $e$ وافترضوا أن البقايا الحقيقية تتبع توزيع غاوسي بـ مصفوفة دقة (precision matrix) مهيكلة $\Sigma_{ST}^{-1}$ تحتوي على عناصر غير صفرية خارج القطر.

تثبت الفرضية 3.2 أن تقليل السلب اللوغاريتمي للاحتمالية (negative log-likelihood) لتوزيع غاوسي ذي مصفوفة دقة مهيكلة يكافئ تقليل MSE القياسي بالإضافة إلى عقوبة التباين الكلي (Total Variation - TV) المربعة عبر رسم بياني عبر المتغيرات.
بينما تقترح النظرية استخدام عقوبة $\ell_2$ (مربعة)، اختار المؤلفون تجريبياً استخدام معيار $\ell_1$ لعنصر العقوبة. ويعود هذا الاختيار إلى الحاجة لأن يكون النموذج أقل حساسية للشذوذ الموضعي أو الصدمات الخاصة بمتغير معين والتي قد تهيمن على العقوبة المربعة، مع الاستمرار في تعزيز الاتساق على مستوى الرسم البياني.

2.2 صياغة الخسارة

تعمل CvLoss على عقد الرقع (patch nodes). يتم تقسيم أفق التنبؤ $T$ إلى $P$ من الرقع غير المتداخلة بطول $L$ . تمثل كل عقدة $v$ رقعة لمتغير محدد.

بناء الرسم البياني: يتم بناء رسم بياني عبر المتغيرات حيث تربط الحواف المتغيرات. حدد المؤلفون ثلاثة أنواع من الحواف:
1. حواف متزامنة (Synchronous edges): تربط المتغيرات عند نفس الخطوة الزمنية (تلتقط التفاعلات الآنية).
2. حواف غير متزامنة (Asynchronous edges): تربط المتغيرات عبر خطوات زمنية مختلفة (تلتقط الانتشار المتأخر).
3. حواف كاملة الاتصال (Fully connected edges): الإعداد الافتراضي، والذي يتضمن التفاعلات المتزامنة وغير المتزامنة لزيادة التغطية دون الحاجة لمعلومات مسبقة عن المجال.
حساب الخسارة: لكل حافة $(i, j)$ في الرسم البياني، تعاقب الخسارة التفاوت بين الاختلافات الهيكلية للتنبؤات والحقيقة الأرضية (ground truth).
$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| (\hat{z}_i - \hat{z}_j) - (z_i - z_j) \|_1$
باستخدام بقايا العقد $e_i = \hat{z}_i - z_i$ ، يتبسط هذا إلى إجمالي التباين للبقايا عبر الرسم البياني:
$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| e_i - e_j \|_1 = \frac{1}{|E| \times L} \| \tilde{A} \text{vec}(E) \|_1$
حيث $\tilde{A}$ هي مصفوفة الحوادث (incidence matrix) المرفوعة للرسم البياني.

2.3 هدف التدريب

يجمع هدف التدريب النهائي بين خسارة الـ DF النقطية القياسية ( $L_{df}$ ) والمنظم الهيكلي ( $L_{cv}$ ):
$L_\alpha = (1 - \alpha) \cdot L_{df} + \alpha \cdot L_{cv}$
حيث $\alpha \in (0, 1)$ هو معلم فائق (hyperparameter) ثابت يتم ضبطه في مجموعة التحقق. ومن الأهمية بمكان أن CvLoss مستقلة عن النموذج (model-agnostic) وقابلة للتركيب المباشر (plug-and-play)، حيث تتكامل بسلاسة مع مختلف الهياكل الأساسية (مثل Transformers وMLPs وغيرها) دون تغيير إجراء الاستدلال.

3. المساهمات الرئيسية

تحديد فجوة الهدف: توضح الورقة أن أهداف التعلم النقطية القياسية تتجاهل اعتمادات الخطأ المتأصلة بين القنوات في التنبؤات المستقبلية، مما يخلق عدم تطابق نظري مع الارتباطات الزمكانية في العالم الحقيقي.
اقتراح CvLoss: منظم هيكلي جديد يفرض صراحةً قيود العلاقات بين القنوات عبر صياغة اتساق البقايا على رسم بياني عبر المتغيرات. وهو يشجع الاتساق في كل من التفاعلات المتزامنة وغير المتزامنة.
التحقق التجريبي: تظهر التجارب المكثفة أن CvLoss تحسن باستمرار النماذج الرائدة (SOTA) عبر مجموعات بيانات متنوعة (ETT, ECL, Traffic, Weather, PEMS) وهياكل مختلفة (iTransformer, TimeFilter, TQNet, إلخ)، محققة أداءً تنبؤياً فائقاً بأقل تكلفة حسابية.

4. النتائج التجريبية

قيم المؤلفون CvLoss على 12 معياراً قياسياً باستخدام هياكل أساسية متنوعة. وتتضمن النتائج الرئيسية ما يلي:

مكاسب الأداء: أدى إضافة CvLoss باستمرار إلى تقليل أخطاء التنبؤ (MSE وMAE). على سبيل المثال، في مجموعة بيانات Traffic، انخفض MAE بمقدار 0.014. وعبر 114 مقارنة محكومة بالهياكل الأساسية، حسنت CvLoss النتائج في 111 حالة، وتعادلت في حالتين، وخسرت في حالة واحدة، بمتوسط خفض نسبي للخطأ قدره 3.39% في MSE و 3.61% في MAE.
استعادة الهيكل: تظهر عمليات التصور لمصفوفات الارتباط عبر المتغيرات أن النماذج المدربة باستخدام CvLoss تستعيد بنية الارتباط الحقيقية بشكل أفضل بكثير من النماذج المرجعية. في مجموعة بيانات ECL، حسنت CvLoss الخطأ الهيكلي لـ 84.83% من مدخلات المتغيرات مقارنة بنموذج iTransformer الأساسي.
المقارنة مع أهداف أخرى: تفوقت CvLoss على 11 هدف تعلم آخر، بما في ذلك خسائر محاذاة الشكل (Soft-DTW)، وتعظيم الاحتمالية (QDF, Time-o1)، وطرق موازنة التوزيع.
دراسات الاستئصال (Ablation Studies):
- الطوبولوجيا: حقق الرسم البياني كامل الاتصال (الذي يجمع بين الحواف المتزامنة وغير المتزامنة) أفضل أداء، مما يؤكد ضرورة نمذجة كلا النوعين من التفاعلات.
- المعلمات الفائقة: تتميز الطريقة بالمتانة تجاه اختيار $\alpha$ ، حيث يوجد الأداء الأمثل عادةً حول $\alpha \approx 0.5$ . كما أنها متينة تجاه تغيرات طول الرقعة (patch length).
الكفاءة:
- الاستدلال: تفرض CvLoss صفراً من التكاليف الإضافية أثناء الاستدلال حيث يتم إزالتها من الرسم البيابي الحسابي بعد التدريب.
- التدريب: على الرغم من أن الرسم البياني الكامل يقدم تعقيداً تربيعياً $O(P^2D^2)$ ، إلا أن المؤلفين أثبتوا أن أخذ عينات الحواف العشوائية (حصر الحواف في 1000 لكل دفعة) يقلل وقت التدريب بفعالية إلى مستوى ثابت دون التضحية بدقة التنبؤ.

5. الأهمية والقيود

الأهمية:
تجادل الورقة بأن نمذجة الهندسة الهيكلية للمتغيرات المستقبلية هي اتجاه بسيط وفعال لتحسين MTSF. من خلال نقل التركيز من الاعتمادات الجانبية للمدخلات فقط إلى الاتساق الهيكلي للمخرجات، تسد CvLoss الفجوة بين الافتراضات الرياضية لدوال الخسارة القياسية والواقع الفيزيائي للأنظمة المتطورة معاً. إنها تقدم آلية عالمية وخفيفة الوزن لتعزيز نماذج التنبؤ الحالية دون الحاجة لتغييرات في البنية المعمارية.

القيود:

بناء الرسم البياني: يستخدم النهج الافتراضي رسماً بيانياً كامل الاتصال، والذي قد يتضمن تفاعلات غير مفيدة في الأنظمة ذات الأبعاد العالية جداً. وبينما تعالج العينات العشوائية مسألة القابلية للتوسع، فإن تعلم هياكل رسوم بيانية تكيفية يظل توجهاً مستقبلياً.
النطاق: يركز العمل على التنبؤ الحتمي على مجموعات بيانات معيارية منتظمة. ولم يتم التطرق إلى التنبؤ الاحتمالي، أو أخذ العينات غير المنتظمة، أو سيناريوهات القيم المفقودة.
النظري مقابل التجريبي: يقر المؤلفون أنه بينما تدعم الاشتقاقات النظرية (الفرضية 3.2) استخدام عقوبة $\ell_2$ (مربعة)، فإن الطريقة المستخدمة فعلياً هي معيار $\ell_1$ بناءً على الأدلة التجريبية. النظرية تحفز الحاجة إلى قيد مدرك للعلاقات، لكنها لا تشتق بدقة شكل $\ell_1$ المستخدم.

في الختام، توفر CvLoss طريقة منهجية لتنظيم التنبؤات متعددة المتغيرات، مما يضمن تطور المتغيرات المستقبلية المتنبأ بها بطريقة تتفق مع تبعاتها الفيزيائية والإحصائية الجوهرية.