PatchMamS2S: A Mamba-based Multivariate Time Series Forecasting Model in Power Domain with Patch Mining via Prior-based Weight Fusion
تقترح هذه الورقة البحثية نموذج PatchMamS2S، وهو نموذج خفيف الوزن يعتمد على بنية Mamba-2 للتنبؤ بالسلاسل الزمنية متعددة المتغيرات والمصمم خصيصاً لمجال الطاقة، والذي يجمع بين تنقيب الرقع (patch mining)، ودمج الأوزان الموجه بالمعرفة الفيزيائية المسبقة، وبنية تسلسل-إلى-تسلسل (Seq2Seq) فعالة للتغلب على المقايضات بين الدقة والموارد في النماذج العامة الحالية.
تخيل أنك تحاول التنبؤ بالمستقبل، ولكن بدلاً من تخمين حالة الطقس أو سوق الأسهم، أنت تحاول تخمين كمية الكهرباء التي ستحتاجها مدينة بأكملها في الأسبوع القادم. هذا هو عالم التنبؤ بالسلاسل الزمنية متعددة المتغيرات (Multivariate Time Series Forecasting). فكر في الأمر كأنك تستمع إلى أوركسترا فوضوية حيث تعزف كل آلة (درجة الحرارة، الطاقة الشمسية، جداول المصانع، والعادات البشرية) لحناً مختلفاً، وعليك أنت أن تتنبأ بالنوتة التالية لهذه السيمفونية بأكملها. لفترة طويلة، حاول العلماء بناء نموذج "دماغ خارق" واحد يمكنه الاستماع إلى أي أوركسترا، في أي مكان، مهما بلغت درجة تعقيدها. ولكن هنا تكمن المشكلة: هذه الأدمغة الخارقة غالباً ما تكون ثقيلة جداً وتستهلك طاقة حاسوبية هائلة لدرجة أنها لا تستطيع العمل على الحواسيب الصغيرة والرخيصة الموجودة داخل شبكات الطاقة في العالم الحقيقي. الأمر يشبه محاولة تشغيل فيلم سينمائي ضخم من إنتاج هوليوود على آلة حاسبة لعبة.
هنا يظهر Mamba، وهو نوع جديد من بنية الذكاء الاصطناعي يشبه عداءً فائق الكفاءة وخفيف الوزن. على عكس النماذج القديمة الثقيلة التي تصبح أبطأ فأبطأ كلما طالت الأغنية، يظل Mamba سريعاً ورشيقاً، بغض النظر عن كمية البيانات التي يعالجها. ومع ذلك، حتى هذا العداء خفيف الوزن لديه بعض الأعباء: فهو أحياناً يراكم الكثير من الطبقات (مما يجعله ثقيلاً مرة أخرى) ويجد صعوبة في فهم كيفية تأثير الآلات المختلفة في الأوركسترا على بعضها البعض. السؤال الكبير هو: هل يمكننا بناء نموذج يكون خفيفاً بما يكفي ليعمل على حاسوب شبكة طاقة صغير، وذكياً بما يكفي لفهم الإيقاع الخاص بالكهرباء، ودقيقاً بما يكفي لإبقاء الأضواء مشتعلة؟
تقدم هذه الورقة البحثية PatchMamS2S، وهو حل جديد وذكي مصمم خصيصاً لصناعة الطاقة. يرى الباحثون أن السعي وراء نموذج "عالمي" لكل شيء هو فخ نوعاً ما؛ وبدلاً من ذلك، نحن بحاجة إلى أداة مصممة خصيصاً للفيزياء الفريدة للكهرباء. لقد بنوا نظاماً يعامل بيانات الكهرباء مثل "لحاف مرقع". فبدلاً من النظر إلى تاريخ استهلاك الطاقة بالكامل دفعة واحدة، يقومون بتقسيمه إلى "رقع" (patches) صغيرة يمكن إدارتها وبأحجام مختلفة. بعض هذه الرقع صغيرة، تلتقط التقلبات السريعة والمضطربة (مثل الارتفاع المفاجئ عند تشغيل مصنع)، بينما تلتقط رقع أخرى كبيرة الاتجاهات البطيئة والناعمة (مثل الدورة اليومية لاستيقاظ الناس وذهابهم للنوم).
تحدث المعجزة عندما يتم دمج هذه الرقع معاً مرة أخرى. فبدلاً من ترك الكمبيوتر يخمن كيفية مزجها، يستخدم الباحثون "المقدمات الفيزيائية" (physical priors)؛ أي أنهم يخبرون النموذج: "مهلاً، نحن نعلم أن الرقع الصغيرة رائعة للتفاصيل، والرقع الكبيرة رائعة للصورة الكبيرة". إنهم يخصصون أوزانًا محددة لهذه الرقع بناءً على هذا المنطق الواقعي، ويدمجونها في صورة واضحة للمستقبل. ثم يتم تغذية هذه الصورة في محرك انسيابي يسمى MamS2S، وهو نسخة مخصصة من Mamba لا تهدر الطاقة عبر تكديس طبقات غير ضرورية.
النتائج مبهرة. فعند اختباره على خمس مجموعات بيانات للطاقة (بما في ذلك أسعار الكهرباء الحقيقية ودرجات حرارة المحولات) وحتى بعض البيانات غير المتعلقة بالطاقة مثل الطقس والتمويل، لم يكتفِ PatchMamS2S بمجرد مواكبة النماذج الموجودة، بل تفوق عليها في كثير من الأحيان. لقد تمكن من أن يكون أكثر دقة بشكل ملحوظ من منافسيه مع استخدام جزء ضئيل من الذاكرة. في الواقع، مقارنة بنموذج آخر ثقيل يعتمد على Mamba، استخدم هذا التصميم الجديد ذاكرة أقل بـ 8 مرات وتدرب بسرعة أكبر بـ 20 مرة. يشير المؤلفون إلى أن هذا يثبت أنك لست بحاجة إلى حاسوب خارق ضخم ومكلف للتنبؤ بأحمال الطاقة؛ فمع استراتيجية "الرقع" الصحيحة والقليل من التوجيه القائم على الفيزياء، يمكنك بناء نموذج يكون عبقرياً وبطلاً خفيف الوزن في آن واحد، جاهزاً للعمل على الأجهزة الصغيرة التي تتحكم فعلياً في شبكات الطاقة لدينا.
ملخص تقني لنموذج PatchMamS2S
بيان المشكلة تواجه التنبؤات بالسلاسل الزمنية متعددة المتغيرات (MTSF) في قطاع الطاقة معضلة حرجة: تعاني البنى التحتية "العالمية" الحالية من صعوبة في الموازنة بين دقة التنبؤ والقيود الحسابية الصارمة لأجهزة الشبكة الكهربائية الطرفية. فالنماذج القائمة على المحولات (Transformers)، رغم قوتها، تترتب عليها تعقيدات حسابية تربيعية واستهلاك مفرط للذاكرة، مما يجعلها غير مناسبة للنشر عند الحافة (edge deployment). وفي المقابل، تفتقر النماذج الخطية البسيطة إلى القدرة على التقاط الخصائص الفيزيائية المعقدة وغير الخطية للأحمال الكهربائية. علاوة على ذلك، تعاني نماذج فضاء الحالة (SSMs) الحالية، وخاصة الأطر القائمة على Mamba، غالباً من فائض هيكلي بسبب التراكم العميق الأعمى، وتفشل في استخراج علاقات الارتباط متعددة المتغيرات بشكل كافٍ بعدد قليل من المعلمات. وتجادل الورقة بأن السعي وراء "بنية عالمية واحدة" لجميع المجالات هو مفهوم خاطئ، مما يستلزم حلاً مصمماً خصيصاً لقطاع الطاقة يحترم المنطق التشغيلي الفيزيائي والاستجابة في الوقت الفعلي.
المنهجية يقترح المؤلفون PatchMamS2S، وهو نموذج تنبؤ خفيف الوزن قائم على Mamba ومصمم خصيصاً لبيانات الأحمال الكهربائية. تدمج البنية ثلاثة مكونات أساسية:
تضمين الرقع متعدد المقاييس (PatchEmb): بدلاً من استخدام الرقع أحادية المقياس، يستخدم النموذج آلية دمج الرقع متعددة المقاييس. يقوم النموذج بتقسيم السلسلة الزمنية المدخلة إلى رقع بأطوال متفاوتة (P=[p1,p2,…,pM]) باستخدام نوافذ منزلقة. يتيح ذلك للنموذج التقاط التقلبات قصيرة المدى المجهرية والاتجاهات طويلة المدى الكلية في آن واحد، مما يغطي بفعالية الميزات متعددة المقاييس دون العبء الحسابي العالي لآليات الانتباه العالمية.
دمج الأوزان القائم على الأولويات (Prior-Based Weight Fusion): يتبع النموذج استراتيجية تفكيك الموسمية والاتجاه، متبوعة بآلية دمج قائمة على الفيزياء. يقوم بتفكيك تضمينات الرقع متعددة المقاييس إلى مكونات موسمية واتجاهية. ومن الأهمية بمكان أنه يستخدم أوزانًا ثابتة قائمة على الأولويات لدمج هذه المكونات بدلاً من تعلمها بشكل أعمى.
الدمج الموسمي: يخصص أوزانًا أعلى للرقع صغيرة المقياس (ذات مجال رؤية ضيق) والتي تعد أفضل في التقاط التقلبات عالية التردد والموضعية.
دمج الاتجاه: يخصص أوزانًا أعلى للرقع كبيرة المقياس (ذات مجال رؤية واسع) والتي تتميز بشكل أفضل بالاتجاهات العالمية السلسة. تضفي هذه المنهجية قابلية التفسير الفيزيائي على النموذج، مما يضمن أن إعادة بناء الميزات تتوافق مع "تقسيم العمل" الطبيعي لمختلف المقاييس الزمنية.
بنية MamS2S (بنية تسلسل-إلى-تسلسل خفيفة الوزن): بناءً على Mamba-2، صاغ المؤلفون بنية مخصصة من نوع تسلسل-إلى-تسلسل (Seq2Seq) تسمى MamS2S. ولمعالجة عدم التوافق بين تطور فضاء الحالة المستمر في Mamba ومتطلبات الـ Seq2Seq التقليدية (التي تعتمد على حالات مخفية صريحة)، قام المؤلفون بتعديل وحدة Mamba لاستخراج الحالة المخفية النهائية للمشفر بشكل صريح. بالإضافة إلى ذلك، قاموا بإزالة عملية الالتفاف أحادية الأبعاد التي تسبق وحدة SSM. يضمن هذا التبسيط الهيكلي السببية التسلسلية الصارمة (منع تسرب المعلومات المستقبلية) ويقلل التعقيد، مما يسمح بنمذجة الاعتماد بكفاءة عند مستوى تعقيد خطي O(L).
المساهمات الرئيسية
تمثيل الرقع المصمم خصيصاً: استراتيجية رقع متعددة المقاييس تلتقط بدقة الأنماط الدورية الفريدة للأحمال الكهربائية مع الموازنة بين الكفاءة والقدرة التمثيلية.
الدمج القائم على الفيزياء: الخروج عن الدمج الآلي "للصندوق الأسود"، باستخدام أوزان أولية ثابتة لإعادة بناء الميزات الموسمية والاتجاهية، مما يعزز الأداء التنبئي وقابلية التفسير الفيزيائي.
بنية MamS2S خفيفة الوزن: تصميم مبتدئ من نوع Seq2S يعتمد على Mamba-2 يتجنب التراكم العميق الأعمى الشائع في أبحاث SSM الحالية. يحقق النموذج نمذجة اعتماد فعالة بتعقيد خطي، مما يخفض حواجز النشر على الأجهزة بشكل كبير ويمكّن التدريب على وحدات معالجة رسومية ذات قدرة حسابية منخفضة (مثل NVIDIA 3050).
النتائج التجريبية تم تقييم النموذج على خمس مجموعات بيانات من مجال الطاقة (بما في ذلك ETTh1/2 و ETTm1/2 و SXEP) وثلاث مجموعات بيانات غير كهربائية (الطقس، العملات، الطاقة الشمسية).
الأداء في مجال الطاقة: حقق PatchMamS2S أداءً فائقاً بشكل عام مقارنة بالنماذج المرجعية الحديثة (بما في ذلك iTransformer و PatchTST و Crossmamba و S-Mamba). في مجموعة بيانات ETTh1، قلل النموذج من MSE و MAE بنسبة 4.86% و 3.35% على التوالي مقارنة بأفضل نموذج ثانٍ. كما أظهر قدرة قوية على التعميم حتى في سيناريوهات العينات الصغيرة (مجموعة بيانات SXEP).
الكفاءة: تفوق النموذج بشكل كبير على النماذج الأخرى القائمة على Mamba من حيث الكفاءة. مقارنة بـ Crossmamba، قلل PatchMamS2S من استخدام ذاكرة وحدة معالجة الرسومات بمقدار 8 مرات وقلص وقت التدريب لكل حقبة (epoch) بأكثر من 200 ثانية. حقق عدد معلمات بلغ 4.5 مليون، وهو منافس لنماذج Transformer ولكن بكفاءة متفوقة.
التعميم: على الرغم من تصميمه لأنظمة الطاقة، حقق النموذج أداءً رائداً (SOTA) في 4 من أصل 24 حالة عبر مجالات غير كهربائية، مما يدل على قدرات قوية للتعميم عبر المجالات.
الأهمية والادعاءات تدعي الورقة أن PatchMamS2S نجح في كسر عقبة التطبيق للنماذج عالية التعقيد على الأجهزة الطرفية للشبكة الكهربائية. ومن خلال تجنب التراكم الزائد لوحدات Mamba ودمج الأولويات الفيزيائية، يقدم النموذج حلاً منخفض التكلفة وعالي الأداء يوازن بين الدقة والكفاءة الحسابية. ويرى المؤلفون أن هذا العمل يوفر أساساً نظرياً وعملياً لنشر نماذج التعلم العميق المعقدة في السيناريوهات الصناعية حيث تكون الموارد محدودة. ويخلصون إلى أنه بينما يتجه المجال نحو النماذج التأسيسية واسعة النطاق، فإن دمج هذه النماذج مع القيود الفيزيائية الخاصة بالمجال يظل تحدياً رئيسياً، ويمثل PatchMamS2S خطوة نحو التنبؤ الفعال والمصمم خصيصاً للمجالات.