Ensemble Score Filtering for Real-Data Energy Consumption Forecast Correction
تقترح هذه الورقة استخدام مرشح درجة التجميع (EnSF) لتصحيح التنبؤات الصادرة عن نموذج مكاني زماني معقد ومُدرب مسبقاً لبيانات استهلاك الطاقة في العالم الحقيقي، مما يثبت أن مرشح (EnSF) يتعامل بفعالية مع الملاحظات الجزئية والمشوشة ويتفوق على مرشح كالمان التجميعي في الحالات غير الخطية.
تخيل أنك تحاول تخمين كمية الكهرباء التي ستستخدمها مدينة كاملة في كل ساعة. هذا أمر بالغ الأهمية لشركات الطاقة حتى لا ينفد منها التيار أو تهدر المال في توليد طاقة زائدة عن الحاجة.
المشكلة هي أن بيانات العالم الحقيقي فوضوية. أحياناً تكون القياسات مفقودة، وأحياناً تكون مشوشة (مثل راديو به تشويش)، وأحياناً تصل متأخرة. لهذا السبب، مجرد التخمين بناءً على الأنماط الماضية ليس كافياً.
الحل المكون من خطوتين
يقترح مؤلفو هذه الورقة البحثية فريقاً من خطوتين لحل هذه المشكلة:
"المُخمّن الخارق" (النموذج المدرب مسبقاً): أولاً، يستخدمون برنامج حاسوب ذكي جداً ("نموذج لغوي مكاني-زماني كبير") درس بالفعل سنوات من بيانات الكهرباء. فكر في هذا النموذج كأنه متنبئ جوي ذو خبرة فائقة. إذا سألته: "كيف سيكون الطقس غداً بناءً على طقس اليوم؟" سيعطيك إجابة رائعة.
ومع ذلك، إذا سألته التنبؤ بالطقس لـ 30 يوماً القادمة دون التحقق من السماء الفعلية، سيبدأ في الانحراف عن الواقع. قد يتنبأ بيوم مشمس بينما يكون الجو ممططراً في الواقع، لأنه مجرد تخمين يعتمد على ذاكرته وليس على الواقع. في الورقة البحثية، يسمون هذا "الانتشار في الحلقة المفتوحة" (open-loop propagation)، ويظهرون أنه يصبح غير موثوق بسرعة.
"فحص الواقع" (استيعاب البيانات): لإصلاح انحراف تنبؤات "المُخمّن الخارق"، أضافوا خطوة ثانية: استيعاب البيانات (Data Assimilation). هذا يشبه وجود راصد على الأرض يتصل لتقديم تحديثات في الوقت الفعلي.
يقوم "المُخمّن الخارق" بوضع تنبؤ.
يقول "الراصد": "مهلاً، أنا لا أرى سوى 25% من المدينة، والجو غائم هنا بالفعل".
يقوم النظام بدمج "التخمين" مع "تقرير الراصد" لتصحيح التوقعات.
الأداة الجديدة: مرشح درجة المجموعة (EnSF)
تقدم الورقة طريقة جديدة محددة للقيام بـ "فحص الواقع" هذا تسمى مرشح درجة المجموعة (Ensemble Score Filter - EnSF).
لفهم سبب تميز هذه الطريقة، تخيل أنك تحاول العثين على متنزّه مفقود في غابة كثيفة (الاستخدام الحقيقي للكهرباء).
الطريقة القديمة (EnKF): الطريقة التقليدية (مرشح كالمان للمجموعات - Ensemble Kalman Filter) تفترض أن المتنزّه من المرجح أن يكون في دائرة بسيطة ومستديرة حول آخر مكان معروف له. الأمر يشبه رسم دائرة مثالية على الخريطة والقول: "إنه موجود في مكان ما هنا". هذه الطريقة تعمل جيداً إذا كانت التضاريس مسطحة ومفتوحة، ولكن إذا كانت التضاريس وعرة ومعقدة (غير خطية)، فإن الدائرة البسيطة ستكون تخميناً سيئاً.
الطريقة الجديدة (EnSF): إن EnSF أكثر ذكاءً. فبدلاً من رسم دائرة بسيطة، يستخدم "درجة" (score) لرسم خريطة لشكل الغابة بأكمله. إنه يفهم أن المتنزّه قد يكون في وادٍ، أو على حافة جبل، أو مختبئاً في كهف. هو لا يفترض أن الإجابة هي شكل بسيط؛ بل يتعلم الشكل المعقد للمكان الذي يتواجد فيه المتنزّه فعلياً بناءً على القرائن.
الميزات الرئيسية لهذه الأداة الجديدة:
لا تتطلب إعادة تدريب: عادةً، عندما تحصل على معلومات جديدة، يتعين عليك إعادة تدريب نموذج الذكاء الاصطناعي الخاص بك من الصفر. وهذا أمر بطيء ومكلف. أما EnSF فهو مثل نظام تحديد المواقع (GPS) الذي يعيد حساب مسارك فوراً دون الحاجة إلى تحميل خريطة جديدة. إنه يستخدم حِيلاً رياضية لتعديل التوقعات في الوقت الفعلي دون الحاجة إلى تعلم أي شيء جديد.
يتعامل مع البيانات المفقودة: يعمل حتى لو كان "الراصد" يرى عدداً قليلاً فقط من المنازل في المدينة (ملاحظات جزئية).
ما وجدوه (النتائج)
اختبر الباحثون ذلك باستخدام بيانات كهرباء حقيقية من 5,000 مستخدم في تالاهاسي، فلوريدا.
"المُخمّن الخارق" وحده يفشل بمرور الوقت: إذا تركوا نموذج الحاسوب يتنبأ بالمستقبل دون التحقق من البيانات الحقيقية، فإن التنبؤات أصبحت خاطئة تماماً وبسرعة كبيرة. كان الأمر أشبه بنظام GPS يستمر في إخبارك بالانعطاف يساراً بينما قد تجاوزت المنعطف بالفعل.
"فحص الواقع" يصلح الأمر: عندما استخدموا EnSF لخلط تخمين النموذج مع بيانات حقيقية (ولكن جزئية)، أصبحت التنبؤات دقيقة مرة أخرى. لقد نجح في تتبع الاستخدام الحقيقي للكهرباء حتى عندما كان النموذج مخطئاً في البداية أو عندما كانت البيانات مفقودة.
الأداة الجديدة مقابل الأداة القديمة: قارنوا طريقة EnSF الجديدة بالطريقة التقليدية "القديمة" (EnKF). في الحالات التي كانت فيها العلاقة بين البيانات والواقع معقدة (غير خطية)، كان EnSF أفضل بكثير. لقد صحح التوقعات بدقة أكبر من الطريقة التقليدية، التي عانت مع التعقيد.
الملخص
فكر في هذه الورقة البحثية كأنها وصفة لتوقعات أفضل للكهرباء.
المكون (أ): ذكاء اصطناعي ذكي يعرف الأنماط العامة لاستخدام الطاقة.
المكون (ب): طريقة رياضية جديدة (EnSF) تعمل كنظام تصحيح في الوقت الفعلي.
النتيجة: حتى لو بدأ الذكاء الاصطناعي في الانحراف أو إذا كانت لدينا بيانات جزئية فقط، فإن هذا المزيج يحافظ على دقة التوقعات. الطريقة الجديدة (EnSF) أفضل في التعامل مع بيانات العالم الحقيقي الفوضوية والمعقدة مقارنة بالطرق القديمة المستخدمة حالياً.
ملخص تقني: تصفية درجات التجميع لتصحيح توقعات استهلاك الطاقة للبيانات الحقيقية
بيان المشكلة يعد التنبؤ الدقيق باستهلاك الطاقة أمراً بالغ الأهمية لتشغيل أنظمة الطاقة، والتخطيط، وإدارة جانب الطلب. ومع ذلك، غالباً ما تعاني بيانات الطاقة في العالم الحقيقي من قياسات جزئية، أو مشوشة، أو متأخرة، أو غير مكتملة. وبينما يمكن لنماذج تعلم الآلة الحديثة، وخاصة نماذج التنبؤ الزماني والمكاني العميقة، التقاط التبعيات الزمنية والمكانية المعقدة، إلا أنها تواجه قيوداً كبيرة عند استخدامها للتنبؤ طويل الأمد في بيئة "الحلقة المفتوحة" (open-loop). فبدون بيانات تصحيحية ملاحظة، تتراكم الأخطاء في النماذج المتعلمة بمرور الوقت، مما يؤدي إلى تقديرات غير موثوقة للحالة. وتتمثل المشكلة الجوهرية التي يعالجها هذا البحث في كيفية تصحيح مسار التوقع لنموذج تنبؤ "الصندوق الأسود" (black-box) مُدرب مسبقاً باستخدام ملاحظات متسلسلة، جزئية، ومشوشة، لا سيما في البيئات عالية الأبعاد وغير الخطية حيث قد تواجه طرق التصفية التقلية صعوبات.
المنهجية يقترح البحث إطار عمل يجمع بين نموذج لغوي ضخم زماني ومكاني (STLLM) مُدرب مسبقاً ومرشح درجات التجميع (EnSF) لاستيعاب البيانات.
المُروج الأمامي (STLLM):
يستخدم البحث نموذج STLLM مُدرب مسبقاً مصمم لاستهلاك الطاقة. يعتمد النموذج على بنية انتباه عاملة (factored attention) لفصل نمذجة التبعية الزمنية عن المكانية، مستخدماً مكونات مثل RMSNorm، وتضمينات الموضع الدوارة (RoPE)، وشبكات التغذية الأمامية من نوع SwiGLU.
في إطار الاستيعاب، يعمل هذا النموذج كمُروج حالة ثابت "صندوق أسود" (fθ). لا يتم إعادة تدريبه أثناء عملية التصفية؛ بل يقوم بتوليد مسار التوقع القبلي بناءً على المدخلات التاريخية.
استيعاب البيانات عبر مرشح درجات التجميع (EnSF):
يتم استخدام EnSF لتصحيح مسار التوقع من خلال استيعاب الملاحظات. وخلافاً للمرشحات التقليدية التي تعتمد على الافتراضات الغاوسية (مثل مرشح التجميع كالمان - EnKF) أو تتطلب تدريب شبكات عصبية لتقريب دالات الدرجة (مثل المرشحات القائمة على الانتشار القياسية)، يستخدم EnSF نهجاً خالياً من التدريب (training-free).
تقريب الدرجة (Score Approximation): يقوم الأسلوب بتقريب دالة الدرجة (تدرج لوغاريتم الكثافة) لتوزيع التصفية باستخدام تعبير مغلق وتقدير مونت كارلو. وهو يستفيد من مجموعة من عينات الحالة لحساب الأوزان التجريبية، مما يتجنب التكلفة الحسابية لإعادة تدريب شبكات الدرجة في كل خطوة استيعاب.
عملية الانتشار (Diffusion Process): يعمل المرشح ضمن عملية انتشار عكسية للزمن. يبدأ من توزيع غاوسي قياسي عند الزمن الزائف τ=1 ويتطور نحو توزيع اللاحقة المستهدف عند τ=0.
آلية التحديث: يتم تحديث الدرجة القبلية (المستمدة من التجميع الذي تم تمريره عبر STLLM) من خلال دمج تدرج الاحتمالية للملاحظة الجديدة. وتتحكم دالة تخميد g(τ)=1−τ في دمج المعلومات الملاحظة، مما يضمن الدمج الكامل عند التوزيع المستهدف (τ=0) والتلاشي عند المرجع الغاوسي (τ=1).
التعامل مع اللاخطية: يعالج إطار العمل صراحةً معاملات الملاحظة غير الخطية (مثل خرائط الظل الظل - arctangent maps) عن طريق حساب جاكوبي (Jacobian) معامل الملاحظة ضمن حد تدرج الاحتمالية، مما يسمح بالتصحيحات في الإعدادات غير الغاوسية.
المساهمات الرئيسية
تطبيق EnSF على بيانات طاقة حقيقية: يوضح البحث تطبيق مرشح EnSF على مجموعة بيانات استهلاك طاقة حقيقية عالية الأبعاد (5,000 مستخدم)، مع التعامل مع نموذج STLLM معقد كنموذج ديناميكيات أمامي.
تقريب الدرجة الخالي من التدريب: يسلط العمل الضوء على فعالية استخدام تقريب درجة يعتمد على مونت كارلو وتعبير مغلق ضمن EnSF، مما يلغي الحاجة إلى إعادة التدريب المتكرر لشبكات الدرجة أثناء استيعاب البيانات المتسلسل.
القدرة على الصمود أمام قصور النموذج: يظهر البحث أن الإطار يحسن تقدير الحالة حتى عندما يكون النموذج الأساسي "غير مدرب بشكل كافٍ" (تدرب على 25% فقط من البيانات) أو عندما يكون النموذج مدرباً بالكامل ولكنه يعاني من تراكم أخطاء الحلقة المفتوحة.
المقارنة مع EnKF: يقدم البحث مقارنة مباشرة بين EnSF ومرشح التجميع كالمان (EnKF) في ظل إعدادات ملاحظة مختلطة (تجمع بين الملاحظات المباشرة وغير الخطية/الظلية).
النتائج التجريبية أُجريت تجارب عددية على بيانات استهلاك طاقة ساعية لـ 5,000 مستخدم من المرافق في تالاهاسي، فلوريدا.
فشل الحلقة المفتوحة: أكدت التجارب أنه بينما يحقق نموذج STLLM المسبق التدريب دقة معقولة في التنبؤات المباشرة ذات الخطوة الواحدة أو الأفق القصير، فإن توقعات الحلقة المفتوحة الخاصة به تتدهور بشكل كبير بمرور الوقت (على سبيل المثال، يزداد جذر متوسط مربع الخطأ RMSE بشكل حاد لنموذج 12-إلى-1 عبر 800 خطوة).
تصحيح EnSF: أدى تطبيق EnSF مع ملاحظات جزئية (25%، 50%، 100%) إلى تقليل جذر متوسط مربع الخطأ (RMSE) بشكل كبير مقارنة بنشر الحلقة المفتوحة. كان التصحيح فعالاً لكل من النماذج غير المدربة كفاية والمدربة بالكامل (نماذج 4-إلى-1)، مما استعاد الهياكل التذبذبية الرئيسية لمسارات الاستهلاك الحقيقية.
EnSF مقابل EnKF: في إعداد مليء بالتحديات مع معاملات ملاحظة غير خطية (arctangent)، تفوق EnSF على EnKF. وبينما أدى EnKF إلى تحسين توقعات الحلقة المفتوحة، إلا أنه أنتج مسارات مفرطة في النعومة أو مزاحة، وحافظ على قيم RMSE أعلى. قدم EnSF تصحيحاً أقوى واستعادة أفضل للمسار، ويُعزى ذلك إلى قدرته على التعامل مع توزيعات التصفية غير الغاوسية دون الاعتماد على التقريبات الغاوسية.
الأهمية والادعاءات يزعم البحث أن الإطار المقترح يقدم حلاً عملياً وفعالاً لتصحيح توقعات استهلاك الطاقة المتعلمة في البيئات عالية الأبعاد وغير الخطية. ومن خلال التعامل مع نموذج التنبؤ كصندوق أسود ثابت واستخدام EnSF للتصحيح المتسلسل، يجسّر هذا الأسلوب الفجوة بين الديناميكيات المتعلمة القوية ولكن غير المثالية، وبين بيانات الملاحظة في العالم الحقيقي.
ويؤكد المؤلفون أن الأهمية تكمن في إثبات أن:
نماذج التنبؤ المتعلمة وحدها غير كافية لتتبع الحالة الموثوق طويل الأمد دون تصحيح متسلسل.
يوفر EnSF آلية قابلة للتنفيذ حسابياً وخالية من التدريب لاستيعاب البيانات عالية الأبعاد، وهي تتفوق على المرشحات القياسية القائمة على التوزيع الغاوسي (EnKF) في إعدادات الملاحظة غير الخطية.
النهج يتسم بالمتانة، حيث يحسن تقدير الحالة بغض النظر عما إذا كان النموذج الأساسي قد تم تدريبه على مجموعات بيانات كاملة أو جزئية.
يخلص البحث إلى أن هذا الإطار يمثل اتجاهاً واعداً لتحسين تخطيط أنظمة الطاقة، مع اقتراح أعمال مستقبلية لدمج المتغيرات الخارجية (مثل درجة الحرارة) والتحقق من النهج على مجموعات بيانات إضافية من العالم الحقيقي.