Evaluating Hyperparameter Sensitivity in Temporal Convolutional Networks for Short-Term Electric Load Forecasting Using Grid Search
تستخدم هذه الدراسة بحثاً شبكياً منهجياً على بيانات الأحمال نصف الساعية في كوينزلاند لإثبات أن تحسين خمسة معلمات فائقة رئيسية في الشبكات التلافيفية الزمنية — وتحديداً تحديد تكوين بحجم مدخلات يبلغ 336 خطوة ومعدل تعلم قدره 0.0005 — يمكن أن يقلل من خطأ التنبؤ بنسبة تزيد عن 55% مقارنة بنموذج مرجعي، مما يسلط الضضوء على أن الضبط المنسق للمعلمات أكثر أهمية من مجرد زيادة سعة النموذج للتنبؤ بالأحمال الكهربائية قصيرة المدى.
المؤلفون الأصليون:Tuan Anh Nguyen, Thanh Ngoc Tran
تخيل أنك تحاول التنبؤ بدقة بكمية البيتزا التي ستتناولها عائلتك غداً. أنت تعلم أن الناس يشعرون بالجوع في أوقات مختلفة، وأن عطلات نهاية الأسبوع تختلف عن أيام الأسبوع العادية، وأن الطقس قد يغير شهيتهم. إذا أخطأت في التخمين، فقد ينتهي بك الأمر بوجود ثلاجة مليئة بالجبن المهدر أو بعائلة جائعة جداً. هذا هو نفس التحدي الذي تواجهه شركات الكهرباء، ولكن بدلاً من البيتزا، هم يخمنون كمية الكهرباء التي سيستخدمها الناس. الخطأ في هذا الأمر أمر جسيم: فإذا خمنوا أقل من اللازم، قد تومض الأضواء أو تنقطع؛ وإذا خمنوا أكثر من اللازم، فإنهم يهدرون المال والموارد. وللقيام بهذه التخمينات، يستخدم العلماء برامج حاسوبية خاصة تسمى "الشبكات العصبية". فكر في هذه الشبكات كأدمغة رقمية تتعلم من الماضي لتتنبأ بالمستقبل. أحد الأنواع الشائعة لهذه الأدمغة يسمى "الشبكة التلافيفية الزمنية"، أو TCN. إنها تشبه المحقق الذكي للغاية الذي ينظر إلى تاريخ طويل من استخدام الكهرباء لرصد الأنماط. ولكن هنا تكمتر المشكلة: تماماً كما يحتاج المحقق إلى العدسة المكبرة المناسبة وكمية كافية من القهوة ليعمل بأفضل شكل، تحتاج هذه الأدمغة الحاسوبية إلى ضبط إعداداتها بدقة. فإذا كانت الإعدادات غير مضبوطة، حتى العقل الفائق الذكاء قد يرتكب خطأً سخيفاً.
هذه الورقة البحثية تشبه تجربة منظمة وضخمة حيث قرر باحثان، توان آنه نجوين وثان نجوك تران، لعب لعبة "ماذا لو" مع هذه الأدمغة الحاسوبية. أرادا إيجاد الوصفة المثالية لـ TCN للتنبؤ باستخدام الكهرباء لليوم التالي في كوينزلاند، أستراليا. لم يكتفيا بالتخمين فحسب؛ بل استخدما طريقة تسمى "البحث الشبكي" (Grid Search)، وهي تشبه تجربة كل تركيبة ممكنة من المكونات في كتاب طهي لمعرفة أي منها يصنع أفضل كعكة. لقد اختبرا 243 نسخة مختلفة من الدماغ الحاسوبي، عبر تغيير خمسة مقابض محددة في الآلة: مدى الرجوع في التاريخ (حجم المدخلات)، سرعة التعلم (معدل التعلم)، حجم ذاكرتها الداخلية (أحجام الترميز وفك الترميز)، وعدد قطع البيانات التي تعالجها في المرة الواحدة (حجم الدفعة).
كانت النتائج مفاجئة وواضحة جداً. وجد الباحثون أن الإعداد "الأفضل" لم يكن يتعلق بجعل الدماغ ضخماً ومعقداً قدر الإمكان. في الواقع، اكتشفوا أن مجرد جعل الدماغ أكبر لا يجعله دائماً أكثر ذكاءً. جاء التنبؤ الأكثر دقة من خلال تركيبة محددة: دماغ ينظر إلى الوراء 336 خطوة زمنية (حوالي 7 أيام من التاريخ)، ويتعلم ببطء وحذر شديدين (معدل تعلم قدره 0.0005)، ويمتلك ذاكرة مدمجة لفهم الأنماط (64 وحدة مخفية)، وذاكرة أكبر قليلاً لإجراء التخمين النهائي (128 وحدة مخفية). هذا الإعداد المحدد جعل الخطأ يبلغ 1.841% فقط، وهو أمر دقيق للغاية.
لوضع هذا في المنظور، قارن الباحثون هذا الإعداد "البطل" بإعداد "مرجعي" استخدم إعدادات قياسية ومتوسطة. الإعداد القياسي حقق خطأً بنسبة 4.096%. ومن خلال إيجاد التركيبة الصحيحة من الإعدادات، نجح الباحثون في تقليل الخطأ بأكثر من النصف، وتحديداً بنسبة تحسن بلغت 55.05%. وهذا يثبت أن ضبط الإعدادات أكثر أهمية من مجرد بناء نموذج أكبر.
كما فندت الدراسة بعض الافتراضات الشائعة. على سبيل المثال، وجدوا أن جعل "الحجم المخفي" (التعقيد الداخلي للدماغ) أكبر لم يجعل التنبؤات أفضل باستمرار. في بعض الأحيان، كان الدماغ الأصغر والأكثر تركيزاً يعمل بشكل أفضل من الدماغ العملاق والمزدحم. كما وجدوا أن "حجم الدفعة" (كمية قطع البيانات التي يعالجها الحاسوب في المرة الواحدة) لم يغير في الواقع الدقة في اختبارهم المحدد، لأنهم كانوا ينظرون إلى شبكة كهربائية واحدة فقط. ومع ذلك، كان "معدل التعلم" هو المقبض الأكثر أهمية لضبطه؛ فإذا قاموا بتدويره بسرعة كبيرة (0.005)، ارتبك الدماغ وقدم تخمينات أسوأ. وإذا قاموا بتدويره ببطء شديد، كان آمناً ولكنه ليس حاداً. كانت "النقطة المثالية" هي وتيرة بطيئة وثابتة.
في النهاية، تشير الورقة البحثية إلى أن سر التنبؤ بالكهرباء ليس مجرد امتلاك حاسوب خارق؛ بل هو معرفة كيفية ضبطه بدقة. جاءت أفضل النتائج من خلال نهج متوازن: النظر في أسبوع كامل من التاريخ، والتعلم ببطء، واستخدام بنية دماغية مدمجة ومنظمة جيداً. وبينما يعترف الباحثون بأن هذا تم اختباره على مجموعة بيانات واحدة ويوم واحد فقط، فإن الدرس واضح: في عالم التنبؤ بالكهرباء، الإعدادات الصحيحة أهم من القوة الخام.
ملخص تقني: تقييم حساسية المعلمات الفائقة لشبكات التلافيف الزمنية في التنبؤ بالأحمال الكهربائية قصيرة المدى باستخدام البحث الشبكي
بيان المشكلة يعد التنبؤ بالأحمال الكهربائية قصيرة المدى أمراً بالغ الأهمية للتشغيل الآمن والاقتصادي لأنظمة الطاقة الحديثة، مما يؤثر على جدولة التوليد، وتخصيص الاحتياطيات، وتنسيق الطاقة المتجددة. وبينما برزت شبكات التلافيف الزمنية (TCNs) كبنى تعلم عميق فعالة لالتقاط الأنماط التسلسلية بفضل التلافيف السببية، ومجالات الاستقبال المتسعة، وقدرات الحوسبة المتوازية، إلا أن أداءها حساس للغاية لتكوينات المعلمات الفائقة (hyperparameters). غالباً ما تركز الدراسات السابقة على اقتراح بنى جديدة أو تحديد تكوين واحد "أمثل" عبر طرق التحسين، مما يوفر رؤية محدودة حول التأثيرات الفردية والتفاعلية لمعلمات محددة. هذا النقص في تحليل الحساسية المنهجي يجعل من الصعب إعادة إنتاج النتائج أو فهم سبب نجاح أو فشل تكوينات معينة عبر مجموعات البيانات والإعدادات المختلفة.
المنهجية تضع هذه الدراسة إطاراً مضبوطاً وقابلاً لإعادة الإنتاج للتحقيق في حساسية خمس معلمات فائقة رئيسية لشبكات TCN:
حجم المدخلات (L): طول نافذة الملاحظة التاريخية (المرشحات: 96، 144، 336 خطوة، ما يعادل 2، 3، و7 أيام).
معدل التعلم (η): حجم خطوة المُحسن (المرشحات: 0.0005، 0.001، 0.005).
حجم المخفي للمشفر (Ce): القدرة التمثيلية للمشفر التلافيفي الزمني (المرشحات: 64، 128، 256).
حجم المخفي لفك التشفير (Cd): عرض فك التشفير من نوع MLP (المرشحات: 64، 128، 256).
حجم الدفعة (B): معامل الدفعة على مستوى السلسلة في برنامج تحميل بيانات NeuralForecast (المرشحات: 16، 32، 64).
أُجري بحث شبكي (Grid Search) كامل العوامل، حيث تم تقييم جميع التكوينات الفريدة البالغ عددها 35=243. استخدمت التجارب بيانات الطلب الكهربائي نصف الساعية من كوينزلاند، أستراليا، والتي تغطي الفترة من يناير 2015 إلى ديسمبر 2021. تم تقسيم مجموعة البيانات زمنياً إلى مجموعة تدريب لمدة 28 يوماً (1,344 ملاحظة) ومجموعة اختبار للاحتجاز لمدة يوم واحد (48 ملاحظة). تم تنفيذ النماذج باستخدام مكتبة NeuralForecast (الإصدار 3.1.9) مع خلفية برمجية من PyTorch. استخدمت جميع التجارب بذرة عشوائية ثابتة (42)، وأفق تنبؤ قدره 48 خطوة (يوم واحد للأمام)، ومتوسط مربع الخطأ (MSE) كدالة فقدان للتدريب. تم تقييم الأداء باستخدام متوسط نسبة الخطأ المطلق (MAPE) على مجموعة الاختبار.
المساهمات الرئيسية
تحليل حساسية مضبوط: توفر الدراسة تقييماً كاملاً للعوامل (full factorial) لـ 243 تكويناً تحت ظروف تجريبية متطابقة، مما يعزل تأثيرات معلمات محددة على أداء TCN.
التأثيرات الهامشية والتفاعلية: على عكس الدراسات التي تكتفي بالإبلاغ عن التكوين الأمثل، يحلل هذا العمل التأثير الهامشي لكل معلمة وتفاعلاتها الثنائية (على سبيل المثال، كيف يتفاعل حجم المدخلات مع معدل التعلم).
إطار عمل قابل لإعادة الإنتاج: يفصل المؤلفون سير عمل حتمياً باستخدام مكتبة NeuralForecast، مما يضمن أن الاختلافات في الأداء تعزى إلى إعدادات المعلمات الفائقة وليس إلى تقسيم البيانات أو التباينات العشوائية في التدريب.
توجيهات التكوين العملية: تقدم الدراسة توصيات قائمة على الأدلة لتكوين نماذج TCN في التنبؤ بالأحمال قصيرة المدى، مما يتحدى الافتراض بأن سعة النموذج الأكبر تؤدي دائماً إلى دقة أفضل.
النتائج أنتجت الـ 243 تكويناً قيم MAPE تتراوح بين 1.841% و5.455%، بمتوسط قدره 3.499%.
التكوين الأفضل: حقق الإعداد الأمثل قيمة MAPE بلغت 1.841% بالمعلمات التالية: حجم المدخلات = 336 (7 أيام)، معدل التعلم = 0.0005، حجم المخفي للمشفر = 64، حجم المخفي لفك التشفير = 128، وحجم الدفعة = 16.
المقارنة بالمرجع: مقارنة بتكوين مرجعي (المدخلات=144، معدل التعلم=0.001، المشفر=128، فك التشفير=128، الدفعة=32) والذي حقق MAPE بنسبة 4.096%، قلل التكوين الأفضل من الخطأ بنسبة 55.05%.
حساسية المعلمات الفائقة:
معدل التعلم: أظهر أوضح تأثير هامشي. أنتج أدنى معدل (0.0005) باستمرار أدنى متوسط خطأ، بينما أدى المعدل الأعلى (0.005) عموماً إلى تدهور الأداء.
حجم المدخلات: حققت نافذة الـ 7 أيام (336 خطوة) أقل متوسط خطأ هامشي، لكنها أظهرت أعلى تباين، مما يشير إلى أن السياق التاريخي الأطول يكون مفيداً فقط عند اقترانه بإعدادات تحسين مناسبة.
الأبعاد المخفية: لم يؤدِ زيادة حجم المشفر أو فك التشفير إلى تحسين الدقة باستمرار. استخدم أفضل النماض أداءً مشفراً مدمجاً (64) وفك تشفير متوسطاً (128). لم تضمن الأبعاد الأكبر (مثل 256) نتائج أفضل، بل زادت الخطأ أحياناً.
حجم الدفعة: في هذه التجربة ذات السلسلة الواحدة، لم يكن لحجم الدفعة أي تأثير هامشي على الدقة، حيث يتحكم هذا المعلم في دفعات مستوى السلسلة بدلاً من أخذ العينات الزمنية.
التكلفة الحسابية: لم يكن هناك ارتباط قوي بين إجمالي وقت التنفيذ ودقة التنبؤ. تطلب التكوين الأفضل زيادة طفيفة فقط في وقت التشغيل مقارنة بأسرع تجربة.
سلوك التنبؤ: التقط النموذج الأفضل بدقة الملف العام للحمل اليومي (R2=0.9528)، ولكنه أظهر تأثيرات تنعيم (smoothing) أثناء التحولات السريعة في الحمل (الارتفاعات الصباحية والمسائية)، مما أدى إلى أخطاء موضعية.
الأهمية والادعاءات يزعم البحث أن الأداء الفعال لـ TCN في التنبؤ بالأحمال قصيرة المدى يعتمد على إعدادات المعلمات الفائقة المنسقة بدلاً من مجرد زيادة سعة النموذج. وتوضح الدراسة أن:
اختيار المعلمات الفائقة غير المناسب يمكن أن يؤدي إلى تدهور كبير في دقة التنبؤ (يصل إلى فرق 55% في معدلات الخطأ).
الأبعاد المخفية الأكبر لا تقلل بالضرورة من أخطاء التنبؤ؛ إذ يمكن لمشفر مدمج مع فك تشفير متوسط أن يتفوق على البنى الأكبر.
معدل التعلم هو محرك حاسم للاستقرار والدقة، خاصة عند استخدام نوافذ مدخلات تاريخية أطول.
تحليل الحساسية المنهجي ضروري لفهم سلوك TCN، حيث إن الإبلاغ عن التكوين الأفضل فقط يحجب التفاعلات المعقدة بين المعلمات.
يخلص المؤلفون إلى أنه بينما توفر النتائج إرشادات عملية لتكوين النماذج القائمة على TCN باستخدام إطار عمل NeuralForecast، إلا أن هذه النتائج خاصة بمجموعة البيانات الإقليمية الواحدة، وفترة التدريب الثابتة، والبروتوكول التجريبي المستخدم. وسوف يستكشف العمل المستقبلي هذه الحساسيات عبر مناطق ومواسم متعددة، ومع تضمين المتغيرات الخارجية.