Sizing of Battery Considering Renewable Energy Bidding Strategy with Reinforcement Learning
تقترح هذه الورقة خوارزمية جديدة وفعالة حاسوبياً تعمل على التحسين المشترك لحجم نظام تخزين طاقة البطاريات (BESS) واستراتيجيات تقديم عطاءات الطاقة المتجددة، وذلك من خلال دمج شبكات كيو العصبية العميقة المتكررة مع إطار عمل للتعلم التعزيزي الموزع مستوحى من الإدراك المتجسد لإدارة حالات عدم اليقين بفعالية وتمكين الحوسبة المتوازية.
تخيل أنك مزارع تزرع التفاح (الطاقة المتجددة). لديك مخزن كبير (البطارية) حيث يمكنك تخزين التفاح، وتبيع تفاحك في سوق أسبوعي صاخب (سوق الكهرباء).
إليك المشكلة:
الطقس غير متوقع: أحياناً تحصل على حصاد ضخم، وأحياناً أخرى يكون قليلاً جداً.
أسعار السوق تتغير: أحياناً يكون التفاح بأسعار باهظة، وأحياناً أخرى يكون شبه مجاني.
الغرامة: إذا وعدت ببيع 100 تفاحة ولم يكن لديك سوى 80، فستتعرض لغرامة. وإذا كان لديك 100 ولكنك وعدت بـ 50 فقط، فستخسر المال على الـ 50 الإضافية.
الطريقة القديمة (منهج "المرحلتين") تقليدياً، حاول المزارعون حل المشكلات في خطوتين منفصلتين:
الخطوة 1: شراء مخزن. أنت تخمن: "ربما يكون المخزن الذي يتسع لـ 500 تفاحة هو الأفضل".
الخطوة 2: توظيف مدير ليقرر متى يبيع أو يخزن التفاح بناءً على حجم ذلك المخزن المحدد.
المشكلة هي: إذا خمنت حجم المخزن بشكل خاطئ، فسيتعين عليك طرد المدير، وشراء مخزن جديد، وتوظيف مدير جديد، والبدال من البداية مرة أخرى. هذا الأمر بطيء، ومكلف، وقد لا تصل أبداً إلى المزيج المثالي.
الطريقة الجديدة (حل هذه الورقة البحثية) يقترح الباحثون من جامعة هيوغو نهجاً أذكى باستخدام "التعلم التعزيزي" (Reinforcement Learning - RL). فكر في الأمر كتدريب مدير ذكي للغاية يتعلم من خلال التجربة والخطأ، تماماً مثل شخصية في لعبة فيديو.
لكن هنا تكمن اللمسة الإبداعية: إنهم يسمحون للذكاء الاصطناعي بتغيير حجم المخزن أثناء تعلمه كيفية إدارة التفاح.
التشبيه الإبداعي: "لعبة الفيديو متغيرة الشكل"
تخيل لعبة فيديو حيث تلعب بشخصية تحتاج إلى التنقل في متاهة (السوق) لجمع العملات (الربح).
الطريقة القديمة: تختار حجم حقيبة ظهر (صغيرة، متوسطة، كبيرة) قبل البدء. تلعب اللعبة 100 مرة بالحقيبة الصغيرة، ثم 100 مرة بالحقيبة المتوسطة، وهكذا. ثم تقارن النتائج لترى أي حقيبة كانت الأفضل.
الطريقة الجديدة: تلعب اللعبة، ولكن في كل مرة تموت فيها وتبدأ من جديد، تمنحك اللعبة بشكل عشوائي حجم حقيبة مختلف قليلاً. وبينما تلعب أكثر، تتعلم اللعبة: "مهلاً، عندما تكون المتاهة صعبة والأسعار منخفضة، فإن الحقيبة المتوسطة هي الأفضل. وعندما تكون اللعبة سهلة، فإن الحقيبة الصغيرة توفر المال".
الذكاء الاصطناعي لا يتعلم فقط كيفية اللعب؛ بل يتعلم أيضاً ما هي المعدات التي يجب أن يرتديها ليلعب بأفضل طريقة.
كيف يعمل الأمر (المكونات السحرية)
"الدماغ" (DRQN): يستخدم الذكاء الاصطناعي نوعاً خاصاً من الذاكرة (يسمى الشبكة العميقة لـ Q المتكررة - Deep Recurrent Q-Network) التي تتذكر الماضي. فهو يعرف: "الأسبوع الماضي كان السعر منخفضاً، لذا كان ينبغي عليّ توفير التفاح". إنه يتعامل مع عدم اليقين في الطقس والسوق بشكل أفضل من الصيغ الرياضية القديمة.
"التحسين المشترك" (Co-Optimization): بدلاً من تثبيت حجم البطارية (المخزن) أولاً، يعامل الخوارزمي الحجم كمتغير. فهو يقوم باستمرار بتعديل الحجم صعوداً وهبوطاً أثناء التدريب.
إذا كان البطارية الأكبر تساعد في تحقيق المزيد من المال، فإن الذكاء الاصطناعي "يتعلم" أنه يفضل البطاريات الأكبر.
إذا كان توفير تكاليف الإنشاء لبطارية أصغر يوفر مالاً كافياً ليكون أكثر ربحية، فإنه "يتعلم" تفضيل البطاريات الأصغر.
اللعب المتوازي: لجعل هذا سريعاً، استخدموا 12 "عاملاً" (أجهزة كمبيوتر) يلعبون اللعبة في نفس الوقت. هذا يشبه وجود 12 مزارع يختبرون أحجاماً مختلفة للمخازن في وقت واحد، بدلاً من مزارع واحد يفعل ذلك واحداً تلو الآخر.
لماذا يهم هذا الأمر؟
السرعة: الطريقة القديمة لاختبار كل حجم ممكن للمخزن واحداً تلو الآخر تشبه محاولة العثور على إبرة في كومة قش عبر فحص كل قشة واحدة تلو الأخرى. هذه الطريقة الجديدة تجد الإبرة بشكل أسرع بكثير.
الأمان: وجد الباحثون أنه عندما سمحوا للذكاء الاصطناعي بتعديل حجم المخزن أثناء التعلم، كان أقل عرضة لـ "الفشل" (الوقوع في استراتيجية سيئة). كان الأمر بمثابة منح اللاعب شبكة أمان؛ فإذا لم تكن الاستراتيجية الحالية تعمل، فإن تغيير المعدات (حجم البطارية) يساعدهم على التعافي.
المال في العالم الحقيقي: بالنسبة لشركات الطاقة المتجددة، يعني هذا أنه يمكنهم معرفة الحجم الدقيق للبطارية التي يجب شراؤها لتحقيق أقصى قدر من الربح، دون إضاعة المال على بطارية كبيرة جداً أو صغيرة جداً.
الخلاصة
تقدم هذه الورقة البحثية طريقة ذكية وفعالة لتصميم أنظمة الطاقة المتجددة. فبدلاً من تخمين حجم البطارية ثم التفكير في كيفية استخدامها، تسمح هذه الطة الجديدة للكمبيوتر بتعلم كل من الحجم الأفضل واستراتيجية الاستخدام الأفضل في آن واحد. إنه يشبه تعليم روبوت كيفية بناء صندوق أدوات مثالي خاص به أثناء تعلم كيفية إصلاح سيارة، مما يضمن انتهائه بالإعداد المثالي للمهمة.
إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحديد حجم البطارية مع مراعاة استراتيجية المزايدة للطاقة المتجددة باستخدام التعلم المعزز" من قبل مانتاني وآخرون.
1. بيان المشكلة
يخلق دمج مصادر الطاقة المتجددة المتغيرة (VRE)، مثل الطاقة الشمسية وطاقة الرياح، في أسواق الكهرباء تحديات كبيرة بسبب عدم اليقين في التوليد وتقلب الأسعار. يجب على منتجي الطاقة المتجددة المشاركة في الأسواق الفورية لتعظيم الأرباح مع تقليل الغرامات الناتجة عن الانحرافات في التوزيع.
التحدي الجوههري: يعد تحديد الحجم الأمثل لنظام تخزين طاقة البطاريات (BESS) أمراً بالغ الأهمية للمرونة التشغيلية (المراجحة وتخفيف حدة عدم التوازن). ومع ذلك، فإن الحجم الأمثل للبطارية مرتبط جوهرياً باستراتيجية المزايدة.
قصور الطرق الحالية:
المنهجيات ذات المرحلتين: تعتمد معظم الطرق الموجودة على فصل المشكلة إلى مرحلتين: أولاً تدريب سياسة المزايدة لحجم بطارية ثابت، ثم تحسين الحجم. يتطلب هذا تدريب النماذج عبر مساحة بحث شاسعة، مما يؤدي إلى تكاليف حوسبة باهظة.
التبسيطات: تتجاهل العديد من طرق تحديد الحجم الحالية نماذج "القواعد التجريبية" (rule-of-thumb) التي لا تأخذ في الاعتبار ديناميكيات السوق المعقدة وعدم اليقين في الأسعار.
العبء الحوسبي: تتطلب تقنيات التحسين الرياضي (مثل البرمجة العشوائية) محاكاة سيناريوهات عديدة، بينما قد يكون التحسين القوي (robust optimization) مفرط التحفظ.
2. المنهجية
يقترح المؤلفون خوارزمية تحسين مشترك فعالة حوسبياً تقوم بتحسين حجم نظام تخزين طاقة البطاريات (BESS) وسياسة المزايدة في آن واحد باستخدام إطار عمل موسع للتعلم المعزز (RL).
أ. نموذج السوق والنظام
هيكل السوق: سوق فوري عام حيث يقدم المنتجون عطاءات (bt) قبل خطوة زمنية واحدة. تؤدي الانحرافات بين العطاء والتوزيع الفعلي (xtD) إلى غرامات عدم توازن بناءً على أسعار الفائض والعجز.
الهدف: تعظيم إجمالي صافي الربح (F)، والذي يُعرف بأنه إيرادات السوق ناقص غرامات عدم التوازن وتكاليف تدهور البطارية.
القيود: يأخذ النموذج في الاعتبار حدود حالة الشحن (SOC)، وكفاءات الشحن والتفريغ، وحدود القدرة التي تتناسب مع سعة البطارية (Emax).
ب. إطار عمل التعلم المعزز
الأساس الخوارزمي: يستخدم النظام شبكة Q العميقة المتكررة (DRQN) مدمجة مع إطار عمل تعلم معزز موزع (مستوحى من Ape-X).
لماذا DRQN؟ يدمج DRQN خلايا الذاكرة الطويلة قصيرة المدى (LSTM) للتعامل مع عمليات ماركوف لاتخاذ القرار القابلة للملاحظة جزئياً (POMDPs)، مما يسمح للوكيل بالتعلم من تسلسلات الملاحظات (التوليد السابق، الأسعار، وحالة الشحن SOC) بدلاً من مجرد الحالات اللحظية.
فضاء العمليات (Action Space): يحدد الوكيل العطاء (bt) وعامل قياس (ρt) لمراجحة الطاقة. يتم اشتقاق قدرات الشحن والتفريغ من الفرق بين التوليد والعطاء، مكيّفة بواسطة ρt.
دالة المكافأة: صُممت لتعظيم صافي الربح مع تقليل التباين في التعلم، وتتم صياغتها كصافي الربح ناقص الإيرادات الأساسية الناتجة عن بيع التوليد مباشرة.
ج. توسيع التحسين المشترك
المساهمة المبتكرة هي توسيع حلقة التعلم المعزز القياسية لتشمل حجم نظام تخزين طاقة البطاريات (Emax) كمعلم قابل للتعلم:
دالة Q الموسعة: يتم توسيع دالة Q لتصبح Q(ot,ht,ct,at,ω)، حيث ω={Emax} هو معلم التصميم.
سياسة التصميم: بدلاً من تثبيت ω، يتم الحفاظ على توزيع pμ(ω) (توزيع غاوسي)؛ حيث يمثل المتوسط μ "الاعتقاد" بشأن حجم البطارية الأمثل.
حلقة التدريب:
في بداية كل حلقة (episode)، يتم أخذ عينة من حجم بطارية معين ω من pμ.
يتم تحديث أوزان DRQN (المشار إليها بـ θ) بناءً على المسار الناتج باستخدام ذلك الحجم المحدد.
كل Nup من الحلقات، يتم تحديث المتوسط μ باستخدام نظرية تدرج السياسة بناءً على العائد الإجمالي (الربح ناقص تكلفة تركيب البطارية السنوية).
التوازي: يستخدم إطار العمل عدة عمال (workers) لجمع البيانات بالتوازي، مما يسمح بمعالجة البيانات طويلة المدى بكفاءة.
3. المساهمات الرئيسية
خوارزمية تحسين مشترك مبتكرة: هذا هو أول تطبيق لخوارزمية التحسين المشترك (المستوحاة من الإدراك المتجسد) في أنظمة الطاقة، والتي تعمل على تحسين التصميم الفيزيائي (حجم البطارية) وسياسة التحكم (استراتيجية المزايدة) في وقت واحد.
الكفاءة الحوسبية: من خلال تجنب البحث الشامل المطلوب في المنهجيات ذات المرحلتين، تقلل الطريقة المقترحة من وقت الحوسبة بشكل كبير مع الوصول إلى القيم المثلى أو القريبة من المثلى.
المتانة تجاه فشل التدريب: تُظهر الدراسة أن التحسين المشترك لتكوين النظام يساعد في تجنب حالات فشل التدريب (المكافآت السالبة) التي تحدث غالباً عندما يكون تصميم النظام الثابت غير مثالي للسياسة المتعلمة.
دمج DRQN والتعلم المعزز الموزع: يعمل الجمع بين DRQN (للتبعيات الزمنية) وأخذ العينات الموزعة (للتعامل مع البيانات طويلة المدى) على إدارة حالات عدم اليقين في التوليد المتجدد وأسعار السوق بفعالية.
4. النتائج التجريبية
تحقق المؤلفون من صحة الطريقة باستخدام بيانات قصيرة المدى (أسبوع واحد) وطويلة المدى (سنة واحدة) من سوق الكهرباء الياباني (JEPX) وبيانات التوليد الشمسي (METPV-20).
التحقق قصير المدى (أسبوع واحد):
الدقة: نجحت خوارزمية التحسين المشترك في الوصول إلى أحجام البطاريات المثلى (على سبيل المثال، 120% من السعة لتكاليف التركيب المنخفضة، و50% للتكاليف المتوسطة) والتي طابقت نتائج البحث الشامل ذو المرحلتين.
الكفاءة: بينما استغرق التحسين المشترك وقتاً أطول للوص convergence مقارنة بالتدريب بحجم ثابت (48 دقيقة مقابل 8 دقائق)، إلا أنه كان أسرع بكثير من البحث الشامل المطلوب لإيجاد الحجم الأمثل في منهجية المرحلتين.
القابلية للتطبيق طويل المدى (سنة واحدة):
استقرار التدريب: عند استخدام بيانات سنة كاملة، فشل التدريب باستخدام حجم بطارية ثابت في 87.5% من التجارب (مما أدى إلى مكافآت سالبة). في المقابل، نجحت طريقة التحسين المشترك في تقليل معدل الفشل إلى 37.5%.
الاستنتاج: يسمح التعديل الديناميكي لحجم البطارية أثناء التدريب للوكيل باستكشاف تكوينات أفضل للنظام، مما يمنع السياسة من العلوق في حالات فرعية أو فاشلة.
5. الأهمية
تعالج هذه الورقة فجوة حرجة في التخطيط التشغيلي لأنظمة الطاقة المتجددة. من خلال التعامل مع البنية التحتية الفيزيائية (حجم البطارية) واستراتيجية التشغيل (المزايدة) كمشكلة مقترنة يمكن حلها عبر حلقة تعلم واحدة، يوفر المؤلفون حلاً قابلاً للتوسع لـ:
تطوير نماذج الأعمال: تمكين منتجي الطاقة المتجددة من تحديد حجم التخزين الأكثر ربحية للاستثمار دون تكاليف حوسبية باهظة.
تكامل السوق: تحسين قدرة مصادر الطاقة المتجددة المتغيرة على المشاركة في الأسواق الفورية من خلال تقليل غرامات عدم التوازن وتعظيم فرص المراجحة.
الأبحاث المستقبلية: يفتح هذا العمل اتجاهاً جديداً لتطبيق مفاهيم "الإدراك المتجسد" في أنظمة الطاقة، مما يشير إلى ضرقة تحسين تصميم الأجهزة وبرمجيات التحكم بشكل متزامن بدلاً من الترتيب التسلسلي.