Hierarchical Constrained Reinforcement Learning with Dynamic Boundary for Spatio-Temporal Vehicle-to-Grid Scheduling
تقترح هذه الورقة إطار عمل لسياسة هرمية للتعلم المعزز المقيد (HPC-RL) يدمج مستوى علوي يعتمد على التدرج المتناقص المعمم لقيود الشبكة المكانية واستراتيجية حدود ديناميكية في المستوى الأدنى لمتطلبات المركبات الكهربائية الزمنية، مما يحقق جدولة مركبة إلى الشبكة قريبة من المثالية، وقابلة للتوسع، وآمنة مع تقليل وقت الحوسبة بشكل جذري مقارنة بالطرق الحالية.
المؤلفون الأصليون:Haoyu Yan, Shutong Ding, Jiebao Zhang, Xi Yao, Yu Liu, Haoyu Wang, Chenchi Luo, Ye Shi
تخيل شبكة الطاقة كجهاز عصبي عملاق وغير مرئي، يحافظ على إضاءة أنوارنا وجعل مدننا تنبض بالحياة. لعقود من الزمن، كان هذا النظام يشبه شارعاً ذا اتجاه واحد: محطات طاقة ضخمة تولد الكهرباء، وتتدفق نزولاً إلى منازلنا. ولكن مؤخراً، ظهر نوع جديد من "حركة المرور" على الطريق: ملايين السيارات الكهربائية (EVs). هذه ليست مجرد ركاب؛ بل هي أيضاً بطاريات صغيرة متنقلة يمكنها التوصيل لامتصاص الطاقة، أو حتى نفثها مرة أخرى لمساعدة الشبكة عندما تزدحم. هذا الشارع ذو الاتجاهين يسمى تقنية "المركبة إلى الشبكة" (V2G). المشكلة هي أن إدارة هذه الحركة تمثل كابوساً. فإذا اتصلت الكثير من السيارات بالشبكة في وقت واحد، يمكن للشبكة أن تنهار. وإذا اتصلت في الأوقات الخاطئة، فإن ذلك يهدر المال. التحدي الذي يواجه العلماء هو معرفة كيفية توجيه هذا الأسطول الضخم والمتحرك من السيارات في الوقت الفعلي، لضمان شحن كل سيارة مع الحفاظ على سلامة واستقرار الشبكة بأكملها. إنها أحجية تتطلب منك الموازنة بين فيزياء الكهرباء، والوصول غير المتوقع للسيارات، والحاجة إلى اتخاذ قرارات فورية، كل ذلك دون كسر قوانين الفيزياء.
هنا يأتي دور الباحثين وراء هذه الورقة البحثية، الذين بنوا "شرطي مرور" جديداً للمستقبل يسمى HPC-RL. فكر في الطريقة القديمة لإدارة هذا الأمر كأنها محاولة لحل معادلة رياضية ضخمة ومستحيلة في كل ثانية لتحديد من يحق له الشحن. إنها دقيقة، لكنها تستغرق ساعات للحساب، وهو أمر بطيء جداً بالنسبة لاختناق مروري يحدث في الوقت الفعلي. أما الطرق الأخرى فتحاول استخدام قواعد بسيطة أو التخمين، لكنها غالباً ما تكسر قواعد الفيزياء، مما يتسبب في انقطاع التيار الكهربائي أو ترك السيارات مشحونة جزئياً.
يقترح المؤلفون نظاماً ذكياً مكوناً من طبقتين يعمل كمدير ذكي وفريق من المساعدين المتحمسين. "المدير" (المستوى الأعلى) يستخدم نوعاً خاصاً من الذكاء الاصطناعي يفهم القوانين الصارمة للفيزياء. هو لا يخمن فحسب؛ بل يجبر قراراته رياضياً على التوافق تماماً مع حدود السلامة الخاصة بالشبكة، مما يضمن أن توازن الكهرباء صحيح دائماً. وفي الوقت نفسه، يتعامل "المساعدون" (المستوى الأدنى) مع السيارات الفردية. هم يستخدمون استراتيجية "الحدود الديناميكية"، وهي تشبه سياجاً ذكياً يتحرك. يقوم هذا السياج باستمرار بحساب الحد الأدنى والحد الأقصى لكمية الطاقة التي يمكن لسيارة معينة أخذها بأمان في اللحظة الحالية، بناءً على مقدار الشحن الذي تحتاجه بحلول وقت مغادرتها وكم من الوقت تبقى لها. وهذا يضمن عدم ترك أي سيارة عالقة، حتى لو كانت الشبكة مزدحمة.
تظهر الورقة البحثية أن هذا النظام الجديد يمثل تغييراً جذرياً في السرعة والموثوقية. ففي عمليات المحاكاة التي أجروها، والتي اختبرت النظام على شبكات كهربائية مختلفة الأحجام (مثل شبكة بلدة صغيرة، وشبكة مدينة متوسطة، وشبكة إقليمية كبيرة)، كان الأسلوب الجديد سريعاً للغاية. وبينما استغرقت الطريقة الرياضية "المثالية" التقليدية ساعات لحل مشكلة لشبكة كبيرة، فقد أنجز هذا الأسلوب الجديد المعتمد على الذكاء الاصطناğu المشكلة في دقائق—وأحياناً في ثوانٍ. على سبيل المثال، في نظام مكون من 141 حافلة (bus system)، استغرقت الطريقة القديمة أكثر من 5,000 ثانية، بينما أنهى الأسلوب الجديد المهمة في أقل من 5 ثوانٍ. والأهم من ذلك، أنه لم يكتفِ بالسرعة فحسب، بل أصاب الهدف بدقة. فقد حقق الأسلوب الجديد نسبة نجاح تقترب من 100% في شحن كل سيارة إلى مستواها المستهدف، في حين فشلت أساليب الذكاء الاصطناعي الأخرى غالباً في شحن السيارات بالكامل أو انتهكت قواعد السلامة. ويشير المؤلفون إلى أن هذا النهج يقدم حلاً عملياً وآنياً يوازن بين الحاجة إلى السرعة والضرورة المطلقة للحفاظ على سلامة الشبكة ورضا جميع السائقين.
ملخص تقني: التعلم المعزز الهرمي المقيد بحدود ديناميكية لجدولة المركبات من المركبة إلى الشبكة (V2G) مكانياً وزمانياً
1. صياغة المشكلة
تتناول الورقة البحثية تحدي دمج أساطيل المركبات الكهربائية (EV) واسعة النطاق في إطار تدفق القدرة الأمثل (OPF) لجدولة المركبات من المركبة إلى الشبكة (V2G). ويعد هذا التكامل أمراً حاسماً لاستقرار الشبكة وتخفيف آثار الطاقة المتجددة، ولكنه يواجه عقبتين رئيسيتين:
التعقيد الحسابي: تعاني صياغات البرمجة غير الخطية ذات الأعداد الصحيحة المختلطة (MINLP) التقليدية لـ OPF-EV من تكاليف حسابية عالية بسبب حالات اتصال المركبات الكهربائية المنفصلة ومعادلات تدفق القدرة غير الخطية. وتتوسع الحلول مثل SCIP بشكل سيئ، كما يتسبب التحكم التنبئي بالنموذج (MPC) في عبء كبير نظ due إلى طبيعته التكرارية، مما يجعل التنسيق في الوقت الفعلي للأساطيل الكبيرة أمراً غير عملي.
استيفاء القيود في التعلم: تواجه طرق التعلم المعزز العميق (DRL) الحالية صعوبة في الموازنة بين القابلية للتوسع والالتزام الصارم بالقيود. وتعتمد معظم نهج "التعلم المعزز الآمن" على العقوبات اللينة أو الإسقاطات اللاحقة التي تفشل في ضمان الالتزام الصارم بقيود توازن القدرة المتساوية (AC-OPF) أو متطلبات الشحن المرتبطة زمنياً للمركبات الكهربائية الفردية. علاوة على ذلك، تفترض أطر التعلم المعزز القياسية غالباً أبعاداً ثابتة للحالة/الإجراء، مما يفشل في استيعاب الوصول والمغادرة الديناميكية للمركبات الكهربائية.
الهدف هو تقليل التكلفة المشتركة لتوليد الشبكة وتكلفة شحن المركبات الكهربائية مع استيفاء معادلات تدفق القدرة المترددة (AC power flow)، وحدود المولدات/الجهد، وضمان وصول كل مركبة كهربائية إلى حالة الشحن المستهدفة (SOC) قبل المغادرة.
2. المنهجية: إطار عمل HPC-RL
يقترح المؤلفون إطار عمل HPC-RL (السياسة الهرمية للتعلم المعزز المقيد)، وهو بنية ذات طبقتين مصممة لفصل قيود الشبكة المكانية عن قيود المركبات الكهربائية الزمانية.
2.1 المستوى الأعلى: GRG-SAC المتكامل مع الفيزياء
تدير الطبقة العليا متغيرات مستوى الشبكة (القدرة الفعالة وغير الفعالة للمولدات، قيم الجهد، وزوايا الطور) وطلبات الشحن الإجمالية.
تكامل GRG: بدلاً من معاملة معادلات تدفق القدرة كقيود لينة، يقوم إطار العمل بدمجها تحليلياً في عملية توليد السياسة باستخدام طريقة التدرج المنخفض المعمم (GRG) مدمجة مع خوارزمية Soft Actor-Critic (SAC).
تفكيك المتغيرات: يتم تقسيم متغيرات القرار إلى أفعال أساسية (aB، مثل قدرة المولد، قيم الجهد عند الحافلات غير المحملة) والتي تنتجها سياسة التعلم المعزز، ومتغيرات غير أساسية (aN، مثل جهود حافلات الحمل، زوايا الطور).
الرسم الخرائطي الضمني: يتم اشتقاق المتغيرات غير الأساسية حتمياً عبر حل قيود توازن القدرة (h(aB,aN)=0) باستخدام طريقة نيوتن. وهذا يخلق رسماً خرائطياً ضمنياً aN=ϕ(aB).
انتشار التدرج: باستخدام نظرية الدالة الضمنية، يتم نشر التدرجات عبر هذا الرسم الخرائطي لتحديث السياسة، مما يضمن بقاء التحديثات ضمن الفضاء المماسي لقيود المساواة.
التعامل مع عدم المساواة: تقوم آلية الإسقاط برسم الأفعال على المجموعة الممكنة في حال انتهاك قيود عدم المساواة (مثل حدود الجهد).
2.2 المستوى الأدنى: استراتيجية الحدود الديناميكية
تتعامل الطبقة الدنيا مع توزيع المركبات الكهربائية الفردية داخل محطات الشحن لمعالجة القيود المرتبطة زمنياً (ضمان وصول المركبات الكهربائية إلى SOC المستهدف قبل المغادرة).
الحدود الديناميكية: يقدم إطار العمل استراتيجية مبتكرة لحساب حدود قدرة الشحن الممكنة في الوقت الفعلي (Pi,chmin و Pi,chmax) لكل مركبة كهربائية.
الحد الأعلى مقيد بمعدلات الشحن الفيزيائية وسعة البطارية المتبقية.
الحد الأدنى يُحسب بناءً على الوقت المتبقي حتى المغادرة والعجز بين الـ SOC الحالي والمستهدف، مما يضمن إمكانية إتمام الشحن إذا تم تطبيق الحد الأدنى من القدرة.
تخصيص الأولويات: يضمن المخصص في المستوى الأدنى أولاً حصول جميع المركبات الكهربائية على الحد الأدنى المطلوب من القدرة (المفروض بواسطة الحدود الدينامية). ثم يتم توزيع سعة المحطة المتبقية على المركبات ذات الحاجة الأكثر إلحاحاً للشحن (بناءً على عجز SOC والمغادرة الوشيكة).
تمثيل الحالة: تقوم طبقة تضمين الطلب المتخصصة بترميز متطلبات الشحن المستقبلية في فضاء الحالة لتحسين كفاءة التعلم.
3. المساهمات الرئيسية
الإنفاذ الموحد للقيود المكانية والزمانية: يدمج HPC-RL طريقة GRG في التعلم المعزز لفرض السلامة الفيزيائية لمستوى الشبكة مكانياً (تساوي تدفق القدرة) مع استخدام استراتيجية الحدود الديناميكية لضمان المتطلبات الزمنية للشحن. وهذا يتجاوز العقوبات اللينة إلى الاستيفاء الصارم للقيود.
القابلية للتوسع الهرمي: من خلال فصل توزيع القدرة على مستوى الشبكة عن تخصيص المركبات الكهربائية الفردية، يتغلب الإطار على "لعنة الأبعاد" المرتبطة بأساطيل المركبات الكهربائية واسعة النطاق ومتغيرة الحجم.
الجدوى في الوقت الفعلي: يحقق المنهج جدولة قريبة من المثالية مع معدلات انتهاك قيود تقترب من الصفر، مما يقلل بشكل كبير من وقت الحساب عبر الإنترنت مقارنة بالمحللات التقليدية.
4. النتائج التجريبية
أُجريت التجارب على أنظمة IEEE 14 و30 ونظام 141-bus معدل، ومقارنة HPC-RL مع MPC ومختلف نماذج Safe RL الأساسية (CPO, CUP, DDPGLA, SACLA).
استيفاء القيود: حقق HPC-RL استيفاءً بنسبة 100% للطلب وانتهاكات قيود تقترب من الصفر عبر جميع المقاييس. في المقابل، عانت طرق Safe RL الأساسية غالباً من انتهاكات شديدة للقيود (على سبيل المثال، أظهرت CPO مقادير انتهاك تتراوح بين 0.77 و164.25) أو فشلت في تلبية متطلبات شحن المركبات الكهربائية (66-92% استيفاء).
الكفاءة الحسابية: قلل HPC-RL من وقت الاستدلال عبر الإنترنت بمقدار 52 ضعفاً، و67 ضعفاً، و319 ضعفاً مقارنة بـ MPC على أنظمة 14 و30 و141-bus على التوالي. وبينما استغرق MPC مئات إلى آلاف الثواني، عمل HPC-RL في أقل من 5 ثوانٍ حتى لنظام 141-bus.
المثالية: سجل HPC-RL فجوة تكلفة موضوعية متوسطة (حوالي 7-13%) مقارنة بحل MPC الأمثل، ولكنه قدم حلاً ممكناً عندما كان MPC مكلفاً حسابياً للاستخدام في الوقت الفعلي.
القابلية للتوسع: حافظ النظام على كفاءته مع زيادة عدد المركبات الكهربائية النشطة من 1 إلى 50، حيث ظلت أوقات الاستدلال منخفضة (أقل من ثانيتين لـ 50 مركبة) مقارنة بالنمو الأسي لـ MPC.
دراسات الاستئصال (Ablation Studies):
تضمين الطلب: أدى دمج معلومات الطلب المستقبلي في تمثيل الحالة إلى تحسين سرعة التقارب وتقليل انتهاكات القيود بشكل كبير.
تخصيص الأولويات: تفوق التخصيص القائم على الأولويات الديناميكية على التوزيع المتوسط الثابت في تراكم المكافآت مع الحفاظ على سلامة القيود.
5. الأهمية والادعاءات
تدعي الورقة أن HPC-RL يوفر نموذجاً قابلاً للتطبيق حسابياً وموثوقاً فيزيائياً لتنسيق V2G واسع النطاق. تكمن أهميته في حل المقايضة الأساسية بين القابلية للتوسع في الوقت الفعلي والاستيفاء الصارم للقيود المكانية والزمانية المقترنة. ومن خلال دمج قيود الفيزياء تحليلياً في عملية التعلم وفصل الالتزامات الزمنية عبر الحدود الديناميكية، يتيح المنهج نشر جدولة V2G القائمة على التعلم المعزز في سيناريوهات يكون فيها التحسين التقليدي بطيئاً جداً والتعلم المعزز القياسي غير آمن. ويضع المؤلفون هذا كخطوة نحو التعامل مع توليد الطاقة المتجددة العشوائي وتوبولوجيا التوزيع المعقدة في الأعمال المستقبلية.