Topology-Aware Graph Reinforcement Learning for Energy Storage Systems Optimal Dispatch in Distribution Networks

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التعلم التعزيزي المعتمد على الرسوم البيانية الواعية بالبنية الطوبولوجية للتحكم الأمثل في أنظمة تخزين الطاقة في شبكات التوزيع."

١. بيان المشكلة

يعتبر التحكم الأمثل لأنظمة تخزين الطاقة (ESS) في شبكات التوزيع (DNs) مسألة تحسين معقدة ومقيدة. تتطلب هذه العملية تقليل التكاليف التشغيلية (شراء الكهرباء) بشكل مشترك مع الحفاظ على أمن الجهد تحت ظروف متغيرة زمنياً (الأحمال، التوليد، الأسعار) وتغيرات محتملة في البنية الطوبولوجية (عمليات التبديل).

• التحديات:
  • زمن الاستجابة الحسابي: الطرق التقليدية القائمة على النماذج (مثل البرمجة غير الخطية - NLP) مكلفة حسابياً عند حلها في الوقت الفعلي، خاصة في الشبكات الكبيرة أو عند تغير البنية الطوبولوجية بشكل متكرر.
  • الاعتماد على الطوبولوجيا: يتأثر تأثير إجراء نظام تخزين الطاقة على جهود النظام بالاتصال الكهربائي ومعاوقة الخطوط. تفشل وكلاء التعلم التعزيزي (RL) القياسية التي تستخدم ناقلات حالة مسطحة في التقاط هذه التبعيات المكانية، مما يؤدي إلى ضعف التعميم عند تغير طوبولوجيا الشبكة.
  • التعميم: تواجه أساليب التعلم التعزيزي الحالية صعوبة في نقل السياسات عبر شبكات ذات أحجام مختلفة أو طوبولوجيات أعيد تشكيلها دون إعادة تدريب.

٢. المنهجية

يقترح المؤلفون إطار عمل للتعلم التعزيزي المعتمد على الرسوم البيانية والواعي بالطوبولوجيا (GNN-RL) بناءً على خوارزمية السياسة الحتمية العميقة المتأخرة المزدوجة (TD3).

أ. الصياغة الرياضية

تمت صياغة المشكلة كعملية ماركوف لاتخاذ القرار (MDP):

• الحالة ($s_t$): تشمل الخطوة الزمنية، سعر الكهرباء، الطلب على القدرة الفعالة، حالة الشحن (SOC) لنظام تخزين الطاقة، وجهد العقد (تحديداً عند عقد تخزين الطاقة).
• الإجراء ($a_t$): قدرة الشحن/التفريغ لكل نظام تخزين طاقة.
• المكافأة ($r_t$): مجموع مرجح لمكونين:
  1. الاقتصادي: التكلفة السالبة للكهرباء المشتراة (مكافأة للتفريغ أثناء الأسعار المرتفعة).
  2. التقني: عقوبة لانحرافات الجهد خارج الحدود المسموح بها ($[V_{min}, V_{max}]$).

ب. بنية تعتمد على الشبكات العصبية للرسوم البيانية (GNN)

بدلاً من استخدام الشبكات العصبية متعددة الطبقات (MLPs) القياسية ذات المدخلات المسطحة، قام المؤلفون بدمج مشفر شبكة عصبية للرسوم البيانية (GNN encoder) داخل هيكل الممثل-الناقد (actor-critic):

• تمثيل الرسم البياني: يتم نمذجة شبكة التوزيع كرسم بياني $G=(E, X)$، حيث $E$ هي مصفوفة التجاور (الاتصال) و $X$ هي مصفوفة سمات العقدة.
• سمات العقد: تشمل الوقت، السعر، الطلب، حالة الشحن (مع حشو صفري للعقد التي لا تحتوي على أنظمة تخزين طاقة)، الجهد (حشو صفري للعقد التي لا تحتوي على أنظمة تخزين طاقة)، ومؤشر ثنائي لوجود نظام تخزين الطاقة.
• تصميم الممثل-الناقد غير المتماثل:
  • الممثل (Actor): يستخدم تضمينات الرسم البياني المستمدة فقط من عقد تخزين الطاقة ($G_B$) لتوليد الإجراءات. هذا يركز السياسة على السمات الخاصة بالتخزين مع الاستفاد من سياق الطوبولوجيا العالمي.
  • الناقد (Critic): يستخدم التجميع المتوسط العالمي لتجميع التضمينات من جميع العقد ($G'$), مما يوفر رؤية شاملة للنظام والقيود لتقدير القيمة.

ج. متغيرات الـ GNN التي تم تقييمها

تم دمج ومقارنة ثلاث بنيات معينة للرسوم البيانية التلافيفية:

1. GCN (الشبكة التلافيفية للرسوم البيانية): تستخدم التجاور المنظم لتجميع الجيران بشكل مستقر ومتماثل.
2. TAGConv (التلافيف الرسومية المتكيفة مع الطوبولوجيا): تستخدم مرشحات متعددة الرتب (K-order polynomial filters) لالتقاط التبعيات متعددة القفزات في طبقة واحدة، مما يتجنب التراكم العميق وظاهرة التنعيم المفرط (over-smoothing).
3. GAT (شبكة الانتباه للرسوم البيانية): تستخدم آلية انتباه لوزن الجيران ديناميكياً، مما يسمح للنموذج بالتركيز على العقد الأكثر تأثيراً كهربائياً.

٣. المساهمات الرئيسية

1. مشفر واعي بالطوبولوجيا: تطوير مشفر سمات يعتمد على GNN يدمج صراحةً اتصال الشبكة والاقتران الكهربائي في تمثيل حالة التعلم التعزيزي.
2. إطار الممثل-الناقد غير المتماثل: دمج مشفر GNN في خوارزمية TD3، حيث يركز الممثل على إجراءات التخزين المحلية بينما يقيم الناقد قيود النظام العالمية.
3. التقييم المنهجي: مقارنة شاملة لـ GCN و TAGConv و GAT مقابل خط أساس عصبي قياسي (NN) ومحسن NLP عالمي على نظامين متميزين (IEEE 34-bus و 69-bus).
4. تحليل التعميم: اختبار صارم للقدرة على الصمود تحت:
   • إعادة تشكيل الشبكة: تغيير اتصالات الفروع داخل نفس النظام.
   • النقل بين الأنظمة: نقل السياسات بين أنظمة ذات أحجام مختلفة (34-bus $\leftrightarrow$ 69-bus).

٤. النتائج التجريبية

أ. الأداء على طوبولوجيات التدريب

• سرعة التنفيذ: الوكلاء المعتمدون على RL أسرع بمقدار 86 إلى 614 مرة من حل NLP عبر الإنترنت. تزداد سرعة التسريع بشكل أكبر في نظام الـ 69 عقدة.
• الأداء الاقتصادي:
  • في نظام 34-bus، حقق خط الأساس العصبي (NN) أفضل أداء، حيث حققت متغيرات GNN ما بين 92-99% من مدخرات التكلفة للـ NN.
  • في نظام 69-bus (الأكثر تعقيداً)، تفوق TD3-GCN و TD3-TAGConv على خط الأساس NN، حيث حققا حوالي 109% و 102% من مدخرات التكلفة للـ NN على التوالي.
• تنظيم الجهد: نجحت المتحكمات القائمة على GNN باستمرار في تقليل تكرار وحجم انتهاكات الجهد مقارنة بخط أساس NN. كان هذا التفوق أكثر وضوحاً في نظام 69-bus وتحت ظروف إعادة التشكيل.
• مقارنة متغيرات GNN:
  • أظهر TAGConv و GAT قدرة تمثيلية قوية، لكن GAT أظهرت حساسية أعلى للبذور العشوائية (عدم استقرار التحسين).
  • قدم TAGConv توازناً جيداً، حيث التقط التبعيات متعددة القفزات بفعالية.

ب. التعميم والنقل

• إعادة تشكيل الشبكة: تعممت السياسات المدربة على الطوبولوجيا الأساسية بشكل جيد على الطوبولوجيات المعاد تشكيلها (انخفاض طفيف في الأداء). حافظت نماذج GNN على تحقيق مستمر للقيود (الجهد) مقارنة بنماذج NN عند تغير الاقتران الكهربائي.
• النقل بين الأنظمة (Zero-Shot):
  • أدى نقل السياسات بين أنظمة مختلفة جذرياً (34 $\to$ 69 أو 69 $\to$ 34) إلى تدهور كبير في الأداء.
  • انخفضت الدقة الاقتصادية إلى حوالي 30-50%، وزادت انتهاكات الجهد.
  • عدم التماثل: انتقلت السياسات المدربة على النظام الأكبر (69-bus) بشكل أفضل قليلاً إلى النظام الأصغر مقارنة بالعكس، مما يشير إلى أن الأنظمة الأكثر تعقيداً تتعلم تمثيلات أغنى لتفاعلات الشبكة.

٥. الأهمية والخاتمة

• الجدوى العملية: يثبت الإطار المقترح أن التعلم التعزيزي المعتمد على GNN يمكن أن يوفر قرارات توزيع عالية الجودة وفورية، متجاوزاً عقبة زمن الاستجابة التي تواجهها طرق التحسين التقليدية.
• الوعي بالطوبولوجيا: يعد نمذجة الشبكة كـ "رسم بياني" أمراً بالغ الأهمية لتنظيم الجهد، خاصة في الشبكات الشعاعية الأكبر والأعمق حيث يكون للإجراءات المحلية تأثيرات غير محلية.
• القيود والعمل المستقبلي: بينما تتفوق نماذج GNN في إعادة تشكيل الشبكة، لا يزال النقل عبر الأنظمة (Zero-shot transfer) بين مقاييس الأنظمة المختلفة يمثل تحدياً. يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على التدريب المتنوع طوبولوجياً والتكيف الخفيف (Fine-tuning) لتمكين النشر الموثوق عبر الأنظمة المختلفة.

الملخص: تؤكد هذه الورقة أن دمج الشبكات العصبية للرسوم البيانية (GNN) في التعلم التعزيزي يحسن بشكل كبير من قدرات تنظيم الجهد والقدرة على الصمود لمتحكمات تخصيص أنظمة تخزين الطاقة في شبكات التوزيع، خاصة مع زيادة تعقيد الشبكة، رغم أن التعميم عبر الأنظمة يتطلب استراتيجيات تكيف إضافية.