ملخص تقني: الجدولة المشتركة للطلب القابل للتأجيل وغير القابل للتأجيل مع الإمداد العشوائي المتمركز

1. صياغة المشكلة

تتناول هذه الورقة البحثية الجدولة المثلى لنوعين متميزين من الطلب الكهربائي ضمن نظام طاقة يتميز بإمداد عشوائي متمركز (مثل الطاقة الشمسية فوق الأسطح) والكهرباء المستوردة من الشبكة. تم نمذجة النظام كعملية قرار ماركوف (MDP) ذات حالة مستمرة، وزمن منفصل، وأفق زمني محدد، وقيود محددة.

نوعا الطلب هما:

• الطلب القابل للتأجيل (Deferrable Demand): يصل بشكل عشوائي (مثل شحن المركبات الكهربائية) ويجب إتمامه بحلول موعد نهائي محدد. يمكن تأخير الكمية التي يتم تلبيتها، ولكن الطلب غير الملبي عند الموعد النهائي يترتب عليه غرامة تزايدية محدبة بشكل صارم.
• الطلب غير القابل للتأجيل (Nondeferrable Demand): موجود دائمًا (مثل أنظمة التدفئة والتهوية وتكييف الهواء HVAC، والإضاءة) ويجب تلبيته فورًا. ومع ذلك، فإن الكمية التي يتم تلبيتها تستجيب للسعر، ويتم تحديدها من خلال دالة منفعة متباينة (concave) ومعلومة، وقابلة للاشتقاق.

يعمل النظام تحت تعرفة صافي قياس الطاقة (NEM) المنظمة، وهي تعرفة حتمية، متغيرة زمنيًا، وخطية مجزأة. تميز هذه التعرفة بين معدلات الاستيراد ($\pi^+_t$) ومعدلات التصدير ($\pi^-_t$)، حيث $\pi^+_t \ge \pi^-_t$. الهدف هو تعظيم الفائض الاقتصادي المتوقع (إجمالي منفعة الاستهلاك ناقص مدفوعات الكهرباء وغرامات الإكمال) عبر أفق الجدولة.

يكمن التحدي الجوهري في فضاء السياسة اللانهائي الأبعاد الناتج عن متغيرات الحالة المستمرة (الطلب المتبقي القابل للتأجيل والتوليد العشوائي) ومتغيرات العمل المستمرة (معدلات الخدمة لكلا نوعي الطلب)، وهو ما يتفاقم بسبب بنية تسعير الـ NEM غير الخطية.

2. المنهجية والتحليل النظري

مبدأ المماطلة (The Principle of Procrastination)

يؤكد المؤلفون أن سياسة الجدولة المثلى تتبع "مبدأ المماطلة". يملي هذا المبدأ وجوب تأخير شراء الكهرباء من الشبكة حتى يصبح ذلك ضروريًا تمامًا للوفاء بالمواعيد النهائية، وعلى العكس من ذلك، يجب إعطاء الأولوية للاستهلاك الفوري للتوليد المتجدد المحلي أو تصديره بناءً على مخاطر السعر والتوليد المستقبلية.

التوصيف الهيكلي للسياسة المثلى

من خلال التحليل الدقيق لمعادلة بلمان (Bellman equation)، تثبت الورقة أن السياسة المثلى يمكن اختزالها من فضاء لانهائي الأبعاد إلى فضاء إقليدي محدود الأبعاد محدد بثلاثة معاملات مماطلة (عتبات) لكل خطوة زمنية $t$:

1. $\theta^-_t(g_t)$: عتبة دنيا للطلب المتبقي القابل للتأجيل. تحت هذا المستوى، يعطي النظام الأولوية لتصدير التوليد المحلي على خدمة الطلب القابل للتأجيل، حتى لو كان ذلك يعني تأجيل الحمل أكثر.
2. $\theta^+_t(g_t)$: عتبة عليا. فوق هذا المستوى، يجب على النظام خدمة الطلب القابل للتأجيل بقوة باستخدام كل من التوليد المحلي وشراء الكهرباء من الشبكة لتجنب غرامات الإكمال.
3. $\theta^0_t(g_t)$: معامل يحكم منطقة "صافي الصفر" حيث لا يستورد المنزل ولا يصدر.

تقسم هذه العتبات فضاء الحالة إلى ثلاثة أوضاع تشغيلية متميزة:

• صافي إنتاج (Net-Producing): التوليد المحلي يتجاوز الطلب؛ ويتم تصدير الفائض.
• صافي استهلاك (Net-Consuming): الطلب يتجاوز التوليد المحلي؛ ويتم شراء طاقة الشبكة.
• صافي صفر (Net-Zero): التوليد المحلي يطابق الطلب تمامًا؛ لا يوجد تفاعل مع الشبكة.

ضمن هذه المناطق، تحدد السياسة هيكل أولوية لتخصيص التوليد المحلي بين الطلب غير القابل للتأجيل، والطلب القابل للتأجيل، والتصدير. على سبيل المثال، في منطقة "صافي الصفر"، توازن السياسة بين المنفعة الحدية لأجهزة غير قابلة للتأجيل وبين القيمة الحدية لخدمة الحمل القابل للتأجيل، بناءً على قيم العتبة المحددة.

التعلم المعزز بمماطلة العتبة (Procrastination Threshold Reinforcement Learning - PTRL)

لحل عملية قرار ماركوف (MDP) عندما تكون توزيعات الاحتمالات الأساسية غير معروفة، يقترح المؤلفون خوارزمية تعلم معزز مهيكلة تسمى PTRL.

• تقليل الأبعاد: بدلاً من تعلم سياسة عمل كاملة على الفضاء المستمر ذي $(K+1)$ بُعد (حيث $K$ هو عدد الأجهزة غير القابلة للتأجيل)، تتعلم PTRL فقط عتبات المماطلة الثلاث ($\theta_t$).
• بنية الخوارزمية: تستخدم PTRle إطار عمل Soft Actor-Critic (SAC). تقوم شبكة "الممثل" (Actor) بإخراج المتوسط والتباين لعتبات المماطلة بناءً على الحالة الحالية. بينما تقوم شبكة "الناقد" (Critic) بتقدير القيمة (دالة Q) لزوج (الحالة-العتبة).
• تنفيذ السياسة: بمجرد توليد العتبات بواسطة الممثل، يتم حساب إجراءات الجدولة الفعلية (معدلات الخدمة) بشكل حتمي باستخدام القواعد الهيكلية المستمدة من النظرية 2.

3. النتائج الرئيسية

المساهمات النظرية

• مثالية المماطلة: تثبت الورقة رسميًا أنه بالنسبة لتعرفات الـ NEM الثابتة زمنيًا والمتغيرة زمنيًا، فإن السياسة المثلى تتميز بعتبات المماطلة الثلاث. يؤدي هذا إلى تقليل تعقيد مشكلة الجدولة بشكل كبير.
• التبعية الزمنية الخطية: بالنسبة لنماذج التوليد المستقلة عن الزمن، توضح الورقة أن عتبات المماطلة تحقق تبعية زمنية خطية ($\theta^+_t = \theta^+_{t+1} + \bar{v}$)، مما يقلل بشكل أكبر من عدد المعلمات المطلوب تعلمها.

الأداء العددي

أُجريت تجارب باستخدام مسارات بيانات واقعية من شبكة الشحن التكيفية (ACN) لطلب المركبات الكهربائية ومجموعة بيانات Pecan Street لتوليد الطاقة الشمسية واستهلاك المنازل.

• التقارب: حققت PTRL تقاربًا أسرع بكثير (حوالي 800 حلقة للنماذج المستقلة، و2,000 للنماذج الماركوفية) مقارنة بالمعايير القياسية مثل SAC وDDPG، والتي تطلبت حوالي 6,000 و2,000 حلقة على التوالي.
• فجوة المثالية: في ظل بيانات اختبار اصطناعية تطابق توزيع التدريب، حققت PTRL فجوة مع السياسة المثلى بلغت 3.34% فقط، مقارنة بـ 36.76% لـ SAC و25.91% لـ DDPG.
• متانة بيانات المجال: عند الاختبار على بيانات مجال خارج نطاق العينة، تفوقت PTRL على جميع المعايير (SAC، DDPG، والتحكم التنبئي بالنماذج MPC) بفارق كبير (على سبيل المثال، تحسن بنسبة ~107% عن SAC). يؤكد هذا قدرة PTRL على المتانة تجاه عدم تطابق النموذج والعشوائية في العالم الحقيقي.
• الكفاءة الحسابية: أظهرت PTRL ميزة حسابية كبيرة مقارنة بـ MPC، حيث كانت أسرع بنحو 19 مرة في وقت التقييم، مما يجعلها مناسبة للتنفيذ عبر الإنترنت (online).
• استغلال مصادر الطاقة: تعلمت PTRML بفعالية إعطاء الأولوية لاستهلاك الطاقة المتجددة خلال ساعات خارج الذروة (عندما تكون أسعار التصدير أقل) وتوفير موارد ساعات الذروة عالية القيمة للتصدير، وهي استراتيجية فشلت المعايير القياسية في محاكاتها بنفس الفعالية.

4. الأهمية والادعاءات

تدعي الورقة أن مساهمتها الرئيسية هي التوصيف الهيكلي للسياسة المثلى لمشكلة جدولة طاقة معقدة وواقعية. من خلال تحديد "مبدأ المماطلة"، قام المؤلفون بتحويل عملية قرار ماركوف (MDP) المستعصية وذات الأبعاد اللانهائية إلى مشكلة تقدير معلمات منخفضة الأبعاد.

تكمن أهمية هذا العمل في:

1. الربط بين النظرية والتطبيق: يوفر أساسًا نظريًا (سياسات العتبة) يمكّن من تطوير خوارزميات تعلم تعتمد على البيانات وعالية الكفاءة (PTRL) تتفوق على كل من التعلم المعزز القياسي وطرق التحكم التقليدية (MPC).
2. التعامل مع التسعير غير الخطي: على عكس الأعمال السابقة التي غالبًا ما تفترض تسعير جملة خطيًا، تعالج هذه الورقة طبيعة تعرفة الـ NEM بالتجزئة والزمن المتغير، وهو أمر بالغ الأهمية للنشر العملي في الإعدادات السكنية والتجارية.
3. التحسين المشترك: يعد هذا أول عمل يجدول بشكل مشترك الطلب القابل للتأجيل وغير القابل للتأجيل مع الإمداد العشوائي المتمركز، مما يلتقط التبعيات الزمنية والمقايضات الاقتصادية المتأصلة في أنظمة المستهلكين المنتجين (prosumer) الحديثة.

يحافظ المؤلفون على التواضع فيما يتعلق بالتوسعات المستقبلية، مشيرين إلى أن الإطار الحالي يفترض دوال منفعة معروفة للطلب غير القابل للتأجيل ونوعًا واحدًا من المهام القابلة للتأجيل. ويقترحون أن العمل المستقبلي قد يتضمن دمج التحسين العكسي عبر الإنترنت لتعلم المنافع وتوسيع الإطار ليشمل مهام متعددة قابلة للتأجيل في آن واحد.