A Reinforcement Learning-based Transmission Expansion Framework Considering Strategic Bidding in Electricity Markets
تقترح هذه الورقة إطار عمل لتعلم تعزيزي متعدد الوكلاء يعمل في آن واحد على تحسين تخطيط توسعة النقل والمزايدة الاستراتيجية للمولدات من خلال عملية تدريب موحدة لالتقاط تأثيرهما المتبادل في أسواق الكهرباء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل شبكة الكهرباء كأنها نظام طرق سريعة ضخم ومزدحم، وسوق الكهرباء كأنه دار مزادات عملاقة وعالية المخاطر، حيث تُباع وتُشترى الطاقة كل ساعة.
في هذا العالم، يوجد مجموعتان رئيسيتان من اللاعبين:
- محطات توليد الطاقة (المولدون): يريدون بيع أكبر قدر ممكن من الكهرباء بأعلى سعر لتحقيق الربح.
- مديرو الشبكة (مشغلو النقل): مسؤولون عن بناء وصيانة "الطرق" (خطوط نقل الطاقة) لضمان وصول الكهربة فعلياً من المحطات إلى المنازل.
المشكلة: حلقة تغذية راجعة مكسورة
تقليدياً، تلعب هاتان المجموعتان لعبة "التخمين والتحقق" التي غالباً ما تفشل.
- مديرو الشبكة: يحاولون التخطيط لطرق جديدة (خطوط النقل) بناءً على ما يعتقدون أن محطات الطاقة ستفعله. هم يفترضون أن الجميع سيلعب بنزاهة وصدق.
- محطات توليد الطاقة: هي كيانات استراتيجية. فهم يعلمون أنهم إذا تسببوا في ازدحام الطريق (حركة مرور كثيفة)، يمكنهم حجز طاقتهم وفرض سعر إضافي، تماماً مثل مشغل بوابة تحصيل الرسوم في وسط زحام مروري.
التشبيه:
تخيل مخطط مدينة يبني جسراً جديداً.
- الطريقة القديمة: يفترض المخطط أن الجميع سيقودون بشكل طبيعي. يبني الجسر، ولكن بمجرد افتتاحه، يدرك السائقون أنه يمكنهم التسبب في ازدحام مروري على الطرق القديمة لإجبار الجميع على استخدام الجسر الجديد، أو قد يسلكون طريقاً مختلفاً لتجنب الرسوم. لم يأخذ المخطط في اعتباره "حيل" السائقين، فكان الجسر إما غير مستغل أو يتسبب في مشاكل جديدة.
- النتيجة: تنفق المدينة أموالها على الجسور الخاطئة، أو يزداد الازدحام المروري لأن السائقين يلعبون لعبة لم يفهمها المخطط.
الحل: "المدرب الذكي" (التعلم التعزيزي)
تقدم هذه الورقة طريقة جديدة باستخدام التعلم التعزيزي (RL)، وهو ما يشبه مدرباً فائق الذكاء يدرب فريقاً من شخصيات ألعاب الفيديو.
بدلاً من أن يلعب مدير الشبكة ومحطات توليد الطاقة ألعاباً منفصلة، وضع الباحثون الجميع في محاكاة تدريبية واحدة.
معسكر التدريب (المحاكاة):
- ينشئ الكمبيوتر عالماً افتراضياً (نظام IEEE 30-bus، وهو نسخة تجريبية صغيرة من شبكة مدينة حقيقية).
- محطات توليد الطاقة هي "وكلاء" (شخصيات ذكاء اصطناعي) يتعلمون كيفية تقديم العطاءات. يجربون استراتيجيات مختلفة: "إذا قدمت عطاءً مرتفعاً، هل سأحقق ربحاً أكبر؟ إذا قدمت عطاءً منخفضاً، هل سأبيع كمية أكبر؟"
- مدير الشبكة هو أيضاً وكيل ذكاء اصطناعي. يتعلم أين يبني خطوطاً جديدة. يجرب بناء خط هنا، ثم هناك، ويرى ما سيحدث للتكلفة الإجمالية.
"التحسين المشترك" (السحر):
- في الماضي، كان مدير الشبكة يبني طريقاً، ثم تتفاعل محطات الطاقة مع ذلك.
- في هذا النظام الجديد، يتعلمون في وقت واحد. يتعلم مدير الشبكة: "إذا بنيت طريقاً هنا، فستغير محطات الطاقة استراتيجية تقديم العطاءات الخاصة بها، مما قد يؤدي في الواقع إلى خفض التكلفة الإجمالية".
- تتعلم محطات توليد الطاقة: "إذا بنى مدير الشبكة طريقاً جديداً، فإن قدرتي على فرض أسعار عالية ستختفي، لذا أحتاج إلى استراتيجية جديدة".
إنه يشبه تدريب مدرب كرة قدم وحكم في نفس الوقت. يتعلم الفريق كيف يلعب ضد حكم ذكي، ويتعلم الحكم كيف يدير مباراة لفريق يحاول باستمرار التفوق عليه بذكاء. في النهاية، يجدون توازناً مثالياً حيث تسير اللعبة بسلاسة وكفاءة.
ماذا اكتشفوا؟
اختبر الباحثون هذا النموذج على نظام تجريبي ووجدوا بعض الأشياء المثيرة للاهتمام:
- "خطأ المرحلتين": عندما استخدموا الطريقة القديمة (التخطيط للطريق أولاً، ثم رؤية رد فعل المحطات)، قام مدير الشبكة غالباً ببناء طرق كثيرة جداً. افترضوا أن المحطات ستكون هجومية وتفرض أسعاراً عالية، فبنوا سعة إضافية للتعامل مع ذلك. لكن في الواقع، عدلت المحطات سلوكها، مما جعل ذلك الطريق الإضافي هدراً للمال.
- نجاح "المدرب الذكي": وجد نظام الذكاء الاصطناعي الجديد حلاً "مثالياً" (Goldilocks solution). لقد بنى قدراً مناسباً تماماً من الخطوط الجديدة. أدرك أنه من خلال إضافة طريق معين، يمكنه في الواقع منع محطات الطاقة من الجشع، مما وفر المال للجميع.
الصورة الكبيرة
فكر في هذا الإطار كأنه مترجم ومفاوض يعمل في آن واحد.
بدلاً من أن يتحدث مدير الشبكة ومحطات توليد الطاقة لغات مختلفة ويسيء كل منهما فهم الآخر، يسمح هذا الإطار للذكاء الاصطناعي بأن يجعلهم "يتحدثون" مع بعضهم البعض في الوقت الفعلي أثناء مرحلة التخطيط. إنه يضمن أن الطرق التي نبنيها هي بالضبط ما يحتاجه السوق، مما يمنع هدر الأموال على جسور غير مستخدمة ويتجنب فوضى الازدحام المروري التي يسببها السائقون الجشعون.
باختصار: تعلمنا هذه الورقة أنه لبناء مستقبل أفضل للكهرباء، لا يمكننا فقط التخطيط للطرق في معزل عن الواقع. يجب أن نحاكي كيف سيتصرف السائقون (شركات الطاقة) فعلياً، ونجعل مخططي الطرق والسائقين يتعلمون أفضل استراتيجية معاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.