Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning

ملخص تقني: التحكم في تدفق مزارع الرياح المقيد بالأحمال عبر التعلم المعزز متعدد الأهداف ومتعدد الوكلاء

1. بيان المشكلة

يُعد التحكم في تدفق مزارع الرياح (WFFC) عبر توجيه الاستيقاظ (wake steering) -أي تعديل انحرافات زاوية الانحراف لتربينات الرياح- وسيلة مثبتة لزيادة إجمالي طاقة مزرعة الرياح عن طريق إعادة توجيه مسارات الاستيقاظ بعيداً عن التوربينات الواقعة في اتجاه المصب. ومع ذلك، تفرض هذه العملية مقايضة حرجة: فبينما قد تزداد طاقة التوربينات في المنبع، فإن مسارات الاستيقاظ المعاد توجيهها غالباً ما تفرض أحمالاً هيكلية أعلى -تحديداً الأحمال المكافئة للتلف (DELs)- على التوربينات الموجودة في اتجاه المصب، مما قد يقلل من عمرها التشغيلي.

تستخدم وحدات التحكم الصناعية الحالية عادةً استراتيجيات محلية "جشعة" تهدف لتعظيم طاقة كل توربين على حدة، لكنها تتجاهل هذه التفاعلات المعقدة وغير الخطية بين التوربينات والنتائج المترتبة على الإجهاد الهيكلي. ويتمثل التحدي في تطوير استراتيجية تحكم تعظم طاقة المزرعة بالكامل مع الالتزام الصارم بعتبات زيادة الأحمال الهيكلية المحددة مسبقاً ($\Delta_{max}$).

2. المنهجية

يقترح المؤلفون إطار عمل للتعلم المعزز متعدد الوكلاء (MARL) مصمماً للتنقل في المقايضة متعددة الأهداف بين إنتاج الطاقة وتخفيف الأحمال.

• البنية الهيكلية: تستخدم الدراسة بنية الخوارزمية المستقلة لـ Soft Actor-Critic (I-SAC). في هذا الإعداد، يتم التحكم في كل توربين بواسطة وكيل خاص به (تنفيذ لامركزي)، ولكن يتم تدريبهم باستخدام إشارة مكافأة عالمية مشتركة لتشجيع السلوك التعاوني (تدريب مركزي).
• البيئة والفيزياء: تم تنفيذ إطار العمل في بيئة WindGym باستخدام مُحلل التدفق DYNAMIKS مع نموذج Dynamic Wake Meandering (DWM). يسمح هذا بنمذجة فيزياء استيقاظ عالية الدقة وغير مستقرة، وحقول رياح مضطربة (نموذج اضطراب Mann).
• تقدير الأحمال (النموذج البديل): لتمكين التغذية الراجعة في الوقت الفعلي دون التكلفة الحسابية الهائلة للمحاكاة الهوائية المرنة، دمج المؤلفون نموذجاً بديلاً للـ DEL يعتمد على البيانات. هذا النموذج المكون من ثلاث طبقات من الشبكات العصبية تم تدريبه مسبقاً على بيانات HAWC2 الهوائية المرنة، ويستخدم كميات قطاع التدفق المحلي متوسطة لتقدير أحمال عزم دوران جذر الشفرة في الاتجاه الأفقي (flapwise moment DELs).
• تشكيل المكافأة: يتم تدريب الوكلاء باستخدام دالة مكافأة مركبة:
  1. مكافأة الطاقة ($r_{power}$): تشجع على تعظيم نسبة طاقة المزرعة إلى الطاقة المرجعية.
  2. عقوبة القيود ($r_{constraint}$): عقوبة تُطبق فقط عندما يتجاوز الارتفاع المقدر في الـ DEL العتبة المحددة من قبل المستخدم ($\Delta_{max} = 10\%, 20\%, \text{ or } 30\%$).
• صياغة المشكلة: تم نمذجة المهمة كعملية ماركوف لاتخاذ القرار تحت ملاحظة جزئية (POMDP)، حيث يتخذ الوكلاء قراراتهم بناءً على ملاحظات الرياح المحلية والعالمية (السرعة، الاتجاه، وزاوية الانحراف) في ظل عدم اليقين البيئي المتأصل.

3. المساهمات الرئيسية

• دمج القيود الهيكلية في التعلم المعزز: على عكس الدراسات السابقة التي تركز بشكل أساسي على الطاقة، يدمج هذا العمل صراحةً قيود الـ DEL في بنية مكافأة التعلم المعزز.
• نهج النمذجة الهجين: يسمح الربط بين مُحلل تدفق ديناميكي عالي الدقة (DWM) ونموذج بديل هيكلي سريع يعتمد على البيانات بتدريب فعال واسع النطاق للسياسات المدركة للأحمال.
• القابلية للتوسع متعددة الأهداف: يوفر استخدام I-SAC طريقة قابلة للتوسع لإدارة توربينات متعددة، مما يسمح لها بتعلم استراتيجيات انحراف "تعاونية" توازن بين احتياجات المزرعة بأكملها.

4. النتائج

• المقايضة بين الطاقة والحمل: نجح الوكلاء في التنقل عبر جبهة باريتو (Pareto front). ومع تخفيف قيد $\Delta_{max}$ (من 10% إلى 30%)، حقق الوكلاء عوائد طاقة أعلى.
• الامتثال للقيود:
  • أظهر الوكلاء المقيدون بـ 30% و20% تخفيفاً فعالاً للأحمال، حيث قاموا بتعديل مسارات زاوية الانحراف بنشاط للبقاء ضمن حدود السلامة.
  • أما الوكلاء غير المقيدين فقد عظموا الطاقة ولكن تسببوا في زيادات كبيرة في الـ DEL في التوربينات الواقعة في اتجاه المصب.
  • كان الوكيل المقيد بـ 10% استثناءً؛ فبينما حقق طاقة أفضل من وكيل الـ 20%، إلا أنه انتهك أحياناً عتبة الـ 10% الصارمة عند مواجهة اضطرابات غير مرئية، مما يشير إلى أن القيود الضيقة جداً يصعب الحفاظ عليها في ظل الظروف العشوائية.
• التحميل غير المتماثل: تعلم الوكلاء استغلال الطبيعة غير المتماثلة لأحمال الشفرات، حيث قللوا أحياناً الأحمال على توربينات المنبع مع إدارة الطاقة المعاد توجيهها لتوربينات المصب.

5. الأهمية

يمثل هذا البحث خطوة هامة نحو "التحكم في مزارع الرياح المدرك للعمر الافتراضي". ومن خلال إثبات قدرة التعلم المعزز متعدد الوكلاء (MARL) على الموازنة بين عائد الطاقة والسلامة الهيكلية، توفر الدراسة مخططاً لمتحكمات مزارع الرياح ذاتية التشغيل في المستقبل. إنها تنقل الصناعة نحو نموذج تشغيلي شامل حيث لا يتم تحسين مزارع الرياح لإنتاج الكهرباء الفوري فحسب، بل أيضاً من أجل الجدوى الاقتصادية طويلة الأجل من خلال تخفيف الإجهاد الهيكلي.