A Priority-Guided Action-Masked Proximal Policy Optimization Framework for Dynamic Scheduling of Electric Power Material Verification Tasks

في البنية التحتية الهائلة والنابضة بالحياة لشبكة طاقة حديثة، لا تُعد الموثوقية رفاهية بل ضرورة قصوى. فقبل أن يتم تركيب محول أو عداد للحفاظ على استمرار الإضاءة، يجب أن يمر بعملية تحقق صارمة، وهي نوع من نقاط تفتيش مراقبة الجودة حيث يتم اختبار كل قطعة من المعدات لضمان استيفائها لمعايير سلامة دقيقة. يحدث هذا العمل في مراكز مزدحمة حيث تصل دفعات من المهام باستمرار، وأحياناً مع مواعيد نهائية عاجلة، وحيث يمكن للآلات التي تقوم بالاختبار أن تتعطل فجأة أو تتباطأ سرعتها. ولا يقتصر التحدي الذي يواجه الأشخاص الذين يديرون هذه المراكز على إنجاز العمل فحسب، بل في اتخاذ قرار في الوقت الفعلي بشأن المهمة التي يجب أن تذهب إلى أي آلة. فإذا أساؤوا الاختيار، ستتأخر الوظائف العاجلة، وستظل الآلات خاملة بينما تتعرض آلات أخرى لضغط مفرط، ويصبح النظام بأكره أقل كفاءة. ولعقود من الزمن، اعتمد المشغلون على قواعد ثابتة لاتخاذ هذه القرارات، مثل إعطاء الأولوية دائماً للمهمة الأكثر إلحاحاً أو لتلك التي انتظرت لأطول فترة. وبينما تتسم هذه القواعد بالبساطة والسرعة، إلا أنها تعاني عندما يصبح البيئة فوضوية، وتكون غير قادرة على التكيف مع الأنماط المعقدة والمتغيرة ليوم عمل مزدحم.

لقد طور باحثون من شركة "يونان باور جريد" (Yunella Power Grid) وجامعة كونمينغ للعلوم والتكنولوجيا طريقة جديدة لمعالجة هذه المشكلة، متجاوزين القواعد البسيطة إلى نظام يتعلم من الخبرة. فقد أنشأوا محاكاة حاسوبية تحاكي الواقع الفوضوي لمركز التحقق، بما يتضمنه من وصول عشوائي للمهام، وتدخلات عاجلة، وأعطال في المعدات. وفي هذا العالم الرقمي، أدخلوا وكيلاً للذكاء الاصطناعي تم تدريبه باستخدام طريقة تسمى "تحسين السياسة القريبة" (Proximal Policy Optimization). وبخلاف المشغل البشري الذي قد يعتمد على شعور داخلي واحد أو قائمة مراجعة جامدة، يتم تعليم هذا الوكيل النظر إلى الموقف بأكمكم—من إلحاح المهام، وصحة الآلات الحالية، ومدة انتظار كل وظيفة—ثم اتخاذ القرار. وللحفاظ على عدم إضاعة وقت الوكيل في خطوات مستحيلة، بنى الباحثون مرشحاً (فلتر) يحجب أي عملية تعيين قد تكسر القواعد، مثل إرسال مهمة إلى آلة معطلة. بعد ذلك، يختار الوكيل الخيار الأفضل من قائمة قصيرة لأكثر المرشحين واعداً، مسترشداً بنظام أولويات يزن عوامل مختلفة مثل مدة انتظار المهمة وحجم السعة التي تساهم بها.

وضعت الدراسة نظام التعلم هذا في مواجهة مباشرة مع طريقة تقليدية قوية تعتمد على القواعد تُعرف باسم "خوارزمية الهامش الطارئ" (emergency-slack heuristic)، والتي تعطي الأولوية للمهام العاجلة وتلك التي لديها أقل وقت متبقٍ. أجرى الباحثون آلاف عمليات المحاكاة عبر تسعة سيناريوهات مختلفة، تراوحت من الأيام الهادئة والمتوقعة إلى الفترات الفوضوية التي تشهد أعطالاً متكررة في الآلات وطفرات مفاجئة في العمل العاجل. وأظهرت النتائج أن النظام القائم على التعلم تفوق عموماً على القاعدة التقليدية. فمن حيث سرعة إكمال المهام وعدد الوظائف التي تمر عبر النظام، كان النهج الجديد أفضل باستمرار، حيث أنهى العمل بشكل أسرع وحرك المزيد من المواد عبر خط التحقق. ومع ذلك، لم تكن القصة انتصاراً بسيطاً؛ فقد وجد الباحثون أنه بينما كان النظام الجديد أسرع، إلا أنه استخدم الآلات بكفاءة أقل، تاركاً إياها في حالة خمول أكثر مما فعلت القاعدة التقليدية. وهذا يشير إلى وجود مقايضة: فالوكيل المتعلم مستعد لترك الآلة تقف للحظة إذا كان ذلك يعني إمكانية اتخاذ قرار أفضل للمهمة التالية الأكثر أهمية.

ولعل الأهم من ذلك هو أن الدراسة كشفت أن هذا النظام الجديد ليس حلاً سحرياً يعمل بشكل مثالي في كل موقف. ففي سيناريو محدد، كان أداء النظام المتعلم أسوأ من القاعدة التقليدية، مما أدى إلى نتيجة إجمالية أقل لذلك الإعداد المعين. علاوة على ذلك، عندما اختبر الباحثون مدى قدرة النظام على التعامل مع مجموعة أوسع من المواقف غير المرئية، كانت النتائج غير مؤكدة؛ إذ لم توفر البيانات دليلاً كافياً للقول بأن النظام الجديد سيكون متفوقاً دائماً في العالم الحقيقي. وتخلص الدراسة إلى أنه بينما يوفر إطار التعلم الموجه بالأولويات ميزة واضحة في السرعة والإنتاجية في بيئات المحاكاة المختبرة، فإنه يأتي بحدود محددة. فهو يتفوق في إنجاز الأمور بسرعة ولكنه يتطلب إدارة دقيقة لاستخدام الآلات، ويعتمد نجاحه بشدة على الظروف المحددة لليوم. لا يدعي هذا العمل أنه حل مشكلة الجدولة الديناميكية إلى الأبد، بل يقدم أداة جديدة قوية يمكنها، عند فهمها وتطبيقها بعناية، مساعدة مشغلي شبكة الطاقة في التنقل عبر المتطلبات المعقدة والمتغيرة للحفاظ على سلامة الشبكة وموثوقيتها.