A Priority-Guided Action-Masked Proximal Policy Optimization Framework for Dynamic Scheduling of Electric Power Material Verification Tasks
تقترح هذه الورقة إطار عمل PPO-TS، وهو نظام تحسين سياسة متقاربة موجه بالأولوية ومقنع بالإجراءات، والذي يُظهر تحسناً ذا دلالة إحصائية في معيار مرجعي اصطناعي لجدولة التحقق من مواد الطاقة الكهربائية الديناميكية، على الرغم من كشف قيود في استغلال المعدات وحدود التعميم.
في البنية التحتية الهائلة والنابضة بالحياة لشبكة طاقة حديثة، لا تُعد الموثوقية رفاهية بل ضرورة قصوى. فقبل أن يتم تركيب محول أو عداد للحفاظ على استمرار الإضاءة، يجب أن يمر بعملية تحقق صارمة، وهي نوع من نقاط تفتيش مراقبة الجودة حيث يتم اختبار كل قطعة من المعدات لضمان استيفائها لمعايير سلامة دقيقة. يحدث هذا العمل في مراكز مزدحمة حيث تصل دفعات من المهام باستمرار، وأحياناً مع مواعيد نهائية عاجلة، وحيث يمكن للآلات التي تقوم بالاختبار أن تتعطل فجأة أو تتباطأ سرعتها. ولا يقتصر التحدي الذي يواجه الأشخاص الذين يديرون هذه المراكز على إنجاز العمل فحسب، بل في اتخاذ قرار في الوقت الفعلي بشأن المهمة التي يجب أن تذهب إلى أي آلة. فإذا أساؤوا الاختيار، ستتأخر الوظائف العاجلة، وستظل الآلات خاملة بينما تتعرض آلات أخرى لضغط مفرط، ويصبح النظام بأكره أقل كفاءة. ولعقود من الزمن، اعتمد المشغلون على قواعد ثابتة لاتخاذ هذه القرارات، مثل إعطاء الأولوية دائماً للمهمة الأكثر إلحاحاً أو لتلك التي انتظرت لأطول فترة. وبينما تتسم هذه القواعد بالبساطة والسرعة، إلا أنها تعاني عندما يصبح البيئة فوضوية، وتكون غير قادرة على التكيف مع الأنماط المعقدة والمتغيرة ليوم عمل مزدحم.
لقد طور باحثون من شركة "يونان باور جريد" (Yunella Power Grid) وجامعة كونمينغ للعلوم والتكنولوجيا طريقة جديدة لمعالجة هذه المشكلة، متجاوزين القواعد البسيطة إلى نظام يتعلم من الخبرة. فقد أنشأوا محاكاة حاسوبية تحاكي الواقع الفوضوي لمركز التحقق، بما يتضمنه من وصول عشوائي للمهام، وتدخلات عاجلة، وأعطال في المعدات. وفي هذا العالم الرقمي، أدخلوا وكيلاً للذكاء الاصطناعي تم تدريبه باستخدام طريقة تسمى "تحسين السياسة القريبة" (Proximal Policy Optimization). وبخلاف المشغل البشري الذي قد يعتمد على شعور داخلي واحد أو قائمة مراجعة جامدة، يتم تعليم هذا الوكيل النظر إلى الموقف بأكمكم—من إلحاح المهام، وصحة الآلات الحالية، ومدة انتظار كل وظيفة—ثم اتخاذ القرار. وللحفاظ على عدم إضاعة وقت الوكيل في خطوات مستحيلة، بنى الباحثون مرشحاً (فلتر) يحجب أي عملية تعيين قد تكسر القواعد، مثل إرسال مهمة إلى آلة معطلة. بعد ذلك، يختار الوكيل الخيار الأفضل من قائمة قصيرة لأكثر المرشحين واعداً، مسترشداً بنظام أولويات يزن عوامل مختلفة مثل مدة انتظار المهمة وحجم السعة التي تساهم بها.
وضعت الدراسة نظام التعلم هذا في مواجهة مباشرة مع طريقة تقليدية قوية تعتمد على القواعد تُعرف باسم "خوارزمية الهامش الطارئ" (emergency-slack heuristic)، والتي تعطي الأولوية للمهام العاجلة وتلك التي لديها أقل وقت متبقٍ. أجرى الباحثون آلاف عمليات المحاكاة عبر تسعة سيناريوهات مختلفة، تراوحت من الأيام الهادئة والمتوقعة إلى الفترات الفوضوية التي تشهد أعطالاً متكررة في الآلات وطفرات مفاجئة في العمل العاجل. وأظهرت النتائج أن النظام القائم على التعلم تفوق عموماً على القاعدة التقليدية. فمن حيث سرعة إكمال المهام وعدد الوظائف التي تمر عبر النظام، كان النهج الجديد أفضل باستمرار، حيث أنهى العمل بشكل أسرع وحرك المزيد من المواد عبر خط التحقق. ومع ذلك، لم تكن القصة انتصاراً بسيطاً؛ فقد وجد الباحثون أنه بينما كان النظام الجديد أسرع، إلا أنه استخدم الآلات بكفاءة أقل، تاركاً إياها في حالة خمول أكثر مما فعلت القاعدة التقليدية. وهذا يشير إلى وجود مقايضة: فالوكيل المتعلم مستعد لترك الآلة تقف للحظة إذا كان ذلك يعني إمكانية اتخاذ قرار أفضل للمهمة التالية الأكثر أهمية.
ولعل الأهم من ذلك هو أن الدراسة كشفت أن هذا النظام الجديد ليس حلاً سحرياً يعمل بشكل مثالي في كل موقف. ففي سيناريو محدد، كان أداء النظام المتعلم أسوأ من القاعدة التقليدية، مما أدى إلى نتيجة إجمالية أقل لذلك الإعداد المعين. علاوة على ذلك، عندما اختبر الباحثون مدى قدرة النظام على التعامل مع مجموعة أوسع من المواقف غير المرئية، كانت النتائج غير مؤكدة؛ إذ لم توفر البيانات دليلاً كافياً للقول بأن النظام الجديد سيكون متفوقاً دائماً في العالم الحقيقي. وتخلص الدراسة إلى أنه بينما يوفر إطار التعلم الموجه بالأولويات ميزة واضحة في السرعة والإنتاجية في بيئات المحاكاة المختبرة، فإنه يأتي بحدود محددة. فهو يتفوق في إنجاز الأمور بسرعة ولكنه يتطلب إدارة دقيقة لاستخدام الآلات، ويعتمد نجاحه بشدة على الظروف المحددة لليوم. لا يدعي هذا العمل أنه حل مشكلة الجدولة الديناميكية إلى الأبد، بل يقدم أداة جديدة قوية يمكنها، عند فهمها وتطبيقها بعناية، مساعدة مشغلي شبكة الطاقة في التنقل عبر المتطلبات المعقدة والمتغيرة للحفاظ على سلامة الشبكة وموثوقيتها.
ملخص تقني: إطار عمل لتحسين السياسات القريبة من بروكسيمال (PPO) الموجه بالأولويات والمقيد بالأفعال (Action-Masked) للجدولة الديناميكية لمهام التحقق من مواد الطاقة الكهربائية
بيان المشكلة يتضمن التحقق من مواد الطاقة الكهربائية تخصيص دفعات من المهام لأجهزة متوافقة بموجب قيود زمنية وسعة وتشغيل صارمة. وخلافاً لجداول التصنيع الثابتة، فإن قوائم التحقق هذه ديناميكية: حيث تصل المهام عشوائياً، وتحدث عمليات إدراج عاجلة، وتتفاوت كفاءات الأجهزة، وتحدث أعطال في المعدات. يجب على سياسة الجدولة القوية تنسيق توقيت المهام، واستغلال المعدات، والتعافي من الانقطاعات. وبينما توفر قواعد التوزيع القائمة على القواعد (مثل استدلالات الهامش الطارئ - emergency-slack heuristics) الشفافية والسرعة، إلا أنها تواجه صعوبة في التكيف مع متغيرات الحالة المعقدة والمدمجة مثل تكوين الطابور وتاريخ الأعطال. وعلى العكس من ذلك، يمكن لتعلم التعزيز العميق (DRL) تعلم البيئات متعددة الحالات، ولكنه غالباً ما يواجه مساحات أفعال تعج بالتعيينات غير الصارمة أو ذات القيمة المنخفضة.
المنهجية: إطار عمل PPO-TS يقترح المؤلفون إطار عمل PPO-TS، وهو إطار عمل لتحسين السياسات القريبة من بروكسيمال (PPO) الموجه بالأولويات والمقيد بالأفعال، المصمم لمعالجة هذه التحديات. يتم نمذجة عملية الجدولة كعملية قرار ماركوف (MDP) داخل محاكي يقوم بحقن وصول مهام عشوائي، وتسميات عاجلة، وأعطال في الأجهزة.
تتكون البنية الأساسية من أربع وحدات وظيفية:
محاكاة الجدولة الديناميكية: تدير البيئة طوابير المهام، وحالات الأجهزة (خامل، مشغول، معطل)، والاضطرابات العشوائية.
تقييد الأفعال الممكنة (Feasible Action Masking): قبل اختيار السياسة، يقوم النظام بحصر جميع أزواج (المهمة-الجهاز) الممكنة بناءً على توافر الجهاز الحالي والتوافق التشغيلي. يتم حجب الأفعال غير الصالحة بصرامة لمنع السياسة من اختيار تعيينات مستحيلة.
التصفية الموجهة بالأولويات (Top-k Filtering): لتقليل مساحة الأفعال بشكل أكبر، يحتفظ الإطار فقط بنسبة α (تم ضبطها على 0.35 في التجارب) من الأفعال الممكنة، والمرتبة حسب درجة أولوية ديناميكية (ωik). تدمج هذه الدرجة بين الاستعجال، وعمر الانتظار، وطول المهمة، والمساهمة في السعة، وسرعة الجهاز، وتوازن الحمل.
تعلم سياسة PPO: تقوم خوارزمية PPO باختيار فعل من مجموعة المرشحين المصفاة. تتضمن شبكة السياسة طبقة بوابة ميزة (feature-gating layer) خفيفة الوزن لتشفير الحالة. توازن دالة المكافأة بين جودة التعيين، ومكافآت المهام العاجلة، والعقوبات على المهام غير المعينة، والتأخير، وتكاليف التعافي من الانقطاع.
التصميم التجريبي والتقييم تستخدم الدراسة بروتوكول تقييم صارماً ومحدد مسبقاً باستخدام تسع "خلايا" (cells) بناءً على نماذج Brandimarte لورش العمل المرنة.
المقارنات المرجعية (Baselines): تمت مقارنة إطار عمل PPO-TS مع مرجع قوي قائم على القواعد وهو: استدلال الهامش الطارئ (ES).
السيناريوهات: يغطي التقييم الظروف العادية، ومستويات متفاوتة من الاستعجال (منخفض/عالي)، ومعدلات فشل الأجهزة (منخفض/عالي)، واضطرابات معدل الوصول.
الدقة الإحصائية: يستخدم التحليل تصميماً "مجمداً" باستخدام ScenarioTapes مقفلة بالهاش لضمان قابلية التكرار. كما يستخدم فترات ثقة Welch الموزونة، وبوتستراب (bootstrapping) بذور التدريب الشرطية، واختبار فرضيات متعددة معدل بـ Holm للتحكم في معدلات الاكتشاف الخاطئ. المقياس الأساسي هو درجة مركبة موزونة (WCS) توازن بين متوسط وقت الإنجاز (ACT)، ومعدل التأخير (TR)، واستغلال المعدات (EU)، وتكلفة التعافي من الانقطاع (IRC)، والإنتاجية (TP).
النتائج الرئيسية
الأداء العالمي: أظهر PPO-TS تفوقاً ذا دلالة إحصائية عالمياً على مرجع ES في الـ WCS المتوازن (متوسط الفرق: 0.00575؛ 95% CI: 0.00466 إلى 0.00683؛ p=1.20×10−9).
مقاييس المكونات:
وقت الإنجاز (ACT): تفوق PPO-TS على ES في جميع الخلايا 9/9.
الإنتاجية (TP): تفوق PPO-TS على ES في 8/9 من الخلايا.
استغلال المعدات (EU): كان PPO-TS باستمرار (سلبياً/أقل استغلالاً) مقارنة بـ ES في جميع الخلايا 9/9، مما يشير إلى وجود مقايضة حيث تعطي السياسة المتعلمة الأولوية للسرعة والاستعجال على حساب تعظيم وقت انشغال الجهاز.
التأخير والتعافي: كانت النتائج متباينة عبر الخلايا، حيث أظهر بعضها اتجاهات إيجابية والبعض الآخر سلبية.
تباين مستوى الخلية: أدى المتوسط العالمي إلى حجب حالات الفشل المحلي الملحوظة. تحديداً، أظهرت الخلية C001 نتيجة سلبية مؤكدة لـ WCS لصالح PPO-TS. ولم تجتز الخلايا C009 وC011 تعديل Holm، مما يعني أنه لا يمكن تقديم ادعاء إحصائي لتلك السيناريوهات المحددة من الاضطرابات.
حدود التعميم: تضمن فاصل الاستقراء لمجتمع ScenarioTape الأوسع الرقم صفر، مما يعني أن الدراسة لا تستطيع إثبات تفوق PPO-TS إحصائياً عبر جميع السيناريوهات الاصطناعية الممكنة، بل ضمن ظروف الاختبار المجمدة المحددة فقط.
الأهمية والادعاءات يزعم البحث تقديم إطار تعلم مهيكل يدمج بنجاح تقنيات حجب الإمكانية والتصفية الموجهة بالأولويات مع PPO للجدولة الديناميكية. تكمن أهمية العمل في نتائجه الشرطية بدلاً من هيمنته العالمية:
الفائدة الشرطية: تدعم الدراسة وجود "فائدة WCS متوازنة شرطية" لـ PPO-TS في الاختبار المرجعي الاصطناعي المحدد، مدفوعة أساساً بالتحسينات في وقت الإنجاز والإنتاجية.
تحديد المقايضة: تحدد النتائج صراحةً مقايضة الاستغلال؛ حيث تضحي السياسة المتعلمة باستغلال المعدات لتحقيق إنجاز أسرع للمهام ومعالجة أفضل للمهام العاجلة.
الدقة المنهجية: تسلط الدراسة الضوء على أهمية فصل الاختبار التأكيدي المحدد مسبقاً عن تحليل الحساسية خارج الخط (offline). وتوضح أنه بينما يفضل المقياس المركب الطريقة الجديدة، فإن هذا لا يعني تحسناً شاملاً في جميع الأبعاد (تحديداً الاستغلال).
تحديد الحدود: يخلص المؤلفون بتواضع إلى أن الأدلة تحدد "حدود" أداء الخوارزمية (مقايضات الاستغلال، حساسية التفضيل، وعدم يقين الاستقراء) بدلاً من إثبات التفوق العالمي. ويشيرون إلى أن التحقق العملي من خلال بيانات ميدانية حقيقية وعتبات الأهمية العملية مطلوب قبل تقييم ادعاءات النشر.