Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics

ملخص تقني: سد فجوة "المحاكاة إلى الواقع" في التوزيع الصناسي عبر دلالات التنفيذ

بيان المشكلة

تتناول الورقة البحثية فجوة "المحاكاة إلى الواقع" (sim-to-real) المستمرة في التوزيع القائم على التعلم التعزيزي (RL) في البيئات الصناعية، وتحديداً ضمن مشكلات جدولة ورش العمل (JSSP). وبينما أظهر التعلم التعزيزي وعوداً في بيئات المحاكاة، فإن اعتماده الصناعي يعوقه عدم تطابق هيكلي بين افتراضات السياسة وواقع التنفيذ.

تحاول الأدبيات الحالية معالجة هذه الفجوة بشكل أساسي من خلال زيادة متانة السياسة (مثل: التدريب تحت الاضطرابات، التعلم بالتقليد، أو التعلم التلائمي). ومع ذلك، تظل هذه النهج محتفظة بافتراض حرج: وهو توفر حالة قرار متزامنة وصحيحة وواجهة إجراء متسقة وقت الاستنتاج. وفي البيئات الصناعية، نادراً ما يكون هذا صحيحاً بسبب:

1. الملاحظات غير المتزامنة: تُتخذ القرارات بناءً على حالات مُعاد بناؤها من تدفقات أحداث متباينة ومتأخرة (مثل أنظمة MES، وأنظمة ERP، والمستشعرات الفيزيائية)، مما يؤدي إلى بيئات قابلة للملاحظة جزئياً حيث قد تكون القرارات الصالحة في الملاحظة غير قابلة للتنفيذ في الواقع.
2. دلالات تنفيذ غير محددة: لا يوجد تعريف صريح لصلاحية الإجراء أو كيفية ترجمة القرارات إلى إجراءات نظام عبر الأنظمة المتباينة.
3. غموض عزو النتائج: تُسجل إخفاقات التنفيذ كاضطرابات عامة، مما يخلط بين أخطاء السياسة والقيود الفيزيائية، أو التناقضات المعاملاتية، أو التدخلات البشرية. هذا النقص في التمييز يمنع التقييم المنظم وتحسين السياسة.

يرى المؤلفون أن القصور الجوهري ليس مجرد جودة السياسة، بل غياب طبقة وسيطة تدير دلالات التنفيذ بشكل صريح.

المنهجية

تقترح الورقة البحثية طبقة تنفيذ وقياس محايدة للسياسة تعمل كوسيط بين سياسات التوزيع وبيئة التنفيذ الصناعية. هذه الطبقة لا تصمم سياسة الجدولة، بل تحكم كيفية تشكيل القرارات والتحقق من صحتها وتسجيلها. تتكون البنية من ثلاث آليات أساسية:

1. عزل لقطة الحالة (State Snapshot Isolation):

   • للتعامل مع البيانات غير المتزامنة، تقوم الطبقة بتجميع الأحداث الفيزيائية والمعاملاتية في ذاكرة تخزين مؤقت للتنفيذ.
   • عند إطلاق أمر التوزيع، تقوم الطبقة بعزل لقطة زمنية ($s_k$) تمثل حالة النظام. وتكون هذه اللقطة ثابتة وغير قابلة للتغيير أثناء عملية اتخاذ القرار لمنع التناقضات الزمنية.
   • إبطال ما قبل الالتزام (Pre-commit Invalidation): إذا وصلت تحديثات حرجة قبل إتمام الإجراء، يتم إلغاء القرار، والتخلص من اللقطة، وبدء خطوة عزل جديدة. وهذا يمنع تنفيذ قرارات مبنية على معلومات قديمة.

2. عقد تنفيذ محايد للسياسة:

   • تُعرف الطبقة طلباً معيارياً للقرار $R_k = \langle s_k, m_k, J^{cand}_k \rangle$، حيث $J^{cand}_k$ هي مجموعة المرشحين.
   • مجموعة المرشحين هي تقاطع الإجراءات الممكنة فيزيائياً (واقع أرض المصنع) والإجراءات المقبولة معاملاتياً (قيود MES/ERP).
   • يضمن ذلك أن السياسة لا تتلقى إلا الإجراءات الصالحة بموجب كل من القيود الفيزيائية والمعاملاتية، مما يحدد بوضوح صلاحية الإجراء.

3. تمثيل التباعد وعزو النتائج:

   • بدلاً من إشارة نتيجة واحدة، تسجل الطبقة توبل التباعد $D_k = \langle a^{intent}_k, x^{sys}_k, x^{phys}_k, u_k \rangle$.
   • يقوم هذا التوبل بالفصل بين:
     • $a^{intent}_k$: الإجراء المقصود من قِبل السياسة.
     • $x^{sys}_k$: استجابة النظام المعاملاتي (مثل رفض نظام MES).
     • $x^{phys}_k$: نتيجة التنفيذ الفيزيائي الفعلي.
     • $u_k$: التدخلات البشرية أو التجاوزات.
   • يتيح هذا الهيكل التمييز بين التباين المرئي (خطأ السياسة الناتج عن صراعات ملحوظة) والتباين الخفي (الأخطاء الناتجة عن حالات النظام غير المرصودة)، مما يسمح بعزو هيكلي لإخفاقات التنفيذ.

التقييم التجريبي

تم تقييم الإطار باستخدام محاكاة الأحداث المنفصلة (SimPy) مع آلة واحدة غير قابلة للاسترداد. عزلت الدراسة آثار طبقة التنفيذ عن منطق التوزيع من خلال اختبار خوارزميات استدلالية قياسية (أقرب موعد استحقاق EDD، وأقصر وقت معالجة SPT) تحت ثلاثة أنظمة تأخير في الملاحظة (منخفض، متوسط، مرتفع).

النتائج الرئيسية:

• صلاحية القرار: في ظل تأخير ملاحظة متوسط، قللت طبقة التنفيذ من عمليات التوزيع غير الصالحة من 61.81% (التنفيذ المباشر) إلى 48.68%.
• الأداء التشغيلي: قللت الطبقة بشكل كبير من متوسط التأخير الموزون في أنظمة التأخير المنخفض (1.08 مقابل الأساس) والمتوسط (6.43 مقابل 11.21). وفي حالة التأخير المرتفع، حيث تصل التحديثات بعد نافذة القرار، تضاءلت الفائدة التشغيلية لتتقارب مع أداء التنفيذ المباشر.
• صلاحية الإجراء: قللت عقد التنفيذ من "التباين المرئي" (الإجراءات الملتزم بها رغم وجود صراعات معروفة) إلى 0.00، بينما أظهر التنفيذ المباشر تبايناً مرئياً بنسبة 15.90%.
• الإنتاجية: لم يُلاحظ أي عقوبة ملموسة في الإنتاجية، مما يشير إلى أن الطبقة تقيد متى تُنفذ الإجراءات دون تغيير قدرة النظام.
• تغطية العزو: على عكس التنفيذ المباشر، الذي يدمج الإخفاقات في إشارات عامة، حققت الطبقة المقترحة تغطية عزو بنسبة 100%، حيث صنفت الاضطرابات إلى أنواع: معاملاتية، فيزيائية، مشتركة، وتدخلات بشرية.

المساهمات الرئيسية والأهمية

تزعم الورقة أن مساهمتها الأساسية هي منهجية وهيكلية، حيث تنقل التركيز من متانة مستوى السياسة إلى دلالات التنفيذ الصريحة وقت النشر.

1. التشخيص الهيكلي: تحدد الورقة أن فجوة "المحاكاة إلى الواقع" تتفاقم بسبب غياب تمثيلات الحالة الصالحة لاتخاذ القرار وتعريفات صريحة لصلاحية الإجراء، وليس فقط بسبب ضعف السياسة.
2. دلالات التنفيذ: توفر الطبقة المقترحة واجهة معيارية تجعل عدم التطابق عند النشر قابلاً للملاحظة، وقابلاً لإعادة الاستخدام، وقابلاً للمقارنة. إنها تحول عدم اليقين في التنفيذ إلى بيانات إشرافية.
3. العزو والتعلم: من خلال الفصل بين قصد السياسة ونتائج التنفيذ، تتيح الطبقة التمييز بين أخطاء السياسة والقيود البيئية. هذه البيانات المهيكلة ضرورية للمهام اللاحقة مثل التعلم التعزيزي غير المتصل، وتقدير القيمة المدرك للاضطرابات، والاستخدام المنهجي للتدخلات البشرية.

يخلص المؤلفون إلى أنه بينما تكون الفوائد التشغيلية (تقليل التأخير) أكثر وضوحاً عندما تصل التحديثات ضمن نافذة القرار، فإن الفوائد التحليلية (العزو المهيكل والقابلية للتفسير) تستمر عبر جميع أنظمة التأخير. وهذا يجعل الطبقة شرطاً مسبقاً لأنظمة التوزيع الصناعية القائمة على الأحداث والقابلة للنشر، مما يسهل الانتقال من التنفيذ "الأسود الصندوق" إلى تحسين السياسة القائم على البيانات والقابل للتفسير.