Action-masked deep Q-learning for optimizing full-length and short-turn urban rail services

تخيل أنك قائد أوركسترا ضخمة وغير مرئية. آلاتك هي القطارات، ونوتتك الموسيقية هي الجدول الزمني، وجمهورك هم آلاف الركובات. ولكن إليك التحول في القصة: الجمهور لا يحضر في صف منتظم يمكن التنبؤ به. أحياناً، تندفع حشود تشبه مدرجاً كاملاً نحو وسط المدينة في الساعة الثامنة صباحاً، بينما تكون الضواحي الخارجية خالية. وفي أوقاف أخرى، ينتقل الحشد إلى محطة مترو معينة، تاركين بقية الخط هادئاً. إذا استمررت في عزف نفس الأغنية (تشغيل نفس عدد القطارات على نفس المسار) طوال اليوم، فستنتهي إما بقطارات فارغة تهدر الوقود أو بتكدس فوضوي للناس ينتظرون على الرصيف. هذا هو اللغز اليومي للنقل عبر السكك الحديدية في المناطق الحضرية: كيف تطابق الموسيقى مع الحشد دون كسر قواعد الأوركسترا.

لحل هذه المعضلة، يستخدم العلماء فرعاً من الذكاء الاصطناعي يسمى التعلم التعزيزي العميق (Deep Reinforcement Learning). فكر في الأمر كأنه لعبة فيديو حيث يتعلم وكيل حاسوبي اللعب من خلال التجربة والخطأ. يحاول القيام بحركات مختلفة، ويحصل على نقاط للحركات الجيدة (مثل إبقاء الركاب سعداء)، ويخسر نقاطاً للحركات السيئة (مثل جعل الناس ينتظرون لفترة طويلة). ومع مرور الوقت، يتعلم الاستراتيجية المثلى. ومع ذلك، في العالم الحقيقي، لا يمكنك تجربة أي شيء. لا يمكنك تشغيل قطار غير موجود، أو قلب مسار قطار عند محطة لا تملك المساحة الكافية للقيام بذلك. وهنا يأتي دور قناع الإجراءات (Action Masking). تخيل وحدة تحكم في لعبة فيديو تمنع إبهامك مادياً من الضغط على الأزرار التي قد تجعل شخصيتك تسقط من فوق منحدر. يُسمح للذكاء الاصطناعي فقط بالضغط على الأزرار "القانونية"، مما يضمن أنه لن يحاول أبداً القيام بشيء مستحيل. يسأل هذا البحث: هل يمكننا تعليم "قائد أوركسترا رقمي" الموازنة بين نوعين من خدمات القطارات — الطويلة التي تقطع المسار كاملاً، والقصيرة التي تعود مبكراً — مع الالتزام الصارم بقواعد "عدم السقوط" هذه؟

خدعة القائد الرقمي الجديدة

في هذه الدراسة، قام الباحثون ييبو وانغ، وتشنغ فينغ ما، ورونغجي تشين ببناء محاكاة رقمية لخط مترو مكون من 12 محطة لاختبار نوع جديد من قادة الأوركسترا بالذكاء الاصطناعي. أرادوا معرفة ما إذا كان بإمكان شبكة Q العميقة ذات قناع الإجراءات (Action-Masked DQN) أن تقرر ديناميكياً ما إذا كانت ستشغل قطارات كاملة الطول (تذهب من البداية إلى النهاية) أو قطارات قصيرة المسار (تعود مبكراً لخدمة القسم الأوسط المزدحم) بناءً على عدد الأشخاص المنتظرين.

يعمل وكيل الذكاء الاصطناعي مثل موزع ذكي. في كل خطوة، ينظر إلى الحشد، وعدد القطارات المتاحة، والحدود الفيزيائية للمسارات (مثل سرعة دوران القطار). ثم يختار من بين أربعة تحركات ممكنة: الإبقاء على الخدمة الحالية، أو التحول إلى مسار قصير، أو زيادة وتيرة القطارات، أو تقليلها. "قناع الإجراء" هو حارس السلامة الذي يتدخل قبل أن يتخذ الذكاء الاصطناعي خطوة. إذا حاول الذكاء الاصطناعي اختيار حركة تنتهك قاعدة ما — مثل محاولة تدوير قطار عندما تكون المحطة ممتلئة، أو تشغيل قطارات أكثر مما يملكه الأسطول — فإن القناع يحجب هذا الخيار فوراً. يُجبر الذكاء الاصطناعي على الاختيار فقط من قائمة التحركات "القانونية".

النتائج: رحلة أذكى وأسرع

عندما وضع الباحثون ذكاءهم الاصطناعي الجديد في مواجهة ثلاث استراتيجيات أخرى (جدول زمني ثابت لا يتغير، وجدول مسار قصير ثابت، ونظام بسيط قائم على القواعد)، كانت النتائج مذهلة. في محاكاة ليوم عمل عادي، حقق نظام Action-Masked DQN متوسط مكافأة قدره 93.22، بينما سجلت الاستراتيجيات الأخرى أرقاماً سالبة (مما يعني أنها أدت أداءً سيئاً).

كانت التحسينات هائلة:

• وقت الانتظار: قلل الذكاء الاصطناعي مقياس وقت الانتظار بنسبة 83.12% مقارنة بجدول المسار الكامل الثابت، وبنسبة 62.78% مقارنة بجدول المسار القصير الثابت، وبنسبة 76.84% مقارنة بالنظام القائم على القواعد.
• الركاب الذين تمت خدمتهم: تمكن من خدمة عدد من الركاب يزيد بنسبة 19.42% عن خطة المسار الكامل الثابت، و17.39% عن خطة المسار القصير الثابت، و5.08% عن الخطة القائمة على القواعد.

تعلم الذكاء الاصطناعي كيف يكون "متحولاً". خلال ساعات الذروة، يقوم بنشر المزيد من القطارات كاملة الطول للتعامل مع الزحام المتجه إلى وسط المدينة. وخلال الأوقات الهادئة، ينتقل إلى المزيد من قطارات المسار القصير للحفاظ على نشاط القسم المركزي دون إهدار الطاقة في المسارات الخارجية الفارغة. لقد نجح في خدمة 36,923.33 راكباً في المحاكاة، مع صفر انتهاكات لقواعد السلامة.

التحول: السلامة مقابل السرعة

هنا تصبح القصة مثيرة للاهتمام. أراد الباحثون معرفة ما إذا كان "حارس السلامة" (قناع الإجراءات) يساعد الذكاء الاصطناعي حقاً على التعلم بشكل أفضل، أم أنه مجرد منفذ للقواعد. لمعرفة ذلك، أجروا اختباراً بدون القناع، تاركين الذكاء الاصطناعي يجرب أي حركة، حتى غير القانونية منها، ثم يعاقبه بشدة على فعل ذلك.

للمفاجأة، أدى الذكاء الاصطناعي غير المقيد بالقناع أداءً أفضل قليلاً من حيث المكافأة ووقت الانتظار في هذا الاختبار المحدد. سجل النسخة غير المقيدة مكافأة قدرها -1577.80 مقارنة بـ -1870.01 للنسخة المقودة بالقناع، وقللت مقياس وقت الانتظار بنسبة 13.55% أكثر. كما خدم الذكاء الاصطناعي غير المقيد حركة مرور أكثر قليلاً.

إذن، ما الفائدة من القناع؟ تشير الورقة البحثية إلى أنه على الرغم من أن القناع لم يجعل الذكاء الاصطناعي "أذكى" من حيث النقاط الخام في هذه المحاكاة المحددة، إلا أنه ضمن أن الذكاء الاصطناعي لن يحاول أبداً كسر القواعد. سجل الذكاء الاصطناعي غير المقيد معدل إجراءات غير صالحة بلغ 0.2274 (مما يعني أنه حاول القيام بأشياء غير قانونية حوالي 22% من الوقت أثناء التدريب)، بينما سجل الذكاء الاصطناعي المقيد بالقناع معدلاً قدره 0. وخلص المؤلفون إلى أن القناع ضروري من أجل قابلية التنفيذ (Feasibility) — أي ضمان إمكانية بناء وتشغيل الخطة في العالم الحقيقي — بدلاً من مجرد تعظيم النقاط. إنه يجبر الذكاء الاصطناعي على البقاء داخل "ملعب" الواقع.

اختبار الحدود

لم يتوقف الباحثون عند اليوم العادي. لقد ألقوا ببعض العقبات أمام الذكاء الاصطناعي:

• الزيادات المفاجئة: عندما ظهر حشد هائل في محطة التبادل، كان مخطط المسار القصير الثابت يعمل بشكل أفضل قليلاً من الذكاء الاصطناعي، مما يشير إلى أنه في بعض الأحيان تتفوق القواعد البسيطة المحددة بموقع معين على التعلم المعقد.
• الأعطال في المسارات: عندما قاموا بمحاكاة تقليل السعة لتدوير القطارات، تكيف الذكاء الاصطناعي بشكل مثالي، بينما عانت الخطط الثابتة.
• التوقعات الخاطئة: حتى عندما أُعطي الذكاء الاصطناعي خطأ بنسبة 20% في توقعات الطلب، فإنه لا يزال يتفوق على الطرق الأخرى.

ومع ذلك، وجدت الدراسة أيضاً حدوداً. عندما تم تقليص عدد القطارات المتاحة إلى 16، تضاعف وقت الانتظار لأكثر من الضعف مقارنة بوجود 18 قطاراً، مما يظهر أنه لا يوجد قدر من سحر الذكاء الاصطناعي يمكنه إصلاح نقص القطارات المادية.

الخلاصة

لا تدعي هذه الورقة البحثية أنها حلت مشكلة النقل الحضري للأبد. بدلاً من ذلك، تقترح أن التعلم العميق لـ Q مع قناع الإجراءات هو أداة قوية لإنشاء خطط خدمة تتسم بالاستجابة للحشود وتلتزم بالسلامة الصارمة. تعلم الذكاء الاصطناعي كيفية الموازنة بين خدمة المزيد من الناس ومنع القطارات من السير فارغة، كل ذلك مع الامتثال للقوانين الصارمة للسكك الحديدية. وبينما لم يجعل "حارس السلامة" الذكاء الاصطناعي يحصل دائماً على نقاط أعلى في المحاكاة، فقد ضمن أن كل قرار يتخذه الذكاء الاصطناعي هو قرار يمكن لموزع بشري حقيقي تنفيذه فعلياً. في عالم النقل الحضري المزدحم والفوضوي، قد يكون ضمان قابلية التنفيذ هذا بنفس أهمية سرعة الرحلة.