Dynamic Multi-Depot Vehicle Routing with Online Requests: Event-Driven Transformer--DRL and Rolling-Horizon Benchmarking
تقترح هذه الورقة إطار عمل يعتمد على "ترانسفورمر" (Transformer) والتعلم التعزيزي العميق (DRL) القائم على الأحداث لمسألة توجيه المركبات الديناميكية متعددة المستودعات مع الطلبات عبر الإنترنت، مظهرةً أنه في حين تتيح السياسات المتعلمة اتخاذ قرارات بمستوى الميلي ثانية وتنتقل إلى نماذج أكبر دون إعادة تدريب، إلا أنها تُهزم من قِبل خوارزمية تقريبية تعتمد على أقرب نقطة صالحة في جودة التوجيه، ومن مُحسِّن الأفق المتدحرج في سرعة الاستجابة للخدمة، مما يسلط الضوء على عدم تفوق أي طريقة منفردة عبر جميع مقاييس الكفاءة والاستقرار والحوسبة.
تخيل أنك قائد أوركسترا ضخمة وفوضوية، حيث الموسيقيون هم شاحنات التوصيل، والنوتة الموسيقية هي قائمة الطرود المراد تسليمها، والجمهور هو مدينة مليئة بالزبائن. في العالم المثالي لـ "التوجيه الثابت"، يعرف القائد كل نوتة موسيقية قبل بدء الحفل. ولكن في عالم "الديناميكية" الواقعي، تظهر طلبات جديدة بينما الشاحنات تسير بالفعل في الشوارع. يتصل زبون لطلب طرد، أو يظهر ازدحام مروري، أو تتعطل شاحنة. يتعين على القائد إعادة كتابة الموسيقى على الطاير، ليقرر أي شاحنة تذهب إلى أين، دون الاصطدام ببعضها البعض أو ترك أحد ينتظر لفترة طويلة جداً. هذا هو جوهر "مسألة توجيه المركبات" (VRP)، وهي لغز كلاسيكي في اللوجستيات يصبح صعباً للغاية عندما تضيف إليه عدة نقاط انطلاق (مستودعات) وتدفقاً لا ينتهي من الطلبات الجديدة. لقد حاول العلماء تعليم الحواسيب أن تكون قادة أفضل من الموزعين البشريين، آملين في استخدام أدوات متطورة مثل الذكاء الاصطناعي لحل هذه المسألة في الوقت الفعلي.
تخطو هذه الورقة البحثية إلى داخل حفرة الأوركسترا الفوضوية هذه لتختبر نوعاً جديداً من القادة: برنامج حاسوبي ذكي يتعلم اتخاذ قرارات في أجزاء من الثانية. بنى الباحثون محاكاة رقمية تعمل فيها شاحنات التوصيل من عدة مستودعات مختلفة، وتصل فيها الطلبات الجديدة بشكل غير متوقع. قاموا بتدريب نوعين من قادة "الشبكات العصبية" — أحدهما مفكر بسيط وسريع (MLP)، والآخر عبقري في رصد الأنماط وأكثر تعقيداً (Transformer) — لتعلم كيفية تخصيص هذه الطلبات الجديدة. علموا هؤلاء القادة من الذكاء الاصطناعي من خلال عرض أمثلة على القرارات الجيدة (وهي طريقة تسمى "نسخ السلوك") ثم تركهم يتدربون ويعدلون استراتيجياتهم (باستخدام خوارزمية تسمى PPO). وللتأكد من أن الذكاء الاصطناعي لن يحاول القيام بما هو مستحيل (مثل إرسال شاحنة ممتلئة بالفعل لالتقاط المزيد)، استخدموا "قناعاً" (mask) لحجب الخيارات السيئة، تماماً كما قد يخبر معلم طالباً: "لا يمكنك اختيار تلك الإجابة لأنها مأخوذة بالفعل".
لم يكتفِ الباحثون بجعل الذكاء الاصطناعي يلعب فحسب؛ بل وضعوه في سباق مواجهة صارم ضد ثلاثة أنواع أخرى من القادة: نظام بسيط يعتمد على القواعد يختار ببساطة أقرب شاحنة، ونظام أكثر تعقيداً يعتمد على القواعد ويفكر في أوقات الانتظار، ومحسن "الأفق المتدحرج" (rolling horizon) الذي يحاول حل اللغز بأكتامل مثاليته في كل مرة يصل فيها طلب جديد، ولكنه يستغرق وقتاً طويلاً من الحاسوب للقيام بذلك. كما قدموا قاعدة خاصة تسمى "الالتزام بالمسار"، والتي تعني أنه بمجرد توجه الشاحنة نحو زبون ما، لا يمكن للذكاء الاصطناعي تغيير رأيه فجأة وإرسالها إلى مكان آخر، مما يحاكي الحاجة في العالم الحقيقي إلى الاستقرار.
كانت نتائج هذا السباق الرقمي مفاجئة ومتواضعة بعض الشيء بالنسبة للذكاء الاصطناعي عالي التقنية. في اختبار مكون من 20 سيناريو مختلفاً، نجحت كل طريقة في تسليم جميع الطرود دون كسر القواعد. ومع ذلك، فإن النظام "البسيط" القائم على القواعد والذي اختار ببساطة أقرب شاحنة متاحة هو من فاز بالسباق. لقد سلم البضائع بأقصر مسافة إجمالية، وأقل وقت انتظار للزبائن، وأقل عدد من التغييرات في الخطة الأصلية. كما فعل ذلك في لمح البصر — حوالي 0.156 مللي ثانية لكل قرار. أما قادة الذكاء الاصطناعي الفاخرون، رغم كونهم سريعين للغاية في اتخاذ القرارات (في نطاق المللي ثانية)، لم يتفوقوا على القاعدة البسيطة. في الواقع، جعل الذكاء الاصطناحي أحياناً المسارات أطول قليلاً أو تسبب في مزيد من الارتباك. حتى محسن "الأفق المتدحرج"، الذي حاول أن يكون الأذكى عبر إعادة حساب أفضل خطة ممكنة في كل مرة، انتهى به الأمر بتحقيق أفضل أوقات انتظار ولكن بتكلفة باهظة: فقد استغرق وقتاً أطول بكثير في الحوسبة، مما جعله بطيئاً جداً للاستخدام في الوقت الفاسي.
اختبر الباحثون أيضاً مدى قدرة قادة الذكاء الاصطناعي على التعامل مع مجموعات أكبر. جربوا الذكاء الاصطناعي على مسارات تحتوي على 30، 50، وحتى 80 طلباً دون إعادة تدريبه. تمكن الذكاء الاصطناعي من التعامل مع المجموعات الأكبر دون الانهيار، مما أثبت قدرته على التوسع، لكنه ظل عاجزاً عن التفوق على قاعدة "أقرب شاحنة" البسيطة. وجد الباحثون أنه بينما كان الذكاء الاصطناعي صانع قرار كفؤ وسريع، إلا أنه لم يمتلك "اللمسة السحرية" للتفوق على القواعد التجريبية البسيطة والمجربة في هذه البيئة المعقدة تحديداً. وتخلص الدراسة إلى أنه بينما تعد الأنظمة القائمة على التعلم واعدة وتوفر سرعة كبيرة، فإن الحل "الأفضل" ليس دائماً الأكثر تعقيداً. فأحياناً، يكون النهج المباشر القائم على القواعد، والذي يعرف كيف يلتزم بخطة ما ويتجنب التغييرات غير الضرورية، هو القائد الأكثر كفاءة في الأوركسترا.
ملخص تقني: توجيه المركبات متعدد المستودعات الديناميكي مع الطلبات عبر الإنترنت
تعريف المشكلة تتناول هذه الورقة مشكلة توجيه المركبات متعدد المستودعات الديناميكية (D-MDVRP) التي تتميز بطلبات تظهر تدريجيًا وحالات مركبات متطورة. على عكس مشكلات توجيه المركبات (VRP) الثابتة حيث تكون جميع الطلبات معروفة مسبقًا قبل الإرسال، تتضمن مشكلة D-MDVRP بيئة اتخاذ قرار تسلسلية حيث تصل طلبات خدمة جديدة أثناء تنفيذ المسار. يجب على الموزع تحديد أي مركبة من أي مستودع ستخدم كل طلب مع إدارة القيود مثل سعة المركبة، وطلب الخدمة، ومدة المسار، ومواقع المركبات المتغيرة. يتم صياغة المشكلة كعملية اتخاذ قرار تسلسلي تتطلب توازنًا بين الكفاءة التشغيلية (تقليل المسافة ووقت الانتظار) والاستقرار (تقليل الاضطرابات في الخطط القائمة).
المنهجية يقترح المؤلفون إطار عمل متكامل للتعلم والتقييم المرجعي القائم على الأحداث، والذي يجمع بين التعامل الحتمي مع الجدوى وبين التعلم المعزز العميق (DRL) والتحسين التقليدي.
تمثيل الحالة والعمل: ينمذج البيئة الطلبات والمركبات باستخدام ناقلات سمات معيارية. تشمل الطلبات الموقع، والطلب، والأولوية، ووقت الوصول، والحالة (غير مكشوف، قيد الانتظار، تم التعيين، قيد التنقل، قيد الخدمة، مكتمل). وتُمثل المركبات بالموقع، والسعة المتبقية، والحالة، والمستودع الرئيسي. وتتضمن الحالة سمات عالمية مثل وقت المحاكاة وعدد عمليات إعادة التخطيط.
المحاكاة القائمة على الأحداث: يتقدم النظام من خلال أحداث منفصلة (وصول الطلبات، وصول المركبات، بدء/إكمال الخدمة). عند كل حدث لإعادة التخطيط، يتم تفكيك المسار إلى بادئة ثابتة (القرارات المكتملة، والنشطة، والملتزم بها على المدى القريب) ولاحقة مرنة. تخضع اللاحقة المرنة فقط لإعادة التعيين أو إعادة الترتيب.
قناع الجدوى (Feasibility Masking): يمنع آلية القناع الحتمية الإجراءات غير الصالحة (مثل تعيين طلب مكتمل أو انتهاك السعة). يتم تخصيص قيم "لوجيت" (logits) سالبة مالانهاية لأزواج المركبات والطلبات غير الصالح قبل تطبيق "softmax" أو الاختيار الجشع، مما يضمن جدوى بنسبة 100% أثناء التدريب والاختبار.
بنيات السياسة (Policy Architectures):
سياسة MLP: يقوم نظام "Perceptron" متعدد الطبقات بتسجيل أزواج المركبات والطلبات باستخدام سمات الطلب، والمركبة، والعالمية، والسمات الخاصة بالزوج (مثل المسافة التزايدية، ووقت الانتظار المتوقع).
سياسة Transformer: تستخدم آليات الانتباه لنمذجة التبعيات بين العناصر المشفرة. وهي تستخدم رموزًا (tokens) منفصلة للطلبات، والمركبات، والمستودعات، مع تضمينات موضع متعلمة ومتجه سياق عالمي.
نظام التدريب: يتم تدريب السياسات عبر استنساخ السلوك (Behavior Cloning - BC) باستخدام نماذج خبيرة (مستمدة من الاستدلالات مثل الإدراج الواعي بالانتظار أو خبير هجين) يليه ضبط دقيق باستخدام تحسين السياسة القريبة (PPO). تتوافق دالة المكافأة مع هدف التقييم، حيث تتضمن عقوبات على المسافة، ووقت الانتظار، وتغييرات المسار.
التقييم المرجعي: تتم مقارنة السياسات المتعلمة مقابل:
استدلالات الإدراج الديناميكي: بما في ذلك أقرب مسار متاح، وأرخص إضافة، والإدراج الواعي بالانتظار.
التحسين ذو الأفق المتدحرج (Rolling-Horizon Optimization): إعادة تحسين محدودة زمنياً (ثانية واحدة واحدة) للطلبات المرنة باستخدام OR-Tools/SCIP.
المساهمات الرئيسية
إطار عمل متكامل: تقدم الورقة إطار عمل موحد يجمع بين بيئة D-MDVRP القائمة على الأحداث، وقناع الجدو الحتمي، والالتزام ببادئة المسار/لاحقة المسار.
مقاييس واعية بالاستقرار: قدمت الورقة مقاييس منفصلة لـ إعادة تعيين المركبة وتغيير السوابق (إعادة التسلسل)، مما يسمح بتحليل دقيق لاضطراب المسار بدلاً من معامل جميع التعديلات كمقياس واحد.
التقييم المرجعي ببروتوكول مشترك: تدرس الدراسة السياسات المتعلمة، والاستدلالات، وتحسين الأفق المتدحرج تحت قواعد جدوى، وآفاق التزام، وبذور سيناريوهات متطابقة، مما يوفر مقارنة عادلة للمكونات التي تُدرس غالباً بشكل منعزل.
تحليل القابلية للنقل: تبحث الدراسة في قدرة السياسات المتعلمة على التوسع إلى حالات أكبر (تصل إلى 80 طلباً) دون إعادة تدريب.
النتائج التجريبية أُجريت التجارب على نماذج إقليدية اصطناعية مع أعداد متفاوتة من المستودعات، والمركبات، والطلبات (30، 50، و80 طلباً إجمالياً).
الأداء مقابل الاستدلالات: تفوق استدلال "أقرب مسار متاح" (Nearest Feasible) باستمرار على جميع السياسات المتعلمة (MLP وTransformer، مع أو بدون PPO) وعلى خط الأساس للأفق المتدحرج في اختبار مرجعي مكون من 20 سيناريو. حقق "أقرب مسار متاح" أدنى متوسط للهدف (346.1)، وأدنى مسافة، وأدنى وقت انتظار، وأعلى استقرار (أقل عدد من تغييرات المسار)، وأسرع وقت تشغيل (0.156 مللي ثانية لكل إجراء).
تأثير PPO: عبر خمس جولات تدريب مستقلة، كان لضبط PPO الدقيق تأثير ضئيل في المتوسط على سياسة MLP (تحسن بنسبة 0.13%)، ولكنه حسن سياسة Transformer بنسبة 2.5% تقريباً، وإن كان ذلك مع تباين أعلى عبر البذور المختلفة.
القابلية للتوسع: نجحت السياسات المتعلمة في الانتقال إلى حالات أكبر (تصل إلى 80 طلباً) دون إعادة تدريب، مع الحفاظ على أوقات اتخاذ قرار بمستوى المللي ثانية. ومع ذلك، زادت قيم الأهداف ووقت التشغيل مع حجم المشكلة، وظلت لا تتفوق على أداء أقوى استدلال.
مقايضة الأفق المتدحرج: حقق تحسين الأفق المتدحرج أقل أوقات انتظار وأقل زمن إنجاز (makespan)، ولكنه تكبد تكاليف حوسبة أعلى بكثير واضطراباً أكبر في المسارات مقارنة بالاستدلالات والسياسات المتعلمة.
دراسة الاستئصال (Ablation Study): أدى إزالة الالتزامات قصيرة المدى أو عقوبات إعادة التعيين إلى زيادة الهدف الإجمالي، حيث أظهرت إزالة عقوبة إعادة التعيين دلالة إحصائية (p = 0.007).
الأهمية والادعاءات تدعي الورقة بتواضع أن مساهمتها الأساسية هي التكامل والمقارنة الصارمة لهذه المكونات بدلاً من اختراع خوارزمية توجيه متفوقة. وتظهر النتائج أنه بينما توفر السياسات المتعلمة قرارات ممكنة وفي مستوى المللي ثانية وقابلية للنقل عبر أحجام النماذج، إلا أنها لم تتفوق على أقوى استدلال (أقرب مسار متاح) من حيث كفاءة التوجيه، أو سرعة الاستجابة للخدمة، أو الاستقرار، أو وقت الحوسبة عبر الإنترنت.
يؤكد المؤلفون على أهمية الاستدلالات المرجعية القوية في تقييم النهج القائمة على التعلم لتوجيه المسارات الديناميكية. وتسلط الدراسة الضوء على أن دمج معالجة الجدوى، والالتزام بالمسارات، ومقاييس الاستقرار، يعد أمراً قيماً لإنشاء سياسات توجيه ديناميكية قوية، ولكن المنهجيات المتعلمة الحالية في هذا السياق المحدد لم تتفوق بعد على الاستدلالات الكلاسيكية في الأداء العام. ويؤكد العمل أنه لا توجد طريقة واحدة مثالية عبر جميع المعايير (الكفاءة، الاستجابة، الاستقرار، والسرعة)، مما يشير إلى أن اختيار الطريقة يعتمد على الأولويات التشغيلية المحددة للتطبيق.