⚡ electrical engineering

Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach

تقترح هذه الورقة إطار عمل MA2B-DDQN، وهو إطار تعلم تعزيزي عميق متعدد الوكلاء متمحور حول الإنسان يستخدم بنية تفرع الأفعال لتفكيك التحكم في إشارات المرور وتحسين العدالة على مستوى المسافرين، مما أظهر انخفاضات كبيرة في عدد الأفراد المتأخرين عبر سيناريوهات حضرية متنوعة في ملبورن.

المؤلفون الأصليون: Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل شارعًا مزدحمًا في المدينة كأنه ساحة رقص ضخمة ومعقدة. في الوقت الحالي، تعمل إشارات المرور مثل "دي جي" (DJ) يعزف قائمة أغاني مسجلة مسبقًا وثابتة؛ فهي تتغير بناءً على مؤقت زمني، بغض النظر عما إذا كانت ساحة الرقص مكتظة بالناس أو شبه فارغة. وهذا غالبًا ما يؤدي إلى الفوضى: سيارات عالقة في الانتظار بينما تظل المسارات الفارغة خالية دون استخدام، والمشاة يُتركون عالقين على الرصيف.

تقدم الورقة البحثية التي شاركتها "دي جي" جديدًا وأكثر ذكاءً يسمى MA2B-DDQN. فبدلاً من اتباع مؤقت ثابت، يستمع هذا الـ "دي جي" إلى الغرفة في الوقت الفعلي ويقرر الموسيقى (إشارات المرور) بناءً على من يتواجد هناك فعليًا ومدة انتظارهم.

إليك تفصيل لكيفية عمل هذا النظام الجديد، باستخدام تشبيهات بسيطة:

1. الهدف: العدالة للجميع، وليس للسيارات فقط

معظم أنظمة المرور تشبه حفلة لا تحظى فيها إلا بـ "كبار الشخصيات" (السيارات) بالاهتمام. إذا تعطلت سيارة، تتغير الإشارة. أما إذا كان هناك مشاة ينتظرون، فغالبًا ما يتم تجاهلهم.

هذا النظام الجديد يشبه مضيف حفلة عادلًا. فهو يحصي كل شخص في الغرفة: الأشخاص داخل السيارات، والأشخاص في الحافلات، وراكبي الدراجات، والمشاة. إذا كانت هناك حافلة ممتلئة بـ 50 شخصًا تنتظر، فإن النظام سيعتبر ذلك "تأخيرًا" أكبر من سيارة واحدة يقودها سائق واحد. الهدف ليس مجرد تحريك السيارات بسرعة؛ بل هو التأكد من أن إجمالي عدد الأشخاص العالقين في الانتظار هو أقل ما يمكن.

2. المشكلة: خيارات كثيرة جدًا

التحكم في إشارات المرور أمر صعب لأن هناك الكثير من القرارات التي يجب اتخاذها في وقت واحد.

الطريقة القديمة: تخيل محاولة التحكم في 3 تقاطعات مختلفة في نفس الوقت. لكل تقاطع، عليك أن تقرر: "هل يجب أن تكون الإشارة حمراء أم خضراء؟" و"كم يجب أن تستمر باللون الأخضر؟". إذا حاولت اتخاذ كل هذه القرارات معًا، فالأمر يشبه محاولة حل مكعب روبيك أثناء التلاعب بالكرات في الهواء. سيصاب الكمبيوتر بالإرهاق ويرتكب الأخطاء.

3. الحل: استراتيجية "التفرع" (Branching)

ابتكر المؤلفون خدعة ذكية تسمى Action Branching (تفرع الإجراءات). فكر في الأمر كأنه جنرال (قائد عام) ومساعدوه (ضباط).

الإجراء العالمي (الجنرال): هناك "جنرال" واحد يقرر الطول الإجمالي للمرحلتين القادمتين (على سبيل المثال: "المرحلتان القادمتان ستستغرقان 60 ثانية إجمالاً"). هذا قرار واحد كبير ينطبق على الجميع.
الإجراءات المحلية (المساعدون): بمجرد أن يحدد الجنرال الوقت الإجمالي، يقوم "المساعدون" (الوكلاء في كل تقاطع محدد) بقرار كيفية تقسيم هذا الوقت. على سبيل المثال، قد يحصل التقاطع (أ) على 40 ثانية للسيارات و20 ثانية للمشاة، بينما يحصل التقاطع (ب) على 30 و30.

من خلال تقسيم القرار إلى "كم مدة المربع بأكمله؟" و"كيف نقسم هذا الوقت؟"، يتوقف النظام عن الشعور بالإرهاق. إنه يجعل الرياضيات المعقدة قابلة للإدارة، مما يسمح للذكاء الاصطناعي بالتعلم بشكل أسرع واتخاذ قرارات أفضل.

4. التدريب: التعلم من خلال التجربة والخطأ

يستخدم النظام طريقة تسمى التعلم التعزيزي العميق (Deep Reinforcement Learning). تخيل طالبًا يتعلم لعب لعبة فيديو.

في البداية، يقوم الطالب (الذكاء الاصطناعي) بحركات عشوائية.
إذا علق في الزحام، يحصل على "درجة سلبية" (عقوبة).
إذا حافظ على حركة المرور بسلاسة، يحصل على "درجة إيجابية" (مكافأة).
عبر آلاف المحاولات، يتعلم الطالب أفضل التحركات لتجنب العقوبات.

في هذه الورقة، تعتمد "الدرجة" على تأخير البشر. يتم معاقبة الذكاء الاصطناعي بشدة إذا اضطر شخص واحد (سواء كان في سيارة أو ماشيًا) للانتظار لفترة طويلة جدًا.

5. النتائج: رحلة أكثر سلاسة

اختبر الباحثون نظام "الجنرال والمساعدين" الجديد في سبعة سيناريوهات مرورية مختلفة في ملبورن، أستراليا. تراوحت هذه السيناريوهات بين أوقات الهدلة (خارج ساعات الذروة) وبين ساعات الذروة، وتوصيل الطلاب للمدارس، وحتى حالات الازدحام الشديد.

وقارنوا نظامهم الجديد بما يلي:

المؤقتات الثابتة: الإشارات التقليدية التي لا تتغير أبدًا.
أنظمة ذكاء اصطناعي أخرى: أنظمة مرورية ذكية أخرى لا تستخدم خدعة "التفرع" أو لا تركز على العدالة.

النتائج:

الفائز: حقق نظام MA2B-DDQN (النظام الجديد) باستمرار أقل إجمالي تأخير للبشر. لقد حرك عددًا أكبر من الناس عبر التقاطعات بشكل أسرع من أي طريقة أخرى.
الاستقرار: كان أيضًا الأكثر موثوقية. فبينما شهدت أنظمة الذكاء الاصطناعي الأخرى أحيانًا طفرات ضخمة في الازدحام المروري (مثل الأفعوانية/الرولر كوستر)، حافظ هذا النظام على تدفق حركة المرور مستقرًا وسلسًا.
دفعة "الضعف" (Double Boost): وجد الباحثون أن إضافة ميزة محددة وهي "شبكة Q المزدوجة" (طريقة للتحقق من حساباتها الخاصة) جعلت النظام أفضل، حيث قللت الأخطاء وحسنت الأداء بنسبة تصل إلى 16% مقارنة بالأنظمة المماثلة.

الملخص

تقدم هذه الورقة طريقة جديدة للتحكم في إشارات المرور تعامل كل مسافر — سواء كان في سيارة، أو حافلة، أو ماشيًا — كشخص مهم بالتساوي. ومن خلال تقسيم المهمة المعقدة للتحكم في تقاطعات متعددة إلى "جنرال" (يحدد الوقت الإجمالي) و"مساعدين" (يقسمون الوقت)، يتعلم النظام إدارة حركة المرور بكفاءة أكبر بكثير. والنتيجة هي تنقل أكثر عدلاً وسلاسة وأقل إحباطًا للجميع على الطريق.

ملخص تقني: التحكم في إشارات المرور المتمحور حول الإنسان من أجل العدالة

بيان المشكلة
يمثل تنسيق إشارات المرور على طول الممرات متعددة الوسائط تحديات كبيرة. فنهج التعلم التعزيزي العميق متعدد الوكلاء (DRL) الحالي يركز بشكل أساسي على المركبات، وغالباً ما يهمل المشاة وراكبي الدراجات وركاب وسائل النقل العام. علاوة على ذلك، تعاني هذه الأساليب من مساحات العمل المنفصلة عالية الأبعاد المتأصلة في التنسيق بين التقاطعات المتعددة. كما أن الأنظمة التكيفية التقليدية (مثل SCATS وSCOOT) غالباً ما تتطلب ضبطاً يدوياً وتفشل في استيعاب المستخدمين غير الآليين بشكل كافٍ. وتتمثل المشكلة الجوهرية التي يعالجها البحث في غياب إطار عمل قابل للتوسع ومتمحور حول الإنسان، يعمل صراحةً على تحسين العدالة على مستوى المسافر (الإنصاف بين جميع أنماط النقل) مع إدارة تعقيد مساحات العمل المنفصلة بفعالية في بيئة متعددة الوكلاء.

المنهجية: MA2B-DDQN
يقترح المؤلفون نموذج MA2B-DDQN (شبكة Q العميقة المزدوجة ذات التفرع الإجرائي متعدد الوكلاء)، وهو إطار عمل للتعلم التعزيزي العميق التعاوني متعدد الوكلاء مصمم لشبكات الممرات متوسطة الحجم. تعتمد المنهجية على خمسة مكونات رئيسية:

البيئة وتمثيل الحالة:
- يستخدم المحاكاة نموذج PTV VISSIM الذي يحاكي ممراً حقيقياً في ملبورن، أستراليا، يتميز بحركة مرور مختلطة (سيارات، حافلات، مشاة).
- تجمع ناقل الحالة $S_t$ بين ثلاثة عناصر: ظروف حركة المرور (إشغال المركبات، السرعة، التسارع، وعدد الركاب لكل خلية مسار)، ومعلومات المشاة (أعداد الانتظار لكل منطقة)، وحالات الإشارات الحالية (المشفرة بنظام One-hot).
بنية تفرع الإجراءات (Action Branching Architecture):
- لمعالجة "لعنة الأبعاد" في مساحات العمل المنفصلة متعددة الوكلاء، يتم تفكيك مساحة العمل إلى $n+1$ من الأبعاد (حيث $n$ هو عدد التقاطعات).
- الإجراءات المحلية ( $n$ من الأبعاد): يحدد كل وكيل بشكل مستقل نسبة تخصيص وقت الإشارة الخضراء ( $p_{i,1}$ ) بين المرحلتين التاليتين.
- الإجراء العالمي (بعد واحد): يختار إجراء عالمي واحد المدة الإجمالية ( $C$ ) للمرحلتين القادمتين للممر بأكمله.
- يسمح هذا التفكيك للنموذج بالتعامل مع القرارات المنفصلة (اختيار المرحلة والمدة) بكفاءة أكبر من التعلم التعزيزي العميق القياسي للعمل المشترك.
آلية المكافأة المتمحورة حول الإنسان:
- على عكس المكافآت التقليدية القائمة على طول طابور المركبات أو الإنتاجية، تقوم دالة المكافأة بمعاقبة العدد الإجمالي للأفراد المتأخرين.
- تقوم بتجميع التأخيرات للمشاة، ومركبات الركاب، وركاب وسائل النقل العام. يتم تفعيل التأخير عندما تنخفض سرعة المركبة عن حد معين (5 كم/ساعة) أو عندما ينتظر المشاة في مناطق العبور.
- تُصاغ المكافأة كالتالي: $r_t = -(w_{veh} \sum N^{veh}_{i,t} + w_{ped} \sum N^{ped}_{j,t})$ ، مما يعطي الأولوية لتقليل المسافرين المتأثرين بدلاً من مجرد تدفق المركبات.
بنية الشبكة:
- يستخدم النموذج إطار عمل Double DQN (DDQN) للتخفيف من المبالغة في تقدير قيم Q.
- تستخدم الشبكة مستخرج ميزات مشترك (طبقتان كثيفتان مع ReLU وتطبيع الطبقة - Layer Normalization) تغذي $n+1$ من رؤوس المخرجات المتوازية (رأس واحد لكل بعد إجرائي).
- يتم اختيار الإجراءات عبر $\arg\max$ على قيم Q لكل فرع.
خوارزمية التعلم:
- يستخدم النظام التدريب المركزي مع التنفيذ اللامركزي (CTDE). يتشارك الوكلاء المعلومات العالمية أثناء التدريب لتحديث السياسات، لكنهم ينفذون الإجراءات محلياً.
- دالة الخسارة هي متوسط الخسائر عبر جميع أبعاد الإجراءات $n+1$ ، ويتم تحسينها باستخدام محسن Adam.

المساهمات الرئيسية

العدالة المتمحورة حول الإنسان: تقدم الدراسة نهجاً استباقياً للتحكم في إشارات المرور يعامل جميع المشاركين في شبكة النقل (ركاب المركبات الخاصة، ركاب النقل العام، راكبو الدراجات، والمشاة) بالتساوي، من خلال التحسين الصريح لتقليل عدد الأفراد المتأخرين.
إطار عمل تعاوني متعدد الوكلاء: يقدم المؤلفون إطار عمل يحدد إجراءً عالمياً بشكل تكيفي (إجمالي مدة المرحلة) باستخدام معلومات مشتركة، بينما يحسن في الوقت نفسه توقيتات الإشارات المحلية (تقسيمات الوقت الأخضر) عبر وكلاء فرديين.
تفرع الإجراءات في التعلم التعزيزي العميق متعدد الوكلاء: يعد هذا أول تطبيق لبنية تفرع الإجراءات في التحكم في إشارات المرور متعدد الوكلاء. فهو يتعامل بفعالية مع مساحة العمل المنفصلة وبيئة تعدد الوكلاء من خلال تفكيك مشكلة التحكم، مما يقلل من تعقيد اتخاذ القرار المشترك.

النتائج التجريبية
تم تقييم النموذج عبر سبعة سيناريوهات مرورية واقعية في ملبورن، تتراوح من أوقات خارج الذروة وساعات الذروة إلى فترات المدارس وظروف التشبع القريبة من السعة القصوى. تمت مقارنته بتسعة نماذج مرجعية، بما في ذلك الإشارات ذات الوقت الثابت (صيغة Webster، والموجة الخضراء Green Wave)، ونماذج مختلفة من التعلم التعزيزي العميق (MADQN, MADDQN, MADDPG, CMRM, MASAC, MAA2C, MA2B-DQN).

الأداء: حقق MA2B-DDQN باستمرار أدنى تأخير فردي إجمالي (AID) وأدنى تأخير لكل فرد (PCD) عبر جميع السيناريوهات.
- في السيناريو 1 (خارج الذروة)، قلل AID بنسبة 36.75% مقارم بأفضل نموذج إشارة ثابتة وبنسبة 11.94% مقارنة بأفضل نموذج DRL (وهو MAA2C).
- في السيناريو 2 (ساعة الذروة)، حسن الأداء بنسبة 11.73% عن ثاني أفضل نموذج DRL.
- في السيناريو 4 (بعد الظهر/المدرسة)، حقق تحسناً بنسبة 35.24% مقارنة بـ MASAC.
المتانة: أظهر النموذج أدنى انحراف معياري في مقاييس الأداء عبر التجارب المتكررة، مما يشير إلى استقرار عالٍ مقارنة بالنماذج المرجعية مثل MADDPG، الذي أظهر تبايناً عالياً.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة آلية تفرع الإجراءات إلى تدهور الأداء بشكل كبير (على سبيل المثال، زيادة بنسبة 16.09% في AID في السيناريو 1)، مما يؤكد دورها الحاسم في كفاءة التعلم.
- أدى دمج بنية Double DQN (DDQN) إلى تحسين الأداء مقارنة بـ DQN القياسي بنسبة تتراوح بين 2.93% إلى 16.40% اعتماداً على السيناريو، مما يؤكد فعالية التخفيف من المبالغة في التقدير.
المقايضات: بينما تفوق MA2B-DDQN في العدالة العامة وتدفق المركبات، إلا أن بعض النماذج المرجعية (مثل CMRM و MASAC) حققت أحياناً تأخيرات أقل خاصة بالمشاة (APDS/AWTP) على حساب تأخيرات مركبات أعلى بكثير. حافظ MA2B-DDQN على توازن أكثر في التحسين عبر جميع الأنماط.

الأهمية والادعاءات
يزعم البحث أن MA2B-DDQN يوفر حلاً قابلاً للتوسع ومتيناً للتحكم في إشارات المرور متعدد الوسائط الذي يعالج العدالة صراحةً. تكمن أهميته في:

تغيير النموذج من التحسين المتمحور حول المركبات إلى العدالة على مستوى الفرد، مما يضمن وصولاً عادلاً لجميع مستخدمي الطريق بغض النظر عن نمط السفر.
إثبات أن تفرع الإجراءات هو استراتيجية قابلة للتطبيق وفعالة للتعامل مع مساحات العمل المنفصلة عالية الأبعاد في بيئات تعدد الوكلاء، متفوقاً على كل من التحكمات التقليدية ذات الوقت الثابت وطرق التعلم التعزيزي العميق الحديثة الأخرى.
تقديم إطار عمل عملي قابل للتكيف مع الظروف الحضرية المتنوعة، تم التحقق من صحته على ممر حقيقي ببيانات حركة مرور متعددة الوسائط واقعية.

يخلص المؤلفون إلى أنه بينما يتفوق التعلم التعزيزي العميق (DRL) عموماً على طرق الوقت الثابت، فإن الجمع المحدد بين تفرع الإجراءات، وDDQN، والمكافآت المتمحورة حول الإنسان ضروري لتحقيق الكفاءة العالية والإنصاف في الشبكات المعقدة متعددة الوسائط. كما أشاروا إلى أنه في حالات التشبع القريبة، تصبح سعة الحارة الفيزيائية هي العامل المحدد، ومع ذلك لا يزال منهجهم يحافظ على أداء متفوق مقارنة بالنماذج المرجعية.