🤖 machine learning

Diverse and Adaptive Behavior Curriculum for Autonomous Driving: A Student-Teacher Framework with Multi-Agent RL

تقترح هذه الورقة إطار عمل جديداً قائماً على نموذج "الطالب-المعلم" للقيادة الذاتية، يستخدم معلماً يعتمد على التعلم التعزيزي متعدد الوكلاء القائم على الرسوم البيانية لتوليد مناهج مرورية متنوعة ومتكيفة تلقائياً، مما يمكّن وكيل الطالب من تحقيق متانة فائقة وأداء قيادة متوازن مقارنة بالنهج التقليدية القائمة على القواعد.

المؤلفون الأصليون: Ahmed Abouelazm, Johannes Ratz, Philip Schörner, J. Marius Zöllner

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ahmed Abouelazm, Johannes Ratz, Philip Schörner, J. Marius Zöllner

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم سائق مبتدئ تماماً كيفية القيادة في مدينة صاخبة. إذا وضعتهم فقط في موقف سيارات هادئ وفارغ، فسيتعلمون الأساسيات لكنهم سيصابون بالذعر عند مواجهة حركة المرور الحقيقية. وإذا ألقيت بهم مباشرة في وسط زحام خانق خلال ساعة الذروة مع سائقين عدوانيين، فسيصطدمون قبل أن يبدأوا حتى.

الحل؟ مدرسة قيادة ذكية ومتكيفة.

تقدم هذه الورقة إطار عمل جديد لتدريب السيارات ذاتية القيادة ("الطالب") باستخدام نظام "معلم" ذكي. إليك التفاصيل بتبسيط شديد:

1. المشكلة: فخ "الملل" مقابل "الخطر"

تدريب السيارات ذاتية القيادة حالياً يشبه تعليم شخص ما السباحة في مسبح بلا أمواج، أو في وسط إعصار.

الطريقة القديمة: معظم عمليات المحاكاة تستخدم حركة مرور "قائمة على القواعد". تخيل سائقاً آلياً يقود دائماً بسرعة 30 ميلاً في الساعة ولا يغير مساره أبداً. إنه أمر آمن، لكنه لا يعلم السيارة كيفية التعامل مع إنسان يقطع عليها الطريق أو شاحنة تنحرف فجأة.
الفجوة الحرجة: يحاول بعض الباحثين تعليم السيارات من خلال إنشاء "سيناريوهات كابوسية" فقط (مثل حوادث وشيكة). ولكن إذا كنت تتدرب فقط على الكوارث، فستصبح السيارة شديدة الحذر والتردد. ستتعلم التوقف عن الحركة بدلاً من القيادة بثقة في حركة المرور العادية اليومية.

2. الحل: إطار عمل "الطالب والمعلم"

ابتكر المؤلفون حلقة تدريب تشبه ألعاب الفيديو بشخصيتين:

الطالب (السيارة ذاتية القيادة): هذا هو الذكاء الاصطناعي الذي نريد تدريبه. يرى العالم من خلال الكاميرات والمستشعرات (تماماً مثل سيارة حقيقية) ويحاول الانتقال من النقطة (أ) إلى النقطة (ب) بأمان.
المعلم (متحكم المرور الذكي): هذا هو العقل المدبر خلف الكوالونة. يتحكم في جميع السيارات الأخرى على الطريق (الشخصيات غير اللاعبة - NPCs). مهمته ليست مجرد القيادة؛ بل هي تصميم الدرس المثالي للطالب.

3. كيف يعمل المعلم: "مقبض" الصعوبة

يمتلك المعلم "مقبض صعوبة" خاصاً (يسمى $\lambda$ ) يتراوح من -1 إلى 1.

ضبطه على +1 (الوضع السهل): يخبر المعلم السيارات الأخرى بأن تكون لطيفة للغاية. يتوقفون وينتظرون الطالب ليمر. الأمر يشبه مدرب القيادة الذي يرفع لوحة "قف" للجميع ليتيح للطالب فرصة التدرب على الانعطاف.
ضبطه على 0 (الوضع الطبيعي): يخلق المعلم تدفقاً متوازناً. بعض السيارات تتحرك، وبعضها ينتظر. إنه يشبه يوم ثلاثاء عادي في الظهيرة.
ضبطه على -1 (الوضع الصعب): يخبر المعلم السيارات الأخرى بأن تكون عدوانية. يقطعون الطريق، ويزيدون السرعة، ويخلقون تقاطعاً فوضوياً. إنه يشبه مساء يوم جمعة ممطر في وسط طوكيو.

الخدعة السحرية: المعلم لا يختار إعداداً عشوائياً فحسب. بل يراقب أداء الطالب.

إذا كان الطالب يبلي بلاءً حسناً، يقوم المعلم بتدوير المقبض لجعل حركة المرور أصعب.
إذا كان الطالب يصطدم، يقوم المعلم بتدوير المقبض لجعل حركة المرور أسهل.
إنه مثل المدرب الشخصي الذي يعدل الوزن على الأثقال بناءً على قدرتك على رفعها من عدمه.

4. "المنهج الدراسي": التعلم من خلال الممارسة

بدلاً من أن يقوم مهندس بشري بكتابة قائمة يدوية تضم 1,000 سيناريو مختلف لحركة المرور، يقوم النظام بذلك تلقائياً. وهذا ما يسمى التعلم المنهجي (Curriculum Learning).

الخطوة 1: يتعلم الطالب في حركة مرور سهلة.
الخطوة 2: بمجرد أن يتقن الطالب حركة المرور السهلة، يُدخل المعلم تلقائياً حركة مرور أكثر فوضوية قليلاً.
الخطوة 3: يتعلم الطالب كيفية التعامل مع الفوضى، ثم يقوم المعلم برفع المستوى مرة أخرى.

يضمن النظام أن يظل الطالب مُتحدياً ولكن دون أن يشعر بالإحباط، منتقلاً من "تعلم القيادة" إلى "القيادة كالمحترفين".

5. النتائج: من روبوت إلى سائق حقيقي

اختبر الباحثون هذا النظام مقابل السيارات التي تم تدريبها باستخدام حركة المرور "المملة" القائمة على القواعد.

السيارات القديمة: عندما واجهت حركة مرور حقيقية وغير متوقعة، كانت إما شديدة الحذر (تنتظر للأبد فجوة لن تأتي أبداً) أو اصطدمت لأنها لم تشهد تلك الحالة المحددة من قبل.
السيارات الجديدة (المدربة بواسطة المعلم): كانت هذه السيارات جريئة ولكن آمنة. عرفت كيف تندمج في المسارات، وكيف تتوقع السائقين العدوانيين، وكيف تستمر في الحركة. لم تحفظ القواعد فحسب؛ بل تعلمت "إحساس" حركة المرور.

التشبيه الشامل

فكر في الطريقة القديمة كتعليم طفل ركوب الدراجة من خلال السماح له فقط بالركوب على رصيف مستوٍ تماماً وخالٍ من الناس. عندما يجد نفسه أخيراً في شارع حقيقي به تلال وسيارات، سيسقط.

أما هذه الطريقة الجديدة، فهي تشبه وجود والد بطل خارق يركض بجانبه.

عندما يترنح الطفل، يمسك الوالد بالدراجة ويثبتها ويمهد له الطريق.
عندما يكتسب الثقة، يترك الوالد الدراجة ويضيف تلاً بسيطاً.
عندما يصبح جاهزاً، يخلق الوالد نسيمًا لطيفًا ليدفعه.

بحلول الوقت الذي ينتهي فيه الطفل، لن يكون مجرد راكب دراجة؛ بل سيكون دراجاً واثقاً مستعداً لأي طريق. هذا هو بالضبط ما حققته هذه الورقة البحثية للسيارات ذاتية القيادة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "منهج تعلم سلوك متنوع ومتكيف للقيادة الذاتية: إطار عمل (طالب-معلم) باستخدام التعلم التعزيزي متعدد الوكلاء."

1. بيان المشكلة

تواجه أنظمة القيادة الذاتية (AD) تحديات كبيرة في التعميم على سيناريوهات المرور المعقدة في العالم الحقيقي. غالبًا ما تعاني نهج التعلم التعزيزي (RL) الحالية من قيود رئيسية:

المحاكاة الاستاتيكية/القائمة على القواعد: تعتمد معظم بيئات التدريب على شخصيات غير لاعبة (NPCs) ذات سلوكيات ثابتة قائمة على القواعد (مثل: سرعة ثابتة، مسافات محددة مسبقًا). وهذا يحد من قدرة وكيل القيادة الذاتية على التعامل مع التفاعلات غير المتوقعة أو الديناميكية.
توليد السيناريوهات غير المتوازن: تركز الأساليب الحالية بشكل كبير على توليد السيناريوهات الحرجة للسلامة (العدائية) لاختبار المتانة، متجاهلةً "الذيل الطويل" لسلوكيات القيادة الروتينية والشائعة. وفي المقابل، تفتقر أجهزة المحاكاة القياسية إلى الحالات الحدية (edge cases) الضرورية لتدريب السلامة.
تصميم المنهج اليدوي: في حين أن "تعلم المنهج" (Curriculum Learning - CL) يعد حلاً واعدًا لزيادة صعوبة المهام تدريجيًا، فإن التطبيقات الحالية في القيادة الذاتية تعتمد على تسلسلات مصممة يدويًا من السيناريوهات (مثل: إضافة المزيد من السيارات)، والتي تفشل في التقاط الفروق السلوكية الديناميكية للمشاركين في حركة المرور.

تتمثل المشكلة الجوهرية في غياب إطار عمل تلقائي ومتكيف يمكنه توليد طيف متنوع من سلوكيات المرور (من التعاونية إلى العدائية) المصممة خصيصًا لتناسب تقدم تعلم وكيل القيادة الذاتية.

2. المنهجية

يقترح المؤلفون إطار عمل (طالب-معلم - Student-Teacher) يدمج التعلم التعزيزي متعدد الوكلاء (MARL) مع تعلم المنهج التلقائي.

أ. المعلم (مولد السلوك)

المعلم هو مكون يعتمد على التعلم التعزيزي متعدد الوكلاء (MARL)، وهو مسؤول عن تنسيق سلوكيات الشخصيات غير اللاعبة (NPCs) لتتناسب مع مستوى الصعوبة المطلوب.

البنية: يستخدم شبكة عصبية قائمة على الرسوم البيانية (Graph-based Neural Network) مستوحاة من GoRela.
- المدخلات: حالة قابلة للملاحظة بالكامل تشمل تاريخ الحركة لجميع الوكلاء (الموقع، السرعة، التسارع)، وطوبولوجيا الطريق (رسم بياني للمسارات المتجهية)، ومدخل مساعد $\lambda$ يمثل درجة الصعوبة المطلوبة.
- المعالجة: تستخدم الشبكة مشفر مشهد غير متجانس مع طبقات تمرير رسائل غير متجانسة (HMP) لمعالجة العلاقات بين (الوكيل-الوكيل)، و(الوكيل-الخريطة)، و(الخريطة-الوكيل). كما تستخدم ترميزًا غير متأثر بتغير وجهة النظر لضمان المتانة ضد الدوران والترجمة.
دالة المكافأة: توازن مكافأة المعلم ( $R_{NPC}$ $R_{N P C}$ ) بين هدفين:
1. المكافأة الجوهرية: تشجع على القيادة الواقعية (التقدم نحو الهدف، البقاء في المسار، تجنب الاصطدام).
2. المكافأة الخارجية: تعتمد على أداء "الطالب".
- التحكم في الصعوبة ( $\lambda$ ): يعمل المدخل المساعد $\lambda \in [-1, 1]$ $λ \in [- 1, 1]$ كمعامل وزن.
  - $\lambda = 1$ : الشخصيات غير اللاعبة تكون "إيثارية" (تساعد الطالب).
  - $\lambda = 0$ : الشخصيات غير اللاعبة تكون "أنانية" (تتجاهل الطالب).
  - $\lambda = -1$ : الشخصيات غير اللاعبة تكون "عدائية" (تعيق الطالب بنشاط).
- وزن المسافة: يقوم نواة دالة الأساس الشعاعي (RBF kernel) بتعديل المكافأة الخارجية بناءً على المسافة بين الشخصية غير اللاعبة والطالب، مما يضمن أن الوكلاء ذوي الصلة فقط هم من يؤثرون على الصعوبة.
الخوارزمية: يتم تدريب المعلم باستخدام خوارزمية Independent PPO (IPPO) مع ملاحظة عالمية مشتركة تتم معالجتها عبر الشبكة البيانية، مما يسمح للوكلاء باتخاذ قرارات مستقلة مع الوعي بالسياق العالمي.

ب. الطالب (المركبة ذاتية القيادة)

الدور: المركبة المركزية (Ego vehicle) التي تتعلم كيفية التنقل بأمان.
الملاحظة: حالة جزئية الملاحظة، تحاكي قيود العالم الحقيقي (كاميرا RGB أمامية، سحابة نقاط LiDAR، وحركية المركبة).
البنية: يستخدم TransFuser، وهي بنية تعتمد على المحولات (Transformers) تقوم بدمج بيانات RGB وLiDAR عبر آلية الانتباه المتقاطع (cross-attention).
التدريب: يتم تدريبه باستخدام خوارزمية PPO مع مكافأة قيادة قياسية.

ج. خوارزمية المنهج التلقائي

يستخدم إطار العمل لعبة ماركوف متبادلة (alternating Markov game) لتدريب المعلم والطالب معًا ولكن بشكل متتابع لضمان الاستقرار:

مرحلة تدريب المعلم: يتم تحديث المعلم لعدد $N_{teacher}$ من التكرارات لصقل قدرته على توليد سلوكيات لمستويات $\ما \lambda$ محددة.
مرحلة إعادة المعايرة: خطوة اختيارية لتقييم أداء الطالب عبر جميع مستويات الصعوبة باستخدام سياسة المعلم المحدثة، لتحديد نقطة البداية للصعوبة في مرحلة الطالب التالية.
مرحلة تدريب الطالب: يتدرب الطالب لعدد $N_{student}$ $N_{s t u d e n t}$ من التكرارات. يتم تعديل مستوى الصعوبة $\lambda$ $λ$ ديناميكيًا بناءً على معدل نجاح الطالب:
- إذا كان النجاح > $T_{success}$ : تزداد الصعوبة.
- إذا كان النجاح < $T_{fail}$ : تنخفض الصعوبة.
- آلية الإيقاع الذاتي: لمنع النسيان الكارثي، يمتلك الطالب احتمالية $P_{old}$ لأخذ عينات من المستويات الأسهل أثناء التدريب.

3. المساهمات الرئيسية

تصميم مبتكر للمعلم: معلم يعتمد على التعلم التعزيزي متعدد الوكلاء (MARL) وقائم على الرسوم البيانية، قادر على توليد سلوكيات مرورية عبر طيف مستمر من مستويات الصعوبة ( $\lambda$ ) دون الاعتماد على تصميم سيناريوهات يدوي.
خوارزمية منهج تلقائية: خوارزمية تعلم ذاتي وتكيفي، تنظم التدريب المتزامن للمعلم والطالب، وتعد صعوبة المهمة ديناميكيًا بناءً على مقاييس الأداء في الوقت الفعلي.
تنوع السلوك: نجح إطار العمل في توليد سلوكيات تتراوح من التعاونية العالية (الإيثارية) إلى العدائية العالية، مما يعالج الفجوة بين القيادة الروتينية وسيناريوهات السلامة الحرجة.
بنية قائمة على الرسوم البيانية: يسمح استخدام شبكة رسوم بيانية غير متجانسة للمعلم بتنسيق عدد متغير من الوكلاء مع الحفاظ على استقلاليتهم والتقاط العلاقات الزمانية والمكانية المعقدة.

4. النتائج

تم تقييم إطار العمل في محاكي CARLA في تقاطعات حضرية غير منظمة (تقاطعات على شكل حرف T وتقاطعات رباعية الاتجاهات).

فعالية المعلم:
- نجح المعلم في إنشاء ارتباط واضح بين المدخل المساعد $\lambda$ وتعقيد حركة المرور. مع انخفاض $\lambda$ من 1 إلى -1، انخفض معدل نجاح الطالب وزادت سرعة الشخصيات غير اللاعبة، مما يؤكد توليد سيناريوهات تزداد صعوبة تدريجيًا.
- حسنت خطوة "إعادة المعايرة" ( $Student^+_{CL}$ ) من سلاسة تدرج الصعوبة مقارنة بالمنهج الأساسي.
أداء الطالب:
- التعميم: تفوق الطلاب الذين تدربوا باستخدام المنهج التلقائي بشكل كبير على أولئك الذين تدربوا على حركة مرور قائمة على القواعد (CARLA Traffic Manager) من حيث معدل النجاح (SR)، تقدم المسار (RP)، ومتوسط السرعة.
- أسلوب القيادة: أظهر التحليل النوعي أن الوكلاء المدربين على القواعد غالبًا ما يتبنون سياسة "استغلالية" (الانتظار حتى تتوقف جميع السيارات قبل التحرك). في المقابل، أظهر الوكلاء المدربون بالمنهج سلوكًا حازمًا ومتكيفًا، حيث يتخذون قرارات بديهية للتنقل في التقاطعات بأمان وكفاءة.
- المتانة: حافظت الوكلاء المدربون بالمنهج على أداء أعلى عبر المستويات الثلاثة للصعوبة التي ولدها المعلم المتعلم.

5. الأهمية

يمثل هذا العمل خطوة هامة للأمام في تدريب القيادة الذاتية من الطرف إلى الطرف (End-to-End):

سد الفجوة بين المحاكاة والواقع: من خلال الانتقال من الشخصيات غير اللاعبة الثابتة والقائمة على القواعد إلى سلوكيات متعلمة ومتكيفة، يحاكي إطار العمل بشكل أفضل عدم القدرة على التنبؤ بحركة المرور في العالم الحقيقي.
الكفاءة: يلغي الحاجة إلى التنسيق اليدوي المكلف لسيناريوهات التدريب، حيث يولد تلقائيًا "القدر المناسب" من التحدي لتعظيم كفاءة التعلم.
السلامة والواقعية: تضمن القدرة على توليد منهج متوازن (يغطي السلوكيات الشائعة والحرجة) أن وكلاء القيادة الذاتية ليسوا آمنين فقط في الحالات الحدية، بل أيضًا فعالين وطبيعيين في القيادة اليومية.
القابلية للتوسع: تسمح البنية القائمة على الرسوم البيانية للنظام بالتوسع مع عدد متغير من الوكلاء وطوبولوجيا الطرق المعقدة، مما يجعله أساسًا قويًا لأبحاث القيادة الذاتية المستقبلية.

يخلص المؤلفون إلى أن نموذج (الطالب-المعلم) يعزز بفعالية متانة وتعميم سياسات القيادة الذاتية، مع التخطيط لأعمال مستقبلية لتشمل المشاة وراكبي الدراجات.