Knowledge-Data-Dual-Driven Reinforcement Learning for Autonomous Vehicle Control in Mixed Traffic
تقترح هذه الورقة إطار عمل "التعلم التعزيزي القائم على الثنائية بين المعرفة والبيانات" (KDDRL)، وهو إطار يدمج المسارات المدركة للقصد ويدمج البيانات الاحتمالية مع القيود الفيزيائية لتمكين التحسين غير المتزامن متعدد المقاييس الزمنية، مما يعزز سلامة وكفاءة وراحة التحكم في المركبات ذاتية القيادة في حركة المرور المختلطة.
المؤلفون الأصليون:Jie Fang, Wei Zheng, Mengyun Xu, Eui-Jin Kim
تخيل أنك تحاول تعليم روبوت قيادة سيارة عبر مدينة مزدحمة. لا يقتصر الأمر على مجرد اتباع خريطة؛ بل يتعلق الأمر بلعب مباراة شطرنج عالية السرعة حيث القطع الأخرى هي بشر حقيقيون قد ينعطفون فجأة، أو يضغطون على المكابح، أو يغيرون آراءهم. هذا هو عالم المركبات ذاتية القيادة (AVs)، وهو مجال يحاول فيه علماء الكمبيوتر بناء سيارات يمكنها التفكير والاستجابة من تلق تعهدها. وللقيام بذلك، غالبًا ما يستخدمون تقنية تسمى التعلم التعزيزي (RL). فكر في التعلم التعزيزي كتدريب كلب: يحاول "الكلب" الكمبيوتري تجربة أفعال مختلفة، ويحصل على "مكافأة" (جائزة) للسلوك الجيد مثل البقاء في المسار، و"توبيخ" (عقوبة) للسلوك السيئ مثل الاصطدام. ومع مرور الوقت، يتعلم الكلب أفضل الحيل للحصول على أكبر عدد من المكافآت. ومع ذلك، هناك عقبة: السائقون الحقيقيون فوضويون وغير متوقعين. فهم لا يتبعون القواعد دائمًا، ونواياهم مخفية. إذا نظر الروبوت إلى ما يحدث الآن فقط، فقد يكون بطيئًا جدًا في الاستجابة عندما يقطع عليه سائق بشري الطريق فجأة. تتناول هذه الورقة مشكلة تعليم هذه السيارات الروبوتية لتكون سائقة أكثر ذكاءً وأمانًا وراحة عند مشاركة الطريق مع البشر.
أدرك الباحثون وراء هذه الدراسة، جي فاي وفريقه، أن السائقين الروبوتيين الحاليين يعانون من ثلاث مشكلات رئيسية. أولًا، غالبًا ما يكونون سلبيين للغاية؛ فهم يستجيبون لما يرونه لكن لا يمكنهم تخمين ما "ينوي" السائق البشري فعله بعد ذلك. ثانيًا، يعانون من أحداث "الذيل الطويل" (long-tail events) — تلك اللحظات النادرة والمخيفة مثل الانحراف المفاجئ الذي يحدث نادرًا لدرجة أن الروبوت لا يتعلم أبدًا كيفية التعامل معه. ثالثًا، تتضمن القيادة نوعين مختلفين تمامًا من الأفعال التي تحدث بسرعات مختلفة: التوجيه وتغيير المسارات (الذي يحدث نادرًا ويكون قرارًا كبيرًا) مقابل التسارع أو إبطاء السرعة (الذي يحدث باستمرار ويحتاج إلى سلاسة). إن محاولة تعليم الروبوت القيام بكليهما في نفس الوقت غالبًا ما تربك عملية التعلم.
ولحل هذه المشكلة، بنى الفريق نظامًا جديدًا يسمى التعلم التعزيزي المزدوج المدفوع بالمعرفة والبيانات (KDDRL). يمكنك التفكير في KDDRL كمنح الروبوت "كرة بلورية" و"كتاب قواعد" في آن واحد. فبدلاً من مجرد النظر إلى السيارة التي أمامه، يستخدم الروبوت أداة ذكاء اصطيعي خاصة (نوع من النماذج التوليدية) لتخيل عدة مستقبليات محتملة. يسأل نفسه: "إذا استمرت تلك السيارة في السير في خط مستقيم، فأين ستكون؟ ماذا لو شعرت بالخوف وانحرفت؟". هذا يحول الروبوت من مراقب سلبي إلى متنبئ استباقي.
لكن التخمين وحده لا يكفي؛ فالروبوت يحتاج أيضًا إلى الأمان. لذا، يمزج النظام بين هذه التخمينات والقواعد الفيزيائية الصارمة (مثل "لا تصطدم بالسيارة التي أمامك") وبيانات العالم الحقيقي حول كيفية قيادة البشر فعليًا. الأمر يشبه وجود مدرب قيادة حكيم (القواعد الفيزيائية) يجلس بجانب طالب قرأ مليون قصة عن القيادة (البيانات). يضمن المدرب عدم قيام الطالب بأي شيء خطير، بينما تساعد القصص الطالب على فهم أن الناس يتصرفون بغرابة أحيانًا.
كما تعالج الورقة مشكلة "السرعتين المختلفتين". يستخدم الروبوت عقلين مختلفين يعملان معًا. أحد العقلين، الذي يعمل بسرعة كبيرة (كل 0.1 ثانية)، يتعامل مع دواسات الوقود والمكابح السلسة لملاحقة السيارات. أما العقل الآخر، الذي يعمل ببطء أكبر (كل ثانيتين)، فيتعامل مع القرارات الكبيرة مثل تغيير المسار. يتحدث هذان العقلان مع بعضهما البعض ويتشاركان "لغة مشتركة" لما يحدث، حتى لا يرتبك الروبوت.
اختبر الباحثون هذا النظام في محاكاة حاسوبية استخدمت بيانات قيادة حقيقية من الطرق السريعة الألمانية لجعل حركة المرور تبدو واقعية. ووجدوا أن طريقتهم الجديدة، KDDRL، ساعدت الروبوت على التعلم بشكل أسرع والقيادة بشكل أكثر أمانًا مقارنة بالطرق القديمة. في هذه المحاكاة، كان الروبوت أفضل في تخمين ما سيفعله السائقون الآخرون، وتعامل مع المواقف النادرة والمخيفة بشكل أكثر فعالية، وحافظ على سلاسة وراحة الرحلة. ويقترح المؤلفون أنه من خلال الجمع بين القدرة على التنبؤ بنوايا البشر وقواعد السلامة الصارمة، يمكننا بناء سيارات ذاتية القيادة مستعدة للواقع الفوضوي وغير المتوقع لحركة المرور المختلطة.
ملخص تقني: التعلم المعزز المدفوع بالمعرفة والبيانات المزدوجة للتحكم في المركبات ذاتية القيادة في حركة المرور المختلطة
بيان المشكلة تتناول الورقة ثلاثة تحديات مترابطة في اتخاذ القرار للمركبات ذاتية القيادة (AVs) ضمن بيئات حركة المرور المختلطة (التفاعلات بين المركبات ذاتية القيادة والمركبات التي يقودها بشر، HDVs):
محدودية الأولويات القائمة على الفيزياء: تعتمد نماذج التعلم المعزز (RL) القائمة على الفيزياء الحالية على نماذج فيزيائية حتمية (مثل المعادلات الكينماتيكية، أو نموذج MOBIL) التي تفشل في استيعاب النوايا التفاعلية الكامنة وسلوكيات السائقين المتنوعة. وهذا يحد من قدرة الوكيل على التفكير الاستباقي في التطور المستقبلي للمركبات.
عدم الاستقرار والأحداث نادرة الحدوث (Long-Tail Events): تتسبب السيناريوهات الحرجة للسلامة، مثل المناورات المفاجئة للمركبات المحيطة، في حدوث تحولات توزيعية. ويعاني التعلم المعزز القياسي مع هذه الظروف غير المستقرة، مما يترك الأحداث النادرة ولكن الحرجة للسلامة دون استكشاف كافٍ.
عدم استقرار فضاء العمليات الهجين: يتطلب التحكم في المركبات ذاتية القيادة إدارة عمليات متابعة السيارات المستمرة (طوليًا) ومناورات تغيير المسار المنفصلة (عرضيًا). تعمل هذه العمليات بمقاييس زمنية مختلفة تمامًا. إن فرض تحديثات متزامنة عليها يؤدي إلى زعزعة استقرار التدريب، بينما يؤدي الفصل البسيط بينهما إلى عزل سياقات القرار المترابطة.
المنهجية: إطار عمل KDDRL يقترح المؤلفون إطار عمل التعلم المعزز المدفوع بالمعرفة والبيانات المزدوجة (KDDRL)، وهو إطار ينقل النظام من الإدراك ورد الفعل السلبي إلى التنبؤ والاستنتاج الاستباقي. تتكون البنية من ثلاثة مكونات تآزرية:
المكون الفرعي لتوليد المسارات الواعي بالنوايا:
بدلاً من استخدام الملاحظات الخام، يقوم النظام بتوليد مسارات مستقبلية للمركبات الرائدة التي تشفر النوايا التفاعلية.
يستخدم شبكة خصومة توليدية شرطية (cGAN)، تسمى trajGAN.
العملية: يقوم نموذج السائق الذكي (IDM) أولاً بتوليد مسار أولي حتمي قائم على الفيزياء. يعمل هذا كمسار شرطي (TCT) لنموذج trajGAN، الذي يقوم بتنقيحه إلى مسارات متعددة ممكنة فيزيائيًا وواعية بالنوايا (TGT) من خلال التعلم من توزيعات بيانات العالم الحقيقي.
المخرجات: يتم استخراج المسافات النسبية الرئيسية عند خطوات زمنية مستقبلية محددة (الخطوة العاشرة والعشرون) لتوفير استشراف مهيكل دون التسبب في انفجار أبعاد الحالة.
المكون الفرعي لتوليد سلوك تغيير المسار:
يدمج هذا المكون الرؤى المستمدة من البيانات مع القيود الفيزيائية لتوجيه قرارات تغيير المسار.
المكون المدفوع بالبيانات: يتعلم نموذج lcGAN أنماط تغيير المسار التجريبية من مجموعات بيانات العالم الحقيقي، ويخرج توزيعًا احتماليًا (PlcGAN) مشروطًا بحالات المرور والمسارات الواعية بالنوايا. ويستخدم "فقد التركيز" (Focal loss) لمعالجة عدم التوازن في الفئات بين الحفاظ على المسار المتكرر وتغيير المسار النادر.
المكون المدفوع بالمعرفة: يوفر نموذج MOBIL أولوية قائمة على الفيزياء (PMOBIL) من خلال فرض قيود مسافة الأمان الصارمة وحساب المنفعة بناءً على معايير الكفاءة والسلامة.
الدمج: تقوم طبقة تضمين (Embedding layer) بضغط PlcGAN و PMOBIL في توزيع أولي مشترك ومدمج (Plc)، والذي يعمل كتحيز استقرائي لوكيل التعلم المعزز.
وحدة التحكم في المركبة (التعلم المعزز الهرمي):
يستخدم إطار العمل أساس حالة تنبؤي-معرفي موحد يدمج الملاحظات الخام، والمسارات الواعية بالنوايا، وأولوية تغيير المسار المدمجة.
التحسين متعدد المقاييس الزمنية غير المتزامن:
تغيير المسار المنفصل: يتم التعامل معه بواسطة وكيل D3DQN (شبكة Q العميقة المزدوجة والمزدوجة التدرج) يعمل بتردد منخفض (فترات ثانيتين). يختار الإجراءات (يسار، بقاء، يمين) بناءً على الحالة الموحدة.
متابعة السيارة المستمرة: يتم التعامل معها بواسطة وكيل TD3 (السياسة الحتمية العميقة المتأخرة المزدوجة) يعمل بتردد عالٍ (0.1 ثانية). يخرج أوامر تسارع مستمرة.
يتشارك الوكيلان نفس تمثيل الحالة ولكنهما يتحدثان بشكل غير متزامن، مما يحافظ على المعلومات المتبادلة مع استقرار التدريب لمساحات العمل غير المتجانسة.
المساهمات الرئيسية
تحسين توليد المسارات الواعي بالنوايا: تقدم الورقة نموذجًا يعتمد على cGAN يشفر النوايا التفاعلية لتخليق مسارات مستقبلية متعددة ممكنة فيزيائيًا، مما يحول الإدراك السلبي إلى حالات تنبؤية استباقية.
نموذج معرفي-بياني مزدوج: نهج تدريب مبتكر يدمج الرؤى الاحتمالية المدفعة بالبيانات (من lcGAN) مع الحدود الفيزيائية القابلة للتفسير (من MOBIL) على الحالات التنبؤية. هذا يعمل على استقرار تحسين السياسة في الأنظمة غير المستقرة وتحسين كفاءة الاستكشاف في الأحداث النادرة الحرجة للسلامة.
أساس حالة تنبؤي-معرفي مشترك: وحدة ربط تضغط المسارات الواعية بالنوايا والقيود الفيزيائية في تضمينات مشتركة. هذا يسمح بالتحسين غير المتزامن للإجراءات المستمرة والمنفصلة، مما يحل عدم استقرار مساحات العمل الهجينة مع الحفاظ على التحكم المنسق.
النتائج أُجريت التقييمات في بيئة محاكاة تمت معايرتها باستخدام مجموعة بيانات HighD (مسارات الطرق السريعة الألمانية الحقيقية) مدمجة في محاكي المرور SUMO. تمت مقارنة إطار عمل KDDRL مقابل الطرق المرجعية التقليدية. تُظهر النتائج أن KDDRL:
يتعامل بفعالية مع عدم اليقين في النوايا.
يسرع من تقارب التدريب.
يتفوق على النماذج المرجعية من حيث السلامة (تقليل الاصطدامات)، والكفاءة (الحفاظ على السرعة)، والراحة (تقليل الارتجاج والمناورات غير الضرورية).
الأهمية والادعاءات تزعم الورقة أن KDDRL يمثل تقدمًا كبيرًا من خلال معالجة الاقتران الهيكلي بين التنبؤ، وقيود السلامة، وتردد التحكم في حركة المرور المختلطة. ومن خلال التحول من نموذج "الإدراك-رد الفعل السلبي" إلى "التنبؤ-الاستنتاج الاستباقي"، يسمح إطار العمل للمركبات ذاتية القيادة بتوقع سلوكيات السائقين البشر بدلاً من مجرد التفاعل معها. ويؤكد المؤلفون أن نهجهم الموحد ينجح في جسر الفجوة بين التكيف المدفوع بالبيانات وضمانات السلامة القائمة على الفيزياء، مما يقدم حلاً قويًا للطبيعة المعقدة والعشوائية لاتخاذ القرار في تدفق حركة المرور المختلطة.