A Simple Approach to Constraint-Aware Imitation Learning with Application to Autonomous Racing

في عالم سباقات السيارات ذاتية القيادة عالي المخاطر، غالبًا ما تُقاس الفجوة بين النصر والكارثة بالمليمترات والأجزاء من الثانية. لكي تتمكن سيارة ذاتية القيادة من المنافسة، يجب عليها أن تفعل أكثر من مجرد اتباع مسار؛ بل يجب عليها دفع المركبة إلى أقصى حدود قدراتها الفيزيائية، موازنةً على الخط الرفيع حيث يتم تعظيم التماسك دون الانزلاق نحو حادث. هذا مجال تعاني فيه البرمجة التقليدية، حيث تتغير المتغيرات بسرعة كبيرة تمنع المهندس البشري من كتابة قواعد لكل سيناريو محتمل. بدلاً من ذلك، يلجأ الباحثون إلى طريقة تسمى "التعلم بالتقليد" (imitation learning)، حيث يتعلم برنامج الكمبيوتر من خلال مراقبة سائق خبير. الفكرة بسيطة: إذا استطاع الجهاز نسخ أفعال الخبير بدقة كافية، فينبغي أن يكون قادرًا على القيادة بنفس الكفاءة. ومع ذلك، يوجد خلل جوهري في هذا النهج؛ فإذا ارتكب الخبير خطأً، أو إذا أساءت الآلة تفسير موقف ما وانحرفت ولو قليلاً في الاتجاه الخاطئ، فقد تكون العواقب كارثية. قد تتعلم الآلة القيادة بسرعة، ولكن بدون فهم داخلي للسلامة، يمكنها بسهولة الخروج عن المسار.

هذا هو التحدي الذي سعى الباحثون شينغفان كاو، وإيون هيك جو، وفرانسيسكو بوريليلي لحله. لقد أدركوا أن مجرد نسخ الخبير ليس كافيًا عندما تتضمن المهمة العمل بالقرب من حدود التحكم في الآلة. وفي عملهم، طوروا طريقة جديدة لتعليم المركبات ذاتية القيادة تجمع بين الرغبة في محاكاة الخبير مع إحساس داخلي صارم بالسلامة. فبدلاً من مجرد إخبار الكمبيوتر بنسخ حركات عجلة القيادة الخاصة بالخبير، ابتكروا نظامًا يسأل أيضًا: "هل هذا الإجراء آمن؟" قبل أن تنفذ السيارة الحركة. ومن خلال دمج فحص السلامة هذا مباشرة في عملية التعلم، قاموا بتدريب سياسة لا تتعلم القيادة بسرعة فحسب، بل تتعلم أيضًا تجنب أنواع الأخطاء المحددة التي تؤدي إلى الحوادث. تم اختبار نهجهم في محاكاة حاسوبية متطورة لسيارة سباق، حيث كان على المركبة إكمال خمسين لفة متتالية دون الاصطدام بالجدران. وأظهرت النتائج أنه بينما فشلت الطرق القياسية غالبًا أو تطلبت وقت تدريب مفرط لتصبح موثوقة، فإن هذه الطريقة الجديدة الواعية بالسلامة تعلمت القيادة باستمرار وبأمان بشكل أسرع بكثير، مما أثبت أن الآلة يمكنها تعلم السباق عند الحدود دون أن تفقد صوابها.

يكمن جوهر المشكلة في كيفية عمل أنظمة التعلم هذه عادةً. في الإعداد القياسي، يشاهد الكمبيوتر فيديو لسائق خبير ويحاول التنبؤ بما سيفعله السائق في أي موقف معطى. إذا أدار السائق العجلة يسارًا، يتعلم الكمبيوتر الدوران يسارًا. يعمل هذا جيدًا عندما تكون السيارة في موقف سبق للكمبيوتر رؤيته. لكن السباقات مليئة باللحظات الجديدة وغير المتوقعة. إذا واجهت السيارة موقفًا مختلفًا قليلاً عن بيانات التدريب، فقد يرتكب الكمبيوتر خطأً طفيفًا. في سيناريو القيادة العادي، قد يعني الخطأ الصغير مجرد انحراف بسيط للسيارة، أما في السباق، فإن نفس الخطأ الصغير يمكن أن يدفع السيارة نحو جدار أو يتسبب في دورانها حول نفسها. وجد الباحثون أن مجرد محاولة نسخ الخبير بدقة أكبر لم تكن هي الحل؛ فحتى مع النسخ المثالي، افتقر النظام إلى وسيلة لفهم حدود السلامة. لم يكن يعرف أن بعض الأفعال، حتى لو بدت مثل ما فعله الخبير، كانت خطيرة لأنها تنتهك الحدود الفيزيائية للسيارة.

ولإصلاح ذلك، قدم المؤلفون "مرشح سلامة" (safety filter) يعمل كمعلم ثانٍ بجانب السائق الخبير. تخيل طالبًا يتعلم القيادة مع مدرب ماهر يعرف كيف يتسابق، ولكن أيضًا مع ضابط سلامة يعرف قواعد الطريق وحدود المركبة. يحاول الطالب تقليد المدرب، لكن ضابط السلامة يتدخل إذا كان الطالب على وشك القيام بشيء قد يتسبب في حادث. في هذا النظام الجديد، يتعلم الكمبيوتر من كلا المصدرين في وقت واحد؛ فهو يحاول محاكاة أداء الخبير، ولكنه يتعلم أيضًا التعرف على الحالات الآمنة وغير الآمنة. طور الباحثون طريقة ذكية لتعليم الكمبيوتر معنى "الأمان" دون الحاجة إلى نموذج رياضي مثالي لفيزياء السيارة. لقد استخدموا تقنية حيث يراقب الكمبيوتر محاولات قيادة عديدة، بعضها ناجح وبعضها فاشل. ومن خلال تحليل المحاولات الناجحة، يبني النظام خريطة لـ "المنطقة الآمنة" — وهي مجموعة كل المواضع والسرعات التي لا تزال السيارة قادرة فيها على إنهاء السباق دون تحطم. ثم يتعلم تجنب أي إجراء قد يدفع السيارة خارج هذه المنطقة الآمنة.

أُجريت التجارب في بيئة محاكاة تحاكي فيزياء سيارة سباق حقيقية، كاملة برؤية كاميرا ومستشعرات سرعة، تمامًا كما سيكون الحال في مركبة حقيقية. كان الهدف هو أن تكمل السيارة خمسين لفة متتالية دون الاصطدام بحدود المسار. قارن الباحثون طريقتهم الجديدة الواعية بالسلامة مقابل نهج التعلم بالتقليد القياسي الذي لا يحتوي على مرشح سلامة. كانت النتائج مذهلة؛ فقد عانى النهج القياسي لإكمال عشر لفات حتى دون تحطم، وغالبًا ما فشل لأنه ارتكب انحرافات صغيرة غير آمنة لم تعاقبها بيانات التدريب صراحةً. في المقابل، تعلمت الطريقة الجديدة القيادة بأمان واستمرارية. في أحد الاختبارات، أكملت السيارة الواعية بالسلامة الخمسين لفة كاملة في أقل من ثمانين جلسة تدريبية، بينما فشلت الطريقة القياسية في تجاوز عشر لفات. تعلم النظام الجديد الحفاظ على مسافة آمنة من الجدران مع تحقيق أوقات لفة سريعة في الوقت نفسه، مما أثبت أنه لم يتعلم فقط نسخ الخبير، بل تعلم فهم قيود البيئة.

ما يجعل هذا النهج قويًا بشكل خاص هو أنه يعمل حتى عندما لا تستطيع السيارة رؤية كل شيء بشكل مثالي. في العالم الحقيقي، قد تمتلك السيارة كاميرا وبعض مستشعرات السرعة فقط، بدلاً من رؤية مثالية وعالمة بكل شيء. اختبر الباحثون طريقتهم مع هذا القيد، حيث قاموا بتغذية الكمبيوتر بصورة الكاميرا وبيانات السرعة فقط، تمامًا كما ستختبرها سيارة حقيقية. وحتى مع هذه المعلومات الجزئية، تفوق النظام الواعي بالسلامة على الطريقة القياسية، مستعيدًا سياسة قيادة آمنة بشكل أسرع بكثير. افتقرت الطريقة القياسية، لعدم وجود توجيه سلامة، إلى الاستقرار وكانت عرضة للفشل. وهذا يشير إلى أن مرشح السلامة يساعد الكمبيوتر على التعميم بشكل أفضل، مما يسمح له بالتعامل مع عدم اليقين وضجيج المستشعرات في العالم الحقيقي بشكل أكثر فعالية. لاحظ الباحثون أن النظام لم يتعلم فقط تجنب الحوادما، بل تعلم أن يكون متسقًا؛ فأصبحت أوقات اللفات أكثر قابلية للتنبؤ، وأصبح سلوك السيارة أكثر موثوقية، وهو أمر ضروري لأي نظام مستقل يحتاج إلى العمل في العالم الحقيقي.

كما سلطت الدراسة الضوء على رؤية حاسمة حول كيفية تعليم الآلات أداء المهام المعقدة. لا يكفي مجرد إظهار الإجابة الصحيحة لها؛ بل يجب علينا أيضًا تعليمها كيف تبدو الإجابة الخاطئة، خاصة عندما تؤدي الإجابة الخاطئة إلى كارثة. ومن خلال دمج عقوبة السلامة في عملية التعلم، أنشأ الباحثون نظامًا يعطي الأولوية للبقاء داخل المنطقة الآمنة على محاكاة كل حركة للخبير بدقة مثالية. هذا لا يعني أن السيارة تقود ببطء أو بحذر؛ بل يعني أنها تتعلم دفع الحدود القصوى للأداء دون تجاوز الخط إلى الخطر. وجد الباحثون أن هذا النهج كان أكثر كفاءة من محاولة تحقيق تقليد مثالي، حيث سمح للسيارة بتعلم سياسة آمنة وعالية الأداء في خطوات تدريبية أقل بكثير.

وبالنظر إلى المستقبل، يقر الباحثون أنه على الرغم من أن نتائجهم واعدة، إلا أنها تستند إلى عمليات المحاكاة. العالم الحقيقي أكثر تعقيدًا، مع وجود طقس غير متوقع، وظروف طريق متغيرة، وعيوب ميكانيكية لا يمكن للمحاكاة الحاسوبية استيعابها بالكامل. يخططون لاختبار طريقتهم على مركبات فيزيائية وتطوير مرشح السلامة للتعامل مع حالات عدم اليقين في العالم الحقيقي. كما يعتزمون استكشاف كيفية تطبيق هذا النهج الواعي بالسلامة على أنواع أخرى من مهام التعلم بعيدًا عن السباقات. الهدف النهائي هو إنشاء أنظمة مستقلة ليست ذكية بما يكفي لأداء المهام الصعبة فحسب، بل وحكيمة بما يكفي لمعرفة حدودها الخاصة. في عالم سباقات السيارات ذاتية القيادة عالي السرعة، حيث الفرق بين لفة قياسية وتحطم غالبًا ما يكون مسألة بوصات، فإن هذا المزيج من التقليد والسلامة ليس مجرد تحسين تقني؛ بل هو خطوة ضرورية لجعل المركبات ذاتية القيادة موثوقة حقًا.