Dynamic Lookahead Distance via Reinforcement Learning-Based Pure Pursuit for Autonomous Racing

إليك ملخص تقني مفصل لورقة البحث بعنوان: "المسافة النظرية المستقبلية الديناميكية عبر التتبع النقي القائم على التعلم التعزيزي للسباقات ذاتية القيادة."

1. بيان المشكلة

تُعد خوارزمية التتبع النقي (Pure Pursuit - PP) خوارزمية هندسية قياسية لتتبع المسار في السباقات ذاتية القيادة نظرًا لبساطتها وانخفاض تكلفتها الحسابية. ومع ذلك، فإن أداءها يعتمد بشكل حاسم على مسافة النظر المستقبلي ($L_d$)، مما يخلق مقايضة جوهرية:

• $L_d$ قصير: يحسن الاستجابة في المنحنيات ولكنه يسبب تذبذبات في التوجيه وعدم استقرار في المقاطع المستقيمة.
• $L_d$ طويل: يضمن الاستقرار في الخطوط المستقيمة ولكنه يؤدي إلى "قص الزوايا" وضعف التتبع في المنعطفات الحادة.

تعتمد الحلول الحالية على مسافة نظر ثابتة (تتطلب إعادة ضبط يدوية لكل مضمار) أو قواعد تكيفية استدلالية (مثل جعل $L_d$ يعتمد على السرعة أو الانحناء). غالبًا ما تكون هذه القواعد الاستدلالية مصممة يدويًا، وتفتقر إلى القدرة على التعميم عبر مختلف المضامير أو ديناميكيات المركبة، وتفشل في استيعاب السلوكيات المعقدة المعتمدة على السياق والمطلوبة في السباقات عالية السرعة.

2. المنهجية

يقترح المؤلفون إطار تحكم هجين يعزز متحكم التتبع النقي الكلاسيكي بوكيل تعلم تعزيزي (RL). وبدلاً من استبدال المتحكم الهندسي، يقوم وكيل التعلم التعزيزي بضبط معلمة واحدة قابلة للتفسير ($L_d$) ديناميكيًا في الوقت الفعلي.

أ. بنية النظام

• التحديد الموضعي (Localization): استخدام التحديد الموضعي بنموذج مونت كارلو (MCL) باستخدام مرشح الجسيمات وبيانات LiDAR.
• التخطيط العالمي (Global Planning): يتم حساب خط سباق ذو انحناء أدنى مسبقًا باستخدام إطار عمل global_racetrajectory_optimization الخاص بـ TUM لتوليد مسار مرجعي مع نقاط مسار (waypoints)، وانحناء، وملف تعريف سرعة مستهدف.
• حلقة التحكم:
  1. وكيل PPO: يراقب حالة المركبة ويخرج قيمة $L_d$ ديناميكية.
  2. متحكم التتبع النقي (Pure Pursuit): يستخدم $L_d$ الديناميكية لحساب نقطة المسار المستهدفة وأمر التوجيه.
  3. التشغيل (Actuation): يتم تنفيذ أوامر التوجيه ودفعة الوقود (throttle) على المركبة.

ب. إعداد التعلم التعزيزي

• الخوارزمية: خوارزمية تحسين السياسة القريبة (PPO) المنفذة عبر Stable-Baselines3.
• فضاء الملاحظة ($s_t$): متجه مكون من 5 أبعاد:
  • سرعة المركبة ($v_t$).
  • انحناء المسار عند ثلاثة آفاق: الأقرب ($\kappa_0$)، المتوسط ($\kappa_1$)، والبعيد ($\kappa_2$).
  • تغير الانحناء للأمام ($\Delta\kappa = \kappa_1 - \kappa_0$).
• فضاء الإجراء ($a_t$): مخرج مستمر يمثل مسافة النظر المستقبلي $L_{t+1}$، محصور بين $[0.35, 4.0]$ متر. يتم تطبيق مرشح تنعيم أسي لتقليل الارتجاج.
• دالة المكافأة ($R_t$): مجموع مرجح مصمم لتعزيز:
  • التقدم: النقاط المتقدمة في المسار ($\Delta p_t$).
  • السرعة: سرعة المركبة ($v_t$).
  • النعومة: معاقبة التغيرات الكبيرة في $L_d$ والانحناء العالي.
  • الأمان: عقوبات التصادم (مدى LiDAR < 0.2 م) وعقوبات التوقف (stall).
  • التشكيل (Shaping): حد استدلالي يوجه $L_d$ نحو قيمة مثالية بناءً على السرعة والانحناء لاستقرار التدريب.
• بيئة التدريب: محاكي F1TENTH Gym. تم استخدام Optuna لضبط المعلمات الفائقة، وعقوبات تباعد KL، وتناقص معدل التعلم لضمان الاستقرار.

3. المساهمات الرئيسية

1. التحكم الهجين (RL-Geometric): إطار عمل مبتكر يدمج PPO لتكييف مسافة النظر المستقبلي للتتبع النقي، مما يحافظ على قابلية التفسير والمتانة للمتحكم الكلاسيكي مع إضافة القدرة على التكيف القائمة على البيانات.
2. سياسة مدركة للسياق: يتعلم الوكيل رسم خرائط لميزات الانحناء متعددة الآفاق والسرعة إلى $L_d$ الأمثل، مما يجعله يتعلم بفعالية زيادة مسافة النظر في الخطوط المستقيمة وتقليلها في المنحنيات دون الحاجة لصياغة قواعد يدوية.
3. التعميم الصفري (Zero-Shot Generalization): تم تدريب السياسة على مضمار واحد (Austin) وتم تقييمها على مضامير غير مرئية (Montreal، Yas Marina) دون ضبط دقيق، مما أظهر متانة تجاه تغيرات هندسة المضمار.
4. النقل من المحاكاة إلى الواقع (Sim-to-Real Transfer): النشر الناجح على مركبة RoboRacer بمقياس 1:10، مما يثبت أن السياسة المتعلمة تنتقل بفعالية من المحاكاة إلى الأجهزة.

4. النتائج التجريبية

تمت مقارنة متحكم RL-based Dynamic-L المقترح مع:

• Fixed-L PP: تتبع نقي بمسافة نظر ثابتة.
• Adaptive PP: تتبع نقي بقاعدة مسافة نظر تعتمد على السرعة مصممة يدويًا.

نتائج المحاكاة (مضامير غير مرئية):

• مضمار مونتريال (Montreal):
  • RL PP: أكمل 10/10 لفات بملف سرعة +13%. متوسط زمن اللفة: 33.16 ثانية.
  • Adaptive PP: أكمل 10/10 لفات بملف سرعة +10%. متوسط زمن اللفة: 34.15 ثانية.
  • Fixed PP: تطلب تقليل السرعة بنسبة -10% لإكمال اللفات. متوسط زمن اللفة: 41.36 ثانية.
• مضمار ياس مارينا (Yas Marina):
  • RL PP: أكمل 10/10 لفات بملف سرعة +15%. متوسط زمن اللفة: 46.05 ثانية.
  • Adaptive PP: أكمل 10/10 لفات بملف سرعة +14%. متوسط زمن اللفة: 46.79 ثانية.
  • Fixed PP: فشل في إكمال لفات متكررة عند السرعات المتسارعة؛ سجل 52.81 ثانية عند السرعة الأصلية.

التحقق من العالم الحقيقي:

• على سيارة فيزيائية بمقياس 1:10 مع سقف سرعة 5 م/ث، أكمل RL PP 10/10 لفات بمتوسط زمن قدره 11.13 ثانية.
• فشل متحكم Fixed-L PP في إكمال اللفات المتكررة بشكل موثوق تحت نفس الظروف.

5. الأهمية

يُظهر هذا العمل أن التعلم التعزيزي يمكنه تعزيز التحكم الكلاسيكي بفعالية دون التضحة بقابلية التفسير. من خلال التركيز على تكييف معلمة واحدة عالية المستوى ($L_d$) بدلاً من تعلم التحكم من البداية إلى النهاية (end-to-end)، يحقق النظام:

• متانة فائقة: القدرة على التعامل مع ملفات السرعة الهجومية وهندسة المضامير غير المرئية دون إعادة ضبط.
• الأداء: أوقات لفات أسرع مقارنة بكل من الأساسات الثابتة والاستدلالية التكيفية.
• العملية: حل خفيف الوزن ومعياري متوافق مع حزم ROS2 المستقلة، مما يسد الفجوة بين قدرة التعلم التعزيزي النظرية ومتطلبات السلامة في السباقات ذاتية القيادة في العالم الحقيقي.

تخلص الورقة إلى أن التكيف القائم على التعلم لمعلمات المتحكم الهندسي هو مسار قابل للتطبيق نحو أنظمة أكثر ذكاءً وإدراكًا للسياق.