⚡ electrical engineering

Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO

تقترح هذه الورقة نهجاً للتعلم التعزيزي يعتمد على تحسين السياسة القريبة (Proximal Policy Optimization) يقوم بضبط مسافة الاستشراف ومعامل التوجيه لمتحكم المطاردة النقية (Pure Pursuit) بشكل مشترك وفي الوقت الفعلي، مما يظهر تفوقاً في زمن اللفة، ودقة التتبع، وسلاسة التوجيه مقارنة بالطرق التقليدية ذات المعلمات الثابتة، والطرق المجدولة حسب السرعة، وطرق التحكم التنبؤي بالنماذج في سباقات القيادة الذاتية.

المؤلفون الأصليون: Mohamed Elgouhary, Amr S. El-Wakeel

نُشر 2026-02-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohamed Elgouhary, Amr S. El-Wakeel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم سيارة روبوتية كيف تتسابق حول مضمار. يجب على السيارة البقاء على الطريق، والتحرك بأقصى سرعة ممكنة، وعدم الاصطدام بالجدران.

هذه الورقة البحثية تتحدث عن طريقة جديدة لتعليم تلك السيارة الروبوتية كيفية التوجيه (التحكم في الاتجاه). فبدلاً من بناء عقل فائق التعقيد من الصفر، أخذ المؤلفون طريقة توجيه قديمة وبسيطة تسمى "Pure Pursuit" (المطاردة النقية) ومنحوها "مساعداً ذكياً" يعمل بالذكاء الاصطناعي (AI).

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: السائق ذو "النظرة الثابتة"

تخيل أنك تقود سيارة. لكي تبقى في مسارك، تختار نقطة على الطريق أمامك وتوجه السيارة نحوها. هذا هو نظام Pure Pursuit.

المشكلة: إذا اخترت نقطة قريبة جداً من سيارتك (مثل النظر إلى المصد الأمامي)، فستقوم بتحريك عجلة القيادة بعنف، مما يجعل الرحلة متقطعة وغير مستقرة.
المشكلة: إذا اخترت نقطة بعيدة جداً (مثل النظر إلى الأفق)، فستنعطف متأخراً جداً. ستأخذ المنعطفات بشكل واسع جداً أو تصطدم بالجدار في المنعطفات الحادة.

تقليدياً، حاول المهندسون حل هذه المشكلة بقاعدة بسيطة: "إذا كنت تسير بسرعة، انظر بعيداً. إذا كنت تسير ببطء، انظر قريباً."

العيب: هذه بمثابة كتاب قواعد جامد. هي تعمل بشكل جيد في الطريق المستقيم، لكنها تفشل عندما يصبح المضمار غريباً. فهي لا تدرك أن المنعطف الحاد عند سرعة 30 ميلاً في الساعة يتطلب استراتيجية مختلفة عن المنعطف الحاد عند سرعة 60 ميلاً في الساعة. الأمر يشبه ارتداء نفس مقاس الحذاء للجري في ماراثون ولتسلق جبل.

2. الطريقة الجديدة: "المساعد الذكي"

قرر المؤلفون الإبقاء على طريقة التوجيه البسيطة ولكن مع إضافة وكيل "تعلم تعزيزي" (Reinforcement Learning - RL). فكر في هذا الوكيل كأنه مساعد ذكي يجلس بجانب السائق.

هذا المساعد لا يقود السيارة؛ بل يهمس برقمين فقط للسائق كل جزء من الثانية:

إلى أي مدى ينظر للأمام؟ (مسافة النظر للأمام - Lookahead Distance)
ما مدى قوة الانعطاف؟ (كسب التوجيه - Steering Gain)

3. كيف يتعلم المساعد (تشبيه ألعاب الفيديو)

لم يتعلم الذكاء الاصطناعي عن طريق قراءة دليل تعليمات. لقد تعلم من خلال لعب لعبة فيديو (محاكاة) آلاف المرات، تماماً مثل الإنسان الذي يتعلم لعب لعبة Mario Kart.

التدريب: لعب الذكاء الاصطناعي على مضمار افتراضي (Hockenheim). جرب ملايين التوليفات المختلفة من "إلى أي مدى ينظر" و"مدى قوة الانعطاف".
المكافأة: إذا بقي في المضمار وانطلق بسرعة، يحصل على "درجة عالية" (مكافأة). وإذا اصطدم أو سار ببطء، يحصل على "درجة منخفضة" (عقوبة).
النتيجة: في النهاية، استطاع الذكاء الاصطناعي اكتشاف "الرقصة المثالية". فقد تعلم أنه في الخط المستقيم الطويل، يجب أن ينظر بعيداً وينعطف بلطف. ولكن بمجرد رؤية منحنى حاد قادم، يقول فوراً: "انظر قريباً! وانعطف بقوة!"

4. لماذا هذا الأمر مميز؟

تحاول معظم سيارات السباق التي تعمل بالذكاء الاصطناعي استبدال السائق بالكامل، حيث تتعلم كيفية التوجيه من الصفر. هذا يشبه محاولة تعليم طفل رضيع قيادة سيارة فورمولا 1. من الصعب فهم لماذا اتخذ الذكاء الاصطناعي خطوة معينة، ومن الصعب جعلها تعمل على مضمار جديد.

نهج هذه الورقة البحثية مختلف:

فهي تحافظ على السائق البسيط: منطق التوجيه الأساسي لا يزال هو نظام "Pure Pursuit" القديم والموثوق.
فهي تضبط الأزرار: يقوم الذكاء الاصطناعي فقط بضبط "المقابض" (المسافة والقدرة على الانعطاف) في الوقت الفعلي.
فهي تنتقل بسهولة: لأن الذكاء الاصطناعي تعلم كيفية الضبط بدلاً من حفظ مضمار معين، استطاع الانتقال من مضمار التدريب إلى مضمارين جديدين تماماً (مونتريال وياس مارينا) وأدى المهمة بشكل مثالي دون الحاجة لأي إعادة تدريب. وهذا ما يسمى "النقل الصفري" (Zero-Shot Transfer).

5. اختبار العالم الحقيقي

لم يتوقف المؤلفون عند حدود الكمبيوتر فحسب. بل وضعوا ذكاءهم الاصطناعي على سيارة سباق حقيقية صغيرة (بحجم الميكروويف تقريباً).

النتيجة: كانت السيارة التي تم ضبطها بواسطة الذكاء الاصطناعي أسرع، وأكثر سلاسة، وأكثر دقة من:
- السيارة التي تعمل بقواعد ثابتة (سائق "كتاب القواعد").
- السيارة التي تعمل بقواعد "تعتمد على السرعة".
- وحتى نموذج حاسوبي معقد جداً يعتمد على الرياضيات (يسمى MPC) والذي يعتبر عادةً المعيار الذهبي.

الخلاصة الكبرى

فكر في هذا الأمر كأنه منظم حرارة ذكي (Thermostat) لتوجيه سيارتك.
السيارات القديمة كانت تحتوي على قرص يدوي يجب عليك ضبطه بنفسك. أما هذا النظام الجديد فيمتلك مستشعراً ذكياً يشعر بالطريق، والسرعة، والمنعطفات، ويقوم بتدوير القرر تلقائياً إلى الإعداد المثالي في اللحظة المناسبة.

هذا يثبت أنك لست بحاجة إلى عقل ذكاء اصطناعي ضخم ومعقد للفوز بالسباق. أحياناً، تحتاج فقط إلى طريقة توجيه بسيطة مع مساعد ذكي يعرف بالضبط كيفية ضبط الإعدادات للحظة الراهنة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم ضبط خوارزمية Pure Pursuit في سباقات السيارات ذاتية القيادة: التحكم المشترك في مسافة التطلع ومعامل التوجيه باستخدام PPO".

1. بيان المشكلة

تُعد خوارزمية Pure Pursuit (PP) متحكماً هندسياً شائعاً لتتبع المسار في سباقات السيارات ذاتية القيادة نظراً لكفاءتها الحسابية وسهولة تفسيرها. ومع ذلك، فإن أداءها حساس للغاية لمعاملين رئيسيين:

مسافة التطلع ( $L_d$ ): تحدد النقطة المستهدفة على المسار المرجعي. القيم الصغيرة تمنح قدرة عالية على المناورة في المنعطفات ولكنها تسبب تذبذباً في الخطوط المستقيمة؛ بينما القيم الكبيرة تجعل الحركة سلسة ولكنها تسبب نقصاً في التوجيه (understeer) في المنعطفات الضيقة.
معامل التوجيه ( $g$ ): يقوم بتوسيع نطاق أمر التوجيه. المعاملات القوية تسبب ضجيجاً في الحركة، بينما المعاملات المتحفظة تبطئ من سرعة التقارب مع المسار.

محدودية الحلول الحالية:

الجداول القائمة على القواعد: تعد الطرق التقليدية قيم $L_d$ و $g$ باستخدام دوال خطية ثابتة للسرعة أو الانحناء. وغالباً ما تفشل هذه الطرق في الانتقال عبر المسارات المختلفة، أو ملفات السرعة، أو منصات المركبات المختلفة.
التحكم التنبئي بالنماذج (MPC): رغم قوته، يتطلب MPC جهداً كبيراً في النمذجة، والتحسين عبر الإنترنت (online optimization)، والضبط، مما يجعله مكلفاً حسابياً وأقل قابلية للتفسير.
التعلم التعزيزي من البداية للنهاية (End-to-End RL): تعلم أوامر التوجيه مباشرة يفتقر غالباً إلى القابلية للتفسير ويواجه صعوبة في الانتقال من المحاكاة إلى الواقع (sim-to-real).

الهدف: يهدف المؤلفون إلى الاحتفاظ بالبساطة والقابلية للتفسير لخوارزمية Pure Pursuit مع استخدام التعلم التعزيزي (RL) لضبط مسافة التطلع ( $L_d$ ) ومعامل التوجيه ( $g$ ) بشكل مشترك ولحظي (online) للتكيف مع تغيرات هندسة المسارات والسرعات دون الحاجة لإعادة الضبط لكل مسار على حدة.

2. المنهجية

يدمج الإطار المقترح وكيل التحسين المستمر للسياسة القريبة (PPO) مع متحكم Pure Pursuit كلاسيكي ضمن بيئة ROS 2.

أ. بنية النظام

التحديد الموضعي (Localization): يستخدم تحديد الموقع بنظام مونت كارلو (MCL) القائم على مستشعر LiDAR لتقدير الوضعية.
المسار المرجعي: يولد مسار سباق بحد أدنى من الانحناء مع ملف تعريف سرعة محدود بالاحتكاك باستخدام أدوات التحسين العالمية من TUM.
حلقة التحكم:
1. تراقب سياسة PPO الحالة وتخرج القيم ( $L_d, g$ ).
2. يتم تمرير هذه المعاملات إلى متحكم Pure Pursuit.
3. يحسب PP زاوية التوجيه $\gamma = g \cdot \frac{2y'}{L_d^2}$ (حيث $y'$ هو الخطأ الجانبي بالنسبة لنقطة التطلع).
4. يعمل "معلم" أمان (قاعدة خطية) كبديل احتياطي في حال أصبحت أوامر RL قديمة أو غير مستقرة.

ب. صياغة التعلم التعزيزي

الخوارزمية: التحسين المستمر للسياسة القريبة (PPO) باستخدام Stable-Baselines3.
فضاء الملاحظة ( $s_t$ ): متجه مدمج مكون من 5 أبعاد:
- السرعة الحالية ( $v_t$ ).
- قراءات الانحناء عند ثلاثة آفاق زمنية (قريب، متوسط، بعيد) على طول مسار السباق ( $\kappa_0, \kappa_1, \kappa_2$ ).
- فرق الانحناء ( $\Delta \kappa = \kappa_1 - \kappa_0$ ).
فضاء الإجراء ( $a_t$ ): متجه مستمر ثنائي الأبعاد:
- مسافة التطلع $L_d \in [0.35, 4.0]$ متر.
- معامل التوجيه $g \in [0.45, 1.15]$ .
- ملاحظة: يتم تنعيم الإجراءات عبر مرشح أسي من الدرجة الأولى قبل التطبيق لمنع القفزات المفاجئة.
دالة المكافأة: صُممت لتحقيق التوازن بين:
- التقدم في السرعة ( $v_t$ ).
- الاتفاق مع خط الأساس لـ "المعلم" (مع معاقبة الانحراف عن الأهداف الاستدلالية).
- السلاسة (معاقبة التغيرات السريعة في $L_d$ و $g$ ).
- الأمان (معاقبة الاصطدامات والسرعة المنخفضة).
- التحضير لما قبل الانحناء (مكافأة تقليل $L_d$ مبكراً قبل المنعطفات الحادة).

ج. استراتيجية التدريب

البيئة: محاكي F1TENTH Gym.
المنهج التعليمي (Curriculum): يتم التدريب على مسار Hockenheim مع رفع ملف تعريف السرعة بمقدار +30% لفرض تعلم السياسة لعلاقات الانحناء والسرعة القوية بدلاً من الإفراط في التخصيص (overfitting) لسرعة محددة.
الاستقرار: يستخدم تحديثات مقيدة بـ KL، وتقليم التدرج (gradient clipping)، وتطبيع الملاحظات والعوائد (VecNormalize).

3. المساهمات الرئيسية

إطار عمل الضبط المشترك للمعاملات: على عكس الأعمال السابقة التي تضبط $L_d$ فقط أو تستخدم التحكم من البداية للنهاية، تقترح هذه الورقة نهجاً هجيناً حيث يقوم RL بضبط كل من مسافة التطلع ومعامل التوجيه بشكل مشترك، مما يحافظ على القانون الهندسي للتوجيه الخاص بـ PP.
وصفة تدريب عملية: يقدم المؤلفون إعداداً قوياً للتدريب يتضمن تشكيل مكافآت محدداً، وضبط المعلمات الفائقة (Optuna)، وتقنيات الاستقرار (قيود KL، مكافآت الإنتروبيا) التي تمكن من تعلم سياسة مدركة للانحناء والسرعة.
النشر من المحاكاة إلى الواقع (Sim-to-Real): تم نشر النظام على مركبة F1TENTH حقيقية باستخدام مجموعة ROS 2، مما أظهر انتقالاً ناجحاً (zero-shot transfer) إلى مسارات غير مرئية (Montreal و Yas Marina) دون إعادة تدريب.
تقييم شامل: تتضمن الدراسة دراسات استئصال (ablation studies)، ومقارنات مع PP ثابت، وPP متكيف مع السرعة، ومتتبع Kinematic MPC، مما يثبت الأداء في كل من المحاكاة والأجهزة الحقيقية.

4. النتائج التجريبية

تم تقييم النظام على ثلاثة مسارات: Hockenheim (التدريب)، Montreal، و Yas Marina (تقييم zero-shot).

أ. نتائج المحاكاة (Montreal & Yas Marina)

زمن اللفة: حقق متحكم Joint RL-PP أسرع أزمنة اللفات، متفوقاً على:
- Fixed PP: كان أبطأ بكثير (مثلاً 41.35 ثانية مقابل 32.85 ثانية في Montreal).
- Velocity-Scheduled Adaptive PP: أبطأ من RL-PP (مثلاً 34.25 ثانية مقابل 32.85 ثانية).
- Kinematic MPC: بشكل مفاجئ، كان متتبع MPC أبطأ (48.06 ثانية) تحت القيود والأفق المستخدمين، ويرجع ذلك على الأرجب إلى تعقيد التحسين عبر الإنترنت مقابل رشاقة المتحكم الهندسي المضبوط.
التعميم (Zero-Shot Generalization): نجحت السياسة المدربة على Hockenheim في التكيف مع Montreal و Yas Marina دون ضبط دقيق، مع الحفاظ على تباين منخفض بين اللفات.
دراسة الاستئصال: تفوق متغير Joint (Ld, g) باستمرار على متغير Ld-only، مما يثبت أن تعلم معامل التوجح يوفر فوائد ملموسة في التعامل مع المنعطفات الضيقة والخطوط المستقيمة.

ب. النتائج في العالم الحقيقي (سيارة F1TENTH)

الأداء: على السيارة الحقيقية (المحددة بسرعة 6 م/ث للأمان)، حقق Joint RL-PP أفضل متوسط زمن لفة (9.46 ثانية) مقارنة بـ Adaptive PP (9.72 ثانية) و Fixed PP (9.85 ثانية).
أداء MPC: كان متتبع MPC أبطأ بكثير (15.42 ثانية) على السيارة الحقيقية، مما يسلط الض الضوء على العبء الحسابي وصعوبة الضبط لـ MPC في قيود الأجهزة الحقيقية مقارنة بـ RL-tuned PP خفيف الوزن.
الاستقرار: لم يتم تفعيل نظام "المعلم" الاحتياطي خلال جولات التقييم، مما يشير إلى أن سياسة RL ظلت مستقرة واستجابية طوال اللفات.
جودة التتبع: أظهر التحليل النوعي أن RL-PP اتبع المسار المرجعي بشكل وثيق مع مدخلات توجيه أكثر سلاسة وأخطاء جانبية أقل من النماذج المرجعية.

5. الأهمية والخاتمة

تثبت هذه الورقة أن التعلم التعزيزي العميق يمكن أن يكمل بفعالية التحكم الهندسي الكلاسيكي لتعزيز القدرة على التكيف والمتانة في سباقات السيارات ذاتية القيادة.

القابلية للتفسير: من خلال إبقاء قانون التوجيه لـ Pure Pursuit ثابتاً وضبط معلماته فقط، يظل النظام قابلاً للتفسير وآمناً، على عكس المتحكمات السوداء (black-box) من البداية للنهاية.
الكفاءة: يتجنب هذا النهج التكلفة الحسابية الثقيلة لـ MPC مع التفوق عليه في زمن اللفة ودقة التتبع في السيناريوهات المختبرة.
التعميم: القدرة على الانتقال من بيئة محاكاة عالية السرعة إلى سيارة حقيقية على مسارات غير مرئية مع تكيف zero-shot تؤكد قوة السياسة المتعلمة.

يخلص المؤلفون إلى أن ضبط المعاملات الموجه بالسياسة هو طريقة موثوقة لتحسين المتحكمات الكلاسيكية، مما يقلل من الحاجة إلى الضبط اليدوي لكل مسار ويمكّن سباقات السيارات ذاتية القيادة عالية الأداء على المنصات ذات الموارد المحدودة.