⚡ electrical engineering

Adaptive Control in Autonomous Driving via Real-Time Recurrent RL

تقدم هذه الورقة إطار تحكم تكيُّفي للقيادة الذاتية يجمع بين استنساخ السلوك غير المتصل بالإنترنت مع الضبط الدقيق عبر التعلم التعزيزي المتكرر في الوقت الفعلي (RTRRL) باستخدام نموذج LrcSSM، مما أظهر بنجاح تحسناً في تكيف السياسة مع تغيرات التوزيع في كل من محاكاة CarRacing والتجارب الواقعية على منصة RoboRacer بمقياس 1:10 مجهزة بكاميرا حدثية.

المؤلفون الأصليون: Julian Lemmel, Felix Resch, Mónika Farsang, Ramin Hasani, Daniela Rus, Radu Grosu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Julian Lemmel, Felix Resch, Mónika Farsang, Ramin Hasani, Daniela Rus, Radu Grosu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك علمت سيارة روبوتية القيادة من خلال عرض آلاف الساعات من فيديو لسائق بشري عليها. لقد فعلت ذلك في محاكي، وحتى على مسار حقيقي صغير. الروبوت الآن "مدرب مسبقاً"؛ إنه يعرف كيف يقود جيداً... تحت الظروف ذاتها التي تعلم منها.

ولكن إليك المشكلة: العالم الحقيقي فوضوي. قد ينعكس ضوء الشمس في الكاميرا، أو قد يكون الطريق مختلفاً قليلاً، أو قد يعلق مقود السيارة قليلاً جهة اليسار. في الماضي، إذا واجه الروبوت هذه التغييرات، كان يصاب بالذعر ويصطدم لأنه لم يستطع التكيف. كان الأمر يشبه طالباً حفظ إجابات اختبار محدد، لكنه يفشل فوراً إذا غير المعلم كلمة واحدة في السؤال.

تقدم هذه الورقة البحثية طريقة جديدة لتعليم الروبوت: التعلم التعزيزي المتكرر في الوقت الفعلي (RTRRL).

الفكرة الجوهرية: التعلم أثناء القيادة

فكر في التدريب التقليدي كأنه دراسة لامتحان نهائي. أنت تقرأ الكتاب، وتدون الملاحظات، ثم تخوض الاختبار. إذا أخطأت في سؤال، عليك العودة إلى المكتبة، وإعادة قراءة الفصل بأكل، ثم خوض الاختبار مرة أخرى. هذا أمر بطيء ويتطلب الكثير من الذاكرة.

RTRRL مختلف. إنه يشبه طالباً يتعلم أثناء خوض الاختبار.

لا يوجد زر "إرجاع" (Rewind): عادةً، لكي يتعلم الكمبيوتر من خطأ ما، عليه أن "يعيد الزمن للوراء" ليرى بالضبط ما الذي فعله بشكل خاطئ (وهي عملية تسمى الانتشار العكسي عبر الزمن - Backpropagation Through Time). هذه العملية ثقيلة وبطيئة.
نهج "الأمام فقط": هذه الطريقة الجديدة تشبه السائق الذي يقوم بتصحيح بسيط فور شعوره بانحراف السيارة، دون الحاج من إعادة تشغيل آخر دقيقة من القيادة في ذهنه. إنها تُحدّث "دماغه" (السياسة/Policy) عند كل لحظة وكل خطوة.

نموذج "الدماغ" الجديد: LrcSSM

لم يكتفِ الباحثون باستخدام طريقة التعلم الجديدة فحسب، بل قاموا أيضاً بترقية بنية "دماغ" الروبوت.

الدماغ القديم (LRU): تخيل دماغاً لا يفكر إلا في خطوط مستقيمة. إنه سريع وفعال، ولكن إذا انحنى الطريق بشكل حاد أو تغير الضوء فجأة، فإن المفكر ذو الخطوط المستقيمة سيصاب بالارتباك.
الدماغ الجديد (LrcSSM): هذا دماغ "مستوحى حيوياً". إنه مثل كائن حي يمكنه الانحناء والتكيف مع منطقه الداخلي بناءً على ما يراه. إنه يحافظ على سرعة الدماغ القديم ولكنه يضيف القدرة على التعامل مع المواقف المعقدة وغير الخطية (مثل التغيرات المفاجئة في الضوء أو التوجيه).

التجربة: مساران

اختبر الفريق هذا النظام على مسارين مختلفين تماماً:

مسار لعبة الفيديو (CarRacing): استخدموا محاكياً قياسياً مع صور كاميرا عادية. أظهروا للروبوت كيفية القيادة، ثم تركوه يقود بمفرده. عندما أدخلوا "خللاً" (مثل تغيير حساسية التوجيه)، استطاع الروبوت الذي يستخدم الطريقة الجديدة اكتشاف كيفية التعويض بسرعة واستمر في القيادة بسلاسة، بينما عانت الطرق القديمة أو فشلت.
المسار الواقعي (RoboRacer): هذا هو الاختبار الأكبر. وضعوا الروبوت على سيارة سباق بمقياس 1:10 في مختبر حقيقي. وبدلاً من الكاميرا العادية، استخدموا كاميرا أحداث (Event Camera).
- التشبيه: الكاميرا العادية تلتقط صورة 60 مرة في الثانية، حتى لو لم يكن هناك شيء يتحرك. أما كاميرا الأحداث فهي مثل الجهاز العصبي؛ فهي "تطلق" فقط عندما يحدث شيء ما (مثل أن يصبح البكسل أكثر سطوعاً أو قتامة). إنها سريعة للغاية وجيدة في رصد الحركة.
- كان على الروبوت تتبع خط على الأرض باستخدام هذه "الأحداث" فقط. عندما عبث الباحثون بالتوجيه أو سلطوا أضواءً ساطعة (محاكاة لأشعة الشمس)، انخفض أداء الروبوت، لكنه بعد ذلك تكيّف في الوقت الفعلي وبدأ يقود بشكل أفضل مما كان عليه قبل حدوث الخلل.

الخلاصة الكبرى

تثبت هذه الورقة البحثية أنك لست بحاجة لإيقاف الروبوت، أو إعادة تدريبه من الصفر، أو تغذيته ببيانات ضخمة جديدة لإصلاح أخطائه.

من خلال الجمع بين التقليد السلوكي (Behavioral Cloning) (التعلم من العروض البشرية أولاً) مع التعلم عبر الإنترنت في الوقت الفعلي (Real-Time Online Learning) (التعديل الفوري أثناء القيادة)، يمكن للروبوت التعامل مع غير المتوقع. إنه الفرق بين روبوت عبارة عن نص جامد ومحفوظ، وروبوت هو سائق مرن ومتكيف يتعلم من كل مطب في الطريق أثناء حدوثه.

الادعاءات الرئيسية من الورقة:

هذه هي المرة الأولى التي يتم فيها إثبات نجاح طريقة "التعلم عبر الإنترنت" هذه بنجاح على روبوت في العالم الحقيقي باستخدام كاميرات الأحداث.
نموذج الدماغ الجديد "LrcSSM" كان الأفضل، حيث تكيف بشكل أسرع وأكثر اتساقاً من النماذج الأقدم.
يعمل النظام على أجهزة الكمبيوتر القياسية (وليس على أجهزة كمبيوتر فائقة متخصصة وغالية الثمن)، مما يجعله قابلاً للتطبيق في السيارات والروبوتات الحقيقية.

ملخص تقني: التحكم التكيفي في القيادة الذاتية عبر التعلم التعزيزي المتكرر في الوقت الفعلي

بيان المشكلة

غالبًا ما تفشل سياسات التحكم القائمة على التعلم عند نشرها في بيئات تختلف عن بيانات تدريبها. هذه "التحولات في التوزيع" (distribution shifts) — الناتجة عن تغيرات طفيفة في ديناميكيات النظام، أو خصائص المستشعرات، أو الظروف البيئية — يمكن أن تؤدي إلى تدهور كارثي في الأداء. إن نماذج التعلم التقليدية غير المتصلة (offline)، حيث يتم تدريب السياسات مرة واحدة ثم نشرها دون تكيف، غير كافية لهذه الإعدادات الواقعية غير المستقرة. وبينما يعد التكيف عبر الإنترنت (online adaptation) أمرًا ضروريًا، فإن الطرق الحالية تعتمد غالبًا على التعلم الميتا (meta-learning) (الذي يتطلب بيانات مهام محددة)، أو التكيف وقت الاختبار (الذي يعتمد على مكافآت مصممة يدويًا)، أو التعلم التعزيزي التقليدي عبر الإنترنت الذي يسبب تأخيرًا (latency) من خلال الانتظار حتى اكتمال الحلقات (episodes) أو الدفعات الصغيرة (mini-batches) قبل التحديث. علاوة على على ذلك، فإن التعلم عبر الإنترنت القياسي في الشبكات المتكررة يتطلب غالبًا الانتشار العكسي عبر الزمن (BPTT)، وهو أمر مستهلك للذاكرة وغير متوافق مع المعايير البيولوجية.

المنهجية

يقترح المؤلفون خط معالجة هجين يجمع بين محاكاة السلوك (behavioral cloning) غير المتصلة وبين التعلم التعزيزي المتكرر في الوقت الفعلي (RTRRL) المتصل. يتيح هذا النهج للسياسات التكيف باستمرار عند كل خطوة زمنية دون الحاجة لإعادة التدريب من الصفر أو الوصول إلى مجموعات بيانات ضخمة غير متصلة.

الخوارزمية الأساسية: RTRRL

إن RTRRL هي خوارزمية فعالة من حيث الذاكرة ومتوافقة بيولوجيًا، تقوم بتحديث معاملات السياسة عند كل خطوة زمنية باستخدام تمرير أمامي فقط، مما يلغي الحاجة إلى BPTT.

حساب التدرج (Gradient Computation): بدلاً من BPTT، يستخدم الإطار التعلم المتكرر في الوقت الفاسي (RTRL) أو التعلم المحلي العشوائي بالتغذية الراجعة (RFLO). تقوم هذه الطرق بحساب التدرجات عبر الإنترنت باستخدام آثار الأهلية (eligibility traces) وتقريبات جاكوبي (Jacobian approximations). وتعمل RFLO، على وجه الخصوص، على فرض المحلية والتوافق البيولوجي باستخدام مصفوفات تغذية راجعة عشوائية ثابتة، مما يقلل التعقيد من $O(n^3)$ إلى $O(n^2)$ .
هدف التعلم: تجمع الخوارزمية بين تعلم فرق الوقت (TD) وآثار الأهلية (TD( $\lambda$ )) للتعامل مع المكافآت المتأخرة. وهي تقوم بتحديث شبكات الممثل (actor) والناقد (critic) بناءً على خطأ فرق الوقت $\delta_t = r_t + \gamma\hat{v}(h_{t+1}) - \hat{v}(h_t)$ .
البنية الهيكلية: يستخدم المؤلفون شبكات عصبية متكررة (RNNs) منفصلة لكل من السياسة (الممثل) ودالة القيمة (الناقد)، بدلاً من استخدام بنية أساسية مشتركة. يستقبل الممثل الملاحظات المشفرة ويخرج توزيعًا للأفعال، بينما يقدر الناقد قيمة الحالة.

دمج النموذج: LrcSSM

التوسيع المنهجي الرئيسي في هذا العمل هو دمج نماذج فضاء الحالة ذات المقاومة السائلة والسعة السائلة (LrcSSMs) في إطار عمل RTRRL.

خصائص LrcSSM: على عكس الوحدات المتكررة الخطية (LRUs) التي تستخدم ديناميكيات خطية بحتة، أو الشبكات العصبية المستمرة التقليدية (CT-RNNs) ذات الثوابت الزمنية الثابتة، تقدم LrcSSMs ثوابت زمنية غير خطية تعتمد على المدخلات والحالة. وهذا يسمح للخلايا العصبية بتكييف سلوكها الزمني ديناميكيًا.
البنية القطرية: تحتفظ LrcSSMs ببنية قطرية، مما يسمح بالحساب الدقيق لتدرجات RTRL دون فقدان الأداء المرتبط عادةً بالتقريبات، مما يجعلها فعالة حاسوبيًا للتعلم عبر الإنترنت.

خط تدريب النموذج

التدريب المسبق غير المتصل: يتم أولاً تدريب السياسة عبر محاكاة السلوك على مجموعة بيانات من العروض البشرية. يتضمن ذلك مشفرًا تلاففيًا (autoencoder لإعادة بناء الصور) وشبكة سياسة متكررة.
الضبط الدقيق عبر الإنترنت: يتم نشر السياسة المدربة مسبقًا وضبطها بدقة في الوقت الفعلي باستخدام RTRRL. ولمنع الإفراط في التجهيز (overfitting) أثناء الضبط الدقيق لبيئة واحدة (حجم دفعة فعال قدره 1)، تمت إضافة عقوبة تغيير المعاملات ( $L_\theta = \beta ||\theta_{pre} - \theta_t||^2$ ) إلى دالة الخسارة.

الإعداد التجريبي

تم التحقق من صحة النهج في إعدادين متميزين:

المحاكاة (CarRacing): بيئة معدلة من OpenAI Gym حيث يجب على الوكلاء اتباع خط منتصف المسار. تتضمن البيئة عقوبة على انحراف العجلات.
الواقع الحقيقي (RoboRacer): مركبة ذاتية القيادة بمقياس 1:10 مجهزة بـ مستشعر رؤية ديناميكي (DVS) (كاميرا أحداث). المهمة هي تتبع الخط. هذا الإعداد يتميز باستخدامه للرؤية القائمة على الأحداث (التقاط تغيرات الشدة بدلاً من الإطارات) على أجهزة قياسية غير نبضية.

النتائج الرئيسية

المحاكاة (CarRacing)

الأداء: أظهرت جميع أنواع النماذج (CT-RNN, LRU, LrcSSM) تحسنًا ملحوءًا بعد الضبط الدقيق عبر الإنترنت مقارنة بنماذجها الأساسية المدربة مسبقًا.
تفوق LrcSSM: أظهرت السياسات القائمة على LrcSSM أسرع وأكثر التحسينات اتساقًا عبر مختلف البذور العشوائية (random seeds) والمسارات.
التكيف: نجحت السياسات التي تم ضبطها بدقة في التكيف مع التحولات في التوزيع، مثل إزاحة زاوية التوجيه المحاكية، واستعادة مستويات الأداء المماثلة للمكافآت الأولية.

النشر في العالم الحقيقي (LineTracking)

نجاح كاميرا الأحداث: يقدم هذا العمل أول عرض لضبط التعلم التعزيزي عبر الإنترنت باستخدام ملاحظات كاميرا الأحداث على أجهزة قياسية في إعداد تحكم مغلق الحلقة.
فشل ونجاح النماذج:
- فشل LRU: فشلت نماذج LRU المدربة مسبقةً في تعلم سياسة فعالة لتتبع الخط، حيث لم تتمكن من إكمال لفة واحدة دون تدخل. يفترض المؤلفون أن التكرار الخطي البحت لـ LRUs غير كافٍ لالتقاط الانتقالات غير المستمرة والمتشبهة بالعتبة (threshold-like) المتأصلة في بيانات إطارات الأحداث (التبديل بين حالة رؤية الخط وحالة غياب الخط).
- نجاح LrcSSM: في المقابل، نجحت LrcSSMs في تعلم المهمة. ويعزو المؤلفون ذلك إلى الديناميكيات غير الخطية لـ LrcSSMs، والتي تعد ضرورية للتعامل مع الخصائص المحددة للتحكم القائم على الأحداث، مع الاحتفاظ بالبنية القطرية اللازمة لحساب التدرج بكفاءة.
المتانة: تكيفت المنظومة مع التحولات في التوزيع في العالم الحقيقي، بما في ذلك إزاحة زاوية التوجح بمقدار 0.1 راديان والاضطرابات البصرية الناتلة عن ضوء الشمس المحيط. تدهورت المكافأة في البداية عند حدوث الإزاحة، لكنها استعادت مستويات ما قبل الإزاحة في غضون بضع لفات.

الأهمية والادعاءات

يدعي البحث تقديم عدة إسهامات أولى وهامة في مجال التحكم الذاتي:

أول تطبيق لـ LrcSSM في التعلم التعزيزي عبر الإنترنت: هذا هو التطبيق الأول لـ LrcSSMs ضمن إطار التعلم التعزيزي عبر الإنترنت، مما يثبت قابليتها لتكون بديلاً مباشرًا لـ LRUs مع توفير قدرة تعبيرية أعلى.
خط معالجة هجين: يقترح العمل أول خط معالجة يجمع بين محاكاة السلوك غير المتصلة والضبط الدقيق عبر الإنترنت باستخدام RTRRL، مما يتيح التكيف المستمر مع البيئات غير المستقرة دون الحاجة لإعادة التدريب الكامل.
جدوى الأنظمة المدمجة: تؤكد النتائج أن خوارزميات التعلم عبر الإنترنت في الوقت الفعلي والمستوحاة بيولوجيًا هي أمر ممكن في الأنظمة الروبوتية المدمجة (RoboRacer) دون الحاجة إلى شرائح عصبية (neuromorphic chips) متخصصة.
التحكم عبر الإنترنت القائم على الأحداث: يقدم العمل أول تطبيق عالي التردد للتعلم الآلي غير النبضي (non-spiking) باستخدام ملاحظات كاميرا الأحداث في إعداد تحكم مغلق الحلقة.
تآزر الإلهام البيولوجي: يبرز البحث التآزر بين المستشعرات المستوحاة بيولوجيًا (كاميرات الأحداث)، والنماذج المتكررة المستوحاة بيولوجيًا (LrcSSMs)، وقواعد التعلم المتوافقة بيولوجيًا (RTRRL/RFLO).

يخلص المؤلفون إلى أنه بينما يكون التحكم القائم على التعلم عرضة للتحولات في التوزيع، فإن نهج RTRRL المقترح يسمح للسياسات المنشورة بالحفاظ على الأداء من خلال التكيف المستمر في الوقت الفعلي، مع بروز LrcSSMs كأكثر البنى فعالية لهذا الغرض.