Reinforcement Learning Enhancement Using Vector Semantic Representation and Symbolic Reasoning for Human-Centered Autonomous Emergency Braking
تقترح هذه الورقة إطار عمل للتعلم التعزيزي العصبي الرمزي للفرملة الطارئة الذاتية، يدمج التمثيلات الدلالية المتجهية لسياق المشهد مع دالة مكافأة تعتمد على المنطق الرتبي الأول الناعم لتعزيز متانة السياسة ومواءمة اتخاذ القرار مع القيم البشرية للسلامة.
المؤلفون الأصليون:Vinal Asodia, Iman Sharifi, Saber Fallah
تخيل أنك تعلم سيارة ذاتية القيادة كيف تضغط على المكابح من أجل المشاة. الطريقة القديمة للقيام بذلك تشبه تعليم طفل القيادة عبر عرض مليون صورة خام عليه وقول: "إذا رأيت شيئاً أحمر، توقف؛ وإذا رأيت شيئاً أزرق، انطلق". المشكلة هي أن السيارة ترى ملايين البكسلات، وليس "مشاة" أو "خطوط عبور مشاة". إنها تكافح لفهم "قصة" المشهد، وتعتمد على كتاب قواعد جامد (دالة مكافأة) لا يعرف كيف يوازن بين السلامة والوصول إلى الوجهة في الوقت المحدد.
تقترح هذه الورقة البحثية طريقة جديدة لتعليم السيارة، باستخدام مزيج من الذاكرة فائقة التنظيم والمنطق القائم على الحس السليم. إليك كيف يعمل ذلك، مقسماً إلى أجزاء بسيطة:
بدلاً من مجرد النظر إلى صورة ضبابية، يقوم عقل السيارة بإنشاء "لقطة ذهنية" خاصة للمشهد.
الطريقة القديمة: تنظر إلى البكسلات.
الطريقة الجديدة: تفكك المشهد إلى قائمة من الشخصيات وعلاقاتهم، مثل نص مسرحي. تحدد: "هناك مشاة (الشخصية أ) يقفون علىخط عبور مشاة (الموقع ب)".
السحر: تستخدم تقنية تسمى الحوسبة فائقة الأبعاد. فكر في هذا كخزانة ملفات ضخمة حيث لكل كائن (مشاة، شاحنة، طريق) بطاقة هوية فريدة ومتطورة تقنياً. السيارة لا تخزن الهوية فحسب؛ بل تخزن أيضاً مكان الكائن وشكله، وكل ذلك مدمج في "متجه ذاكرة" واحد فائق الكفاءة.
فلتر السلامة: النظام ذكي بما يكفي ليعرف أن المشاة أكثر هشاشة من الشاحنة. لذا، فإنه يعطي بطاقة هوية المشاة إعداد "علو صوت" (وزن) أعلى بكثير من وزن الشاحنة، مما يضمن أن تولي السيارة اهتماماً إضافياً للأشخاص الضعفاء.
2. "القاضي القائم على الحس السليم" (مكافأة المنطق من الدرجة الأولى الناعم)
في التعلم التعزيزي، تتعلم السيارة من خلال الحصول على نقاط (مكافآت) للسلوك الجيد، وفقدان النقاط للسلوك السيئ.
الطريقة القديمة: كان كتاب القواعد جامداً. "إذا صدمت مشاة، -1000 نقطة. إذا قدت بسرعة، +10 نقاط". هذا بسيط للغاية. ماذا لو كنت تقود بسرعة ولكن هناك مشاة مختبئ خلف سيارة مركونة؟ القواعد القديمة قد لا تكتشف ذلك.
الطريقة الجديدة: تقدم الورقة البحثية قاضياً يسمى المنطق من الدرجة الأولى الناعم (SFOL). بدلاً من كتاب قواعد جامد، هذا يشبه قاضياً حكيماً ينظر إلى السياق.
يسأل القاضي أسئلة بناءً على "اللقطة الذهنية": "هل هناك خط عبور مشاة؟ هل هو خالٍ؟ هل هناك سيارة تحجب الرؤية عن خط العبور؟"
بناءً على الإجابات، يقرر القاضي مدى اهتمام السيارة بـ السلامة مقابل الكفاءة.
إذا رأى القاضي مشاة على خط عبور، فإنه يقول: "السلامة مهمة بنسبة 100% الآن؛ الكفاءة لا تهم".
إذا كان الطريق فارغاً، فإنه يقول: "السلامة لا تزال مهمة، ولكن دعونا نصل إلى الوجهة بسرعة أيضاً".
الجزء "الناعم" يعني أن القاضي ليس ثنائياً (نعم/لا)؛ فهو يفهم عدم اليقين. إذا كانت الرؤية محجوبة، يقول القاضي: "لست متأكداً بنسبة 100%، ولكنني متأكد بنسبة 80% من احتمال وجود مشاة، لذا فلنكن حذرين".
3. "ساحة التدريب" (التجربة)
اختبر الباحثون هذا في مدينة افتراضية (محاكي CARLA) مع سيناريو محدد ومعقد: المشاة المختبئ.
الإعداد: تقود سيارة في طريق ما. هناك شاحنة كبيرة مركونة، تحجب خط عبور المشاة. يخرج أحد المشاة من خلف الشاحنة.
الاختبار: اختبروا السيارة في حركة مرور خفيفة، متوسطة، وثقيلة، مع ظهور المشاة أحياناً بشكل مخفي تماماً وأحياناً بشكل جزئي.
4. النتائج: ما الذي نجح بشكل أفضل؟
وجدت الورقة البحثية أن "الذاكرة فائقة التنظيم" و"القاضي القائم على الحس السلمي" يعملان بشكل أفضل عند استخدامهما معاً، ولكن فقط إذا تم دمجهما بطريقة معينة:
الذاكرة فقط (بدون منطق): كانت السيارة عدوانية جداً وتصطدم كثيراً. كانت تعرف ماذا يوجد هناك ولكنها لم تكن تعرف كيف تتفاعل.
المنطق فقط (بدون ذاكرة): كانت السيارة جيدة في حركة المرور الخفيفة ولكنها ارتبكت واصطدمت في حركة المرور الكثيفة لأنها لم تكن تستطيع "رؤية" التفاصيل جيداً.
الفائز (الذاكرة + المنطق + الجمع): عندما دمجوا ذاكرة المشهد مع الاستدلال المنطقي باستخدام طريقة "الجمع" البسيطة، أصبحت السيارة هي الأكثر متانة. لقد نجحت في التوقف للمشاة المختبئين، وتجنب الاصطدامات في حركة المرور الكثيفة، ولم تقد بحذر مبالغ فيه (مما يعطل حركة المرور).
الخلاصة
تظهر هذه الورقة البحثية أنه لجعل السيارات ذاتية القيادة أكثر أماناً، لا ينبغي لنا فقط تغذيتها بالمزيد من الصور. نحن بحاجة إلى منحها وسيلة لـ فهم المشهد (من يتواجد أين) وعقلاً مرناً لتقرر متى تكون آمنة ومتى تكون كفؤة. من خلال الجمع بين ذاكرة مهيكلة للطريق وعقل منطقي، تتعلم السيارة اتخاذ قرارات أكثر أماناً وتوافقاً مع القيم البشرية، حتى عندما تكون الرؤية محجوبة.
ملخص تقني: تعزيز التعلم المعزز باستخدام التمثيل الدلالي المتجهي والاستدلال الرمزي من أجل كبح الطوارئ المستقل المتمحور حول الإنسان
بيان المشكلة
تواجه مناهج التعلم المعزز العميق (DRL) القائمة على الكاميرا للقيادة الذاتية (AD) عائقين أساسيين:
تمثيل الميزات: نادراً ما تدمج هذه المناهج سياق المشهد عالي المستوى في تمثيلات الميزات، حيث تعتمد بدلاً من ذلك على الصور الخام أو آليات الانتباه التي تسلط الضوء على المناطق دون فهم دلالي صريح للعلاقات بين الأشياء (مثل قرب مشاة من ممر مشاة).
تصميم دالة المكافأة: تعتمد عادةً على دوال مكافأة جامدة وثابتة (مجموع أوزان الجزاءات والحوافز). وتفشل هذه الدوال في استيعاب المقايضات الدقيقة بين القيم البشرية المتنافسة (السلامة، الكفاءة، الراحة) في السيناريوهات المعقدة والديناميكية. توجد دوال مكافأة تكيفية، لكنها غالباً ما تستخدم "التبديل القاسي" (hard switching) بين الأهداف، مما يؤدي إلى سلوك هش.
المنهجية
يقترح البحث مساراً عصبياً-رمزياً يجمع بين التمثيل الدلالي المتجهي (VSR) لترميز الحالة والمنطق الرتيب الناعم (SFOL) لتشكيل المكافأة.
1. التمثيل الدلالي المتجهي (VSR)
قام المؤلفون بتوسيع إطار عمل VSR لترميز الكيانات الثابتة والديناميكية باستخدام الحوسبة عالية الأبعاد (HDC)، وتحديداً التمثيلات المختزلة الهولوغرافية (HRR).
معالجة المدخلات: تتم معالجة صور الكاميرا عبر شبكة UNet تعتمد على ResNet18 لتوليد خرائط تجزئة دلالية، وعبر مشفر تلقائي (Autoencoder) يعتمد على ResNet18 لإنتاج تضمينات الميزات الكامنة.
ترميز الكيان: يتم تمثيل كل كيان ديناميكي (Ei) كمتجه فائق (hypervector) يجمع بين:
المعلومات الدلالية المكانية (SSI): ترمز الفئة الدلالية (مثل مشاة، مركبة)، والعلاقات المكانية مع الجيران (مثل "مشاة أسفل ممر المشاة")، والشكل والموقع داخل شبكة. ويتم بناء ذلك عبر ربط المتجهات الفائقة للفئة الدلالية، والاتجاه، والشكل.
الميزات المكانية (SF): تضمينات ميزات مُنتبه إليها مكانياً مستمدة من الميزات الكامنة، والموزونة بواسطة الخريطة الدلالية.
الدمج: يكون متجه VSR النهائي عبارة عن مجموع أوزان لجميع المتجهات الفائقة للكيانات. ومن الأهمية بمكان أن مخططات التوزين تعطي الأولوية لمستخدمي الطريق الأكثر عرضة للخطر (على سبيل المثال، يتم وزن المشاة على الطريق/ممر المشاة بشكل أعلى من أولئك الموجودين على الأرصفة أو المركبات).
التكامل: يتم دمج متجه SSI والمتجهات الفائقة لـ SF عبر الجمع العنصري (⊕) أو الضرب (⊗) لإنشاء واصف مدمج غني بالسياق يتم تغذيته لوكيل التحسين القريب (PPO).
2. دالة مكافأة المنطق الرتيب الناعم (SFOL)
لمعالجة جمود المكافآت الثابتة، دمج المؤلفون وحدة استدلال رمزي باستخدام PyReason.
استخراج المحمولات (Predicates): يتم استخراج المحمولات الدلالية والمكانية (مثل Pedestrian(X)، OnCrosswalk(X)، Occludes(X,Y)) من خرائط التجزئة والتحليل المكاني. ويتم التعامل مع عدم اليقين عبر تعيين قيم حقيقة ناعمة في النطاق [0,1].
قاعدة القواعد: تحدد مجموعة من جمل "هورن" (Horn clauses) قواعد السلامة (على سبيل المثال، إعطاء الأولوية للسلامة إذا كان هناك مشاة على الطريق أو إذا كان ممر المشاة محجوباً) والكفاءة (على سبيل المثال، إعطاء الأولوية للسرعة إذا كان المسار خالياً).
التوزين الديناميكي: يستنتج النظام مستويات الثقة لهذه القواعد. تُستخدم هذه الثقات لحساب الأوزان (wˉsaf, wˉeff) ديناميكياً لمكونات المكافأة الأساسية (السلامة، الكفاءة، والنعومة). وهذا يسمح لدالة المكافأة بالموازنة بين القيم البشرية بناءً على السياق المحدد لسيناريو القيادة بدلاً من استخدام عمليات التبديل القاسية.
المساهمات الرئيسية
توسيع VSR: تكييف VSR لترميز الكيانات الديناميكية مع مخططات توزين تؤكد على مستخدمي الطريق الأكثر عرضة للخطر، مدمجة مع ميزات منتبه إليها مكانياً.
الدمج العصبي-الرمزي: إنشاء واصف مشهد مدمج عبر دمج المتجهات الفائقة الرمزية (SSI) مع تضمينات التعلم العميق للميزات (SF).
دالة مكافأة SFOL: اقتراح دالة مكافأة تستخدم الاستدلال الرمزي للموازنة ديناميكياً بين السلامة والكفاءة والراحة، متجاوزةً صيغ المكافأة ذات الأوزان الثابتة أو التبديل القاسي.
النتائج التجريبية
تم تقييم المسار في محاكي CARLLA في سيناريو عبور مشاة محجوب مع كثافات مرورية متغيرة (منخفضة، متوسطة، عالية) ومستويات حجب متنوعة (جزئي، كامل).
تكامل VSR:
SSI فقط: أظهر أداءً ضعيفاً، مما يشير إلى أن المعلومات الرمزية وحدها غير كافية لتعلم السياسة.
SF فقط: حققت تقارباً سريعاً ولكن أداؤها تدهور بشكل كبير في حركة المرور عالية الكثافة، مما أدى إلى معدلات تصادم أعلى. * SSI ⊕ SF (الجمع العنصري): حققت الأداء الأكثر قوة، حيث وازنت بين معدلات النجاح العالية، ومعدلات التصادم المنخفضة، ومسافات التوقف المستقرة عبر جميع الكثافات. وقد تفوقت على متغير الضرب (⊗) من حيث الاستقرار.
إزالة مكونات SFOL (Ablation Study):
مجموعة القواعد الكاملة (CE & CS): قدمت أقوى أداء إجمالي مع أقل قدر من التدهور في السيناريوهات عالية الكثافة.
مجموعات القواعد الجزئية: أدى حذف قواعد السلامة الدقيقة (CE & PS) إلى قيادة عدوانية وردود فعل متأخرة. وأدى حذف قواعد الكفاءة الدقيقة (PE & CS) إلى سلوك مفرط في التحفظ ومعدلات انتهاء وقت (timeout) عالية.
المقارنة مع الخط المرجعي: تفوق نهج SFOL المقترح على خط مرجعي معياري يعتمد على عوامل المخاطر، خاصة في السيناريوهات عالية الكثافة والمحجوبة، حيث أظهر الخط المرجعي هشاشة.
الأهمية والادعاءات
يدعي البحث أن دمج التمثيلات العصبية-الرمزية الشاملة والاستدلال الناعم في التعلم المعزز يتيح اتخاذ قرارات أكثر وعياً بالسياق وتوافقاً مع القيم للقيادة الذاتية.
المتانة: يسمح الجمع بين السياق الرمزي (VSR) والميزات المكانية للوكيل بالتعامل مع السيناريوهات المعقدة والمحجوبة بشكل أفضل من الطرق التي تعتمد فقط على الميزات البصرية أو البيانات الرمزية.
التوافق مع الإنسان: نجحت دالة مكافأة SFOL في الموازنة بين القيم البشرية المتنافسة (السلامة مقابل الكفاءة) ديناميكياً، متجنبةً هشاشة المنطق القائم على التبديل القاسي.
القصور: أشار المؤلفون بتواضع إلى أنه لم يحقق أي تكوين نسبة نجاح 100%. وحددوا وجود عدم استقرار محتمل في عملية الاستدلال (تقلبات في أوزان المكافأة) أثناء الازدحام الشديد كمنطقة تحتاج إلى تحسين مستقبلي، مما يشير إلى الحاجة إلى معلومات رمزية زمنية أو استدلال استنباطي للتعامل مع المخاطر الخفية.