💻 computer science

Real-Time Evaluation of Autonomous Systems under Adversarial Attacks

تقدم هذه الورقة إطار عمل غير متصل (offline) لتقييم المتانة العدائية لسياسات القيادة الذاتية المدربة على بيانات تقاطعات من العالم الحقيقي، مما يثبت أن الخيارات المعمارية وتمثيلات الحالة تؤثر بشكل حاسم على الاستقرار ضد الهجمات القائمة على التدرج رغم تماثل الدقة الاسمية.

المؤلفون الأصليون: Adithya Mohan, Xujun Xie, Venkatesh Thirugnana Sambandham, Torsten Schön

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Adithya Mohan, Xujun Xie, Venkatesh Thirugnana Sambandham, Torsten Schön

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت قيادة سيارة عبر تقاطع طرق مزدحم في المدينة. عادةً، يختبر المهندسون هذه الروبوتات في لعبة فيديو (محاكاة) لأنها آمنة وغير مكلفة. لكن هذه الورقة البحثية تجادل بأن ألعاب الفيديو مثالية للغاية؛ فهي تغفل عن الأعطال الحقيقية الفوضوية التي تحدث في العالم الواقعي — مثل إشارات GPS الضعيفة، أو علامات الطريق المربكة، أو البيانات غير الدقيقة تمامًا التي تحدث عندما تكون السيارة الحقيقية على الطريق بالفعل.

لقد صمم الباحثون "اختبار جهد" للسيارات ذاتية القيادة باستخدام بيانات حقيقية تم جمعها من سيارة Audi Q8 حقيقية في ألمانيا. لم يكتفوا فقط بالتحقق مما إذا كانت السيارة تقود بشكل جيد، بل تحققوا مما إذا كانت ستتعطل عندما يحاول شخص ما خداعها.

إليك تفصيل تجربتهم باستخدام تشبيهات بسيطة:

1. "الطلاب الثلاثة" (النماذج)

قام الباحثون بتدريب ثلاثة أنواع مختلفة من طلاب الذكاء الاصطناوي لتعلم كيفية القيادة عبر التقاطعات. درسوا جميعًا نفس الكتاب المدرسي (البيانات الواقعية)، لكنهم استخدموا أساليب تعلم مختلفة:

الطالب المباشر (MLP): هذا النموذج يشبه الطالب الذي يحفظ القواعد بطريقة خطية بسيطة. ينظر إلى الموقف الحالي ويخمن الخطوة التالية.
الطالب المركز (Transformer): هذا النموذج يشبه الطالب الذي يستخدم قلم تحديد لتسليط الضوء على تفاصيل محددة (مثل "تلك السيارة الحمراء قريبة" أو "المسار ينحني"). إنه يقسم الطريق إلى قطع صغيرة أو "رموز" (tokens) لفهم الصورة الكاملة بشكل أفضل.
الباحث عن المكافأة (GAIL/IRL): هذا النموذج لا يكتفي بتقليد المعلم؛ بل يحاول فهم لماذا اتخذ المعلم تلك الخطوات. إنه يلعب لعبة حيث يحاول خداع القاضي لجعله يعتقد أنه السائق الخبير.

2. "الخدعة السحرية" (الهجمات العدائية)

بمجرد تدريب الطلاب، حاول الباحثون خداعهم. لم يغيروا الطريق أو السيارة، بل غيروا البيانات التي تقرأها السيارة.

فكر في الأمر كالتالي: تخيل أنك تقود، وقام شخص ما بوضع ملصق صغير غير مرئي تقريبًا على لوحة القيادة الخاصة بك، مما يؤدي إلى تشويه طفيف لعداد السرعة أو رؤيتك للمسار. بالنسبة لك، يبدو الأمر طبيعيًا، لكن كمبيوتر السيارة يرى واقعًا مختلفًا تمامًا.

خدعة "النقرة الواحدة" (FGSM): دفعة واحدة سريعة للبيانات لمعرفة ما إذا كان سيؤدي ذلك إلى إرباك السيارة.
الخدعة "المستمرة" (PGD): سلسلة متكررة وبطيئة من الدفعات، مع تعديل الخدعة باستمرار للعثور على نقطة الضعف الدقيقة في عقل السيارة.

3. النتائج: "درجات ممتازة" مقابل "البقاء في العالم الحقيقي"

كانت النتيجة الصادمة هي: حصل جميع الطلاب الثلاثة على درجات ممتازة في امتحانهم النهائي (القيادة النظيفة). لقد توقعوا المسار بشكل مثالي عندما كان الطريق طبيعيًا.

ومع ذلك، عندما تم تطبيق "الخدعة السحرية" (الهجوم العدائي):

فشلوا جميعًا فشلًا ذريعًا. على الرغم من كونهم أذكياء، إلا أن تغييرًا بسيطًا وغير مرئي في البيانات تسبب في جعلهم يقودون بعيدًا عن المسار بشكل جامح.
كانت الخدعة "المستمرة" هي الأسوأ. بينما جعلت خدعة "النقرة الواحدة" السيارة تنحرف قليلاً، تسببت الخدعة "المستمرة" في انحراف السيارة بمقدار يصل إلى 8 أمتار (حوالي 26 قدمًا). هذا يشبه القيادة مباشرة إلى مسار آخر أو الخروج عن الطريق تمامًا.
النماذج الأكثر ذكاءً لم تنقذ الموقف. كان "الطالب المركز" (Transformer) و"الباحث عن المكافأة" (GAIL) معرضين للخطر تمامًا مثل "الطالب المباشر". لم يجعلهم التعقيد أو امتلاك أسلوب تعلم "أذكى" محصنين ضد الخدعة.

4. مشكلة "السلاسة مع الخطأ"

تشير الورقة البحثية إلى تفصيل مخيف حول كيفية فشل هذه السيارات. عندما يتم خداعها، لم تكن السيارة تنحرف بشكل عشوائي، بل غالبًا ما تولد مسارًا يبدو سلسًا وممكنًا من الناحية الفيزيائية (مثل سيارة حقيقية تنعطف)، ولكنه خاطئ دلاليًا.

تشبيه: تخيل سائقًا يدير المقود بسلاسة للقيادة عبر جدار من الطوب لأن "الجدار" تم خداعه ليبدو وكأنه "مسار". الحركة سلسة، لكن النتيجة هي اصطدام.

الخلاصة

الرسالة الأساسية هي أنه لا يمكنك الوثوق في سيارة ذاتية القيادة لمجرد أنها تقود بشكل جيد في الظروف العادية.

تثبت الورقة البحثية ما يلي:

المحاكاة ليست كافية: يجب عليك الاختبار باستخدام بيانات حقيقية للعثور على نقاط الضعف هذه.
الدقة لا تعني السلامة: يمكن للسيارة أن تكون دقيقة بنسبة 99% في القيادة العادية، ولكن سلامتها 0% عندما يحاول شخص ما خداعها.
التعقيد لا يعني الأمان: جعل الذكاء الاصطناعي "أذكى" أو أكثر تعقيدًا لا يجعله تلقائيًا أصعب في الخداع.

لقد أنشأ الباحثون إطار عمل جديد لـ "اختبار الجهد" لمساعدة المهندسين في العثور على هذه الشقوق المخفية قبل وضع السيارات على الطرق. وقد وجدوا أنه في الوقت الحالي، لا توجد أي من الطرق القياسية آمنة حقًا ضد هذه الخدع الرقمية، ونحن بحاجة إلى بناء دفاعات محددة لإيقافها.

ملخص تقني: التقييم في الوقت الفعلي للأنظمة ذاتية القيادة تحت الهجمات العدائية

بيان المشكلة

بينما أصبح الاختبار العدائي معيارًا في المحاكاة للقيادة الذاتية، إلا أن التقييمات الافتراضية البحتة تفشل في رصد التناقضات الهيكلية، وقيود الإشراف، وآثار تمثيل الحالة المتأصلة في بيانات العالم الحقيقي. هذه العوامل تشكل جوهريًا متانة السياسة (policy robustness) ولكن غالبًا ما يتم تجريدها في المحاكاة. علاوة على على ذلك، وبينما تم تحليل نقاط الضعف في المتانة ضمن التعلم المعزز، لا تزال التقييمات المنضبطة على مجموعات بيانات المسارات الواقعية المهيكلة محدودة. تستهدف الهجمات الفيزيائية الموجودة حاليًا خطوط أنابيب الإدراك العلوي (مثل الكاميرات أو ليدار)، بينما يتناول هذا العمل ضعف ناقل الحالة منخفض الأبعاد نفسه، بافتراض أن طبقة الإدراك قد تم تجاوزها أو اختراقها.

المنهجية

إطار العمل التجريبي

يقترح المؤلفون إطار عمل لتعلم المسارات في وضع عدم الاتصال (offline) وتقييم المتانة العدائية، وهو قائم على بيانات قيادة التقاطعات في العالم الحقيقي. يتم إجراء التقييم في وضع "الحلقة المفتوحة" (open-loop) على مركبة اختبار كاملة الحجم من طراز Audi Q8 مجهزة بمجموعة مستشعرات متعددة (Lidar، كاميرات، GNSS/IMU) وإطار عمل برمجيات يعتمد على Autoware. تقوم السياسات المدربة بعملية الاستدلال في الوقت الفعلي على بيانات المركبة الحية ولكنها لا تؤثر على التحكم في المركبة، مما يضمن السلامة مع السماح بتقييم واقعي للمتانة تحت ظروف الاستشعار والمزامنة الفعلية.

بناء البيانات والحالة

تستخدم الدراسة مجموعة بيانات UrbanIng-V2X، مع التركيز على تعلم مسار المركلة المنفردة عبر ثلاثة سيناريوهات تقاطع متميزة في مدينة إنغولشتات بألمانيا.

تمثيل الحالة ( $s_t$ ): تم إنشاء ناقل مهيكل مكون من 97 بُعدًا لكل طابع زمني، يتكون من:
- ديناميكيات المركلة (4D): السرعة، التسارع، معدل الانحراف (yaw rate)، والاتجاه (heading).
- الهندسة بالنسبة للمسار (3D): الإزاحة الجانبية، خطأ الاتجاه، والانحناء.
- الأجسام المحيطة (80D): سمات لأقرب $K=10$ مشاركين في حركة المرور (الموقع، السرعة، الأبعاد، الفئة، المسافة).
- قناع الصلاحية (10D): مؤشرات ثنائية لوجود الأجسام.
الهدف: مسار مستقبلي مكون من 20 خطوة ( $\tau_t$ ) يمثل $(\Delta x, \Delta y, \Delta \psi, v)$ .

النماذج التي تم تقييمها

تتم مقارنة ثلاثة نماذج لتعلم المسارات تحت نفس عقود الحالة والإشراف:

BC-MLP: شبكة عصبية متعددة الطبقات (Perceptron) للتغذية الأمامية (طبقتان مخفيتان، 5512 وحدة) تقوم بتقليد السلوك (Behavior Cloning).
BC-Transformer: نموذج يعتمد على الـ Transformer باستخدام ترميز الأجسام (المركلة، المسار، و10 رموز للأجسام) مع رمز تصنيف للتجميع العالمي.
IRL-GAIL: نهج التعلم المعزز العكسي المصاغ كـ لعبة "مينيمكس" لتعلم التقليد التوليدي الخصامي (GAIL)، حيث تشترك شبكة السياسة في بنية BC-MLP.

بروتوكول الهجوم العدائي

يتم تقييم المتانة أثناء الاستدلال عن طريق تطبيق اضطرابات قائمة على التدرج (gradient-based) على ناقل الحالة المهيكل $s_t$ باستخدام:

طريقة FGSM (طريقة إشارة التدرج السريع): اضطراب خطوة واحدة.
طريقة PGD (الاشتقاق المتدرج المتدرج): اضطراب تكراري مكون من 10 خطوات.
القيود: الاضطرابات محددة بميزانية $\ell_\infty$ قدرها ( $\epsilon = 0.05$ ) مطبقة على جميع أبعاد الحالة دون تطبيع لكل ميزة.
المقاييس: يتم حساب متوسط خطأ الإزاحة (ADE) وخطأ الإزاحة النهائي (FDE) مقابل المسارات الأرضية (ground-truth).

المساهمات الرئيسية

خط أنابيب واقعي غير متصل (Offline): إنشاء خط أنابيب لتعلم المسارات غير المتصل القائم على بيانات التقاطعات في العالم الحقيقي، متجاوزًا بذلك الاختبارات العدائية في المحاكاة البحتة.
مقارنة منهجية للنماذج: مقارنة منهجية بين BC (MLP)، وBC (Transformer)، وIRL من نوع GAIL تحت نفس تمثيل الحالة وعقود الإشراف.
تقييم منهجي للمتانة: مصفوفة تقييم مهيكلة تغير عائلة النموذج، ونوع الهجوم (نظيف، FGSM، PGD)، وسيناريو التقاطع (3 تقاطعات)، لتغطية ظروف النهار والليل.
تحليل المتانة التجريبي: إثبات أن دقة المسار الاسمية (nominal accuracy) المتشابهة يمكن أن تخفي ملفات تعريف متانة عدائية مختلفة تمامًا.

النتائج

الأداء الاسمي

تحت الظروف النظيفة (غير العدائية)، حققت جميع النماذج أخطاء تنبؤ منخفضة، حيث كانت قيم ADE وFDE باستمرار أقل من 0.08 عبر جميع التقاطعات. يؤكد هذا أن الاختلافات الملحوظة تحت الهجوم ليست ناتجة عن نقص الملاءمة (underfitting) أو محدودية القدرة الهيكلية، بل هي نتيجة لحساسية خرائط الإدخال إلى الإخراج.

التدهور العدائي

هجمات FGSM: تسببت في تدهور كبير، مما أدى لزيادة ADE بنحو 1.0–1.5 متر وزيادة FDE بنحو 1.8–2.9 متر. أظهر كل من BC-MLP وBC-Transformer ضعفًا متماثلًا، مما يشير إلى أن زيادة التعبير الهيكلي (آليات الانتباه) لا تقلل بطبيعتها من التأثر بهجمات التدرج أحادية الخطوة.
هجمات PGD: أدت إلى أخطاء أكبر بكثير. تكرر تجاوز تدهور FDE حاجز الـ 5.0 أمتار، ليصل إلى ما يقرب من 8.0 أمتار في التقاطعات المعقدة.
- أظهر BC-MLP أكبر تدهور، خاصة في السيناريوهات ذات الانحناء العالي، مما يشيد بالحساسية تجاه التضخيم التكراري.
- أظهر BC-Transformer تحسينات طفيفة في بعض التكوينات ولكنه ظل معرضًا للخطر بشكل كبير بشكل عام.
- لم يظهر IRL-GAIL أي ميزة متانة ثابتة؛ ففي عدة حالات، كان تدهوره مشابهًا أو أسوأ من النماذج القائمة على BC.

أنماط الفشل

كشف التحليل النوعي (الشكل 3) أن المسارات المضطربة عدائيًا غالبًا ما تظل سلسة حركيًا (kinematically smooth) ولكنها غير صحيحة دلاليًا، حيث تنتهك قواعد الالتزام بالمسار أو قواعد التقاطع. تميل الأخطاء إلى التراكم عبر أفق التنبؤ، مما يؤدي إلى أخطاء إزاحة نهائية كبيرة (ارتفاع $\Delta$ FDE بالنسبة لـ $\Delta$ ADE).

الأهمية والادعاءات

يزعم البحث أن دقة التنبؤ بالمسار الاسمية ليست مؤشرًا على المتانة العدائية. وتؤسس الدراسة لما يلي:

التحيزات الاستقرائية الهيكلية مهمة: تصميم هيكل الحالة والخيارات المعمارية يؤثران بشكل حاسم على الاستقرار العدائي، مما يؤدي إلى ملفات تعريف متانة مختلفة بشكل ملحوظ رغم تشابه الأداء في الظروف النظيفة.
أهداف التدريب لا تضمن المتانة: أهداف التقليد العدائي (GAIL) وزيادة تعقيد النموذج لا يمنحان بطبيعتهما متانة عند الاستدلال ضد اضطرابات الحالة.
الحاجة إلى تقييم مدرك للسيناريو: يتم تحديد المتانة بشكل مشترك بواسطة بنية النموذج وهندسة الحالة المحلية (مثل الانحناء، وحركة المرور الاندماجية)، مما يستوجب تقييمًا مدركًا للسيناريو بدلاً من الاعتماد على المقاييس الإجمالية وحدها.

يعمل الإطار المقترح كمعيار قابل للتوسع والتكرار لدراسة تعلم المسارات غير المتصل والمتانة العدائية في سياقات القيادة الذاتية في العالم الحقيقي، مما يسلط الضضوء على الفجوة بين الدقة في الظروف النظيفة والسلوك المتعلق بالسلامة تحت الهجوم.