💻 computer science

CLAP: Contrastive Latent-space Prompt Optimization for End-to-end Autonomous Driving

تقدم هذه الورقة CLAP، وهو إطار عمل مدرك للموقع يعمل على تحسين المطالبات الناعمة (soft prompts) لكل حاجز طريق في الفضاء الكامن لنماذج الرؤية واللغة والعمل (Vision-Language-Action) المجمدة، وذلك لتقليل أخطاء التخطيط بشكل كبير في سيناريوهات القيادة النادرة والحرجة على السلامة في حالات الذيل الطويل دون المساس بالأداء في الإطارات العادية.

المؤلفون الأصليون: Ruiyang Zhu, Yuehan He, Boyuan Zheng, Zesen Zhao, Ahmad Chalhoub, Qingzhao Zhang, Z. Morley Mao

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruiyang Zhu, Yuehan He, Boyuan Zheng, Zesen Zhao, Ahmad Chalhoub, Qingzhao Zhang, Z. Morley Mao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك سيارة ذاتية القيادة ذكية للغاية. لقد قرأت الإنترنت بأكمله، وتعرف جميع قوانين المرور، ويمكنها التعامل مع 99% من مواقف القيادة بشكل مثالي. إنها تشبه طالباً عبقرياً نجح في كل الاختبارات المدرسية.

لكن المشكلة تكمن هنا: عندما تواجه هذه "الطالبة العبقرية" موقفاً غريباً أو نادراً — مثل منطقة بناء مليئة بالأقماع، أو لوحة "قف" مخفية خلف شاحنة متوقفة — فإنها تصاب بالذعر. قد تصطدم بالأقماع أو تفشل في التوقف. هذه هي مشكلات "الذيل الطويل" (long-tail): المواقف النادرة والصعبة التي لم ترَها السيارة بما يكفي لتتعلمها بشكل طبيعي.

تقدم الورقة البحثية طريقة جديدة تسمى CLAP لإصلاح ذلك دون إعادة تعليم السيارة من البال البداية. وإليك كيف تعمل باستخدام تشبيهات بسيطة:

المشكلة: فشل "المقاس الواحد الذي يناسب الجميع"

عادةً، لإصلاح سائق سيء، عليك جعله يدرس أكثر (جمع المزيد من البيانات) أو إعادته إلى مدرسة القيادة (إعادة تدريب النموذج). لكن المشكلات النادرة تكون محددة للغاية بحيث لا يمكن تغطيتها بالدراسة العامة. لا يمكنك تدريب سيارة على كل حفرة واحدة أو كل موقع بناء فريد في العالم.

أدرك المؤلفون شيئاً مهماً: الأخطاء تحدث في أماكن محددة.

إذا اصطدمت سيارة في موقع البناء (أ)، فذلك بسبب التخطيط المحدد لـ ذلك الموقع.
إذا اصطدمت في التقاطع (ب)، فذلك بسبب هندسة ذلك التقاطع المحددة.

السيارة لا تحتاج لتعلم كيفية التعامل مع جميع مواقع البناء في العالم؛ بل تحتاج فقط لتعلم كيفية التعامل مع هذا الموقع المحدد.

الحل: "ورقة الغش المحلية" (CLA P)

بدلاً من إعادة كتابة عقل السيارة بالكامل، يقوم CLAP بإنشاء "أوراق غش" صغيرة وغير مرئية (تسمى المطالبات الناعمة - soft prompts) لأماكن محددة.

تخيل عقل السيارة كمكتبة ضخمة. CLAP لا يعيد بناء المكتبة، بل يضع "ملحوظة لاصقة" صغيرة على الرف لزاوية شارع معينة. عندما تمر السيارة بجانب تلك الزاوية، تقرأ الملحوظة وتعدل سلوكها فوراً.

كيف ينشئ CLAP ورقة الغش

تتم العملية في السحابة (مثل عقل مركزي) باستخدام بيانات من سيارات أخرى مرت بهذا المكان الصعب من قبل. وهي تستخدم عملية "تدريب" من خطوتين:

الخطوة 1: إيجاد "اتجاه المشكلة"
تخيل أن عقل السيارة هو مساحة ثلاثية الأبعاد حيث كل موقف قيادة هو نقطة.

القيادة العادية: النقاط تتجمع معاً.
القيادة الصعبة: النقاط الصعبة مختلطة بجانب النقاط العادية تماماً، مثل كرات حمراء مختلطة بكرات زرقاء.
الهدف: يحتاج النظام إلى إيجاد اتجاه محدد لدفع النقاط "الصعبة" بعيداً عن النقاط "العادية" دون تحريك النقاط العادية على الإطلاق.
الطريقة: يستخدم تقنية تسمى التعلم التبايني (Contrastive Learning). الأمر يشبه معلماً يشير إلى الكرات الحمراء ويقول: "تحرك في هذا الاتجاه لتكون آمناً"، بينما يتجاهل الكرات الزرقاء. هذا يخلق "بوصلة" (اتجاهاً محدداً) لهذا العائق المحدد.

الخطوة 2: كتابة الملحوظة مع وجود حواجز حماية
الآن، يقوم النظام بكتابة "ورقة الغش" الفعلية (المطالبة) لتحسين قيادة السيارة في ذلك الموضع الصعب.

الفخ: إذا أخبرت السيارة فقط بأن "تصلح الجزء الصعب"، فقد تفسد بالخطأ طريقة قيادتها في الأجزاء العادية من نفس الشارع لأن الكرات الحمراء والزرقاء مختلطة جداً.
الحل: يستخدم CLAP تقنية التنظيم الاتجاهي (Directional Regularization). فهو يخبر السيارة: "يمكنك التحرك فقط في اتجاه 'البوصلة' التي وجدناها في الخطوة 1".
- هذا يضمن أن تصبح السيارة أفضل في الجزء الصعب.
- كما يضمن أيضاً عدم انحرافها عن المسار في الأجزاء السهلة. إنه يشبه إعطاء سائق نظام GPS يسمح له بالانعطاف في مسار محدد فقط، مما يمنعه من الانحراف نحو حركة المرور المعاكسة.

كيف يعمل في الحياة الواقعية (شبكة V2X)

تتخيل الورقة البحثية عمل هذا النظام مثل نظام مراقبة الحي:

الجمع الجماعي للبيانات: تقود السيارة (أ) عبر منطقة بناء صعبة وتواجه صعوبة. ترسل "طلب مساعدة" مع بياناتها إلى السحابة.
المعالجة السحابية: تقوم السحابة بتحليل البيانات، وتنشئ "ورقة الغش" المثالية (المطالبة المحسنة) لهذا النطاق المحدد، وتحفظها.
التسليم الفوري: تقترب السيارة (ب) من هذا النطاق. تسأل السحابة: "هل لديكم ملحوظة لهذا المكان؟" ترسل السحابة ورقة الغش.
التكيف الفوري: تقوم السيارة (ب) بتحميل الملحوظة في عقلها "المجمد". أصبحت الآن تعرف تماماً كيفية التنقل في منطقة البناء هذه بأمان، رغم أنها لم "تتعلم" ذلك في المدرسة.

النتائج

اختبر المؤلفون CLAP على نماذج قيادة ذاتية حقيقية باستخدام معيار تقييم يسمى NAVSIM.

النتيجة: قلل CLAP من أخطاء القيادة في هذه المواقف الصعبة بنسبة 24%.
شبكة الأمان: والأهم من ذلك، أنه لم يجعل السيارة أسوأ في القيادة العادية. كانت "أوراق الغش" دقيقة للغاية بحيث أصلحت المواضع السيئة دون إفساد المواضع الجيدة.

الملخص

CLAP هو وسيلة لمنح السيارات ذاتية القيادة حكمة محلية عند الطلب. بدلاً من محاولة جعل السيارة عبقرية في كل شيء (وهو أمر صعب ومكلف)، فإنه يمنح السيارة تعليمات محددة وآمنة لكل زاوية شارع صعبة تواجهها، مما يضمن قيادتها بأمان دون أن تنسى كيفية القيادة بشكل طبيعي.

ملخص تقني: CLAP – تحسين المطالبات في الفضاء الكامن التبايني للقيادة الذاتية من طرف إلى طرف

1. بيان المشكلة

أظهرت أنظمة القيادة الذاتية (AD) من طرف إلى طرف (end-to-end) المدعومة بنماذج الرؤية واللغة والعمل (VLA) أداءً قويًا في سيناريوهات القيادة الشائعة من خلال الاستفادة من التدريب المسبق والضبط الدقيق واسع النطاق. ومع ذلك، تظل هذه الأنظمة هشة في السيناريوهات ذات الذيل الطويل (long-tail scenarios) — وهي المواقف النادرة ولكنها حرجة للسلامة، مثل مناطق البناء النشطة، وهندسات التنازل المعقدة، وتوليفات الطقس السيئة.

النهج السائد لمعالجة هذه الإخفاقات يتضمن توسيع نطاق جمع البيانات والضبط الدقيق للنماذج. ويجادل البحث بأن هذا النهج يواجه عوائد متناقصة بسبب:

ندرة الأحداث النادرة.
التعقيد التجميعي للاختلافات داخل الفئة الواحدة (التخطيطات، الطقس، الوقت من اليوم).
خطر النسيان الكارثي عند الضبط الدقيق المتكرر على بيانات متخصصة.

علاوة على ذلك، يحدد البحث قيدًا محددًا في استراتيجيات التكيف الحالية: إخفاقات الذيل الطويل غالبًا ما ترتبط بمناطق طرق محددة (roadblocks) بدلاً من كونها مجرد مشكلات تعميم على مستوى الفئة. بالإضافة إلى ذلك، داخل "حاجز طريق" واحد، تكون الإطارات الصعبة (الذيل الطويل) والإطارات العادية مختلطة بشدة في الفضاء الكامن للنموذج. وبناءً على ذلك، فإن تحسين "مطالبة" (prompt) لإصلاح الإطارات الصعبة يؤدي غالبًا إلى تدهور الأداء في الإطارات العادية دون قصد بسبب هذا الاختلاط الكامن.

2. المنهجية: إطار عمل CLAP

يقترح المؤلفون إطار عمل CLAP (تحسين المطالبات في الفضاء الكامن التبايني)، وهو إطار يعزز نموذج قيادة VLA مجمد (frozen) باستخدام "مطالبات ناعمة" (soft prompts) لكل حاجز طريق. يتم تحسين هذه المطالبات خارج الخط (offline) باستخدام بيانات مستمدة من الحشود، ويتم استرجاعها عند الطلب عبر اتصالات (V2X) بين المركبة وكل شيء.

الملاحظات الجوهرية

تستند المنهجية إلى ملاحظتين مستمدتين من تحليل الفضاء الكامن لنماذج VLA الحديثة:

المحلية (Locality): السيناريوهات من نفس حاجز الطريق (منطقة مكانية متصلة ذات هوية بصرية/هندسية مستقرة) تتجمع بإحكام في الفضاء الكامن، وتكون متميزة عن حواجز الطرق الأخرى.
الاختلاط (Intermixing): داخل حاجز طريق واحد، لا يمكن فصل الإطارات الصعبة عن الإطارات العادية في مجموعات متميزة؛ بل هي مختلطة بشدة.

خط الإنتاج ذو المرحلتين

يعمل CLAP عبر عملية تحسين مطالبات من مرحلتين لكل حاجز طريق $R$ :

المرحلة 1: اكتشاف الاتجاه عبر التعلم التبايني الخاضع للإشراف

الهدف: اكتشاف "اتجاه المشهد الصعب" ( $d^\star$ ) الذي يفصل الإطارات الصعبة عن الإطارية العادية في الفضاء الكامن.
الآلية: يتم تحسين مطالبة ناعمة مساعدة $P_A$ باستخدام فقدان التباين الخاضع للإشراف (SupCon). يقوم هذا الفقدان بدفع الحالات المخفية للإطارات الصعبة بعيدًا عن الإطارات العادية.
المخرج: يتم استخراج الاتجاه الرئيسي للتمثيل المنفصل كـ $d^\star$ ، وهو واصف مدمج لاتجاه المشهد الصعب الخاص بذلك الحاجز.

المرحلة 2: تحسين المطالبات المنظم اتجاهيًا

الهدف: تحسين مطالبة أداء قابلة للنشر $P_B$ تعمل على تحسين الإطارات الصعبة مع الحفاظ بصرامة على أداء الإطارات العادية.
الآلية: يتم تدريب $P_B$ $P_{B}$ تحت دالة فقدان مشتركة:
$L_{total} = L_{plan} + \lambda_1 L_{dir} + \lambda_2 L_{reg}$
- $L_{plan}$ : فقدان انحدار المسار القياسي (ADE) المحسوب فقط على الإطارات الصعبة.
- $L_{dir}$ (المنظم الاتجاهي): يشجع $P_B$ على إزاحة تمثيلات الإطارات الصعبة على طول المحور $d^\star$ المكتشف مسبقًا. هذا يقيد التحسين في الفضاء الفرعي المحدد حيث يكون الفصل ممكنًا.
- $L_{reg}$ (منظم الإطارات العادية): يعاقب صراحةً أي إزاحة لتمثيلات الإطارات العادية بالنسبة لخط الأساس في المرحلة 1. هذا يمنع المطالبة من "التسرب" إلى الفضاء الفرعي الذي يؤثر على القيادة الشائعة.

تقسيم البيانات

لتطبيق ذلك، يجب على النظام تقسيم مسارات حواجز الطرق إلى مجموعات فرعية "صعبة" و"عادية". يقترح البحث خط إنتاج يعتمد على نموذج VLM يستخدم التحديد الدلالي (عبر VLM قوي) والتحقق التجريبي (تجاوز خطأ التخطيط لهامش $\delta$ ) لتسمية الإطارات.

3. المساهمات الرئيسية

صياغة لكل حاجز طريق: يوضح البحث من خلال تحليل الفضاء الكامن أن مشكلات الذيل الطويل يمكن معالجتها محليًا لكل حاجز طريق بدلاً من معالجتها عالميًا، حيث تشكل حواجز الطرق "مانيفولد" (manifolds) متميزة في الفضاء الكامن.
إطار عمل CLAP: طريقة مبتكرة لتحسين المطالبات من مرحلتين تستخدم التعلم التبايني لتحديد اتجاه الفصل والتنظيم الاتجاهي لتحسين أداء الذيل الطويل بشكل انتقائي دون التسبب في تراجع أداء القيادة العادية.
التحقق التجريبي: إثبات أن CLAP يقلل أخطاء التخطيط في السيناريوهات الصعبة عبر عدة نماذج خلفية (backbones) لـ VLA حديثة دون الحاجة إلى ضبط دقيق للنموذج الخلفي.

4. النتائج التجريبية

قيم المؤلفون CLAP على معيار NAVSIM باستخدام ثلاثة نماذج خلفية لـ VLA حديثة: ReCogDrive، و Alpamayo-R1.5، و DriveVLA-W0.

الأداء على الإطارات الصعبة: قلل CLAP متوسط خطأ الإزاحة (ADE) في السيناريوهات الصعبة بمتوسط 24% عبر النماذج الثلاثة.
الأداء على الإطارات العادية: على عكس تحسين المطالبات الناعمة غير المقيد (الذي تسبب في تراجع في بعض النماذج) أو الملاحظات النصية الصريحة (التي غالبًا ما فشلت أو أدت إلى تدهور الأداء)، حافظ CLAP على الأداء في الإطارات العادية أو حسنه قليًا.
التحسن الإجمالي: أدت توليفة تقليل أخطاء الذيل الطويل والحفاظ على الأداء العادي إلى تحسن متوسط بنسبة 14% في الـ ADE الإجمالي.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة المرحلة 1 (اكتشاف الاتجاه التبايني) إلى انخفاض كبير في الأداء، مما يؤكد أن الاتجاه $d^\star$ المحدد أمر بالغ الأهمية.
- استبدال $d^\star$ باتجاه عشوائي أعطى نتائج أسوأ من حذف المرحلة 1 تمامًا، مما يسلط الض الضوء على ضرورة الاتجاه التبايني المتعلم.
التعميم: عند اختباره في ظروف متغيرة (المطر والغسق) بدون تعزيز، تدهور الأداء. ومع ذلك، فإن استخدام تحرير الصور التوليدي لتعزيز بيانات التدريب بهذه الظروف سمح لـ CLAP بالتعميم بفعالية، مما قلل فجوة الـ ADE تحت الظروف المتغيرة بشكل كبير.

5. الأهمية والادعاءات

يضع البحث CLAP كبديل فعال عمليًا لتوسيع نطاق البيانات والضبط الدقيق للنماذج لتحسين أداء VLA.

نمط التحسين: يزعم المؤلفون أنه يمكن "ترقيع" إخفاقات الذيل الطويل محليًا عبر المطالبات الناعمة بدلاً من الحاجة إلى إعادة تدريب النموذج عالميًا.
الانتقائية: تكمن الأهمية الجوهرية في القدرة على تحسين السيناريوهات الصعبة بشكل انتقائي مع منع الضرر الجانبي لهيكل أداء القيادة الشائعة، وهو تحدٍ تفشل فيه تحسينات المطالبات غير المقيدة بسبب الاختلاط الكامن.
قابلية النشر: تم تصميم إطار العمل للنشر عبر V2X، حيث يقوم خادم مركزي بتحسين المطالبات بناءً على بيانات الحشود ويدفعها للمركبات التي تدخل حواجز طرق محددة، مما يبقي تكلفة الاستدلال في جانب المركبة في حدها الأدنى (نموذج مجمد + حقن المطالبة).

يقر المؤلفون بالقيود، مشيرين إلى أن التعميم عبر الطقس يتجاوز الظروف المختبرة يظل سؤالاً مفتوحًا، وأن هدف التباين الحالي يفترض نوع تحدٍ مهيمن واحد لكل حاجز طريق، وهو ما قد يحتاج إلى تحسين للسيناريوهات غير المتجانسة.