ملخص تقني: MAPLE – اللعب متعدد الوكلاء في الفضاء الكامن للقيادة الذاتية من الطرف إلى الطرف

1. بيان المشكلة

تهدف القيادة الذاتية من الطرف إلى الطرف (E2E) إلى توحيد الإدراك، والتنبؤ، والتخطيط في نموذج واحد متعلم. وبينما حسنت نماذج الرؤية واللغة والعمل (VLA) الأخيرة من المتانة من خلال ربط سلوك القيادة باللغة، إلا أنها تعاني من قصور حرج: فهي تتدرب أساساً بأسلوب الحلقة المفتوحة (Open-loop) باستخدام الضبط الدقيق الخاضع للإشراف (SFT) على بيانات القيادة المسجلة.

يعامل هذا النهج وكلاء المرور المحيطين كعناصر غير تفاعلية، مما يفشل في نمذجة التفاعلات ذات الحلقة المغلقة المتأصلة في القيادة في العالم الحقيقي. ونتيجة لذلك، تعاني هذه النماذج من:

• انزياح المتغيرات (Covariate Shift): الانحرافات الصغيرة عن المسارات الموضحة تتراكم بمرور الوقت، مما يؤدي إلى فشل التخطيط.
• الملصقات الشحيحة (Sparse Labels): تلتقط المسارات الحقيقية جزءاً ضئيلاً جداً من فضاء الأفعال الممكنة، مما يحد من تعلم سياسات قوية للحالات النادرة (Long-tail scenarios).
• محدودية المحاكاة: تعتمد طرق التدريب ذات الحلقة المغلقة الحالية على محاكيات خارجية (مثل CARLA) تعمل على تمثيلات رمزية (صناديق الإحاطة، الخرائط). ورغم قابليتها للتوسع، إلا أن هذه المحاكيات مكلفة حوسبياً للتشغيل على مستوى البكسل بالنسبة لنماذج E2E، وغالباً ما تعاني من عدم تطابق في دقة المحاكاة البصرية مع بيانات العالم الحقيقي.

التحدي الجوهري هو تمكين تدريب متعدد الوكلاء، قابل للتوسع، وذات حلقة مغلقة لنماذج التخطيط (E2E) دون الاعتماد على محاكيات مكلفة ومنخفضة الدقة على مستوى البكسل.

2. المنهجية: إطار عمل MAPLE

يقترح المؤلفون MAPLE (اللعب متعدد الوكلاء في الفضاء الكامن)، وهو إطار عمل يحاكي سلوك المركبة القائدة وعدة وكلاء تفاعليين بالكامل داخل الفضاء الكامن (Latent Space) لنموذج VLA. يتجنب هذا النهج العبء الحسابي للمحاكاة على مستوى البكسل مع دعم التفاعلات متعددة الخطوات وذات الحلقة المغلقة.

البنية الهيكلية

بُني MAPLE على نموذج لغوي بصري متعدد الوسائط (Qwen2.5-1.5B-VL) ويتضمن:

• المشفرات (Encoders): مشفرات الرؤية والخرائط لمعالجة صور متعددة الزوايا وميزات الخرائط.
• الرموز الكامنة (Latent Tokens): يتم تمثيل الوكلاء كرموز كامنة مدمجة تشفر الديناميكيات (الموقع، السرعة، التسارع)، النوع، جزء الخريطة، وحالة المرور.
• الرؤوس (Heads):
  • رأس تخطيط الفعل (Action Planning Head): مشفر تلقائي متغير (VAE) يقوم بفك تشفير رموز المركبة القائدة والوكلاء التفاعليين إلى نقاط مسار (Waypoints).
  • رأس التنبؤ بالحركة (Motion Prediction Head): شبكة MLP تقوم بإنتاج المسارات المستقبلية للوكلاء في الخلفية (غير التفاعليين).
  • التنبؤ بالحالة المستقبلية: رأس مدرب للتنبؤ بالحالة التالية للوكلاء لاستقرار مساحة الرموز.

مسار التدريب

يعمل إطار العمل عبر ثلاث مراحل متميزة:

المرحلة 1: التدريب المسبق (Pretraining)

يتم تدريب خلفية VLA مسبقاً على مهام مساعدة لتعلم تمثيلات مستقرة للرموز الكامنة:

• كشف الأجسام ثلاثية الأبعاد، تقسيم الخرائط، تنبؤ حركة الوكلاء، وتقسيم إشارات المرور.
• التنبؤ بالحالة المستقبلية: يتنبأ النموذج بالحالة التالية ($S_{t+1}$) بناءً على الحالة الحالية ($S_t$)، مع تقليل دالة الخسارة التي تجمع بين الإنتروبيا المتقاطعة (Cross-entropy) للتسميات المنفصلة (النوع، جزء الخريطة، حالة المرور) والانحدار من نوع $\ell_1$ للديناميكيات المستمرة.

المرحلة 2: الضبط الدقيق الخاضع للإشراف (SFT) مع التدحرج متعدد الوكلاء

تقدم هذه المرحلة عمليات تدحرج سيناريوهات تلقائية (Autoregressive scenario rollouts) في الفضاء الكامن:

• التدحرج متعدد الوكلاء (Multi-Agent Rollout): يتم تدحرج المركبة القائدة ومجموعة فرعية من الوكلاء التفاعليين (الذين يُحتمل تفاعلهم) بشكل مشترك عبر أفق زمني $T$. يتم التنبؤ بوكلاء الخلفية عبر الانحدار ولكن لا يتم التحكم بهم بواسطة رؤوس التخطيط.
• العملية: في كل خطوة، يتنبأ النموذج بالرموز المستقبلية مشروطة بالرموز الحالية وأوصاف السيناريو. يتم فك تشفير هذه الرموز إلى مسارات وتغذيتها كمدخلات للخطوة التالية.
• الهدف: يتم الإشراف على النموذج باستخدام المسارات الحقيقية للمركبة القائدة والوكلاء التفاعليين، مع تقليل خسائر التخطيط والتنبؤ بالحركة عبر أفق التدحرج.

المرحلة 3: التعلم المعزز لما بعد التدريب (Post-Training RL)

للتعامل مع أحداث الحالات النادرة وتشجيع السلوكيات المتنوعة، يتم ضبط نموذج SFT باستخدام تحسين السياسة النسبي الجماعي (GRPO). تم تصميم هيكل المكافأة لتعزيز السلامة، التقدم، والتنوع:

1. المكافأة العالمية ($G_t$): تشجع عمليات التدحرج الخالية من الاصطدام وتفرض عقوبات على المخالفات على مستوى المشهد.
2. مكافأة المركبة الخاصة ($r_t$): تعزز إكمال المسار وتفرض عقوبات على السلوكيات غير الآمنة (مثل انخفاض زمن الاقتراب - TTC).
3. مكافأة التنوع ($D_t$): مكون مبتكر يشجع سلوكيات القيادة غير المتجانسة (مثل الاندماج المتحفظ مقابل الاندماج الجريء). تقوم بحساب مسافة $\ell_1$ الزوجية بين واصفات السلوك (التسارع، الارتجاج/Jerk، TTC، تمركز المسار، إلخ) عبر مخططات مختلفة. هذا يمنع انهيار السياسة ويشجع توليد سيناريوهات متميزة وحرجة للسلامة لم تكن موجودة في البيانات المسجلة.

3. المساهمات الرئيسية

1. تدحرج متعدد الوكلاء بدون محاكي: قدم المؤلفون آلية لتطوير المركبة القائدة والوكلاء التفاعليين بشكل مشترك في الفضاء الكامن لنموذج VLA. يتيح هذا تفاعلات متعددة الخطوات وذات حلقة مغلقة أثناء التدريب دون الحاجة لمحاكيات خارجية أو رندرة (Rendering) على مستوى البكسل، مما يقلل التكاليف الحسابية بشكل كبير.
2. التعلم المعزز الواعي بالتنوع: يقترح البحث مكافأة تنوع ضمن مرحلة RL تعزز صراحةً سلوكيات الوكلاء المتميزة. يؤدي هذا إلى تفاعلات أكثر ثراءً بين الوكلاء وسياسات أكثر متانة في الحلقة المغلقة، مما يعالج مشكلة انهيار النمط (Mode Collapse) التي تحدث غالباً في ضبط RL.
3. أداء رائد (State-of-the-Art): حقق إطار العمل نتائج رائدة جديدة على مقياس Bench2Drive، مما أظهر تحسينات كبيرة في درجات القيادة والمتانة عبر سيناريوهات القدرات المتعددة المعقدة.

4. النتائج التجريبية

أُجريت التجارب على مقياس Bench2Drive (القائم على CARLA)، باستخدام 950 مقطعاً للتدريب و50 للتحقق، مع تقييم حلقة مغلقة عبر 220 مساراً.

• الأداء: حقق MAPLE درجة قيادة (DS) بلغت 85.2 (و88.3 مع الإشراف على المسار الهندسي)، متفوقاً على جميع الطرق الحالية بما في ذلك SimLingo (85.1)، وDiffRefiner (87.1)، وORION (77.7).
• تعدد القدرات: أظهر النموذج تحسينات ثابتة في سلوكيات القيادة المعقدة في المناطق الحضرية مثل الاندماج، التجاوز، الكبح الطارئ، إعطاء الأولوية، والتعامل مع إشارات المرور، محققاً متوسط درجة قدرات متعددة بنسبة 70.6% (73.2% مع الإشراف).
• دراسات الاستئصال (Ablation Studies):
  • استراتيجية التدحرج: أدى التدحرج الكامل عبر مراحل التدريب المسبق وSFT وRL إلى تحسين درجة القيادة بمقدار 12.3 نقطة عن النموذج الأساسي.
  • المخطط المتعدد مقابل المخطط الواحد: استخدام مخططات متميزة للوكلاء التفاعليين (Multi-Agent Play) تفوق على نماذج المخطط الواحد، مما حسن درجة القيادة بمقدار 4.8 نقطة ومعدل النجاح بمقدار 7.7 نقطة.
  • مكافأة التنوع: كان تمكين مكافأة التنوع أمراً حاسماً لتحقيق أفضل النتائج، حيث منع انهيار السياسة وعزز واقعية التفاعل.

5. الأهمية والادعاءات

يزعم البحث أن MAPLE يمثل نهجاً قابلاً للتوسع وفعالاً لتقدم القيادة الذاتية من الطرف إلى الطرف عبر حل فجوة "البيئة التفاعلية". تكمن أهميته في:

• القابلية للتوسع: من خلال العمل في الفضاء الكامن، يتجنب التكاليف الحوسبية الباهظة ومشكلات الدقة البصرية للمحاكيات على مستوى البكسل، مما يجعل تدريب متعدد الوكلاء ذو الحلقة المغلقة ممكناً لنماذج VLA الكبيرة.
• المتانة: تسم ت آلية RL الواعية بالتنوع للنموذج تعلم سلوكيات تتجاوز توزيع البيانات المسجلة، مما يحسن السلامة في السيناريوهات النادرة والتفاعلية.
• العملية: إطار العمل "قابل للإزالة عند الاستنتاج"، مما يعني أن التدحرج متعدد الوكلاء المعقد يُستخدم فقط أثناء التدريب، ولا يضيف أي عبء إضافي أثناء التشغيل الفعلي.

يقر المؤلفون بوجود قيود، مشيرين إلى أن التدحرج الكامن قد يفتقر إلى الديناميكيات عالية الدقة للمحاكاة الفيزيائية، وأن التجارب الحالية تقتصر على مقياس Bench2Drive. ومع ذلك، يرى المؤلفون أن هذا الإطار يوفر خطوة حاسمة نحو أنظمة قيادة ذاتية (E2E) قوية، وفعالة في استهلاك البيانات، وآمنة.