SceneStreamer: Continuous Scenario Generation as Next Token Group Prediction

1. بيان المشكلة

تتطلب أنظمة القيادة الذاتية (AD) عمليات محاكاة مرورية واقعية، وتفاعلية، وطويلة الأمد للتدريب والتقييم. تعاني النهج الحالية من عدة قيود حرجة:

• التهيئة الثابتة وإعادة تشغيل السجلات (Log-Replay): تعتمد معظم الطرق على إعادة تشغيل المسارات المسجلة أو التهيئة الثابتة. تفتقر هذه الطرق إلى التفاعلية؛ حيث لا تتفاعل الوكلاء في الخلفية مع المركبة الأساسية (ego vehicle)، مما يحد من تقييم الحلقة المغلقة (closed-loop evaluation).
• تجمعات الوكلاء الثابتة: تفترض نماذج التنبؤ بالحركة التقليدية وجود عدد ثابت من الوكلاء. لا يمكنها تقديم مشاركين جدد في حركة المرور ديناميكيًا (مثل السيارات الداخلة من الشوارب الجانبية) أو إخراج وكلاء موجودين أثناء المحاكاة، مما يؤدي إلى الفشل في نمذجة حركة المرور كنظام مفتوح.
• انزياح المتغيرات التوضيحية وتراكم الخطأ (Covariate Shift & Error Accumulation): غالبًا ما تفشل نماذج التنبؤ بـ "الدفعة الواحدة" (one-shot prediction) عند تشغيلها عبر فترات زمنية ممتدة. تتراكم أخطاء التنبؤ الصغيرة، مما يؤدي بالمحاكي إلى حالات خارج النطاق (out-of-distribution) وينتج نتائج غير واقعية.
• خطوط الإنتاج المنفصلة: تفصل العديد من النماذج التوليدية بين "توليد الحالة الأولية" و"التنبؤ بالحركة". هذا يمنع النموذج من مشاركة السياق بين التهيئة والحركة، مما يؤدي إلى عدم الاتساق وعدم المرونة في تحرير السيناريوهات.

2. المنهجية: SceneStreamer

يقترح المؤلفون SceneStreamer، وهو إطار عمل تلقائي الترتيب (autoregressive) موحد يعامل سيناريو حركة المرور بأكمله (الخرائط الثابتة، الوكلاء الديناميكيين، وإشارات المرور) كسلسلة واحدة من الرموز (tokens) المنفصلة.

المفهوم الجوهري: التنبؤ بمجموعات الرموز

بدلاً من التنبؤ بالإحداثيات المستمرة، يصنف SceneStreamer توليد السيناريو كـ مهمة التنبؤ بالرمز التالي (على غرار النماذج اللغوية الكبيرة). يتم تمثيل السيناريو كسلسلة من مجموعات الرموز:
$$x_{1:T} = [\langle MAP \rangle; (\langle TL \rangle, \langle AS \rangle, \langle MO \rangle)_1; (\langle TL \rangle, \langle AS \rangle, \langle MO \rangle)_2; \dots]$$
حيث أن:

• $\langle MAP \rangle$: سياق الخريطة الثابتة (المسارات المتجهة، ممرات المشاة).
• $\langle TL \rangle$: حالات إشارات المرور (أخضر، أصفر، أحمر، غير معروف).
• $\langle AS \rangle$: رموز حالة الوكيل (النوع، الموقع على الخريطة، الحالة النسبية).
• $\langle MO \rangle$: رموز حركة الوكيل (التسارع، معدل الانحراف/Yaw Rate).

المكونات المعمارية الرئيسية

1. الترميز الموحد (Unified Tokenization):

   • رموز الخريطة: يتم تشفيرها عبر مشفر يشبه PointNet، وتُخصص لها معرفات فريدة، وتعمل كمفاتيح/قيم لآلية الانتباه المشترك (cross-attention).
   • رموز حالة الوكيل ($\langle AS \rangle$): يتم تمثيل كل وكيل بسلسلة من 4 رموز:
     1. بداية الوكيل (SOS): علامة (Flag).
     2. النوع: مركبة، مشاة، أو دراجة.
     3. معرف الخريطة (Map ID): جزء الخريطة المحدد (المسار) الذي يتواجد فيه الوكيل.
     4. الحالة النسبية (RS): متجه ثماني الأبعاد (8D) يشفر الأبعاد الفيزيائية (الطول، العرض، الارتفاع)، وإزاحة الموقع، وبقايا الاتجاه (heading residual)، والسرعة بالنسبة للمسار المحدد.
   • رموز الحركة ($\langle MO \rangle$): مدخلات التحكم المجزأة $(a, \omega)$ (التسارع ومعدل الانحراف) والتي تُسقط على شبكة ثنائية الأبعاد (1,089 فئة).

2. مخطط التوليد تلقائي الترتيب (Autoregressive Generation Scheme):

   • التشغيل خطوة بخطوة: يولد النموذج الرموز خطوة بخطوة. في كل خطوة زمنية $t$، يتنبأ بحالات إشارات المرور، ثم حالات الوكلاء، ثم حركاتهم.
   • حقن الوكلاء الديناميكي: يتم إدخال وكلاء جدد عن طريق أخذ عينات من مجموعات رموز $\langle AS \rangle$ جديدة. يتم التعامل مع الوكلاء الموجودين عبر فرض الحالة (State-Forcing): يتجاوز النموذج رأس التوليد للوكلاء الحاليين ويقوم مباشرة بتغذية رموز الحالة المعاد بناؤها (المستمدة من تنبؤات الحركة السابقة) مرة أخرى في السلسلة. هذا يسمح بتغير حجم تجمع الوكلاء ديناميكيًا عبر أفق غير محدود.
   • رأس الحالة النسبية: يقوم وحدة فك ترميز Transformer صغيرة مخصصة بتوليد متجه الحالة النسبية ثماني الأبعاد بشكل تلقائي الترتيب، بشرط اختيار معرف الخريطة (Map ID). يضمن ذلك وضع الوكلاء بشكل متسق فيزيائيًا مع هندسة الخريطة.

3. آلية الانتباه (Attention Mechanism):

   • الانتباه السببي للمجموعات (Group Causal Attention): يمكن للرموز داخل نفس المجموعة (مثل جميع رموز الحركة في الخطوة $t$) أن تنتبه لبعضها البعض. يمكن للرموز أن تنتبه للمجموعات السابقة منطقيًا (مثل الحركة التي تنتبه للحالة) والسياقات التاريخية.
   • الانتباه النسبي: يستخدم انحيازات هندسية ($\Delta x, \Delta y, \Delta \psi, \Delta t$) لتعديل أوزان الانتباه، مما يجعل النموذج غير متأثر بالإحداثيات العالمية ويحسن التعميم.

3. المساهمات الرئيسية

1. توحيد ترميز الحالة والمسار: يقوم نموذج واحد تلقائي الترتيب بتوليد كل من الحالات الأولية للوكلاء ومساراتهم المستقبلية كسلسلة رموز مستمرة واحدة. هذا يلغي عدم الاتساق بين التهيئة والتنبؤ بالحركة الموجود في النماذج ذات المرحلتين.
2. توليد حالة الوكيل تلقائي الترتيب: مخطط مبتكر يتنبأ بنوع الوكيل، وموقعه على الخريطة، وحالاته الكينماتيكية التفصيلية بالتتابع. يسمح هذا للنموذج بوضع الوكلاء بدقة على أجزاء محددة من الخريطة وتوليد تفاصيل حالة واقعية بتمثيل مدمج.
3. قدرات متعددة الاستخدامات عبر فرض الحالة: من خلال الاختيار الديناميكي للرموز التي يتم أخذ عينات منها (لوكلاء جدد) والتي يتم فرض حالتها (للوكلاء الحاليين)، يدعم SceneStreamer مهام متعددة دون تعديل النموذج:
   • التنبؤ بالحركة.
   • توليد السيناريو الكامل (من الصفر).
   • تكثيف السيناريو (حقن وكلاء جدد).
   • محاكاة الحلقة المغلقة لتدريب التعلم التعزيزي (RL).

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات Waymo Open Motion Dataset (WOMD).

• جودة الحالة الأولية: حقق SceneStreamer درجات تنافسية في مقياس MMD مقارنة بالطرق الرائدة (TrafficGen, UniGen, MotionCLIP). والأهم من ذلك، أظهر أداءً فائقًا عند استخدام فك الترميز التلقائي الترتيب، متجنبًا التركيبات غير الصالحة (مثل المشاة على الطرق السريعة) التي قد تنتجها عملية فك الترميب المسطحة.
• التنبؤ بالحركة: بينما أظهر النموذج التوليدي الكامل أخطاء إزاحة (ADE/FDE) أعلى قليلاً من خط الأساس المخصص للحركة فقط (بسبب تعقيد التوليد المشترك)، إلا أنه حقق تنوعًا (ADD/FDD) أعلى بكثير، مما يشير إلى تغطية أوسع للسلوكيات المحتملة.
• تدريب التعلم التعزيزي (RL):
  • تفوقت المخططات (planners) المدربة على السيناريوهات المولدة بواسطة SceneStreamer بشكل كبير على تلك المدربة على بيانات إعادة تشغيل السجلات القياسية.
  • المقاييس: تحسن معدل النجاح (+2.3%)، واكتمال المسار (+6.2%)، وانخفاض معدل الاصطدام (-39%) مقارلة بخط الأساس لإعادة تشغيل السجلات.
  • التدريب التكيفي: تم تحقيق أفضل النتائج باستخدام التدريب "التكيفي"، حيث يتم تحديث مسار المركبة الأساسية بناءً على سياسة المخطط، مما يخلق تفاعلًا حقيقيًا في حلقة مغلقة.
• اختبار WOSAC: حقق SceneStreamer درجات واقعية وسلوك احتمالي تنافسية في تحدي Waymo Sim Agents، مما يؤكد فعاليته كمحاكي عام الأغراض.

5. الأهمية والأثر

• سد الفجوة بين المحاكاة والواقع (Sim-to-Real): من خلال تمكين وجود حركة مرور ديناميكية، وتفاعلية، ومتنوعة، يوفر SceneStreamer بيئة عالية الدقة لتدريب سياسات القيادة الذاتية القوية التي تتعمم بشكل أفضل على سيناريوهات جديدة وغير مرئية.
• الكفاءة والمرونة: يوحّد النهج القائم على الرموز بين التهيئة والتنبؤ بالحركة، مما يلغي الحاجة إلى خطوط إنتاج معقدة ومنفصلة. كما يدعم "تحرير السيناريو" (إضافة/إزالة الوكلاء) في منتصف المحاكاة، وهو أمر بالغ الأهمية لاختبار صمود أنظمة القيادة الذاتية.
• أساس لمحاكاة الحلقة المغلقة: إن القدرة على تشغيل عمليات محاكاة طويلة الأمد وتلقائية الترتيب حيث يتفاعل الوكلاء مع المركبة الأساسية تجعل من SceneStreamer أداة قوية لتدريب وكلاء التعلم التعزيزي، متجاوزةً قيود محاكيات إعادة تشغيل السجلات السلبية.

باختصار، يمثل SceneStreamer تحولًا جذريًا من المحاكاة الساكنة ذات التجمعات الثابتة إلى إطار عمل توليدي ديناميكي قائم على الرموز، يعامل سيناريوهات حركة المرور كسلسلة تشبه اللغة، مما يتيح أبحاث قيادة ذاتية واقعية، وتفاعلية، وقابلة للتوسع.