💻 computer science

Senna-2: Aligning VLM and End-to-End Driving Policy for Consistent Decision Making and Planning

يُعد Senna-2 نموذجًا جديدًا لسياسة القيادة من نوع VLM-E2E، وهو يستخدم نموذج تدريب ثلاثي المراحل لمحاذاة الاستدلال الدلالي عالي المستوى مع التخطيط منخفض المستوى بشكل صريح، مما يؤدي إلى حل عدم الاتساق بين اتخاذ القرار والتخطيط وتحسين تماسك النظام المزدوج وسلامة القيادة بشكل كبير.

المؤلفون الأصليون: Yuehao Song, Shaoyu Chen, Hao Gao, Yifan Zhu, Weixiang Yue, Jialv Zou, Bo Jiang, Zihao Lu, Yu Wang, Qian Zhang, Xinggang Wang

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuehao Song, Shaoyu Chen, Hao Gao, Yifan Zhu, Weixiang Yue, Jialv Zou, Bo Jiang, Zihao Lu, Yu Wang, Qian Zhang, Xinggang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم سيارة ذاتية القيادة. لديك معلمان مختلفان تماماً يعملان معاً:

معلم "الصورة الكبيرة" (VLM): هذا يشبه سائقاً بشرياً حكيماً وذا خبرة. يمكنه النظر من النافذة وفهم السياق ("أوه، هناك منطقة مدرسة،" أو "تلك السيارة تبدو وكأنها ستقتطع طريقنا")، ويمكنه إعطاء أوامر رفيعة المستوى مثل "خفف السرعة" أو "انعطف يميناً".
معلم "عجلة القيادة" (E2E Planner): هذا هو نظام ردود الفعل لدى السيارة. إنه سريع للغاية في حساب الفيزياء، وزوايا التوجيه، وضغط دواسة الوقود. هو يعرف كيف يحرك السيارة، لكنه لا يفهم دائماً لماذا يتحرك بهذه الطريقة.

المشكلة: "سوء الفهم"

في المحاولات السابقة لدمج هذين الاثنين، كانا غالباً غير متزامنين. كان الأمر أشبه بـ معلم "الصورة الكبيرة" وهو يصرخ: "توقف!" بينما يقوم معلم "عجلة القيادة" بالضغط بجنون على دواسة الوقود لأنه لم يسمع التعليمات جيداً أو لم يعرف كيف يترجم "توقف" إلى "اضغط على المكابح".

النتيجة؟ قد تقرر السيارة الانعطاف يميناً ولكنها تنتهي بالاصطدام بجدار مباشرة، أو قد تُؤمر بالتباطؤ ولكنها تستمر في زيادة السرعة. لم تكن أفعال السيارة تتطابق مع نواياها. وهذا ما يسمى بـ فجوة الاتساق (consistency gap).

الحل: Senna-2 (الفريق المثالي)

يقدم البحث نظام Senna-2، وهو نظام جديد يجبر هذين المعلمين على التحدث بنفس اللغة والاتفاق على كل حركة قبل أن تبدأ السيارة في القيادة حتى.

فكر في Senna-2 كـ معسكر تدريبي من ثلاث خطوات لتحويل هذين المعلمين إلى فريق رقص متزامن:

الخطوة 1: الأساسيات (التدريب المسبق للقيادة)

أولاً، نعلم كل منهما الأساسيات بشكل منفصل. يتعلم معلم "الصورة الكبيرة" التعرف على علامات المرور والمواقف. ويتعلم معلم "عجلة القيادة" كيفية القيادة بسلاسة. ثم نقدم مترجماً (مُحول القرار - Decision Adapter). هذا عبداً بمثابة جسر خاص يأخذ الأفكار الغامضة لمعلم "الصورة الكبيرة" ("خفف السرعة!") ويحولها إلى تعليمات تقنية محددة يمكن لمعلم "عجلة القيادة" فهمها فوراً.

الخطوة 2: البروفة (المحاكاة مفتوحة الحلقة - Open-Loop Alignment)

الآن، يتدربان معاً في محاكاة حيث لا يمكنهما الاصطدام (Open-Loop).

القاعدة: إذا قال معلم "الصورة الكبيرة" "انعطف يميناً"، يجب على معلم "عجلة القيادة" أن ينعطف يميماً.
الإصلاح: إذا بدأ معلم "عجلة القيادة" بالانحراف يساراً بينما يقول معلم "الصورة الكبيرة" "يمين"، يتوقف النظام فوراً ويقول: "مهلاً، أنتما غير متزامنين! لنحاول ذلك مرة أخرى". يستمران في التدريب حتى تتطابق أفعالهما تماماً مع كلماتهما.

الخطوة 3: محاكاة العالم الحقيقي (الحلقة المغلقة مع التعلم التعزيزي الهرمي - Closed-Loop with HRL)

هذا هو الجزء الأصعب. ينتقلان إلى محاكاة واقعية وخطيرة (مثل لعبة فيديو ذات فيزياء حقيقية) حيث يمكنهما بالفعل الاصطدام.

هنا، يستخدمان طريقة التعلم التعزيزي الهرمي (Hierarchical Reinforcement Learning). تخيل مدرباً يراقب الفريق بأكمله.
أولاً، يقوم المدرب بإصلاح معلم "عجلة القيادة" للتأكد من أنه لا يصطدم (الأمان) وأنه لا يقود ببطء شديد (الكفاءة).
ثم يخبر المدرب معلم "الصورة الكبيرة": "بما أن السيارة تقود الآن بأمان، فإن تعليماتك يجب أن تتوافق مع هذا الواقع الجديد".
يستمران في هذه الحلقة حتى لا تكون السيارة آمنة فحسب، بل تتخذ أيضاً قرارات تتطابق تماماً مع نية السائق، حتى في حركة المرور الفوضوية.

لماذا يعد هذا أمراً هاماً؟

تظهر النتائج أن Senna-2 يمثل تحسناً هائلاً:

عمل جماعي أفضل: أصبحت قرارات السيارة وأفعالها الآن أكثر اتساقاً بنسبة 19%. إنه يشبه اتفاق السائق والسيارة أخيراً على الوجهة.
قيادة أكثر أماناً: في عمليات المحاكاة، سجلت السيارة حوادث أقل بنسبة 30% كانت هي المتسببة فيها.
نوايا أوضح: إذا قال النظام "توقف"، فإنه يتوقف بالفعل. إذا قال "زد السرعة"، فإنه يزيد السرعة. لا يوجد مزيد من الارتباك.

العقبة

هناك قيد واحد صغير: معلم "الصورة الكبيرة" (عقل الذكاء الاصطناعي) ثقيل وبطيء حالياً للعمل على كمبيوتر السيارة في الوقت الفعلي (مثل محاولة تشغيل كمبيوتر خارق على هاتف ذكي). لذا، في الوقت الحالي، يتعين على السيارة "تخزين" أو تذكر تعليمات المعلم لجزء من الثانية قبل التصرف. يأمل الباحثون في جعل هذا أسرع مع توفر أجهزة أفضل في المستقبل.

باختصار: Senna-2 هو النظام الذي علم أخيراً عقل السيارة ويديها كيف تمسكان بأيدي بعضهما البعض وتمشيان في نفس الاتجاه، مما يجعل السيارات ذاتية القيادة أكثر أماناً وموثوقية.

إليك ملخص تقني مفصل لورقة "Senna-2: مواءمة نماذج الرؤية واللغة (VLM) مع سياسة القيادة من طرف إلى طرف (E2E) لضمان اتخاذ قرارات وتخطيط متسقين."

1. بيان المشكلة

تعتمد أنظمة القيادة الذاتية بشكل متزايد على نماذج الرؤية واللغة (VLMs) لتوفير الاستدلال الدلالي عالي المستوى واتخاذ القرار، والتي توجه بدورها سياسات الطرف إلى الطرف (E2E) المسؤولة عن تخطيط المسار منخفض المستوى. ومع ذلك، توجد "فجوة اتساق" حرجة بين هذين النظامين:

عدم المواءمة: تفشل الطرق الحالية غالبًا في مواءمة قرارات الـ VLM عالية المستوى (مثل "تسارع"، "انعطف يمينًا") صراحةً مع مخطط الـ E2E منخفض المستوى لتوليد المسار.
العواقب: يؤدي هذا إلى مسارات تنحرف عن قرارات القيادة المقصودة، مما ينتج عنه اتجاهات خاطئة، وتغيرات غير متوافقة في السرعة، وضعف في التوجيه العلوي.
مخاطر السلامة: يقلل نقص الاتساق من قابلية تفسير النظام ويمكن أن يتسبب في سلوكيات قيادة غير مثالية أو غير آمنة، لا سيما في السيناريوهات المعقدة أو الحالات النادرة (long-tail scenarios).

2. المنهجية: Senna-2

يقترح المؤلفون Senna-2، وهو سياسة قيادة موحدة تجمع بين VLM وE2E، مصممة لمواءمة اتخاذ القرار عالي المستوى مع التخطيط منخفض المستوى صراحةً من خلال نموذج تدريبي ثلاثي المراحل موجه نحو الاتساق.

أ. بنية النظام المزدوج

يتكون النموذج من ثلاثة مكونات أساسية (كما هو موضح في الشكل 2):

وحدة VLM: تستخدم Qwen2.5-VL-3B كعمود فقري. تقوم بمعالجة صور المنظر الأمامي، أوامر الملاحة، وحالات المركبة (ego states) لإخراج أفعال وصفية مهيكلة (التحكم في السرعة: تسارع/تباطؤ/ثبات/توقف؛ التحكم في الاتجاه: مستقيم/انعطاف/حارات).
مهايئ القرار (Decision Adapter): وحدة جسر تعمل على تحويل مخرجات الـ VLM إلى سمات متوافقة مع مخطط الـ E2E. وهي تولد نوعين من الرموز (tokens):
- رموز VLM: حالات مخفية من الـ VLM تحافظ على سياق الاستدلال.
- رموز القرار: تمثيلات قابلة للتعلم لفئات محددة من السرعة والاتجاه.
- يتم دمج هذه الرموز لإنشاء سمة شرطية لـ VLM ( $F_{vlm}$ ) توجه المخطط.
سياسة القيادة E2E: مخطط يعتمد على الانتشار (diffusion-based) يستخدم بنية محول الانتشار (DiT). يأخذ سمات مكانية-زمانية من صور متعددة الزوايا ويدمج شرط الـ VLM عبر التطبيع الطبقي التكيفي (AdaLN) لتعديل عملية توليد المسار.

ب. نموذج تدريبي ثلاثي المراحل

تم تصميم عملية التدريب لمواءمة النظامين بشكل تدريجي:

المرحلة 1: التدريب المسبق للقيادة (Driving Pre-Training)
- التدريب المسبق لـ VLM: يتم التدريب عبر السؤال والجواب (QA) للتنبؤ بالأفعال الوصفية من المسارات.
- التدريب المسبق لـ E2E: يتم التدريب كنموذج انتشار للتنبؤ بالمسارات المتبقية (residual trajectories).
- التدريب المسبق للمهايئ (Adapter): يتم تجميد الـ VLM، ويتم تحسين المهايئ وسياسة الـ E2E باستخدام فقدان التخطيط القياسي لضمان قدرة المهايئ على الربط بين الوحدات بفعالية دون تعطيل استدلال الـ VLM.
المرحلة 2: المواءمة في الحلقة المفتوحة (Open-Loop Alignment)
- الهدف: فرض الاتساق صراحةً بين قرارات الـ VLM ومسارات الـ E2E في بيئة غير متصلة (offline).
- الآلية: تقوم دالة رسم خرائط حركية ( $f_K$ ) بإسقاط المسار المتوقع مرة أخرى إلى فئة قرار.
- استراتيجية الفقد (Loss Strategy):
  - إذا تطابق المسار مع قرار الـ VLM (متسق): يعامل النموذج التنبؤ كإشارة خبير ضمنية (تعزيز ذاتي) ويتخطى الإشراف الخارجي.
    ما لم يتطابقا (غير متسق): يطبق النموذج إشرافًا صريحًا باستخدام مسارات الخبير الحقيقية وتسميات القرار لتصحيح الفجوة.
- دالة الفقد: $L_{stage2} = (1 - C(\tau, d))(L_{E2E} + \gamma L_{VLM})$ ، حيث $C$ هو مؤشر اتساق ثنائي.
المرحلة 3: المواءمة في الحلقة المغلقة باستخدام التعلم التعزيزي الهرمي (HRL)
- الهدف: التحسين من أجل السلامة والكفاءة في السيناريوهات الديناميكية وخارج نطاق التوزيع باستخدام بيئات الرسم بالنقاط الغاوسية ثلاثية الأبعاد (3DGS).
- الآلية: تحسين هرمي من أسفل إلى أعلى:
  1. المخطط منخفض المستوى: يتم تحسينه أولاً باستخدام مكافآت مركبة تعتمد على الوقت حتى التصادم (TTC) للسلامة والسرعة للكفاءة.
  2. القرار عالي المستوى: بمجرد تحسين المخطط، يتم تحديث الـ VLM لمواءمة قراراته مع المسارات المحسنة والآمنة.
- الفقد: يجمع بين فقد مواءمة القرار عالي المستوى ( $L_{high}$ ) وفقد المخطط منخفض المستوى ( $L_{low}$ ).

3. المساهمات الرئيسية

إطار عمل Senna-2: سياسة موحدة (VLM-E2E) تواءم صراحةً بين الاستدلال عالي المستوى والتخطيط منخفض المستوى، مما يضمن اتخاذ قرارات متسقة.
نموذج تدريبي ثلاثي المراحل: وصفة تدريب مبتكرة تتضمن التدريب المسبق، ومواءمة الاتساق في الحلقة المفتوحة، والتعلم التعزيزي الهرمي (HRL) في الحلقة المغلقة، مما يقلص الفجوة بين الاستدلال الدلالي وتنفيذ المسار.
تصميم مهايئ القرار: آلية تدمج السياق الدلالي (رموز VLM) مع القابلية للتفسير المهيكلة (رموز القرار) لتوجيه مخطط الانتشار بفعالية.
تقييم شامل: تحقق نتائج واسعة النطاق على اختبارات مرجعية كبيرة، مما يظهر تحسينات كبيرة في الاتساق، ودقة التخطيط، والسلامة.

4. النتائج التجريبية

قيم المؤلفون Senna-2 مقابل أحدث الطرق (مثل Senna، VAD، TransFuser، RAD) في الاختبارات المرجعية للحلقة المفتوحة والمغلقة.

اتساق القرار والتخطيط:
- حقق تحسنًا بنسبة 19.3% في متوسط درجة F1 مقارنة بنموذج Senna السابق.
- تُظهر التصورات أن Senna-2 ينتج توزيعات سرعة متميزة ومتوافقة مع القرار، بينما أظهرت الطرق السابقة توزيعات مشتتة.
أداء الحلقة المفتوحة (Open-Loop):
- خطأ الإزاحة النهائي (FDE): انخفض بنسبة 5.7% مقارنة بالطرق السابقة.
- معدل التصادم (CR): انخفض إلى 0.288% (مقابل 0.294% لـ Senna).
أداء الحلقة المغلقة (Closed-Loop) (بيئة 3DGS):
- معدل التصادم الناتج عن الخطأ (AF-CR): انخفض بنسبة 30.6% مقارنة بـ Senna.
- مقاييس السلامة: تفوق على النماذج المرجعية القائمة على التعلم التعزيزي (مثل RAD) في السلامة وتجنب التصادم، مما يثبت أن المكاسب تأتي من استراتيجية المواءمة وليس مجرد التعلم التعزيزي.
اختبار NAVSIM v2 المرجعي:
- حقق درجة EPDMS بلغت 86.6، متفوقًا على أفضل نموذج سابق بـ 1.1 نقطة، مما يثبت القوة في مشاهد القيادة المعقدة.
دراسات الاستئصال (Ablation Studies):
- أكدت أن كلًا من تصميم النظام المزدوج والتدريب ثلاثي المراحل ضروريان. إزالة المرحلة 2 (المواءمة في الحلقة المفتوحة) أثرت سلبًا على الاتساق بشكل كبير، بينما أدت إزالة المرحلة 3 (HRL في الحلقة المغلقة) إلى تدهور سلامة الحلقة المغلقة.

5. الأهمية والقيود

الأهمية:

السلامة والموثوقية: يعالج Senna-2 "فجوة الاتساق" الحرجة في القيادة الذاتية، مما يضمن تنفيذ النوايا عالية المستوى بدقة بواسطة المتحكمات منخفضة المستوى.
القابلية للتفسير: يعمل النظام كواجهة بين الإنسان والآلة، حيث يوفر قرارات قابلة للتفسير (مثل "تباطؤ بسبب دخول سيارة من مسار آخر") والتي تؤثر مباشرة على المسار.
التعميم: من خلال الجمع بين تعميم الـ VLM وقدرة الـ E2E على التكيف، يتعامل النظام مع السيناريوهات النادرة (long-tail) بشكل أكثر فعالية من الطرق الحالية.

القيود:

الاستدلال في الوقت الفعلي: لا يمكن للـ VLM حاليًا تحقيق استدلال في الوقت الفعلي (10 هرتز) على أجهزة الحافة (edge devices) الموجودة على متن المركبة.
التشغيل غير المتزامن: يعمل الـ VLM وسياسة الـ E2E بشكل غير متزامن، حيث يعتمدان على بنك ذاكرة لتخزين سمات الـ VLM. يتطلب التعاون المتزامن تمامًا تحسينات إضافية في الأجهزة.

في الختنتاج، يمثل Senna-2 خطوة مهمة نحو إنشاء أنظمة قيادة ذاتية قابلة للتفسير، وآمنة، ومتسقة من خلال المواءمة الصارمة بين الاستدلال الدلالي وتخطيط المسار.