Depth-Wise Probing and Pruning of the Planning Token in a Driving Vision-Language-Action Model
تُثبت هذه الورقة أن النية القيادية الدلالية في نموذج الرؤية واللغة والعمل (Vision-Language-Action) قابلة للفك خطياً من طبقات فك التشفير المبكرة، مما يتيح تقليم 8 من أصل 32 طبقة لتحقيق تسريع بمقدار 1.33 ضعف مع زيادة طفيفة فقط في خطأ المسار.
المؤلفون الأصليون:Harisankar Babu, Benjamin Coors, Christopher Lang, Hendrik Berkemeyer, Tamim Asfour, Simon Foell
تخيل أنك تعلم روبوتًا قيادة سيارة. بدلًا من مجرد النظر إلى الطريق والضغط على الدواسات، يستخدم هذا الروبوت "دماغًا" عملاقًا مكونًا من نموذج لغوي ضخم — وهو نفس نوع التكنولوجيا التي تكتب القصائد أو تجيب على أسئلة المعلومات العامة. يستقبل هذا الدماغ مشاهد الكاميرا للطريق، ويفكر فيها كما يفعل البشر، ثم يهمس بتعليمات سرية واحدة إلى "مخطط" أصغر ومتخصص هو الذي يقود السيارة فعليًا. يُسمى هذا الإعداد بنموذج "الرؤية واللغة والعمل" (VLA). إنه ذكي للغاية، ولكن هناك عقبة؛ فهذه الأدمغة العملاقة بطيئة. لديها عشرات الطبقات من التفكير، مثل خط تجميع طويل حيث يتم تمرير الطرد من عامل إلى آخر. وبالنسبة لسيارة تقود بسرعات عالية، فإن انتظار الـ 32 عاملًا لإنهاء مهامهم أمر بطيء للغاية؛ فالسيارة تحتاج إلى الاستجابة فورًا. السؤال الكبير للعلماء هو: هل نحتاج حقًا إلى جميع العمال الـ 32؟ أم أن الطرد يكون جاهزًا للشحن بالفعل بعد بضع محطات فقط، وبقية الخط ليست سوى عمل روتيني غير ضروري؟
تبحث هذه الورقة البحثية في ذلك السؤال تحديدًا باستخدام نموذج قيادة معين يسمى ORION. لقد تعامل الباحثون مع "دماغ" الروبوت كقصة بوليسية. ركزوا على قطعة واحدة من البيانات السحرية تسمى "رمز التخطيط" (planning token). فكر في هذا الرمز كأنه ملاحظة صغيرة غير مرئية يكتبها الروبوت ليخبر عجلة القيادة إلى أين تتجه. يعالج دماغ الروبوت الكبير هذه الملاحظة عبر 32 طبقة، ويقوم بتنقيحها في كل خطوة. أراد الباحثون معرفة شيئين: أولاً، هل تحتوي الملاحظة على "فكرة" الاتجاه (مثل "انعطف يسارًا") في وقت مبكر؟ وثانيًا، هل تحتوي الملاحظة على "التعليمات الدقيقة والمحددة" التي تحتاجها عجلة القيادة للقيادة بسلاسة؟
لقد وجدوا انقسامًا مثيرًا للاهتمام في الجدول الزمني. "الفكرة" عن الأمر تكون جاهزة بسرعة كبيرة. فبعد الطبقة الأولى فقط من الدماغ، تكون ملاحظة الروبوت الداخلية واضحة بنسبة 97.7% بشأن الأمر (مثل "دمج في المسار" أو "توقف"). يبدو الأمر كما لو أن الروبوت يعرف ما يريد فعله قبل أن ينهي حتى فكرته الأولى. ومع ذلك، فإن "دقة" التعليمات تستغرق وقتًا أطول بكثير. إذا حاولت استخدام الملاحظة من الطبقة الأولى لقيادة السيارة، فستكون كارثة، حيث ستخطئ الهدف بفارق كبير. لا تصبح الملاحظة دقيقة بما يكافي للقيادة بأمان إلا بعد أن تمر عبر جميع الطبقات الـ 32، لتصل إلى أفضل دقة لها فقط في النهاية.
ولكن إليكم الجزء الذكي: أدرك الباحثون أنه مجرد كون الملاحظة تبدو غير مرتبة في الطبقات الأولى لا يعني أن المعلومات ليست موجودة. هي فقط مكتوبة بـ "شفرة" لا يفهمها نظام التوجيه بعد. عندما حاولوا ترجمة الملاحظات المبكرة باستخدام فك تشفير خاص، وجدوا أن المعلومات كانت موجودة بالفعل، لكنها لم تكن في التنسيق الصحيح.
إذًا، هل يمكننا قطع العمال في المنتصف لجعل السيارة أسرع؟ اختبر الفريق ذلك عن طريق إزالة طبقات من خط تجميع الدماغ. اكتشفوا أن الطبقات ليست متساوية في الأهمية؛ فبعض الطبقات لا تغير الملاحظة تقريبًا، بل تقوم فقط بتدويرها قليلًا دون إضافة معنى جديد. ومن خلال تحديد وإزالة الطبقات الثماني التي قامت بأقل قدر من "التدوير"، تمكنوا من تقصير الدماغ من 32 طبقة إلى 24 طبقة. لم يجعل هذا السيارة تقود بشكل مثالي، لكنه زاد خطأ القيادة بنسبة 5% فقط، وهي نسبة ضئيلة جدًا. والنتيجة؟ أصبح الدماغ أسرع بمقدار 1.33 مرة.
تخلص الورقة البحثية إلى أنه بينما لا يمكننا قطع نصف الدماغ دون التسبب في حادث، يمكننا بالتأكيد "تقليم الدهون". فمن خلال فهم أن "الفكرة" تأتي مبكرًا ولكن "الدقة" تأتي متأخرة، ومن خلال إزالة الخطوات الزائدة في المنتصف، يمكننا جعل روبوتات القيادة الذكية هذه أسرع دون فقدان سلامتها. هذا اكتشاف محدد ومقاس لهذا النوع من أدمغة الروبوتات، مما يشير إلى أنه مع عملية التقليم الصحيحة، قد نرى قريبًا سائقين يعملون بالذكاء الاصطناعي يتسمون بالبراعة والسرعة معًا.
ملخص تقني: سبر وتقليم عمق "رمز التخطيط" في نموذج VLA للقيادة
بيان المشكلة تعتمد نماذج الرؤية واللغة والعمل (VLA) للقيادة الذاتية بشكل متزايد على بنيات "ترانسفورمر" (Transformer) عميقة لتوجيه مدخلات الإدراك نحو قرارات القيادة. وبينما تستفيد هذه النماذج من المعرفة الواسعة بالعالم للتعامل مع السيناريوهات المعقدة، فإن عمقها الهيكلي يفرض تأخراً زمنياً (Latency) كبيراً في الحوسبة، وهو أمر يمثل مشكلة للمتحكمات ذات الأولوية القصوى للسلامة. لا يزال من غير الواضح كيفية توزيع الحوسبة المتعلقة بالمهمة عبر طبقات فك التشفير (Decoder layers). وتحديداً، لا يُعرف ما إذا كانت جميع الطبقات ضرورية لتوليد مسار صالح، أو ما إذا كان يمكن إزالة طبقات معينة لتقليل التأخير الزمني دون تدهور جوهري في الأداء. تبحث هذه الدراسة في التوزيع المكاني لمعلومات التخطيط داخل نموذج VLA تمثيلي للقيادة (ORION) لتحديد النقطة المثلى للتقليم (Pruning).
المنهجية يحلل المؤلفون نموذج ORION، الذي يعالج تدفقات كاميرات الرؤية المحيطية ومطالبة نصية ثابتة لتوليد "رمز تخطيط" (Planning token) واحد. يتم فك تشفير هذا الرمز بواسطة مخطط توليدي مجمد (Frozen generative planner) إلى مسار لمدة 3 ثوانٍ (6 نقاط مسار). تستخدم الدراسة أداتين تشخيصيتين رئيسيتين:
عدسة لوجيت لمساحة المسار (Trajectory-Space Logit-Lens): بدلاً من تدريب مصنفات خارجية لتفسير الطبقات المتوسطة، يقوم المؤلفون بفك تشفير رمز التخطيط من كل طبقة من طبقات فك التشفين الـ 32 باستخدام المخطط التوليدي المجمد الخاص بالنموذج نفسه. يقيس هذا مدى "التوافق" (Compatibility) لكل تمثيل وسيط مع المخطط المستخدم. ويتم تقييم المسارات الناتجة باستخدام متوسط خطأ الإزاحة (ADE) لـ ST-P3.
السبر الخطي (Linear Probing): يتم تدريب مصنف خطي على رمز التخطيط عند كل طبقة للتنبؤ بأمر الملاحة المنفصل (مثل "الاندماج"، "التجاوز"). يقيس هذا القدرة على فك التشفير الخطي للقصد الدلالي (Semantic intent).
استراتيجية التقليم (Pruning Strategy): لتحديد الطبقات القابلة للإزالة، يقوم المؤلفون بترتيب طبقات فك التشفين بناءً على الانحراف الزاوي (تشابه جيب التمام/Cosine similarity) الذي تسببه في رمز التخطيط (المدخل مقابل المخرج). تُزال الطبقات التي تسبب أقل قدر من الدوران أولاً. تتم مقارنة مقياس "الفائض التمثيلي" (Representational redundancy) هذا مقابل التقليم بناءً على جودة فك التشفير المنعزلة، أو إزالة الكتل المتأخرة المتصلة، أو الإزالة العشوائية.
النتائج الرئيسية تكشف الدراسة عن تباين واضح في كيفية تطور أنواع مختلفة من المعلومات عبر عمق الشبكة:
القدرة الدلالية المبكرة: يصبح القصد الدلالي (أمر الملاحة) قابلاً للفك الخطي في مرحلة مبكرة جداً. حيث تصل دقة سبر الأمر إلى 97.7% بعد الطبقة الأولى من فك التشفين (مقارنة بـ 16.7% كاحتمالية عشوائية)، رغم أن الأمر لم يتم توفيره كمدخل نصي أبداً.
التوافق المتأخر مع المخطط: في المقابل، يتحسن التوافق مع المخطط الأصلي المجمد تدريجياً. ينخفض خطأ المسار (Avg-L2) ببطء عبر الطبقات الوسطى ويصل إلى أدنى مستوياته (2.11 متر) فقط عند الحالة المخفية النهائية.
التمثيل مقابل الوجود: تشير الفجوة بين القدرة الدلالية المبكرة والتوافق المتأخر مع المخطط إلى أنه بينما يتواجد المعلومات الهندسية والتخطيطية مبكراً، إلا أنها ليست بعد في التنسيق المحدد المطلوب من قبل المخطط المجمد. يمكن للقراءات المتعلمة (محولات MLP وإعادة أخذ العينات عبر الانتباه المتقاطع/Cross-attention resamplers) المطبقة على الطبقة الأولى أن تستعيد الكثير من هذه الفجوة، مما يؤكد أن المعلومات موجودة ولكنها غير متوافقة تمثيلياً مع الوحدة اللاحقة.
فعالية التقليم: يعد ترتيب الطبقات حسب الانحراف الزاوي الذي تسببه في رمز التخطيط معياراً متفوقاً للتقليم مقارنة بإزالة الطبقات بناءً على جودة فك تشفيرها المنعزل.
تؤدي إزالة 8 من أصل 32 طبقة (تحديداً الطبقات {9, 10, 13, 17, 18, 19, 27, 30}) إلى زيادة نسبية تقارب 5% في الخطأ في الحلقة المفتوحة (Open-loop error).
تحقق هذه الإزالة تسريعاً في فك التشفين بمقدار 1.33 ضعف (تقليل التأخير من ~497 مللي ثانية إلى ~373 مللي ثانية).
التقليم القائم على جودة فك التشفير المنعزلة (استهداف الطبقات ذات الخطأ العالي في العزل) غير فعال، لأن هذه الطبقات غالباً ما تكون حاسمة للحسابات اللاحقة.
النتائج والقيود تم تقييم دراسة التقليم عبر خمس فئات قدرة في Bench2Drive (الاندماج، التجاوز، كبح الطوارما، إعطاء الأولوية، والامتثال لإشارات المرور). كان تقدم التوافق مع المخطط ثابتاً عبر جميع الفئات. عند حجم العينة الذي تم تقييمه (160 إطاراً لكل عائلة لتحليل التقليم)، لم يتم حل أي تدهور خاص بالعائلة إحصائياً، رغم أن المؤلفين يشيرون إلى أن تداخل فترات الثقة لا يشكل اختبار تكافؤ.
يصرح المؤلفون صراحةً بأن هذه النتائج تقتصر على نسخة ORION التي تم تقييمها وإعداد محاكاة Bench2Drive. النتائج هي نتائج "حلقة مفتوحة" (Open-loop)؛ فهي لا تثبت السلامة في "الحلقة المغلقة" (Closed-loop) أو الجاهزية للنشر. علاوة على ذلك، نظرًا لأن فك التشفين يمثل فقط حوالي نصف إجمالي التأخير لكل إطار (حيث يهيمن الإدراك على النصف الآخر)، فإن التسريع المتوقع للنظام بأكمله (End-to-end) هو حوالي 1.13 ضعف.
الأهمية تقدم الورقة إطاراً تشخيصياً لفهم الآليات الداخلية لنماذج القيادة VLA. وهي تثبت أن القصد الدلالي رفيع المستوى يتأسس مبكراً في الشبكة، بينما يحدث صقل ذلك القصد ليصبح في تنسيق متوافق مع المخطط بشكل تدريجي عبر العمق. وتؤكد الدراسة أن "الفائض" من حيث الدوران الاتجاهي (تشابه جيب التمام) هو مؤشر أفضل لإزالة الطبقات من الخطأ الخام للطبقة عند فك تشفيرها في حالة منعزلة. يقدم هذا نهجاً مبدئياً لتحسين كفاءة الحوسبة لأنظمة القيادة القائمة على VLA دون الحاجة إلى إعادة تدريب النموذج الأساسي أو المخطط.