Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures
تقدم هذه الورقة إطار عمل هجين للاستدلال بين وحدة المعالجة المركزية ووحدة معالجة الرسومات يقوم بتقسيم نماذج الرؤية واللغة والعمل (VLA) عند طبقة الكتل لتفريغ الحوسبة إلى وحدة المعالجة المركزية عبر خط أنابيب غير متزامن، مما يقلل بشكل كبير من زمن استجابة الاستدلال واستهلاك ذاكرة وحدة معالجة الرسومات لتمكين النشر الناجح على منصات القيادة الذاتية محدودة الموارد.
المؤلفون الأصليون:Haibo HU, Lianming Huang, Qiao Li, Nan Guan, Chun Jason Xue
لطالما اعتمدت القيادة الذاتية على نهج معياري، حيث تتعامل برامج حاسوبية منفصلة مع مهام متميزة مثل رؤية الطريق، والتنبؤ بمسارات السيارات الأخرى، واتخاذ قرار بشأن كيفية التوجيه. تعمل هذه الأنظمة معاً، لكنها غالباً ما تكون جامدة وتواجه صعوبة في التكيف مع المواقف المعقدة والمتغيرة. ومؤخراً، ظهر نوع جديد من الذكاء الاصطناعي يسمى نموذج "الرؤية واللغة والعمل" (Vision-Language-Action model) كبديل واعد. تعمل هذه النماذج بشكل يشبه السائق البشري الذي يمكنه النظر إلى مشهد ما، وفهم تعليمات منطوقة أو سيناريو مروري معقد، واتخاذ قرار فوري بشأن إجراء بدني، كل ذلك ضمن "دماغ موحد" واحد. وبينما تظهر هذه النماذج إمكانات كبيرة لخلق قيادة أكثر سلاسة وأماناً، إلا أنها تأتي مع عقبة كبيرة: فهي تستهلك موارد حاسوبية هائلة. فهي تتطلب قدرات معالجة وذاكرة ضخمة، مما يؤدي غالباً إلى إرهاق رقائق الرسوميات المتخصصة الموجودة في السيارات ذاتية القيادة الحالية. وهذا يخلق عنق زجاجة حيث لا يستطيع حاسوب السيارة مواكبة احتياجات النموذج، مما يجعل من الصعب تثبيت هذه الأنظمة المتقدمة على مركبات حقيقية دون التضحية بالسرعة أو السلامة.
لقد طور باحثون في جامعة مدينة هونغ كونغ وجامعة محمد بن زايد للذكاء الاصطناعي طريقة جديدة لتشغيل هذه النماذج القوية تحل مشكلة الموارد هذه دون تغيير النماذج نفسها. فبدلاً من إجبار "دماغ" الذكاء الاصطناعي بأكمله على العمل على رقاقة الرسوميات، قاموا بتقسيم العمل بين رقاقة الرسوميات والمعالج المركزي الرئيسي للسيارة. ووجدوا أنه بينما تبرع رقاقة الرسوميات في المهمة الأولية المتمثلة في "رؤية" الطريق، فإن المعالج المركزي - الذي عادة ما يكون خاملاً أثناء هذه المهام البصرية الثقيلة - قادر تماماً على التعامل مع المراحل اللاحقة من التفكير والاستنتاج. ومن خلال تقسيم النموذج إلى طبقات وتخصيص الطبقات الأولى لرقاقة الرسوميات والطبقات النهائية للمعالج المركزي، أنشأوا نظاماً متوازناً. علاوة على ذلك، ولأن السيارة تتحرك باستمرار وتستقبل تدفقاً من الصور الجديدة، فقد صمم الباحثون خط إنتاج (pipeline) يعمل فيه المعالج المركزي على التفكير للحظة الحالية بينما تبدأ رقاقة الرسوميات بالفعل في معالجة اللحظة التالية. هذا التداخل في المهام يسمح للنظام بإبقاء كلا المعالجين مشغولين، مما يزيد بشكل كبير من سرعة عملية اتخاذ القرار.
وعندما اختبر الفريق هذا النهج على نموذجين رائدين للقيادة الذاتية، كانت النتائج جوهرية. فبالنسبة لأحد النماذج المسمى "أوريون" (Orion)، انخفض الوقت المستغرق لاتخاذ قرار القيادة من 521 ميلي ثانية إلى 408 ميلي ثانية، أي انخفاض بنسبة تقارب 22 بالمائة. وبالنسبة لنموذج آخر يسمى "مايند درايف" (MindDrive)، انخفض الوقت من 443 ميلي ثانية إلى 306 ميلي ثانية، أي انخفاض بنسبة تزيد عن 30 بالمائة. وربما كان الأمر الأكثر أهمية من السرعة هو تخفيف الضغط عن ذاكرة السيارة؛ فقد كان نموذج "أوريون" الأصلي يتطلب 45 جيجابايت من الذاكرة على رقاقة الرسوميات، وهو طلب مرتفع جداً لدرجة أنه لم يكن بإمكانه العمل جنباً إلى جنب مع أنظمة السيارة الأساسية الأخرى على مركبة الاختبار. وقد قلل النهج الهجين الجديد هذا المتطلب إلى 29 جيجابايت، مما سمح للنموذج بالعمل بنجاح على نفس الأجهزة التي فشل الإصدار الأصلي في العمل عليها تماماً. وطوال هذه الاختبارات، ظلت جودة قرارات القيادة دون تغيير؛ فلم تقُد السيارة بشكل أسوأ أو تتعرض لحوادث أكثر، مما أثبت أن مكاسب السرعة لم تأتِ على حساب السلامة.
كما اكتشف الباحثون أن مجرد تقسيم العمل لم يكن كافياً؛ بل إن توقيت هذا التقسيم كان أمراً بالغ الأهمية. فإذا تم تخصيص عمل أكثر من اللازم للمعالج المركزي، فإنه سيصبح هو "عنق الزجاجة" الجديد، مما يؤدي إلى إبطاء كل شيء. وإذا تم تخصيص عمل أقل من اللازم، فستظل رقاقة الرسوميات مثقلة بالأعباء. وقد وجدوا نقطة توازن محددة يتم فيها توزيع عبء العمل بالتساوي، مما يسمح للنظام بتحقيق أسرع سرعة له. كما أكدوا أن خط الإنتاج المتداخل (overlapping pipeline) كان ضرورياً؛ فبدونه، سيضطر النظام إلى الانتظار حتى تنتهي مهمة واحدة تماماً قبل بدء المهمة التالية، مما يلغي فوائد استخدام معالجين. ومن خلال السماح للمعالجات بالعمل على إطارات فيديو مختلفة في آن واحد، حقق النظام تدفقاً مستمراً وعالي السرعة للقرارات.
يوضح هذا العمل أن قيود الأجهزة الحالية للقيادة الذاتية ليست طريقاً مسدوداً، بل هي إشارة لإعادة التفكير في كيفية توزيع المهام. وتشير الدراسة إلى أنه من خلال معاملة حاسوب السيارة كفريق من المتخصصين بدلاً من كونه قوة واحدة خارقة، فمن الممكن نشر نماذج ذكاء اصطناعي متقدمة واسعة النطاق على المركبات الموجودة. وقد تحقق الباحثون من ذلك من خلال تشغيل نظامهم على مركبة حقيقية جنباً إلى جنب مع مجموعة قياسية من برمجيات القيادة، مما أظهر أن النهج الهجين ليس مجرد تحسين نظري، بل هو حل عملي يمكنه التعايش مع البرمجيات المعقدة المطلوبة بالفعل للقيادة. وتشير النتائج إلى أن تصميم النظام بكفاءة، بدلاً من مجرد انتظار أجهزة أكثر قوة، هو المفتاح لجلب هذه النماذج القيادية المتطورة إلى العالم الحقيقي.
=== ملخص تقني: استنتاج فعال بمتوازي طبقة الكتل للنماذج البصرية-اللغوية-الحركية (VLA) على البنى الهجينة ===
1. بيان المشكلة
تعد نماذج الرؤية-اللغة-العمل (VLA) نموذجاً واعداً للقيادة الذاتية، حيث توحد بين فهم المشهد واتخاذ القرار. ومع ذلك، فإن نشر هذه النماذج متعددة الوسائط الضخمة على منصات المركبات الحالية يفرض تحديات كبيرة:
عدم توازن الموارد: يعتمد استنتاج نماذج VLA بشكل مكثف على وحدة معالجة الرسومات (GPU)، مما يتسبب في زمن انتقال عالٍ وضغط شديد على ذاكرة الـ GPU. وفي المقابل، غالباً ما تترك منصات المركبات القديمة المجهزة لخطوط معالجة نمطية موارد وحدة المعالجة المركزية (CPU) غير مستغلة أثناء تنفيذ VLA.
قيود النشر: غالباً ما يفشل النشر المباشر لنماذج VLA جنباً إلى جنب مع الأنظمة الأخرى على متن المركبة (مثل الإدراك والتحديد الموضعي) بسبب عدم كفاية ميزانيات ذاكرة الـ GPU. على سبيل المثال، يتطلب نموذج Orion الأصلي حوالي 45 جيجابايت من ذاكرة الـ GPU، وهو ما يتجاوز السعة المتاحة عند التواجد مع حزمة Autoware.Universe كاملة.
عدم كفاءة التفريغ البسيط: إن مجرد تفريغ أجزاء كبيرة من النموذج إلى وحدة المعالجة المركزية (CPU) غير فعال لأن وحدات المعالجة المركزية تتأخر عن وحدات معالجة الرسومات في تنفيذ المحولات (Transformers)، مما قد يخلق عنق زجاجة جديداً. علاوة على ذلك، يظل الاستنتاج أحادي الإطار القياسي تسلسلياً، مما يحد من فوائد التنفيذ غير المتجانس.
2. المنهجية
يقترح المؤلفون إطار عمل استنتاج هجين بين الـ CPU والـ GPU مصمم خصيصاً لطبيعة التدفق المستمر للقيادة الذاتية. تتكون المنهجية من ثلاثة مكونات أساسية:
أ. تقسيم طبقة الكتل (Block-Layer Partitioning)
بدلاً من التقسيم على مستوى المشغل (Operator) (الذي يخل بالسلامة الهيكلية) أو على مستوى النموذج الكامل (الذي لا يوفر مرونة)، يقوم إطار العمل بتقسيم عمود فقري لـ VLA عند مستوى طبقة كتلة المحول (Transformer block-layer).
تقسيم التنفيذ: يتم تنفيذ المشفر البصري (ViT) وطبقات البادئة (Prefix layers) لنموذج LLM على الـ GPU. بينما يتم نقل طبقات اللاحقة (Suffix layers) لنموذج LLM إلى الـ CPU.
الحد الفاصل: تحدد نقطة تقسيم معينة p النموذج إلى بادئة تُنفذ على الـ GPU ولاحقة تُنفذ على الـ CPU. ويتم نقل الحالة الخفية (Hidden state) الحدودية بين الأجهزة.
المنطق: يحافظ هذا المستوى من الدقة على السلامة الهيكلية واستمرارية الميزات للنموذج، مع توفير حد قابل للجدولة لإعادة توزيع أحمال الحوسبة والذاكرة.
ب. خط أنابيب غير متزامن عبر الإطارات (Cross-Frame Asynchronous Pipeline)
إدراكاً بأن أعباء عمل VLA في القيادة هي مستمرة زمنياً (إطارات متدفقة) وليست استعلامات معزولة، يستخدم النظام خط أنابيب غير متزامن:
التداخل: بينما تعالج الـ GPU البادئة للإطار الحالي (t)، تقوم الـ CPU بالتوازي بمعالجة اللاحقة للإطار السابق (t−1).
الإنتاجية: يحول هذا التسلسل من الاعتماد داخل الإطار الواحد إلى تنفيذ متداخل بين الإطارات. يتم تحديد الإنتاجية في حالة الاستقرار من خلال المرحلة الأبطأ (بادئة الـ GPU أو لاحقة الـ CPU + النقل)، وليس مجموع جميع المراحل.
تكلفة الاتصال: يتم نقل تنسور الحالة الخفية الحدودية فقط لكل إطار. ويشير المؤلفون إلى أن هذه التكلفة (~0.41 مللي ثانية) ضئيلة مقارنة بمراحل الحوسبة.
ج. جدولة الموارد المرنة وتحسين الأجهزة
الجدولة الديناميكية: يقوم مجدول خفيف الوزن بتعديل حد التقسيم (تحديداً الطبقات في "المنطقة الديناميكية" بالقرب من نقطة الفصل) بناءً على الحالة النظامية في الوقت الفعلي، مثل استهلاك الـ CPU/GPU وتراكم خط الأنابيب. يسمح هذا للنظام بالتكيف مع متطلبات الموارد المتغيرة على متن المركبة.
تسريع الـ CPU: لضمان عدم تحول الـ CPU إلى عنق زجاجة، يستخدم إطار العمل حزمة تحسين مدركة للأجهزة للطبقات المقيمة في الـ CPU، بما في ذلك Intel AMX (ملحقات المصفوفات المتقدمة)، و IPEX (ملحق PyTorch لـ Intel)، ودمج الرسوم البيانية (Graph fusion)، وربط الخيوط الواعي لـ NUMA.
3. المساهمات الرئيسية
إطار عمل استنتاج هجين بمتوازي طبقة الكتل: بنية مبتكرة تقسم نماذج VLA على مستوى الكتلة لاستخدام موارد الـ CPU غير المستغلة بفعالية مع تقليل ضغط ذاكرة الـ GPU، دون تغيير بنية النموذج الأصلية.
استنتاج متوازي غير متزامن عبر الإطارات: استراتيجية تستفيد من الطبيعة المستمرة لبيانات القيادة لتداخل تنفيذ الـ CPU والـ GPU عبر إطارات مختلفة، مما يحسن بشكل كبير تردد الاستنتاج المستدام.
الجدولة المرنة والتحقق في الواقع الحقيقي: آلية جدولة واعية للموارد وتحقق تجريبي على نموذجين ممثلين لـ VLA القيادة (Orion و MindDrive) ضمن حزمة مركبة واقعية (Autoware.Universe).
4. النتائج التجريبية
تم تقييم إطار العمل على معيار Bench2Drive باستخدام بطاقة NVIDIA L20 GPU ومعالج Intel Xeon Platinum 8470Q CPU.
تقليل زمن الانتقال (Latency):
Orion: انخفض متوسط زمن الانتقال من 521 مللي ثانية إلى 408.0 مللي ثانية (تقليل بنسبة 21.7%).
MindDrive: انخفض متوسط زمن الانتقال من 443 مللي ثانية إلى 306.2 مللي ثانية (تقليل بنسبة 30.9%).
البصمة الذاكرية (Memory Footprint):
Orion: انخفضت ذروة ذاكرة الـ GPU المقدرة من 45 جيجابايت إلى 29 جيجابايت.
MindDrive: انخفضت ذاكرة الـ GPU من 21 جيجابايت إلى 14 جيجابايت.
النشر في مركبة حقيقية:
نموذج Orion الأصلي فشل في العمل جنباً إلى جنب مع Autoware.Universe بسبب تجاوز سعة ذاكرة الـ GPU.
النسخة الهجينة عملت بنجاح مع حزمة المركبة الكاملة، محققة تردد استنتاج قدره 1.89 هرتز.
أداء القيادة:
ظلت دقة المسار (خطأ L2) ومعدلات التصادم متطابقة تقريباً مع النماذج الأصلية، مما يؤكد أن التسريع لم يمس سلامة أو جودة القيادة.
دراسات الاستئصال (Ablation Studies):
نقطة التقسيم: يوازن التقسيم الأمثل (مثلاً بعد الكتلة 16 لنموذج Orion) بين أحمال الـ GPU والـ CPU. التقسيم الضحل جداً يجعل الـ CPU هو عنق الزجاجة؛ والتقسيم العميق جداً يترك الـ GPU كعنق زجاجة.
عدم التزامن (Asynchrony): بدون خط أنابيب عبر الإطارات، أدى التنفيذ الهجين في الواقع إلى زيادة زمن الانتقال (783 مللي ثانية مقابل 520 مللي ثانية) بسبب التسلسل. كان خط الأنابيب غير المتزامن ضرورياً لتحقيق نتيجة الـ 408 مللي ثانية.
تحسين الـ CPU: بدون التحسينات المدركة للأجهزة (AMX, IPEX)، كان تنفيذ الـ CPU أبطأ بـ 15.3 مرة من الحزمة المحسنة، مما يبرز ضرورة هذه التحسينات لجدوى النظام الهجين.
5. الأهمية والادعاءات
يدعي البحث أن التنفيذ الهجين على مستوى النظام هو مسار عملي لنشر نماذج VLA الضخمة في الوقت الفعلي في القيادة الذاتية.
إعادة تخصيص الموارد: يوضح العمل أنه يمكن جعل نماذج VLA الضخمة قابلة للنشر على منصات المركبات محدودة الموارد عن طريق نقل أعباء الحوسبة والذاكرة من الـ GPU إلى الـ CPU.
الحفاظ على القدرة: يحقق إطار العمل تخفيضات كبيرة في زمن الانتقال والذاكرة دون تعديل بنية النموذج الأساسية أو تدهور مقاييس أداء القيادة.
الجدوى: من خلال التحقق من النهج ضمن بيئة قيادة كاملة الحزمة (Autoware.Universe)، يظهر المؤلفون أن التنفيذ غير المتجانس يمكن أن يتعايش مع وحدات المركبة الحرجة الأخرى، مما يعالج عائقاً رئيسياً أمام التبني الصناعي لأنظمة القيادة القائمة على VLA.
يخلص المؤلفون إلى أن عملهم يحفز المزيد من البحث في استنتاج النماذج الضخمة غير المتجانسة تحت حدود موارد المركبات الواقعية، مؤكدين أن النشر الفعال لا يتطلب تحسين النموذج فحسب، بل يتطلب أيضاً جدولة موارد على مستوى النظام وتوازياً عبر الأجهزة.