Real-Time Semantic Segmentation with Optimized RetinaNet Architectures for Embedded Automotive Systems
تقدم هذه الورقة البحثية Opt-RetinaSeg، وهي بنية محسنة للتجزئة الدلالية مشتقة من RetinaNet، تستخدم عموداً فقرياً خفيف الوزن، وهيكلاً متسلسلاً (FPN) مبسطاً، ومسار تحسين ثلاثي المراحل لتحقيق أداء عالي الدقة وفي الوقت الفعلي على المنصات السياراتية المدمجة ذات الموارد المحدودة.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل سيارة لا ترى العالم مجرد ضباب من الأشكال، بل كخريطة مفصلة حيث يعرف كل بكسل فيها ماهيته بالضبط: مشاة، أو خطوط مسار، أو لوحة توقف، أو رقعة من السماء. هذا هو حلم "التقسيم الدلالي" (semantic segmentation)، تلك القوة الخارقة التي تسمح للسيارات ذاتية القيادة باتخاذ قرارات حاسمة ومنقذة للحياة في أجزاء من الثانية. ولكن إليك العقبة: الأدمغة الكامنة وراء هذه الرؤية عادة ما تكون حواسيب ضخمة وجائعة، تحتاج إلى مقابس طاقة هائلة وغرف واسعة ومبردة لتعمل. أما السيارات الحقيقية، فهي تعج بحواسيب صغيرة ومضغوطة للطاقة لا يمكنها تحمل مثل هذا العبء الثقيل. السؤال الكبير في هذا الركن من العلم هو: كيف نضغط هذه الأدمغة العملاقة والذكية لتناسب داخل لوحة قيادة السيارة دون أن تجعلها تنسى كيف ترى؟ تتناول هذه الورقة البحثية هذا اللغز تحديداً، حيث تستكشف كيفية أخذ نظام بصري قوي، وتجريده من "الدهون"، وجعله يعمل بسرعة البرق على الرقائق الصغيرة الموجودة في المركبات الحديثة.
قرر مؤلفو هذه الورقة، بقيادة ساي سيدارث دي (Sai Sidharth D)، تجربة خدعة ذكية. لقد أخذوا تصميماً شهيراً لرؤية الحاسوب يسمى RetinaNet — والذي بُني في الأصل لرصد الأشياء مثل صقر يترصد فأراً — وأعادوا تخيله ليرسم صورة كاملة للطريق بدلاً من مجرد وضع مربعات حول الأشياء. أطلقوا على ابتكارهم الجديد اسم Opt-RetinaSeg. فكر في RetinaNet كطاقم تصوير سينمائي محترف وعالي المستوى؛ إنه بارع في إيجاد الأشياء، لكنه ثقيل وبطيء. تساءل الفريق: "ماذا لو احتفظنا بغرائز الطاقم الأفضل، ولكن استبدلنا معداتهم الثقبة بحقيبة ظهر خفيفة ورشيقة؟".
وللقيام بذلك، لم يكتفوا فقط بتصغير طاقم التصوير، بل أعادوا بناء العملية بأكملها. أولاً، استبدلوا "العمود الفقري" (backbone) القياسي والثقيل (الجزء من الشبكة الذي يقوم بالعمل الشاق للرؤية) بـ مستخرج ميزات هجين خفيف الوزن. تخيل طاقم بناء يستخدم طائرة بدون طيار (درون) صغيرة وفعالة لمسح الأجزاء السهلة والمفتوحة من مبنى ما، ولكنه ينتقل إلى فريق بشري قوي وذو خبرة فقط عندما يحتاج إلى فحص الزوايا المعقدة والصعبة. هذا النهج الهجين قلل وزن النظام بنسبة 7 die 73% مع الحفاظ على حدة عينيه.
بعد ذلك، أعادوا تنظيم التواصل بين أعضاء الفريق. كان التصميم الأصلي يحتوي على "شبكة هرم الميزات" (Feature Pyramid Network - FPN) التي كانت تشبه مديراً يمرر الملاحظات صعوداً وهبوطاً في برج طويل وفائض عن الحاجة. أدرك المؤلفون أن الطوابق العليا من هذا البرج كانت فارغة في الغالب وتستهلك الطاقة فحسب. لذا قاموا بقطع المستويات العليا غير الضرورية وتبسيط الملاحظات، مما جعل الفريق يتواصل بشكل أسرع وبارتباك أقل. كما قاموا بتعديل "دالة الفقد" (loss function) — وهي المعلم الذي يصحح عمل الطالب. في مشاهد الطريق، هناك ملايين البكسلات لـ "الطريق" و"السماء" ولكن هناك القليل جداً لـ "المشاة" أو "لوحات المرور". المعلم القديم كان سيشعر بالملل من تصحيح بكسلات "الطريق" السهلة ويتجاهل العناصر النادرة والمهمة. يستخدم المعلم الجديد استراتيجية "الفقد البؤري" (focal loss) الخاصة، والتي تعمل مثل مدرب صارم لا يصرخ إلا على الطلاب الذين يعانون مع الأمور الصعبة (الأشياء النادرة)، مما يضمن عدم تفويت السيارة لراكب دراجة صغير لمجرد وجود الكثير من الطرق الفارغة للنظر إليها.
لكن السحر لم يتوقف عند التصميم فحسب؛ فقد طبق الفريق "خط أنابيب ضغط" مكوناً من ثلاث مراحل لضغط النموذج بشكل أصغر، تماماً مثل حزم حقيبة سفر لرحلة.
- التقليم (Pruning): قاموا بقطع 4ً 40% من "القنوات" (المسارات الداخلية) التي لم تكن تقوم بعمل كبير، مثل إزالة المسارات غير المستخدمة من طريق سريع.
- التكميم (Quantization): قاموا بتغيير الرياضيات من الأرقام العشرية الثقيلة والدقيقة (floating-point) إلى أرقام صحيحة بسيطة وسريعة (INT8)، وهو أمر يشبه الانتقال من بث فيديو عالي الدقة إلى فيديو قياسي واضح وفعال يتم تحميله فوراً.
- تقطير المعرفة (Knowledge Distillation): هذا هو الجزء الأكثر مرحاً. فقد جعلوا شبكة "معلم" ضخمة وفائقة الذكاء (نموذج ResNet-101 ضخم) تُعلم نموذج "الطالب" الصغير والمضغوط. تعلم الطالب محاكاة حدس المعلم، مستعيداً أي دقة قد يكون فقدها أثناء عمليات التقليم والضغط.
ما هي النتائج؟ عندما اختبروا هذا النظام الجديد على بيانات قيادة من العالم الحقيقي (من مجموعات بيانات Cityscapes و BDD100K) وشغلوه على أجهزة سيارات فعلية (NVIDIA Jetson Xavier NX وشريحة Qualcomm QCS610)، كانت الأرقام مبهرة. حقق النموذج دقة بنسبة 73.9% في فهم المشهد (مقاسة بـ mIoU) بينما يعمل بسرعة 70.4 إطاراً في الثانية (FPS). ولوضع ذلك في الاعلم، فإن النسخة الثقيلة الأصلية لم تتمكن إلا من الوصول إلى حوالي 9.4 إطاراً في الثانية؛ أي أنها حققت تسريعاً بمقدار 7.4 ضعفاً! كما تقلص حجم النموذج بمقدار 4 مرات، مما جعله صغيراً بما يكفي لحاسوب السيارة دون فقدان الكثير من الدقة (أقل من 3% انخفاض مقارنة بالنموذج المرجعي الثقيل).
تشير الورقة البحثية إلى أن هذا النهج يثبت أن البنيات المشتقة من RetinaNet، عندما يتم تحسينها بشكل منهجي، تعد مرشحات قابلة للتطبيق للقيادة في الوقت الفعلي. لقد أظهروا أنك لست بحاجة إلى اختراع نوع جديد من الأدمغة من الصفر؛ أحياناً، تحتاج فقط إلى أخذ عقل مثبت، وقص شعره، وتعليمه الكفاءة، وتركه يعمل على الأجهزة الموجودة بالفعل في سياراتنا. يشير المؤلفون إلى أنه بينما النموذج سريع ودقيق، فإن العمل المستقبلي قد يتضمن جعله أكثر وعياً بشرائح سيارات معينة أو مساعدته على تذكر الإطار السابق لتقليل الوميض في الفيديو. أما في الوقت الحالي، فقد أظهروا أن نظام رؤية خفيف الوزن ومحسن يمكنه رؤية الطريق بوضوح، وبسرعة كافية للحفاظ على سلامتنا، وصغر حجم يكفي ليتسع في درج السيارة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.