MicroViTv2: Beyond the FLOPS for Edge Energy-Friendly Vision Transformers
تُعد MicroViTv2 نموذج محول رؤية (Vision Transformer) خفيف الوزن ومدرك للأجهزة، حيث يستفيد من المكونات المعاد تمثيلها (reparameterized components) وانتباه العمق المنقول الأحادي (Single Depth-Wise Transposed Attention) لتحقيق دقة وكفاءة طاقة فائقتين على أجهزة الحافة، مما يثبت أن التحسين من أجل الأداء في العالم الحقيقي أكثر أهمية من تقليل عمليات النقطة العائمة (FLOPs).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التكنولوجيا الحديثة، أصبحت الحواسيب بارعة بشكل ملحوظ في النظر إلى الصور وفهم ما تراه. يمكنها تحديد قطة، أو رصد سيارة، أو قراءة لافتة بدقة تضاهي الرؤية البشرية. تعتمد هذه القدرة على نوع من الذكاء الاصطناعي يسمى "محول الرؤية" (Vision Transformer). فكر في هذه الأنظمة كرسامي خرائط دقيقين للغاية يقومون بمسح صورة ما، وتجزئتها إلى قطع صغيرة لفهم كيفية ارتباطها ببعضها البعض. وبينما يتميز هؤلاء الرسامون بقوة هائلة، إلا أنهم ثقيلون ومتطلبون أيضاً؛ فهم يحتاجون إلى كميات هائلة من القدرة الحوسبية والكهرباء للتشغيل، مما يجعل استخدامهم صعباً على الأجهزة الصغيرة مثل الهواتف الذكية، أو الطائرات بدون طيار، أو الروبوتات ذاتية القيادة التي تعمل بالبطاريات. بالنسبة لهذه الأجهزة الطرفية (edge devices)، لا يقتنصر الهدف على أن يكون النظام ذكياً فحسب، بل يجب أن يكون فعالاً، محققاً توازناً بين الأداء العالي واستهلاك الطاقة المنخفض لكي تتمكن من العمل لساعات دون الحاجة إلى إعادة شحن.
لطالما اعتقد الباحثون أن أفضل طريقة لجعل هذه الأنظمة فعالة هي ببساطة تقليل عدد العمليات الحسابية التي تقوم بها. وفي الصناعة، يُعرف هذا العدد بـ "FLOPs"، وهو مقياس قياسي يُستخدم لتقدير حجم العمل الذي يجب أن يقوم به الحاسوب. وكان الافتراض السائد هو أن إجراء حسابات أقل يعني تلقائياً جهازاً أسرع وأكثر كفاءة في استهلاك الطاقة. ومع ذلك، تتحدى دراسة جديدة هذا الاعتقاد الذي ساد لفترة طويلة. إذ يرى الفريق وراء هذا البحث، والذي يعمل مع المجلس الوطني للعلوم والتكنولوجيا في تايوان، أن عدّ الحسابات هو وسيلة غير مثالية للحكم على الأداء في العالم الحقيقي. فقد وجدوا أن نموذجاً يحتوي على عمليات حسابية أكثر قليلاً يمكنه في الواقع أن يعمل بشكل أسرع ويستهلك طاقة أقل إذا تم تصميم بنيته الداخلية لتعمل بشكل أفضل مع الأجهزة المادية التي يعمل عليها.
ولاختبار هذه الفكرة، طور الباحثون نموذجاً جديداً يسمى MicroViTv2. وهو نسخة خفيفة الوزن من "محول الرؤية"، صُممت خصيصاً للعمل على الأجهزة الطرفية مثل Jetson AGX Orin، وهو حاسوب قوي يُستخدم غالباً في الروبوتات والأنظمة ذاتية القيادة. وبدلاً من مجرد محاولة تقليص الرياضيات، أعاد الفريق تصميم بنية النموذج لتقليل العبء المادي على ذاكرة الجهاز ومعالجه. وقد استحدثوا طريقة تسمى "إعادة المعاملة الهيكلية" (structural re-parameterization). فخلال مرحلة التدريب، يتعلم النموذج باستخدام بنية معقدة ذات مسارات متعددة، تشبه مبنىً يحتوي على ممرات كثيرة مختلفة. ولكن قبل نشر النموذج في العالم الحقيقي، يتم دمج هذه المسارات رياضياً في مسار واحد انسيابي. وهذا يعني أنه عندما يقوم الجهاز بتشغيل النموذج فعلياً، فإنه لا يضطر للتنقل عبر هيكل التدريب المعقد؛ بل يتحرك عبر مسار مبسط ومباشر يكون أسرع في الاجتياز ويتطلب وصولاً أقل إلى الذاكرة.
كما قام الباحثون بتحسين كيفية ربط النموذج لأجزاء الصورة المختلفة. حيث استبدلوا آليات الانتباه القديمة بمكون جديد يسمى "الانتباه أحادي العمق المتبادل" (Single Depth-Wise Transposed Attention). يتيح هذا للنموذج النظر إلى الصورة بأكملها وفهم كيفية ارتباط الأجزاء البعيدة ببعضها البعض دون الغرق في بيانات غير ضرورية. ومن خلال التركيز على كيفية نقل النموذج للبيانات عبر الأجهزة بدلاً من مجرد كيفية حل عدد من المسائل الرياضية، نجح الفريق في إنشاء نظام أكثر ملاءمة للقيود المادية للأجهزة الحقيقية.
تظهر نتائج تجاربهم، التي أجريت على مجموعات بيانات صور قياسية ومهام كشف الأشياء، تحولاً واضحاً في كيفية قياس الكفاءة. فعند اختبارها على Jetson AGX Orin، تفوق نموذج MicroViTv2 الجديد على سلفه وعلى عدة نماذج خفيفة الوزن رائدة أخرى. فقد حقق دقة أعلى في تحديد الأشياء مع معالجة الصور بشكل أسرع واستهلاك طاقة أقل لكل صورة. على سبيل المثال، عالج أحد إصدارات نموذجهم 1,883 صورة في الثانية مع استهلاك 14.9 ميلي جول فقط من الطاقة لكل صورة. وبالمقارنة، كانت النماذج الأخرى ذات الحسابات النظرية الأقل أبطأ واستخدمت طاقة أكثر. وقد أثبتت الدراسة أن النموذج الجديد حسن الدقة بنسبة تصل إلى 0.5 بالمائة عن نسخته السابقة، وتفوق على منافسين مثل MobileViTv2 وEdgeNeXt في كل من السرعة وكفاءة الطاقة.
ومن الأهمية بمكان أن الورقة البحثية تستبعد صراحةً فكرة أن انخفاض عدد الحسابات يؤدي دائماً إلى أداء أفضل. فقد أظهر الباحثون أن نموذجهم قام في الواقع بعمليات رياضية أكثر من بعض النسخ الأقدم، ومع ذلك ظل يعمل بشكل أسرع ويستهلك كهرباء أقل. تشير هذه النتيجة إلى أن التركيز التقليدي على تقليل عدد الحسابات هو أمر مضلل عند تطبيقه على الأجهزة المادية الحقيقية. فالعائق الحقيقي غالباً ما يكون كيفية وصول الكمبيوتر إلى ذاكرته وكيفية جدولة البرامج للعمل على الشريحة. ومن خلال تحسين البنية لتناسب الأجهزة، أثبت الباحثون أن النموذج يمكن أن يكون أكثر كفاءة حتى لو قام بعمليات رياضية أكثر.
لقد تحقق الفريق من هذه النتائج عبر سيناريوهات مختلفة، بما في ذلك تصنيف الصور وكشف الأشياء في المشاهد المعقدة. وفي كل اختبار، أدت التحسينات الهيكلية إلى نتائج أفضل. وتخلص الدراسة إلى أن التصميم من أجل الواقع المادي للجهاز أهم من مجرد تقليل عبء العمل النظري. ويقدم هذا النهج مساراً جديداً للمضي قدماً في إنشاء ذكاء اصطناعي ليس ذكياً فحسب، بل عملياً أيضاً للأجهزة التي تعمل بالبطارية والتي أصبحت شائعة بشكل متزايد في حياتنا اليومية. ويؤكد هذا العمل أنه لبناء أنظمة فعالة حقاً، يجب على المهندسين النظر إلى ما وراء الأرقام المكتوبة على الورق والنظر في كيفية سلوك النموذج فعلياً داخل الآلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.