NAS-Driven Hardware Accelerator Exploration for Edge AI and Quantization Effects on the Pareto Space

تخيل أنك تحاول بناء عقل روبوت فائق، ولكن لديك قاعدة صارمة: يجب أن يتسع داخل جهاز صغير يعمل بالبطارية مثل ساعة ذكية أو طائرة بدون طيار. هذا هو عالم "ذكاء الحافة" (Edge AI)، حيث يعيش الذكاء الاصطناعي على أجهزة صغيرة بدلاً من خوادم سحابية ضخمة تستهلك الكثير من الطاقة. ولإنجاح ذلك، يتعين على المهندسين حل لغز معقد: يحتاجون إلى عقل ذكي بما يكفي للتعرف على الوجوه أو الأصوات، ولكنه صغير وسريع بما يكفي ليعمل دون استنزاف البطارية في دقائق معدودة.

لإيجاد التصميم الأمثل لهذا العقل، يستخدم العلماء طريقة تسمى "البحث عن البنية العصبية" (Neural Architecture Search - NAS). فكر في الأمر كأنه طاهٍ آلي فائق السرعة يجرب الملايين من الوصفات المختلفة (تصاميم الشبكات العصبية) ليجد الوصفة التي تقدم أفضل مذاق (أعلى دقة) مع استخدام أقل قدر من المكونات (قوة الحوسبة). عادةً ما يطبخ هؤلاء الطهاة باستخدام مكونات "الدقة الكاملة"، وهي تشبه استخدام مقاييس دقيقة وثقيلة. ولكن بالنسبة للأجهزة الصغيرة، عليك الانتقال إلى "الكمية" (Quantization)، وهي تشبه الانتقال إلى أكواب قياس أصغر وأخف (استخدام عدد بتات أقل لتمثيل الأرقام). السؤال الكبير هو: إذا غيرت أكواب القياس، هل ستظل الوصفة التي بدت مثالية في المطبخ تقدم نفس المذاق على الطريق؟ تغوص هذه الورقة البحثية في هذا السؤال تحديداً، وتستكشف كيف يؤثر تغيير نظام القياس على البحث عن أفضل عقل لروبوت، وكيف يمكن وضع هذا العقل على شريحة خاصة قابلة لإعادة التشكيل.

---

الرحلة الثلاثية إلى عقل صغير

يقترح مؤلفو هذه الورقة البحثية مساراً ذكياً يتكون من ثلاث خطوات لحل مشكلة وضع الذكاء الاصطناعي على الأجهزة. ويسمونه نهج "البحث ثم الكمية" (NAS-then-quantized)، وهو يشبه تصميم سيارة على الكمبيوتر أولاً، ثم اختبار كيفية تعاملها مع طريق ترابي وعر، وأخيراً بناء المحرك ليتناسب مع التضاريس.

المرحلة الأولى: الواجهة المستقلة عن الأجهزة
أولاً، يستخدم الفريق نموذجاً "بديلًا" (surrogate model) — وهو متنبئ ذكي يخمن مدى جودة التصميم دون بنائه فعلياً. يقومون بتدريب هذا المتنبئ على مكتبة ضخمة تضم 15,625 تصميماً مختلفاً للشبكات العصبية (من مجموعة بيانات NAS-Bench-201). هذه المرحلة "مستقلة عن الأجهزة"، مما يعني أنها لا تهتم بالشريحة المحددة بعد؛ بل تبحث فقط عن أفضل التصاميم بناءً على الدقة وعدد العمليات الحسابية (FLOPs) التي تحتاجها. يستخدمون استراتيجيتين للبحث: "البحث العشوائي" البسيط (اختيار التصاميم عشوائياً)، و"خوارزمية تطورية متعددة الأهداف" (التي تحاكي الانتقاء الطبيعي لتطوير تصاميم أفضل). بعد هذه المرحلة، يكون لديهم قائمة قصيرة تضم عشرة مرشحين من الأفضل.

المرحلة الثانية: جسر الكمية
بعد ذلك يأتي اختبار الواقع. يأخذ الفريق تلك المرشحات العشرة الأفضل ويقومون بتقليص حجمها باستخدام تقنية تسمى "الكمية بعد التدريب" (Post-Training Quantization)، وبالتحديد عبر التحويل إلى نظام INT4 (استخدام 4 بت فقط لكل رقم بدلاً من 32 بت المعتادة). هذا يشبه أخذ صورة عالية الدقة وضغطها لتناسب هاتفاً قديماً. يستخدمون أداة تسمى Brevitas للقيام بذلك.

هنا يصبح الأمر مثيراً للاهتمام. عندما نضغط النماذج، قد تفشل بعض التصاميم التي بدت رائعة في المرحلة الأولى أو تصبح أسوأ. يعمل "جسر الكمية" كمرشح؛ حيث يعيد ترتيب المرشحين بناءً على مدى قدرتهم على الصمود أمام الضغط. إذا انهار تصميم ما، يتم استبعاده. وإذا لم ينجُ أي تصميم، يعود النظام إلى المرحلة الأولى للمحاولة مرة أخرى. لقد اختاروا INT4 لأنهم وجدوا أنه رغم كونه تقنية هجومية جداً، إلا أنه مع القليل من التدريب الإضافي (مرحلتين تدريبيتين فقط)، يمكن للنماذج استعادة دقتها بشكل كبير، حيث قفزت من أدنى مستوى بلغ 9.49% إلى 83.53%، مما يثبت أن معلومات النموذج الأصلي قد تم الحفاظ عليها إلى حد كبير.

المرحلة الثالثة: الخلفية المدركة للأجهزة
أخيراً، تحتاج التصاميم الناجية إلى موطن. يقوم الفريق برسم هذه الأدمغة المضغوطة على نوع معين من الأجهزة يسمى مصفوفة الحوسبة خشنة الحبيبات (CGRA). فكر في الـ CGRA كلوحة "ليجو" حيث يمكنك إعادة ترتيب القطع لتناسب أي شكل. يستخدمون خوارمة تطورية لاستكشاف طرق مختلفة لترتيب الأجهزة (تغيير عدد وحدات المعالجة، عمق الذاكرة، ومسارات البيانات). هم لا يبنون الشريحة الفعلية؛ بدلاً من ذلك، يستخدمون "أوراكل تحليلي مجاني" (free analytical oracle) — وهو محاكي رياضي — للتنبؤ بمدى سرعة وكفاءة كل ترتيب. يختارون التكوين الذي يقلل التأخير ويزيد من استخدام موارد الأجهزة.

المفاجأة الكبرى: لا ترمِ الخريطة القديمة

الاكتشاف الأكثر إثارة في هذه الورقة ليس مجرد المسار المكون من ثلاث مراحل؛ بل هو ما تعلموه عن العلاقة بين عالم "الدقة الكاملة" وعالم "النماذج المضغوطة".

عادةً، عندما تضغط نموذجاً، قد تعتقد أنك بحاجة للبدء في بحثك من الصفر، عبر تدريب متنبئ جديد مخصص لعالم (INT4) المضغوط. اختبر المؤلفون هذه الفكرة وقارنوا بين نهجين:

1. المتنبئ البديل المخصص لـ INT4: متنبئ تم تدريبه خصيصاً على البيانات المضغوطة.
2. المتنبئ "صفرية الاستباق" للدقة الكاملة (FP32): متنبئ تم تدريبه على البيانات الأصلية ذات الدقة الكاملة، والذي استخدموه لاحقاً لتخمين أداء النماذج المضغوطة دون إعادة تدريب.

كانت النتائج مفاجئة. في عمليات المحاكاة، أدى المتنبئ "صفرية الاستباق" (FP30) أداءً أفضل من المتنبئ المخصص لـ INT4. فعند تشغيل استراتيجيات البحث، وجد المتنبئ الخاص بالدقة الكاملة تصاميم تغطي نطاقاً أوسع من المقايضات المثلى (مساحة باريتو) مقارنة بالمتنبئ المخصص لـ INT4.

لماذا؟ يقترح المؤلفون أن بيانات الدقة الكاملة "أنظف" وأقل ضجيجاً. ورغم أن العالم المضغوط مختلف، إلا أن ترتيب التصاميم من حيث كونها "جيدة" أو "سيئة" يظل متشابهاً بشكل مثير للدهشة. تشير الورقة إلى أنه بينما يتغير الترتيب الدقيق للتصاميم (في حوالي 21% من الحالات، يصبح التصميم الذي كان أفضل من غيره في الدقة الكاملة أسوأ بعد الضغط)، فإن الهيكل العام لأفضل التصاميم يظل مستقراً بما يكفي لتكون الخريطة القديمة (متنبئ FP32) دليلاً موثوقاً.

استقرار اللغز

لم يكتف الفريق بالتخمين، بل قاموا بالقياس. لقد نظروا في جميع الـ 15,625 بنية لمعرفة مدى تحول "جبهة باريتو" (قائمة أفضل التصاميم) عند الانتقال إلى INT4:

• التحول: أعيد تنظيم قائمة أفضل التصاميم بالكامل. لم ينجُ أي من التصاميم الأصلية كأفضل التصاميم في العالم المضغوط.
• الانقلاب: في حوالي 21.73% من الحالات، انقلبت العلاقة بين تصميمين (التصميم A كان أفضل من التصميم B في الدقة الكاملة، لكن التصميم B أصبح أفضل بعد الضغط).
• الارتباط: رغم هذا الاضطراب، ظل الارتباط العام في الترتيب متوسطاً (0.6655)، مما يعني أن "الشكل" العام للتصاميم الجيدة قد تم الحفاظ عليه.

وجدوا أيضاً أن النماذج الأصغر والأبسط (التي تحتوي على عمليات حسابية أقل) كانت أكثر حساسية للضغط، وغالباً ما تفقد دقتها. أما النماذج الأكبر والأكثر تعقيداً، فقد كانت قوية بشكل مثير للدهشة، ويرجع ذلك على الأرجح إلى أن بنيتها تعمل طبيعياً على تنعيم الأخطاء الناتجة عن الأرقام الأصغر.

نتائج الأجهزة

أخيراً، أخذوا ثلاثة من أفضل التصاميم الناجية ووضعوها على أجهزة CGRA. وجدوا أنه على الرغم من اختلاف التصاميم، إلا أنها جميعاً تقاربت نحو نفس التكوين الأمثل للأجهزة: شبكة مكونة من 16 صفاً و66 عموداً من وحدات المعالجة مع عمق ذاكرة محدد. يشير هذا إلى أنه بالنسبة لهذا النوع من المهام، فإن "النقطة المثالية" للأجهزة ثابتة تماماً، بغض النظر عن تصميم الشبكة العصبية المحدد، طالما أن التصميم يستخدم لبنات بناء مماثلة.

الخاتمة

تشير هذه الورقة إلى أننا لسنا بحاجة إلى إعادة اختراع العجلة في كل مرة نريد فيها تقليص نموذج ذكاء اصطناعي لجهاز صغير. من خلال استخدام عملية ثلاثية المراحل — إيجاد أفضل التصاميم في الدقة الكاملة، ثم تصفيتها عبر اختبار الضغط، ثم رسمها على أجهزة مرنة — يمكننا بكفاءة إيجاد التوازن المثالي بين الدقة والحجم. والأهم من ذلك، هي تشير إلى أنه يمكننا الوثوق بأدوات البحث الخاصة بالدقة الكاملة لتوجيهنا حتى في العالم المضغوط، مما يوفر الوقت والجهد في السعي لوضع ذكاء اصطناب قوي في جيوبنا.