Loss-Aware Feature-Map Pruning in Convolutional Neural Networks Using Multi-Armed Bandits
تقترح هذه الورقة إطار عمل لتقليم خرائط الميزات المدرك للخسارة للشبكات العصبية الالتفافية، والذي يستخدم خوارزميات العصا متعددة الأذرع، وتحديداً UCB1 وThompson Sampling، لتحديد وإزالة القنوات الالتفافية الزائدة بكفاءة مع الحفاظ على دقة النموذج عبر مجموعات بيانات متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية التعرف على صور القطط أو الكلاب أو الزهور. للقيام بذلك، يستخدم الروبوت "دماغاً" مكوناً من الرياضيات يسمى الشبكة العصبية التلافيفية (أو ConvNet للاختصار). فكر في هذا الدماغ كأنه مصنع ضخم يحتوي على آلاف العمال الصغار (يُطلق عليهم اسم المرشحات أو الـ filters) وسيور ناقلة (تسمى خرائط السمات أو feature maps) تعالج الصورة طبقة تلو الأخرى. كلما زاد عدد العمال والسيور في هذا المصنع، أصبح الروبوت أفضل في رصد التفاصيل، لكنه يصبح أيضاً أبطأ وأثقل وزناً. إذا حاولت تشغيل هذا المصنع على جهاز صغير يعمل بالبطارية مثل هاتف ذكي أو طائرة بدون طيار، فقد يكون ثقيلاً جداً للحمل أو بطيئاً جداً في الاستجابة في الوقت المناسب.
ولحل هذه المشكلة، يستخدم العلماء تقنية تسمى "التقليم" (pruning). تخيل أنك بستاني يقوم بتقليم شجيرة ضخمة وكثيفة؛ أنت تريد قطع الأغصان الميتة أو غير المفيدة لتصبح النبتة أصغر وأسهل في الإدارة، ولكن يجب أن تكون حذراً لكي لا تقطع الأجزاء التي تنتج الثمار بالفعل. في عالم الذكاء الاصطناعي، يعني هذا إزالة الأجزاء من الشبكة التي لا تساعد كثيراً. الجزء الصعب هو تحديد أي الأغصان يجب قطعها. إذا قطعت الأغصان الخاطئة، سينسى الروبوت كيفية التعرف على القطة. وإذا قطعت الكثير منها، فسيصاب بالارتباك. السؤال الكبير هو: كيف تجد الأجزاء غير المفيدة دون قضاء سنوات في اختبار كل غصن على حد เห.
تقدم هذه الورقة البحثية استراتيجية ذكية تشبه الألعاب لحل تلك المشكلة. يقترح المؤلفان، سالم أمين وسونيل فاديرا، استخدام مفهوم رياضي يسمى "المقامر متعدد الأذرع" (Multi-Armed Bandits). تخيل أنك في كازينو أمام صف من آلات القمار (الأذرع). لديك عدد محدود من العملات المعدنية (الميزانية) للعب. هدفك هو معرفة أي الآلات تمنحك أكبر قدر من الأرباوات، لكن لا يمكنك تحمل تكلفة لعب كل آلة ألف مرة. بدلاً من ذلك، تلعب بضع مرات، وترى أيها يبدو محظوظاً، ثم تركز بقية عملاتك على الآلات الأفضل.
في هذه الدراسة، "آلات القمار" هي خرائط السمات (السيور الناقلة) في دماغ الذكاء الاصطناعي. و"العملات" هي وقت وطاقة الكمبيوتر. وضع الباحثون نظاماً لا يعتمد فقط على تخمين أي الخرائط يجب قطعها بناءً على حجمها (وهي طريقة شائعة ولكنها غالباً ما تكون غير دقيقة)، بل يلعب الكمبيوتر لعبة: يقوم بإخفاء خريطة واحدة مؤقتاً، ويرى ما إذا كان الروبوت لا يزال يتعرف على الصورة بشكل صحيح، ثم يعيد الخريطة. إذا لم يؤدِ إخفاء الخريطة إلى إلحاق الضرر بأداء الروبوت، فإن تلك الخريطة تحصل على درجة "آمنة للإزالة". تعمل خوارزمية "المقامر متعدد الأذرع" كمدير ذكي، يقرر أي الخرائط سيتم اختبارها تالياً بناءً على ما تعلمه حتى الآن، بدلاً من اختبارها جميعاً بشكل عشوائي أو بترتيب ثابت.
وجدت الورقة البحثية أن نهج هذا "المدير الذكي" فعال للغاية. عندما اختبروا هذا النهج على مجموعات بيانات صور متنوعة (مثل MNIST للأرقام المكتوبة بخط اليد، وCIFAR للأشياء اليومية، وحتى مجموعات بيانات خاصة بالطيور والزهور)، نجحت الطريقة في إزالة جزء كبير من الشبكة — حوالي 29% من خرائط السمات في بعض الحالات — دون جعل الروبوت أسوأ في أداء مهمته. في الواقع، في كثير من الحالات، كان الروبوت "المقلم" بدقة مماثلة للنسخة الأصلية غير المقلمة.
قارن الباحثون طريقتهم بطريقتين شائعتين أخريين للتقليم: التقليم "الجشع" (الذي يقطع فقط ما يبدو سهلاً للقطع في الوقت الحالي) وتقليم "المقدار" (الذي يقطع الأجزاء التي تبدو أصغر حجماً). تفوقت طريقتهم "المدفوعة بالمقامر" باستمرار على هذه الطرق القديمة. لقد كانت جيدة جداً لدرجة أنها، من الناحية الإحصائية، قدمت أداءً يضاهي النموذج الأصلي غير المقلم، ولكن بدماغ أصغر وأسرع. تشير الورقة إلى أنه من خلال استخدام هذه الاستراتيجية التكيفية الواعية بالخسارة، يمكننا تقليص نماذج الذكاء الاصطناዊ القوية لتناسب الأجهزة الأصغر دون التضحية بذكائها، مع توفير الوقت والطاقة مقارنة بالطرق القديمة التي تعتمد على التجربة والخطأ الشاملة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.