MixFrag: Fragility-Guided Mixed-Precision Post-Training Quantization for Vision Transformers
تُعد MixFrag إطار عمل للكمّ بعد التدريب مختلط الدقة وموجّه بالهشاشة لنماذج المحولات الرؤيوية (Vision Transformers)، حيث يقوم بتقدير حساسية مستوى المكونات عبر تباعد كولباك - ليبلر (KL divergence) ويُحسّن تخصيص البتات باستخدام مسألة حقيبة متعددة الخيارات لتحقيق أداء رائد في مهام تصنيف الصور وكشف الأشياء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك عقل روبوت فائق الذكاء يمكنه النظر إلى صورة وإخبارك بالضبط بما يوجد فيها، مثل رصد قطة في شجرة أو سيارة في الشارع. هذه "الأدمغة" تسمى "محولات الرؤية" (Vision Transformers)، وهي قوية للغاية، لكنها ضخمة وثقيلة وتستهلك الكثير من الطاقة. محاولة تشغيل مثل هذا العقل على هاتف عادي أو جهاز صغير تشبه محاولة وضع ثلاجة كاملة الحجم داخل حقيبة ظهر؛ فهي ببساطة لا تتسع. ولحل هذه المشكلة، يستخدم العلماء حيلة تسمى "الكمّية" (Quantization). فكر في الأمر كترجمة أفكار الروبوت المعقدة وعالية الدقة إلى لغة أبسط وأقل دقة. بدلاً من استخدام مليون كلمة لوصف لون ما، قد تستخدم بضع كلمات فقط. هذا يجعل العقل أصغر وأسرع، ولكن هناك فخ: إذا بسطته أكثر من اللازم، سيبدأ الروبوت في ارتكاب أخطاء سخيفة، مثل الاعتقاد بأن محمصة الخبز هي كلب.
لفترة طويلة، حاول العلماء تبسيط عقل الروبوت بأكمله باستخدام نفس مستوى التفاصيل في كل مكان. كان الأمر يشبه اتخاذ قرار بوصف كل جزء من السيارة باستخدام ثلاث كلمات فقط. لكن هذا غير فعال. فبعض أجزاء العقل تشبه محرك السيارة، حيث تحتاج إلى دقة عالية لتعمل بشكل صحيح. بينما أجزاء أخرى تشبه حامل الأكواب، حيث يمكنها الاكتفاء بوصف خشن دون التسبب في حادث. السؤال الكبير كان: كيف نعرف أي الأجزاء تحتاج إلى معاملة "المحرك" وأيها يمكن أن تكتفي بتبسيط "حامل الأكواب"؟ إذا أخطأنا في ذلك، فإما سيبقى الروبوت ثقيلاً جداً أو سيبدأ في رؤية أشياء ليست موجودة أصلاً.
هنا يأتي دور دراسة جديدة تسمى MixFrag. فقد أدرك الباحثون، وهم فريق من جامعة خولنا للهندسة والتكنولوجيا، أن الأساليب الحالية كانت تعامل جميع أجزاء "محول الرؤية" بنفس الطريقة، أو تخمن الأجزاء المهمة بناءً على أدلة غير مباشرة. وقد اقترحوا طريقة جديدة لقياس مدى "هشاشة" كل جزء من أجزاء العقل عند محاولة تبسيطه.
تخيل أنك تقوم بتعبئة حقيبة سفر لرحلة، ولكن لديك حد أقصى للوزن. لديك مزيج من المزهريات الزجاجية الثقيلة والقابلة للكسر، والصخور المتينة وغير القابلة للكسر. إذا عاملت الجميع بنفس الطريقة، فقد تحمل الكثير من الصخور ولا تترك مكاناً للمزهريات، أو والأسوأ من ذلك، قد تحزم المزهريات بطريقة تؤدي لتحطمها. يعمل MixFrag كمسؤول تعبئة شديد الملاحظة. فقبل أن تبدأ في التعبئة، يقوم بالنقر برفق على كل قطعة ليرى مدى سهولة كسرها. لقد اكتشف أن طبقات "QKV" (الأجزاء التي تساعد الروبوت على التركيز على تفاصيل محددة) تشبه المزهريات الزجاجية الرقيقة، بينما طبقات "MLP" (الأجزاء التي تعالج المعلومات) هي أكثر شبهاً بالصخور المتينة.
تقدم الورقة البحثية طريقة لقياس هذه "الهشاشة" من خلال مراقبة مدى تغير مخرجات الروبوت عند تبسيط جزء صغير واحد منها في كل مرة. إنهم يستخدمون أداة رياضية تسمى "تباعد KL" (KL divergence)، وهي ببسابب طريقة لقياس الفرق بين أفكار الروبوت "عالية الدقة" وأفكاره "المبسطة". إذا كان الفرق كبيراً، فهذا الجزء هش ويجب أن يظل مفصلاً. وإذا كان الفرق صغيراً، فهذا الجزء متين ويمكن تبسيطه أكثر.
بمجرد معرفة الأجزاء الهشة، يستخدمون لغزاً رياضياً ذكياً يسمى "مسألة حقيبة الظهر متعددة الخيارات" (Multiple-Choice Knapsack Problem) لاتخاذ قائمة التعبئة النهائية. هذا ليس مجرد تخمين عشوائي؛ بل هو تحسين شامل يضمن حصول الأجزاء الأكثر هشاشة على أكبر عدد من "البتات" (أي أكبر قدر من التفاصيل)، بينما تحصل الأجزاء المتينة على عدد أقل، وكل ذلك مع البقاء ضمن حد الوزن الإجمالي. النتيجة هي عقل روبوت "متعدد الدقة": بعض أجزائه عالية الدقة، وبعضها منخفضة الدقة، لكنه بالكامل يتسع في حقيبة الظهر ولا يزال يعمل بشكل مثالي.
اختبر الفريق عملهم على مجموعة بيانات ضخمة من الصور تسمى ImageNet-1K، والتي تحتوي على 1,000 فئة مختلفة من الأشياء. كما اختبروه في مهمة أصعب: وهي إيجاد وتحديد حدود الأشياء في مشهد (مثل لعبة فيديو أو سيارة ذاتية القيادة)، باستخدام مجموعة بيانات تسمى COCO. وكانت النتائج مبهرة. وبينما شهد MixFrag انخفاضاً طفيفاً في دقة تسمية الأشياء البسيطة مقارنة بأساليب التحسين القوية عند استخدام دقة منخفضة للغاية تبلغ 3 بت لتصنيف الصور، إلا أنه تألق حقاً في المهمة الأصعب وهي "كشف الأشياء". وتحت إعداد MP3/MP3 الصعب الخاص بالكشف، لم يكتفِ MixFrag بمضاهاة الأساليب الأخرى فحسب، بل تفوق على أفضل طريقة سابقة للدقة المختلطة بفارق كبير، حيث حسن النتيجة بما يصل إلى 9.6 نقطة. وهذا يشير إلى أنه من خلال حماية "المزهريات الزجاجية" وتبسيط "الصخور"، يظل الروبوت أكثر ذكاءً في فهم المشاهد المعقدة.
ومن المثير للاهتمام، وجد الباحثون أنه بينما كانت بعض الطرق الأخرى أفضل في مجرد تسمية الأشياء في قائمة بسيطة تحت ضغط شديد، كان MixFrag متفوقاً في المهمة الأصعب المتمثلة في إيجادها وتحديد حدودها. وهذا يشير إلى أن الحفاظ على الأجزاء الهشة سليماً يساعد الروبوت على فهم بنية العالم، وليس فقط التسميات. كما تحقق في الدراسة ما إذا كانوا بحاجة إلى تعديل الخطة بعد المحاولة الأولى، لكنهم وجدوا أن خطة واحدة مدروسة جيداً كانت في الواقع أفضل من محاولة صقلها مراراً وتكراراً، وهو ما جعل الأمور تسوء أحياناً.
باخت مختص، يشير MixFrag إلى أننا لسنا بحاجة إلى معاملة كل جزء من "محول الرؤية" بنفس الطريقة. ومن خلال قياس مدى قدرة كل جزء بدقة على تحمل التبسيط، يمكننا بناء أدمغة ذكاء اصطناعي أذكى وأصغر وأكثر كفاءة، يمكنها العمل على أجهزتنا دون أن تفقد عقلها. ويثق المؤلفون في أن هذا النهج يعمل جيداً للمهام التي اختبروها، ويعتقدون أنه يفتح الباب لطرق أفضل لتشغيل الذكاء الاصطناعي القوي على الأجهزة اليومية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.