HiAP: A Multi-Granular Stochastic Auto-Pruning Framework for Vision Transformers
تقترح هذه الورقة إطار عمل HiAP، وهو إطار عمل للتقليم التلقائي العشوائي متعدد الحبيبات يستخدم بوابات Gumbel-Sigmoid هرمية لاكتشاف شبكات فرعية من نماذج "Vision Transformer" مثالية وعالية الكفاءة تلقائياً في مرحلة تدريب واحدة متكاملة من البداية إلى النهاية، مما يوازن بفعالية بين الدقة والقيود الحسابية دون الحاجة إلى استدلالات يدوية أو مسارات عمل متعددة المراحل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طباخاً آلياً ضخماً وذكياً للغاية (نموذج Vision Transformer) يمكنه التعرف على أي جسم في الصورة. هذا الطباخ موهوب للغاية، لكنه ضخم، ومكلف جداً في التشغيل، ويتطلب مطبخاً عملاقاً وإمدادات لا تنتهي. أنت تريد تصغير حجم هذا الطباخ لكي يتمكن من العمل في عربة طعام صغيرة (جهاز طرفي مثل الهاتف الذكي) دون أن يفقد قدرته على إعداد وجبات لذيذة (التعرف على الصور بدقة).
المشكلة هي أن معظم الطرق لتصغير حجم هذا الطباخ تشبه محاولة قطع كعكة بمنشار صدئ: فهي فوضوية، وتتطلب الكثير من القياسات اليدوية، وغالباً ما تنتهي بكعكة مذاقها سيء.
إليك HiAP (التقليم التلقائي الهرمي - Hierarchical Auto-Pruning). فكر في HiAP كفريق تجديد مطابخ ذكي ومنظم ذاتياً، لا يكتفي فقط بالقطع العشوائي، بل يتعلم بالضبط ما يجب الاحتفاظ به وما يجب التخلص منه بينما لا يزال الطباخ يطهو.
إليك كيف يعمل HiAP، مقسماً إلى مفاهيم بسيطة:
1. التنظيف ثنائي المستوى (الكلّي مقابل الجزئي)
معظم فرق التجديد تقوم بنوع واحد فقط من التنظيف. بعضها يزيل غرفاً بأكملها فقط (Macro)، بينما يكتفي البعض الآخر بإزالة بعض الكراسي من الغرف المتبقية (Micro). أما HiAP فيقوم بـ كلاهما في نفس الوقت.
- المستوى الكلي (مستوى "الغرفة"): تخيل أن الطباخ لديه فريق من مساعدي الطهاة (رؤوس الانتباه - Attention Heads) وقسم للمخزن (كتل FFN). أحياناً، يدرك فريق التجديد: "مهلاً، نحن لسنا بحاجة لمحطة الصلصة بأكملها أو لفريق الحلويات". ببساض يقومون بإغلاق تلك الأبواب والتوقف عن استخدام تلك الغرف تماماً. هذا يوفر مساحة هائلة من المساحة والطاقة لأن الطباخ لن يضطر حتى للمشي داخل تلك الغرف بعد الآن.
- المستوى الجزئي (مستوى "الكرسي"): بالنسبة للغرف التي يتم الإبقاء عليها مفتوحة، ينظر الفريق إلى الداخل. ربما تحتوي "محطة الصلصة" على 64 منصة عمل، لكنهم يحتاجون فعلياً إلى 32 فقط. يقومون بإزالة المنصات غير المستخدمة. أو ربما مساعد طباخ معين يستخدم نصف أدواته فقط، فيقومون بأخذ الباقي بعيداً.
السحر: يقرر HiAP أي الغرف سيتم إغلاقها وأي الكراسي سيتم إزالتها في آن واحد. فهو يدرك أن إغلاق غرفة كاملة يوفر أكثر من "حركة المرور في الذاكرة" (المشي ذهاباً وإياباً)، بينما إزالة الكراسي توفر "قدرة الحوسبة" (سرعة الطهي).
2. التحول من "الناعم" إلى "الصلب"
عادةً، إذا حاولت إزالة أجزاء من روبوت أثناء عمله، فقد يحدث خلل أو يتوقف عن العمل. الطرق التقليدية غالباً ما تتطلب "مرحلة بحث" (تجربة عمليات قطع مختلفة) تليها "مرحلة إعادة تدريب" (إصلاح الروبوت بعد عمليات القطع).
يستخدم HiAP حيلة ذكية تسمى بوابات Gumbel-Sigmoid. فكر في هذه البوابات كـ مفاتيح تعتيم (Dimmer switches) بدلاً من مفاتيح التشغيل والإيقاف العادية.
- في بداية التدريب: تكون المفاتيح مضبوطة على وضع "التعتيم". لا يزال الروبوت يستخدم جميع أجزائه، لكن فريق التجديد يدفع الأجزاء غير المستخدمة بلطف لتكون أقل نشاطاً. الأمر يشبه قول: "لا تحتاج لاستخدام هذا الفرن كثيراً اليوم".
- في نهاية التدريب: يتم خفض المفاتيح ببطء لتصل إلى وضع "الإيقاف" (أو رفعها تماماً إلى وضع "التشغيل"). يتعلم الروبوت بشكل طبيعي كيف يعمل بشكل مثالي بدون تلك الأجزاء.
- النتيجة: عندما ينتهي التدريب، يكون الروبوت متكيفاً تماماً مع حجمه الجديد الأصغر. لا توجد حاجة لمرحلة ثانية من "الإصلاح"؛ إنه جاهز للانطلاق فوراً.
3. قيد "الميزانية"
تخيل أنك أعطيت فريق التجديد ميزانية صارمة: "يجب عليكم تقليص حجم المطبخ بنسبة 30%".
- الطرق القديمة قد تقول: "حسناً، سنقطع 30% من كل غرفة". وهذا أمر سيء لأن بعض الغرف حيوية والبعض الآخر عديم الفائدة.
- يقول HiAP: "سننظر إلى المطبخ ككل. سنغلق 'المخبز' بالكامل (Macro) لأنه نادراً ما يُستخدم، وسنقلص 'الشواية' (Micro) بقدر ما يكفي لتناسب الميزانية".
- يستخدم HiAP بطاقة تقييم خاصة (دالة الخسارة - Loss Function) تحسب بدقة مقدار المساحة والطاقة التي توفرها كل عملية اتخاذ قرار، مما يضمن أن الروبوت النهائي يناسب الميزانية تماماً دون فقدان مهاراته في الطهي.
4. لماذا يهم هذا؟
- لا توجد تعديلات يدوية: لا تحتاج لخبير ليخبر الروبوت أي الأجزاء يجب قطعها. الروبوت يكتشف ذلك بنفسه.
- عملية من خطوة واحدة: يتعلم ويتقلص في خطوة واحدة. لا داعً لانتظار جولة ثانية من التدريب.
- سرعة حقيقية: بما أنه يزيل الأجزاء غير المستخدمة فعلياً (مثل هدم جدران الغرف المغلقة)، فإن الروبوت يعمل بالفعل بشكل أسرع على الأجهزة الحقيقية، وليس فقط على الورق.
الخلاصة
HiAP يشبه فريق تجديد يعمل ذاتياً، يحول طباخاً آلياً ضخماً وثقيلاً إلى طباخ عربة طعام رشيق وفعال. هو يعرف تماماً أي الغرف يجب هدمها وأي الأثاث يجب إزالته، وكل ذلك بينما لا يزال الطباخ يتعلم الطهي. النتيجة هي روبوت أصغر، أسرع، وبنفس المذاق اللذيذ، يناسب جيبك تماماً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.