Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers

ملخص تقني: الإنتروبيا تكشف عن أهمية الكتل في نماذج المحولات الرؤيوية ذاتية الإشراف المقنعة

بيان المشكلة
أرست نماذج المحولات الرؤيوية ذاتية الإشراف المقنعة (مثل MAE وVideoMAE) نموذجاً مهيمناً للتدريب المسبق، حيث تتعلم تمثيلات بصرية غنية من بيانات غير مصنفة. ومع ذلك، فإن حجم هذه النماذج الضخم يخلق عوائق كبيرة أمام النشر في البيئات محدودة الموارد (مثل الأجهزة الطرفية) ونقل التعلم الفعال. ويبقى هناك سؤال جوهري: هل جميع كتل المحولات (Transformer blocks) متساوية في الأهمية بالنسبة للأداء اللاحق؟

تواجه الحلول الحالية قيوداً حرجة؛ فتقليص الحجم القائم على الحساسية (Sensitivity-based pruning)، رغم فعاليته، يتطلب إزالة الكتل بشكل تكراري وإعادة ضبط دقيق كامل، مما يسبب عبئاً حوسبياً باهظاً. أما طرق التقليص المعتمدة على البيانات فتعتمد على بيانات المهام اللاحقة أو إحصائيات التنشيط، مما يؤدي إلى تحيز في مجموعة البيانات ويحد من إمكانية التطبيق عند عدم توفر البيانات أو محدوديتها. كما أن التقليص غير المهيكل غالباً ما ينتج عنه أنماط تشتت غير منتظمة يصعب تشغيلها بكفاءة على الأجهزة الحديثة. وبناءً على ذلك، هناك حاجة إلى طريقة مبدئية، خالية من البيانات، وفعالة حوسبياً لتقدير أهمية الكتلة وتحديد الفائض دون الحاجة إلى الوصول إلى بيانات التدريب أو التدرجات (Gradients).

المنهجية: "البستاني" (Gardener) وإنتروبيا عدد الأوزان
يقترح المؤلفون Gardener، وهو خوارزمية لتقليص الكتل في نماذج المحولات الرؤيوية ذاتية الإشراف المقنعة، وهي خوارزمية تعمل بضربة واحدة (one-shot) وخالية من البيانات. وتتمثل الرؤية الجوهرية في أن أهمية الكتلة مشفرة داخل المعلمات المدربة مسبقاً، وتحديداً في التوزيع الهيكلي للأوزان.

تعتمد الطريقة على مقياس مبتكر يسمى إنتروبيا عدد الأوزان (weight-number entropy). وخلافاً لتعريفات الإنتروبيا التقليدية التي تعمل على قيم الأوزان أو التنشيطات، فإن هذه الصيغة تصف توزيع "أعداد" المعلمات عبر فترات القيم داخل كتلة المحول.

1. الصياغة: بالنسبة لكتلة $B_l$ تحتوي على $N_l$ من الأوزان القياسية، يتم تقسيم نطاق قيم الأوزان إلى $K$ من الفترات المنفصلة. يتم حساب كتلة الاحتمال التجريبية $p_l(i)$ كنسبة الأوزان التي تقع في الفترة $i$ إلى إجمالي عدد الأوزان في الكتلة.
2. حساب الإنتروبيا: يتم حساب إنتروبيا عدد الأوزان $H(B_l)$ كـ $-\sum p_l(i) \log p_l(i)$. يلتقط هذا المقياس التنوع الهيكلي للأوزان داخل الكتلة مع بقائه ثابتاً تجاه تغيير مقياس الوزن (scaling).
3. استراتيجية التقليص: يقوم Gardener بحساب هذه الإنتروبيا لكل كتلة في تمريرة واحدة على المعلمات المدربة مسبقاً. يتم ترتيب الكتل تصاعدياً حسب الإنتروبيا. تشير الإنتروبيا المنخفضة إلى توزيع أكثر تركيزاً للمعلمات، وهو ما يفترض المؤلفون أنه يتوافق مع انخفاض الأهمية لنقل التعلم. تقوم الخوارزمية بإزالة الكتل ذات التصنيف الأدنى بناءً على نسبة تقليص مستهدفة في ضربة واحدة، دون الحاجة إلى الانتشار الأمامي/الخلفي (forward/backward propagation)، أو الوصول إلى البيانات، أو الضبط الدقيق التكراري.

المساهمات الرئيسية

• صياغة المشكلة: حدد البحث تحدي تقدير أهمية الكتلة الخالية من البيانات لنماذج المحولات الرؤيوية ذاتية الإشراف المقنعة في ظل ظروف الموارد المحدودة.
• الرؤية النظرية: قدمت الورقة "إنتروبيا عدد الأوزان" كمعيار معلوماتي يُحسب حصرياً من المعلمات المدربة مسبقاً، مما أظهر ارتباطاً قوياً مع حساسية "الأوراكل" (Oracle sensitivity) المستمدة من إزالة الكتل التكرارية والضبط الدقيق.
• اقتراح الخوارزمية: اقترح المؤلفون Gardener، وهي خوارزمية تقليص تعمل بضربة واحدة، ذات تعقيد زمني خطي، وتحمل عبئاً ضئيلاً على الذاكرة، وتعمل بالكامل دون الحاجة لبيانات.
• التحقق التجريبي: أظهرت التجارب المكثفة على نموذج VideoMAE-B عبر نسب تقليص متعددة ومعايير التعرف على الفيديو اللاحقة (UCF101) أن Gardener يتفوق باستمرار على النماذج المرجعية الأخرى الخالية من البيانات، ويقترب بشدة من أداء التقليص القائم على الحساسية (الأوراكل).
• التحليل الهيكلي: يقدم العمل دليلاً تجريبياً على وجود تباين هيكلي منهجي في نماذج المحولات ذاتية الإشراف المقنعة، حيث يظهر أن الكتل المبكرة والمتوسطة تميل لامتلاك إنتروبيا أعلى (تلتقط أنماطاً متنوعة منخفضة ومتوسطة المستوى)، بينما تظهر الكتل العميقة إنتروبيا أقل (تتخصص في التجريد الدلالي).

النتائج
أسفرت التجار تجرى على VideoMAE-B (المدرب مسبقاً على Kinetics-400) والضبط الدقيق على UCF101 عن النتائج التالية:

• التباين الهيكلي (Block Heterogeneity): تؤدي إزالة كتل مختلفة من المحولات إلى نتائج متباينة تماماً في الأداء اللاحق، مما يؤكد أن الكتل ليست متساوية في الأهمية. على سبيل المثال، أدت إزالة الكتلة 1 إلى انخفاض هائل في متوسط الاستدعاء الموزون (WAR) إلى 46.73%، بينما أدت إزالة الكتلة 12 إلى تحقيق WAR بنسبة 91.29% (مقارنة بالأصل البالغ 91.78%).
• الارتباط مع الأوراكل: يتوافق ترتيب الكتل حسب إنتروبيا عدد الأوزان بقوة مع ترتيب "الأوراكل" القائم على الحساسية. فالكتل ذات الإنتروبيا الأعلى تتوافق باستمرار مع أكبر انخفاض في الأداء عند إزالتها.
• أداء التقليص: يتفوق Gardener على المعايير الأخرى الخالية من البيانات (بما في ذلك المعايير القائمة على المقدار، والتباين، والاختيار العشوائي) عبر جميع نسب التقليص. ومن المثير للاهتمام أنه حتى بعد تقليص ما يصل إلى 91.7% من الكتل، يحتفظ النموذج المقليّ بأداء نقل تنافسي (WAR قدره 68.81%)، وهو ما يطابق تقريباً نتيجة التقليص القائم على الحساسية عند نفس النسبة.
• الكفاءة: تنطوي الطريقة على عبء حوسبي ضئيل، حيث تعمل في تمريرة واحدة على المعلمات، مما يجعلها أكثر كفاءة بعدة مراتب من الطرق التكرارية القائمة على الحساسية.

الأهمية والادعاءات
تدعي الورقة أن التحليل المعلوماتي للأوزان المدربة مسبقاً يوفر مساراً مبدئياً وفعالاً لضغط النماذج ونقل التعلم الموفر للموارد. ومن خلال إثبات إمكانية تقدير أهمية الكتلة بدقة دون أي وصول للبيانات، يتحدى المؤلفون ضرورة التقليص المعتمد على البيانات أو التكراري لنماذج المحولات ذاتية الإشراف المقنعة.

يسلط العمل الضوء على وجود فائض كبير في مستوى الكتل في هذه النماذج، وأن إنتروبيا عدد الأوزان تلتقط الخصائص التمثيلية الجوهرية المتعلمة أثناء التدريب المسبق. وهذا يسمح بتحديد الكتل الزائدة من خلال قياسات بسيطة، مما يتيح التكيف السريع للنماذج. لا يضع المؤلفون Gardener كبديل مثالي لجميع سيناريوهات التقليص، بل كبديل قوي ومنخفض التكلفة يقرب من سلوك "الأوراكل" تحت قيود صارمة تتمثل في انعدام البيانات، مما يسهل نشر النماذج التأسيسية واسعة النطاق في البيئات التي تكون فيها البيانات والحوسبة محدودة.

القيود
يقر المؤلفون بأن إنتروبيا عدد الأوزان هي مقياس ثابت وعام، ولا يأخذ في الاعتبار السلوك المعتمد على المدخلات أو أنماط التنشيط الخاصة بالمهمة، مما قد يحد من القدرة على التكيف مع المهام اللاحقة المتخصصة للغاية. علاوة على ذلك، تركز الدراسة الحالية على تقليص مستوى الكتلة في نماذج المحولات الرؤيوية (ViT-based MAEs)؛ ويظل توسيع هذه المعايير لتشمل هياكل أكثر دقة (مثل رؤوس الانتباه - attention heads) سؤالاً مفتوحاً. وأخيراً، رغم أن الارتباط مع الحساسية قوي، إلا أنه ليس مضموناً بشكل كامل عبر جميع البنى أو نظم التدريب.