ملخص تقني: SnapViT – محولات الرؤية المرنة من النماذج المدربة مسبقاً دون إعادة تدريب

بيان المشكلة

حققت نماذج التأسيس للرؤية (Vision foundation models) أداءً فائقاً في مهام متنوعة، ولكنها عادة ما تُصدر بمجموعة محدودة من الأحجام المحددة مسبقاً (على سبيل المثال، عدد معاملات معين لعائلات DINOv3 أو DeIT). هذا الجمود يجبر الممارسين على اتخاذ خيارات نشر غير مثالية عند مواجهة قيود حقيقية على الحوسبة، وزمن الاستجابة (latency)، والتكلفة. تواجه الحلول الحالية لمرونة النماذج قيوداً كبيرة:

• تقطير المعرفة (Knowledge Distillation): يتطلب بنية مستهدفة محددة مسبقاً وغالباً ما يعتمد على مجموعات بيانات تدريب مسبق غير عامة، مما يقوض المتانة.
• الاستدلال المرن (Elastic Inference): تتطلب الأساليب مثل تمثيلات Matryoshka أو الشبكات القابلة للتصغير (Slimmable Networks) تصميم النماذج بهياكل متداخلة محددة أثناء التدريب المسبق، مما يجعلها غير قابلة للتطبيق على النماذج الجاهزة والمتوفرة حالياً.
• التقليم المهيكل (Structured Pruning): رغم فعاليته في تقليل الذاكرة والحوسبة، إلا أن معظم تقنيات التقليم الحالية مصممة لمهام أو قيود معينة وتتطلب عادةً إعادة تدريب، مما يترك فجوة للنماذج القابلة للتكيف عالمياً والتي لا تحتاج إلى بيانات مصنفة أو رأس تصنيف (classification head).

المنهجية: SnapViT

يقترح المؤلفون SnapViT (تقريب الشبكة أحادي الخطوة لتقليم محولات الرؤية)، وهو طريقة تقليم مهيكل لما بعد التدريب المسبق تولد سلسلة متصلة من الشبكات الفرعية المرنة من نموذج واحد مدرب مسبقاً دون الحاجة لإعادة التدريب أو بيانات مصنفة. جوهر الطريقة هو درجة قابلية التقليم ($P$) التي ترتب المعاملات المراد إزالتها بناءً على مكونين:

1. تقريب هسيان المحلي (التدرجات ذاتية الإشراف)

لالتقاط حساسية المعاملات المحلية دون الحاجة لرأس تصنيف، تقرب الطريقة القطر لـ مصفوفة هسيان باستخدام تدرجات ذاتية الإشراف. تحديداً، تستخدم منهجية DINO لحساب التدرجات عبر مجموعة من الصور. يتم تقدير الانحناء المحلي $H^{(l)}$ كمتوسط مربع معيار التدرجات:
$$H^{(l)} \approx \frac{1}{N_D} \sum_{i=1}^{N_D} \|\nabla_\theta L_i\|^2$$
يوفر هذا مقياساً أساسياً لمدى أهمية كل معامل ضمن كتلها المحددة (مثل عصبونات التغذية الأمامية أو رؤوس الانتباه).

2. تقدير هسيان العالمي (الخوارزمية التطورية)

لمعالجة قصور تجاهل الاعتمادات المتبادلة بين الكتل (عناصر هسيان غير القطرية)، تقدم SnapViT تقريباً مبتكراً باستخدام استراتيجية التطور الطبيعي الأسية (xNES).

• بدلاً من حساب مصفوفة هسيان كاملة غير قابلة للحل رياضياً بشكل صريح، تتعلم xNES مجموعة من عوامل القياس المعتمدة على الهيكل ($c$) التي تعيد وزن الحساسيات المحلية.
• تقوم الخوارزمية بتحسين توزيع غاوسي متعدد المتغيرات فوق عوامل القياس هذه. دالة اللياقة (fitness function) هي خالية من التصنيفات (label-free)، حيث تقيس تشابه جيب التمام (cosine similarity) بين تضمينات النموذج الأصلي والنموذج المقلم (بعد ضغط PCA).
• من خلال تحديثات التدرج الطبيعي، يتطور مصفوف التباين ($\Sigma$) للاستراتيجية التطورية ليقرب معكوس مصفوفة هسيان الحقيقية بين الكتل ($H^{(g)} \approx \alpha \Sigma^{-1}$). وهذا يسمح للطريقة بتحديد الكتل التي يمكن تقليمها معاً دون تدهور جودة التمثيل.

3. درجة قابلية التقليم الموحدة وتوليد المرونة

درجة قابلية التقليم النهائية هي حاصل الضرب العنصري لـ الحساسية المحلية وعوامل القياس العالمية:
$$P = \text{diag}(H^{(l)}) \odot (M c)$$
حيث $M$ هي مصفوفة العضوية التي توسع العوامل على مستوى الكتلة لتشمل المعاملات الفردية.

• التوليد أحادي الخطوة (Single-Shot Generation): بمجرد حساب $P$، يتم ترتيب جميع المعاملات عالمياً. هذا الترتيب الواحد يسمح باستخراج الشبكات الفرعية لأي مستوى كثافة مطلوب ($S \in [0, 1]$) دون مزيد من التحسين.
• النطاق: تقوم الطريقة بتقليم تركيبات الصف-العمود داخل كتل التغذية الأمامية ورؤوس الانتباه بالكامل.

المساهمات الرئيسية

1. استراتيجية التقليم المرنة: استراتيجية تقليم فعالة وسريعة لمحولات الرؤية المدربة مسبقاً تنتج نماذج مرنة قابلة للتكيف مع أي قيود حوسبية دون إعادة تدريب.
2. تقريب هسيان تطوري: استراتيجية مبتكرة باستخدام خوارزمية جينية (xNES) لتقريب المكونات غير القطرية لهسيان الشبكة، مما يلتقط الارتباطات عبر الكتل التي تغفلها التقريبات القطرية التقليدية.
3. الأداء المستقل عن التصنيف والعناوين: تحقق الطريقة أداءً يضاهي أو يتفوق على أحدث الأساليب تحت تقليم كبير دون الحاجة لبيانات مصنفة أو رأس تصنيف، وتعمم عبر النماذج الموجهة (supervised) وذاتية الإشراف (self-supervised).

النتائج التجريبية

قيم المؤلفون SnapViT على ثماني مجموعات بيانات (بما في ذلك ImageNet-1k وPascal VOC ومقارنات أخرى دقيقة) باستخدام تصنيف أقرب جار (k-NN)، والاختبار الخطي (linear probing)، والتقطيع الدلالي الخطي (linear semantic segmentation).

• الأداء مقابل SOTA: تضاهي SnapViT باستمرار أو تتفوق على أحدث الأساليب (مثل LAMP، وLLM Surgeon، وFPTP، وSparseGPT، وSNIP Magnitude، وNViT) عبر مستويات تقليم مختلفة.
  • بالنسبة لـ DINOv1 ViT-B/16، تقوم الطريقة بالتقليم حتى كثافة 40% مع أقل من 5% تدهور في الدقة، محققة تسريعاً في الاستدلال بمقدار 1.58 ضعف.
  • عند كثافة 50% في نماذج AugReg الموجهة، تتفوق على SNIP بنسبة 7% وعلى FPTP بنسبة 12.3% في التصنيف الخطي.
  • بالنسبة لـ SigLIPv2 و DINOv3 (نماذج تأسيسية واسعة النطاق)، تتفوق الطريقة بشكل كبير على النماذج المرجعية، مع تحسينات تصل إلى 34.3% في التصنيف الخطي مقارنة بثاني أفضل الطرق.
• الكفاءة: تستغرق عملية التقليم الكاملة لعائلة نموذج (مثل DeIT-III) أقل من خمس دقائق على وحدة معالجة رسومية واحدة من نوع A100.
• ما بعد المعالجة: الطريقة متوافقة مع تصحيح أوزان ما بعد التقليم (على طراز SparseGPT) والضبط الدقيق الكامل. مع خطوة واحدة لتصحيح الأوزان، يتم الحفاظ إلى حد كبير على الأداء عند الكثافة القصوى (مثل 50% على SigLIPv2).
• القابلية للتوسع: بينما يجعل التدريب المسبق واسع النطاق (مثل DINOv3، SigLIPv2) التقليم أكثر صعوبة بسبب المعرفة التمثيلية الموزعة، تظل SnapViT فعالة، خاصة عند دمجها مع تصحيح الأوزان أو آفاق تحسين أطول (500 دورة xNES).

الأهمية والادعاءات

تدعي الورقة أن SnapViT تسد الفجوة بين جمود عمليات نشر نماذج التأسيس الحالية والحاجة إلى استدلال مرن ومتكيف مع الموارد. من خلال تمكين استخراج سلسلة متصلة من الشبكات الفرعية من نموذج واحد مدرب مسبقاً في خطوة واحدة، تسمح للمستخدمين بتكييف أحدث النماذج بدقة مع ميزانياتهم الحوسبية المحددة.

يؤكد المؤلفون أن نهجهم:

• يلغي الحاجة لإعادة التدريب، مما يوفر موارد حوسبية ووقتًا كبيرين.
• يزيل الاعتماد على البيانات المصنفة، مما يجعله قابلاً للتطبيق على نماذج التأسيس ذاتية الإشراف التي تفتقر إلى رؤوس تصنيف.
• يلتقط الارتباطات الهيكلية العالمية عبر التقريب التطوري، متجاوزاً قيود مقاييس التقليم المحلية فقط.
• يقلل الأثر البيئي من خلال خفض متطلبات الحوسبة واستهلاك الطاقة لمحولات الرؤية، مما قد يقلل من انبعاثات ثاني أكسيد الكربون الناتجة عن الاستدلال.

يُقدم العمل كحل عملي لنشر نماذج الرؤية واسعة النطاق في بيئات مقيدة مع الحفاظ على أداء عالٍ عبر مختلف المهام اللاحقة.