Attention, Please! Revisiting Attentive Probing Through the Lens of Efficiency

1. بيان المشكلة

مع تحول عمليات ما قبل التدريب واسعة النطاق إلى عمليات مكلفة حوسبياً، برزت عملية الاستقصاء (probing) (تقييم النماذج الأساسية المجمدة) كبروتوكول مفضل على الضبط الدقيق الكامل (full fine-tuning). ومع ذلك، فإن الاستقصاء الخطي (Linear Probing - LP) القياسي يعتمد على رمز تمثيل عالمي واحد (مثل [CLS]). هذا النهج لا يتوافق مع نماذج ما قبل التدريب الحديثة (مثل نمذجة الصور المقنعة Masked Image Modeling، والنماذج ذات التوليد الذاتي Autoregressive، ومحولات الانتشار Diffusion Transformers) التي تعمل على تحسين التمثيلات المحلية على مستوى الرقع (patch-level representations) بدلاً من رمز عالمي واحد.

بينما يعالج الاستقصاء الانتباهي (Attentive Probing) (باستخدام آليات الانتباه لتجميع ميزات الرقع) هذا القصور، تعاني الطرق الحالية من:

• الإفراط في المعلمات (Over-parameterization): غالباً ما تُدخل معلمات قابلة للتدريب زائدة عن الحاجة.
• عدم الكفاءة الحوسبية: تعتمد على عمليات إسقاط (projections) مكررة وبنيات معقدة.
• الافتقار إلى فهم موحد: لا يوجد معيار منهجي يقارن بين الخيارات التصميمية أو يفهم لماذا تحسن آليات انتباه معينة الأداء.

2. المنهجية: الاستقصاء الفعال (Efficient Probing - EP)

يقترح المؤلفون الاستقصاء الفعال (EP)، وهو آلية انتباه تقاطع متعددة الاستعلامات (multi-query cross-attention) خفيفة الوزن، مصممة لتعظيم المقايضة بين الدقة وكفاءة المعلمات.

البنية الأساسية

يعمل EP على مصفوفة الميزات $X$ المستخرجة من نموذج ViT أساسي مجمد. بدلاً من استخدام مصفوفات إسقاط معقدة للاستعلامات والمفاتيح، يبسط EP البنية:

1. استعلامات قابلة للتعلم: يستخدم $M$ من متجهات الاستعلام القابلة للتعلم $u_j \in \mathbb{R}^{D_i}$ (حيث $D_i$ هو بُعد ميزة المدخلات).
2. الانتباه المباشر: يتم حساب درجة الانتباه للاستعلام رقم $j$ مباشرة عبر الضرب النقطي بين الاستعلام وميزات المدخلات: $\hat{a}_j = X^\top u_j$.
3. إزالة الإسقاطات الزائدة: على عكس آلية الانتباه التقاطعي متعدد الرؤوس (MHCA) القياسية أو طرق مثل AIM، يقوم EP بإزالة مصفوفات إسقاط المفتاح ($W_K$) والاستعلام ($W_Q$). تستوعب الاستعلامات القابلة للتعلم التحويل اللازم، وتتفاعل مباشرة مع فضاء ميزات المدخلات الكامل.
4. إسقاط القيمة: يتم تطبيق مصفوفة إسقاط قيمة واحدة $W_V$ على ميزات المدخلات لتوليد متجهات القيمة $V$.
5. التجميع: المخرج النهائي هو تجميع للمجاميع الموزونة لميزات القيمة بناءً على خرائط الانتباه.

رؤى التصميم الرئيسية

• التكافؤ الرياضي: يوضح المؤلفون أنه بينما يكون إزالة $W_K$ في حالة الرأس الواحد ذا تأثير ضئيل، إلا أنه في حالات تعدد الرؤوس، يجبر الاستعلامات على التفاعل مع الفضاءات الجزئية (subspaces)، مما يسبب انخفاضاً في الأداء. يحل EP هذه المشكلة من خلال تعلم الاستعلامات في فضاء المدخلات الكامل، مما يحافظ على التكافؤ الرياضي مع MHCA المعقد ولكن بعدد معلمات أقل.
• كفاءة المعلمات: من خلال إلغاء $W_Q$ و $W_K$، يقلل EP عدد المعلمات من $O(D_a D_i)$ إلى $O(M D_i)$، حيث $M$ (عدد الاستعلامات) عادة ما يكون أصغر بكثير من بُعد الميزة.

3. المساهمات الرئيسية

1. معيار منهجي: أول دراسة شاملة لطرق الاستقصاء الانتباهي عبر نماذج ما قبل تدريب متنوعة (MIM, JEA, VLM, Generative)، وتحليل دقتها، وكفاءتها، وخيارات تصميمها.
2. الاستقصاء الفعال (EP): تقديم آلية جديدة خفيفة الوزن تحقق أداءً يضاهي أحدث ما توصل إليه العلم (SOTA) مع عدد معلمات أقل بكثير وتكلفة حوسبية (GFLOPs) أقل من طرق الاستقصاء الانتباهي الموجودة.
3. اكتشاف التكامل: يكشف البحث عن ارتباط قوي بين جودة التمركز المكاني (spatial localization quality) ودقة التصنيف. ويظهر أن استعلامات EP المتعددة تتخصص بشكل طبيعي في مناطق كائنات متميزة ومتكاملة (مثل المنقار، الذيل، الأقدام)، مما يؤدي إلى خرائط انتباه متنوعة وقابلة للتفسير.
4. التآزر مع PEFT: يوضح المؤلفون أن EP ليس زائداً عن الحاجة بالنسبة لطرق الضبط الدقيق الفعال للمعلمات (PEFT) مثل LoRA. التكوينات الهجينة (EP + LoRA) تتفوق تماماً على كل من EP الصرف و LoRA الصرف، مما يشير إلى أنهما يلتقطان معلومات متكاملة.

4. النتائج التجريبية

قيم المؤلفون EP على مجموعات بيانات ImageNet-1K، وCIFAR-100، وPlaces365، والبيانات دقيقة التفاصيل (CUB-200، Aircraft، Cars) باستخدام نماذج أساسية مجمدة من MAE، وBEiTv2، وDINOv2، وCLIP، وDiT.

• الدقة مقابل المعلمات:
  • في MAE ViT-B (ImageNet-1K)، يحقق EP دقة 75.6% (top-1) مع أقل من 1.4 مليون معلمة.
  • يتفوق هذا على الاستقصاء الخطي (LP) بنسبة +7.9% ويتجاوز الطرق الانتباهية الأخرى (مثل V-JEPA، CAE، SigLIP) التي تتطلب معلمات أكثر بكثير لتحقيق مكاسب مماثلة أو أقل.
  • نسخ EP ذات أبعاد المخرجات المخفضة (مثل $D_o = D_i/8$) تحافظ على دقة عالية مع عدد معلمات منخفض للغاية (~200 ألف)، مما يوفر انخفاضاً بمقدار 4 أضعاف مقارنة بـ LP القياسي.
• الكفاءة: يحقق EP دقة أفضل من كتلة Transformer قياسية مع 10 أضعاف أقل من الحوسبة (GFLOPs).
• الأداء الهجين: الجمع بين EP و LoRA (على جميع الطبقات) يعطي دقة 76.99% مع 850 ألف معلمة، وهو ما يتفوق تماماً على أفضل نسخة من EP الصرف (75.58%) وأفضل نسخة من LoRA الصرف (76.72%).
• التعميم: يظهر EP أداءً قوياً عبر نماذج ما قبل تدريب مختلفة، مستفيداً بشكل خاص من النماذج التي تعتمد على التمثيلات على مستوى الرقع (مثل SimMIM +13.6%، و DiT +24.3% مقارنة بـ LP).
• التمركز والتفسير:
  • تظهر خرائط انتباه EP تكاملية (تنوع) أعلى من رؤوس MHSA الداخلية أو طرق الاستقصاء الأخرى.
  • تتخصص الاستعلامات المختلفة في أجزاء دلالية مختلفة من الكائنات، مما يسمح بالتمركز غير الخاضع للإشراف للكائنات مع تحسن متوسط قدره +9.8% في MaxBoxAccV2 عن الانتباه المرجعي.

5. الأهمية

• إعادة تعريف التقييم: يتحدى EP فكرة أن الضبط الدقيق ضروري للأداء العالي، ويثبت أن الاستقصاء الانتباهي خفيف الوزن يمكن أن يسد الفجوة بين تقييم النماذج الأساسية المجمدة والضبط الدقيق الكامل.
• الكفاءة عند النطاق الواسع: من خلال تقليل عبء المعلمات والحوسبة بشكل جذري، يجعل EP التقييم الصارم للنماذج الضخمة (مثل DiT-XL) ممكناً على الأجهزة القياسية.
• آفاق بحثية جديدة: يشير اكتشاف خرائط الانتباه المتكاملة إلى أن الاستقصاء ليس مجرد أداة تقييم، بل هو آلية يمكنها تحسين التمثيلات، وتعزيز القابلية للتفسير، ومن المحتمل المساعدة في مهام مثل الكشف (detection) والتقسيم (segmentation) دون تدريب إضافي.
• التكامل مع PEFT: يفتح اكتشاف أن EP و LoRA متكاملان مساراً جديداً لاستراتيجيات التقييم والتكيف "الهجينة" التي تستفيد من كل من الحفاظ على التمثيل والتكيف الخاص بالمهمة.

باختصار، يرسخ هذا البحث الاستقصاء الفعال (EP) كمعيار جديد لتقييم نماذج الرؤية المدربة مسبقاً، حيث يقدم توازناً فائقاً بين الدقة، والقابلية للتفسير، وكفاءة الموارد مقارنة بكل من الاستقصاء الخطي والطرق الانتباهية الموجودة.