ملخص تقني: تحفيز الموضعية المكانية في نماذج "رؤية المحولات" (Vision Transformers) من خلال بروتوكول التدريب

بيان المشكلة

حققت نماذج "رؤية المحولات" (ViTs) أداءً تنافسيًا في تصنيف الصور، لكنها تختلف جوهريًا عن الشبكات العصبية الالتفافية (CNNs) في انحيازاتها الاستقرائية. فبينما تدمج الشبكات الالتفافية صراحةً الموضعية المكانية من خلال العمليات الالتفافية ومجالات الاستقبال المحدودة، تستخدم نماذج ViTs آلية الانتباه الذاتي العالمي (Global Self-Attention)، مما يسمح لكل رمز (Token) بالانتباه إلى كل الرموز الأخرى دون قيود مكانية. ورغم أن هذه المرونة تمكن النموذج من التقاط الاعتمادات طويلة المدى، إلا أنها تتطلب من النموذج تعلم كيفية الانتباه محليًا إذا كان هذا السلوك مفيدًا للمهمة.

أظهر عمل سابق لـ Raghu وآخرون [12] أن الموضعية في الطبقات الأولى من نماذج ViT تظهر بشكل أساسي من خلال التدريب المسبق واسع النطاق (مثل JFT-300M) أو عندما تكون سعة النموذج منخفضة بالنسبة لحجم البيانات. ومع ذلك، لا يزال من غير الواضح ما إذا كان بروتوكول التدريب نفسه — وتحديدًا تقنيات التعزيز (Augmentation) والتنظيم (Regularization) المطبقة أثناء التدريب من الصفر — يمكن أن يحفز الموضعية المكانية في مجموعات البيانات متوسطة الحجم (50,000 - 100,000 صورة) دون الحاجة إلى تدريب مسبق ضخم.

المنهجية

صمم المؤلفون تجربة منضبطة لعزل آثار بروتوكولات التدريب على بنية الانتباه الداخلية لنماذج ViT.

الإعداد التجريبي

• البنية المعمارية: نموذج ViT مدمج (العمق $L=8$، التضمين $D=192$، 8 رؤوس، $\approx$2.4 مليون معلمة) تم تدريبه من الصفر. تم ضبط الإسقاط الداخلي (Internal Dropout) عند 0.0 لضمان أن أي آثار ملحوظة تعزى حصريًا إلى بروتوكول التدريب وليس إلى التنظيم العشوائي داخل الشبكة.
• مجموعات البيانات: استُخدمت ثلاث مجموعات بيانات متزايدة التعقيد: CIFAR-10، وCIFAR-100، وTiny-ImageNet. ولضمان قابلية مقارنة المقاييس المكانية، تمت معالجة جميع الصور إلى $N_p=64$ من الرقع (شبكة $8 \times 8$).
• البروتوكولات:
  • الأساسي (Baseline): تعزيز أدنى (القص العشوائي، القلب الأفقي العشوائي) وفقدان "الاعتراض المتقاطع" (CrossEntropy) القياسي.
  • الحديث (Modern): يتضمن ثلاثة مكونات معيارية في تدريب المحولات الفعالة: AutoAugment (أو ColorJitter لـ Tiny-ImageNet)، وCutMix، وLabel Smoothing.
• المقاييس: توصّف الدراسة أنماط الانتباه باستخدام مقياسين لكل رأس:
  1. متوسط مسافة الانتباه (MAD): يقيس متوسط المسافة المكانية للرموز التي يتم الانتباه إليها. القيم الأقل تشير إلى انتباه محلي.
  2. إنتروبيا الانتباه الموحدة (Normalized Attention Entropy): تقيس مدى تركيز توزيع الانتباه. القيم الأقل تشير إلى انتباه مركز على عدد قليل من الرموز.

دراسة الاستئصال (Ablation Study)

لتحديد المحرك المحدد للموضعية، أُجريت دراسة استئصال منهجية على CIFAR-100. تضمن ذلك:

1. إزالة مكونات فردية من البروتوكول الحديث.
2. إضافة مكونات فردية إلى البروتوكول الأساسي.
   غطى هذا التصميم جميع التوليفات الثمانية الممكنة للمكونات الثلاثة (AutoAugment، CutMix، Label Smoothing).

النتائج الرئيسية

1. مقارنة البروتوكولات

عبر جميع مجموعات البيانات الثلاث، أنتج البروتوكول الحديث باستمرار انتباهاً أكثر محلية وتركيزاً في الطبقات الأولى مقارنة بالبروتوكول الأساسي.

• CIFAR-100: كان التأثير أكثر وضوحًا؛ حيث انخفض الحد الأدنى لـ MAD من 0.316 (الأساسي) إلى 0.008 (الحديث).
• الفضاء السلوكي: في فضاء (MAD-Entropy)، أظهر البروتوكول الأساسي توزيعًا موحدًا للرؤوس في منطقة المسافة العالية والإنتروبيا العالية (انتباه عالمي ومنتشر). أما البروتوكول الحديث فقد حفز مسارًا انتقلت فيه الطبقات الأولى نحو منطقة المسافة المنخفضة والإنتروبيا المنخفضة (انتباه محلي ومركز)، محاكيًا بذلك البنية الهرمية للشبكات الالتفافية (CNNs) قبل أن يستقر على الانتباه العالمي في الطبقات الأعمق.

2. نتائج الاستئصال

حددت دراسة الاستئصال أن CutMix هو العامل الوحيد المحدد لظهور الموضعية المكانية.

• الفصل الثنائي: أظهرت جميع الظروف التي تحتوي على CutMix (الحديث، $-$AutoAugment، $-$Label Smoothing، $+$CutMix) حدًا أدنى لـ MAD $\le 0.024$. وفي المقابل، ظلت جميع الظروف التي تفتقر إلى CutMix (الأساسي، $-$CutMix، $+$AutoAugment، $+$Label Smoothing) عند MAD $\ge 0.210$.
• استقلالية المكونات الأخرى: لم يظهر AutoAugment وLabel Smoothing أي تأثير مستقل على الموضعية. فإضافة AutoAugment أو Label Smoothing بمفردهما إلى البروتوكول الأساسي أدى إلى قيم MAD مطابقة تقريبًا للبروتوكول الأساسي.
• الدقة مقابل الموضعية: حسّن كل من CutMix وAutoAugment دقة الاختبار بنسب متقاربة عن البروتوكول الأساسي ($\approx$6–7 نقاط مئوية). ومع ذلك، فإن CutMix وحده هو الذي غيّر هندسة الانتباه لتحفيز الموضعية.

الأهمية والادعاءات

يزعم البحث أنه أثبت أن بروتوكولات التدريب يمكنها تحفيز الموضعية المكانية في نماذج رؤية المحولات (ViTs) المدربة من الصفر على مجموعات بيانات متوسطة الحجم، مما يتحدى فكرة أن هذا السلوك يتطلب تدريبًا مسبقًا واسع النطًا أو قيودًا معمارية محددة.

• الآلية: يفترض المؤلفون أن CutMix يحفز الموضعية من خلال إجبار النموذج على التصنيف بشكل صحيح باستخدام مناطق جزئية فقط من الصورة. هذا الضغط يحفز الطبقات الأولى على استخراج معلومات تمييزية من الجوار المحلي، مما يخلق فعليًا انحيازًا استقرائيًا مشابهًا للشبكات الالتفافية.
• التمييز عن الأعمال السابقة: بينما أثبت Raghu وآخرون [12] أن حجم البيانات عامل حاسم للموضعية، يحدد هذا العمل الضغط لتصنيف المناطق الجزئية (عبر CutMix) كعامل بديل وكافٍ.
• الرؤية الهيكلية: تسلط الدراسة الضوء على أن التحسينات في دقة التصنيف لا ترتبط بالضرورة بالتغيرات في بنية الانتباه الداخلية. فتقنيات مثل AutoAugment وCutMix يمكن أن تحقق مكاسب دقة مماثلة ولكن عبر آليات داخلية مختلفة جذريًا (زيادة تنوع المدخلات مقابل تحفيز استخراج الميزات المحلية).

القيود

يقر المؤلفون بعدة قيود:

• أُجريت التجارب على بنية واحدة مدمجة؛ ويتطلب تعميم النتوات على نماذج أكبر (مثل ViT-B، ViT-L) المزيد من التحقق.
• استخدمت الدراسة بذرة تهيئة (initialization seed) واحدة.
• أُجريت دراسة الاستئصال حصريًا على CIFAR-100.
• لم يتم تحليل الديناميكيات الزمنية لظهور الموضعية أثناء التدريب.

تشمل الأعمال المستقبلية المقترحة التحقق عبر بذور متعددة، والتكرار على مجموعات بيانات أخرى، والتوسع في بنيات معمارية أكبر، والتحليل الزمني لظهور الموضعية.