Vision Transformers Need Better Token Interaction

ملخص تقني: نماذج المحولات الرؤيوية (Vision Transformers) تحتاج إلى تفاعل أفضل بين الرموز (Tokens)

بيان المشكلة
تُعرف نماذج المحولات الرؤيوية (ViTs) بقدرتها على تعلم تمثيلات قوية على مستوى الصورة، ومع ذلك، غالبًا ما تتدهور تمثيلات مستوى الرقعة (patch-level) أثناء التدريب الطويل، مما يجعلها أقل فعالية لمهام التنبؤ الكثيف (dense prediction) مثل التجزئة الدلالية (semantic segmentation) وتقدير العمق (depth estimation). وبينما عزت الأبحاث السابقة هذا "التدهور الكثيف" إلى عيوب ناتجة عن القيم العالية للنمط (high-norm artifacts) أو الرموز الشاذة (outlier tokens)، يجادل هذا البحث بأن هذه العيات هي أعراض وليست السبب الجذري. حدد المؤلفون المشكلة الأساسية في الانتشار الدلالي (semantic diffusion): وهو اختصار في عملية التحسين (optimization shortcut) حيث تنتشر المعلومات الدلالية العالمية عبر رموز الرقع بشكل عشوائي بما يتجاوز ما هو مبرر محليًا. تسمح هذه الظاهرة للنموذج بتحسين التعرف العالمي من خلال استغلال التفاعلات غير المقيدة بين الرموز، ولكن على حساب تدهور البنية المكانية المطلوبة للمهام الكثيفة.

المنهجية
يرى المؤلفون أن الحل لا يكمن في إلغاء السياق العالمي أو قمع رموز الخلفية تمامًا، بل في جعل التفاعل بين الرموز أكثر انتقائية. وقد قدموا الانتباه المتفرق (sparse attention) كتدخل بسيط لتعديل هندسة الانتباه.

• الآلية: يتم استبدال آلية انتباه "softmax" القياسية بـ entmax-1.5. وخلافًا لـ softmax، التي تنتج توزيعات احتمالية كثيفة، فإن entmax-1.5 هي خريطة احتمالية متفرقة يمكنها تخصي التوزيـعات الصفرية الدقيقة للتفاعلات ذات الفائدة المنخفضة.
• التنفيذ: تحافظ هذه الطريقة على الاتصال العالمي للرموز (على عكس انتباه النافذة المحلية) ولا تضيف أي معاملات إضافية، أو رموز سجل (register tokens)، أو فروع معالجة منفصلة (على عكس أساليب التخصص أو الأساليب القائمة على السجلات).
• الفرضية: من خلال تشجيع توزيعات الانتباه المتفرقة، يُجبر النموذج على أن يكون أكثر انتقائية في خلط الرموز. هذا يقلل من "اختصار التحسين" المتمثل في الانتشار الدلالي، مما يمنع رقع الخلفية غير ذات الصلة دلاليًا من تخفيف البنية المحلية لرقع المقدمة، مع الحفاظ على القدرة على التقاط الدلالات العالمية.

المساهمات الرئيسية

1. إعادة صياغة التدهور الكثيف: يصف البحث التدهور الكثيف ليس مجرد مشكلة عيوب، بل كنتيجة لـ الانتشار الدلالي، وهو اختصار في التحسين حيث تنتشر الدلالات العالمية في رموز الرقع بطريقة غير متسقة محليًا.
2. تحليل أدوار الرموز: من خلال تحليل "النقطة داخل الصندوق" (Point-in-Box - PiB) والاستقصاء على مستوى الطبقات، يوضح المؤلفون أنه بينما تحافظ الطبقات الضحلة على محاذاة مكانية أفضل (PiB أعلى)، فإنها تفتقر إلى الثراء الدلالي الموجود في الطبقات الأعمق. والأهم من ذلك، أظهروا أن رمز [CLS] يحتفظ بمعلومات عالمية مكملة، والتي عند دمجها مع ميزات الرقع، تساعد بشكل كبير في التنبؤ الكثيف، مما يشير إلى وجوب الحفاظ على السياق العالمي ولكن مع إدارته بشكل أفضل.
3. التدخل الأدنى: يقدم البحث تغييرًا هيكليًا بسيطًا — استبدال softmax بـ entmax-1.5 — والذي يعمل كتحيز تمثيلي نحو التفاعل الانتقائي بين الرموز دون الحاجة إلى إشراف إضافي، أو نماذج معلمة، أو تعديلات هيكلية معقدة.

النتائج التجريبية
تم تقييم الطريقة على نماذج DINOv1 ViT-S/16 المدربة لمدة 200 حقبة (epoch) على مجموعة بيانات ImageNet-1K. وتشير النتالئج إلى أن الانتباه المتفرق يحسن التمثيلات الكثيفة دون التضحي بالتعرف العالمي:

• التعرف على مستوى الصورة: حقق متغير Entmax-1.5 دقة Top-1 بلغت 70.06% في اختبار الاستقصاء الخطي لـ ImageNet، متفوقًا قليلاً على خط الأساس CLS (69.50%) وعلى متغيرات أخرى مثل Register-4 وSpecialization.
• التجزئة الدلالية: لوحظت أكبر المكاسب هنا. مقارنة بخط أساس CLS، حقق Entmax-1.5 تحسنًا في:
  • mIoU لمجموعة VOC: من 42.80 إلى 48.78 (+5.98).
  • mIoU لمجموعة ADE20K: من 19.85 إلى 21.97 (+2.12).
  • mIoU لمجموعة Cityscapes: من 36.79 إلى 37.87 (+1.08).
  • لقد تفوق على كل من Register-4 وتخصصات CLS/patch في جميع اختبارات التجزئة الثلاثة.
• تقدير العمق: كانت التحسينات معتدلة ولكنها ثابتة عبر اختبارات NYUv2 وSUN RGB-D وKITTI (تقليل RMSE بمقدار 0.004–0.005). ويشير المؤلفون إلى أن بروتوكول استقصاء العمق الأساسي يقوم بالفعل بدمج ميزات [CLS] والرقع، مما قد يعوض جزئيًا عن الانتشار الدلالي، مما يجعل تحقيق المكاسب أصعب.
• التحليل النوعي: أظهرت تصورات PCA لميزات الرقع أن Entmax-1.5 ينتج خرائط ميزات أكثر نقاءً وتماسكًا مكانيًا مع فصل أفضل بين مناطق المقدمة والخلفية مقارنة بالنماذج المرجعية.

الأهمية والادعاءات
يزعم البحث أن الخلط الانتقائي للرموز هو تحيز بسيط وفعال لتحسين التمثيلات الكثيفة لـ ViT. تكمن الأهمية في إثبات أن الهدف من التنبؤ الكثيف ليس إزالة السياق العالمي، بل صقل كيفية تفاعل الرموز معه. ومن خلال استبدال softmax بـ entmax-1.5، يوضح المؤلفون أن تعديلًا خفيفًا على تطبيع الانتباه يمكن أن يخفف من الانتشار الدلالي، مما يؤدي إلى تحسينات جوهرية في التجزئة الدلالية مع الحفاظ على (أو حتى تحسين) التعرف على مستوى الصورة.

يظل المؤلفون متواضعين بشأن ادعاءاتهم، مشيرين إلى أن هذه الدراسة تقتصر على DINOv1 ViT-S/16 ولم تقم بعد بتقييم نماذج أكبر أو جداول تدريب مسبق أطول. وهم يضعون الانتباه المتفرق ليس كبنية نهائية حاسمة، بل كدليل يدعم المبدأ الأوسع المتمثل في أن جعل التفاعلات بين الرموز أكثر انتقائية هو مسار قابل للتطبيق لحل مشكلة التدهور الكثيف.