ملخص تقني: النمذجة البصرية العالمية ذات الزمن الخطي بدون انتباه صريح

بيان المشكلة

يعزو النموذج السائد في الرؤية الحاسوبية قدرات نمذجة التسلسل العالمية لشبكات "ترانسفورمر" (Transformers) إلى الحساب الصريح لأوزان الانتباه. تتضمن هذه العملية حساب التشابه بين الأزواج من الرموز (tokens) لتشكيل مصفوفة انتباه بمقاس $N \times N$، والتي تُستخدم بعد ذلك لإعادة دمج تمثيلات القيم. ورغم فعالية هذه الآلية، إلا أنها تنطوي بطبيعتها على تعقيد حسابي تربيعي ($O(N^2)$) بالنسبة لطول التسلسل، مما يخلق عنق زجاجة للمدخلات عالية الدقة والتسلسلات الطويلة. وتركز تحسينات الكفاءة الموجودة إلى حد كبير على تقريب أو تخلخل مصفوفة الانتباه الصريحة هذه، مع البقاء مقيدة بنموذج إعادة التوزين الصريح للميزات.

المنهجية

إعادة صياغة نظرية: الانتباه كـ MLP ديناميكي

يقترح المؤلفون منظوراً جديداً: يمكن إعادة صياغة الانتباه رياضياً ليس كعملية تجميع موزون صريح، بل كـ طبقة متعددة الطبقات (MLP) ذات معاملات متوقعة ديناميكياً.

• الآلية: في الانتباه القياسي، تكون المخرجات للطلب $q_i$ هي $o_i = \text{Softmax}(\frac{q_i K^\top}{\sqrt{d}})V$. يفسر المؤلفون $K^\top$ و $V$ ليس كأوزان ثابتة، بل كمعاملات ديناميكية يتم توليدها من المدخل $X$ (أي $K=XW_K, V=XW_V$).
• الاستنتاج: تظهر النمذجة العالمية بشكل ضمني؛ حيث يتم ضغط المدخل $X$ إلى مجموعة من المعاملات الديناميكية $W = G(X)$، والتي تعمل كتمثيل مدمج للسياق العالمي. إن تمرير المدخل عبر شبكة ذات معاملات ديناميكية يدمج التبعيات طويلة المدى دون الحاجة أبداً لحساب أو تطبيق مصفوفة $N \times N$ صريحة.
• رؤية التعقيد: ينشأ التعقيد التربيعي للانتباه القياسي لأن العرض الفعال لهذه الـ "MLP الديناميكية" يتناسب مع عدد الرموز $N$ (بما أن $K^\top \in \mathbb{R}^{d \times N}$). ومن خلال فصل توليد المعاملات عن طول التسلسل، يمكن تحقيق نمذجة عالمية بتعقيد خطي.

بنية WeightFormer

للتحقق من هذه الفرضية، قدم المؤلفون WeightFormer، وهي بنية رؤية تستبدل الانتباه الصريح بالمعلمة الديناميكية مع الحفاظ على تعقيد خطي ($O(N)$).

• التوزيع المتفرق (Sparse Distribution): بدلاً من تطبيق الطبقات الديناميكية على كل كتلة (مما يسبب عبئاً عالياً)، يقوم WeightFormer بإدراج كتل ديناميكية بشكل متفرق (تحديداً كل ثالث كتلة)، مع إبقاء البقية ثابتة لتحقيق التوازن بين الأداء والكفاءة.
• الطبقات الخطية الديناميكية: يتم استبدال الطبقة الخطية الأولى في الـ MLP بطبقة ديناميكية باستخدام التنشيط الثنائي (Bilateral Activation). تسم الله استراتيجية تفكيك التنبؤ بالوزن إلى فرعين غير خطيين يعملان على المدخل $X$ ومدرجه $X^\top$:
  $$\Delta W(X) = W_1 \sigma(W_2 X^\top) \sigma(X W_3) W_4$$
  يسمح هذا للنموذج بالتقاط التفاعلات الميزية من الدرجة العالية والسياق العالمي دون توجيه صريح من رمز إلى آخر.
• الالتفافات العميقة الديناميكية (DWC): لاستبدال الخلط المكاني للانتباه، يستخدم المؤلفون التفافات عميقة ديناميكية. يعتمدون على التنبؤ المتكيف مكانياً، حيث يتم خفض عينة المدخل عبر التجميع المتوسط المتكيف (AAP) إلى دقة ثابتة $K \times K$ (مطابقة لحجم النواة) قبل التنبؤ بأوزان النواة. يحافظ هذا على البنية المكانية مع ضمان استقلال عملية توليد المعاملات عن دقة المدخلات.

المساهمات الرئيسية

1. إعادة الصياغة الرياضية: تقدم الورقة تفسيراً نظرياً جديداً لقوة النمذجة العالمية للانتباه، حيث تفترض أنه MLP ديناميكي بمعاملات مشروطة بالمدخلات بدلاً من التجميع الصريح بين الرموز.
2. إثبات الجدوى: تثبت الورقة أن أوزان الانتباه الصريحة ليست ضرورية للنمذجة العالمية للتسلسلات. ويوضح المؤلفون أن المعلمة الديناميكية يمكن أن تحل محل الانتباه تماماً لتحقيق أداء بمستوى "الترانسفورمر" بتعقيد خطي.
3. بنية WeightFormer: تقديم بنية نموذجية تستكشف بشكل منهجي استراتيجيات المعلمة الديناميكية (التنشيط الثنائي للطبقات الخطية والتنبؤ المتكيف مكانياً للالتفافات العميقة) ضمن إطار عمل يشبه الـ CNN القياسي.

النتائج التجريبية

أجرى المؤلفون تجارب واسعة النطاق على ImageNet-1K و COCO و ADE20K وتوليد الصور المشروط بالفئة.

• تصنيف الصور (ImageNet-1K): يحقق WeightFormer دقة تنافسية أو متفوقة مقارنة بالنماذج المرجعية القوية (DeiT, PVT, ConvNeXt) بتكاليف حسابية مماثلة أو أقل.
  • يحقق WeightFormer-S دقة 81.3% (Top-1) متفوقاً على DeiT-S (79.8%) و ConvNeXt-S (79.7%) مع استخدام موارد مماثلة.
  • يحقق WeightFormer-T دقة 76.3% مع إنتاجية أعلى بكثير (3515 صورة/ثانية) مقارنة بـ DeiT-T (3661 صورة/ثانية) ولكن مع عدد أقل بكثير من العمليات الحسابية (FLOPs) عند الدقات العالية.
• الكفاءة والقابلية للتوسع: بفضل تعقيده الخطي، يتوسع WeightFormer بكفاءة نحو الدقات العالية. عند دقة 1248×1248، يحقق إنتاجية أعلى بـ 7.7 مرة و تقليلاً في الذاكرة بنسبة 91% مقارنة بـ DeiT.
• المهام اللاحقة:
  • كشف الأشياء (COCO): يحسن WeightFormer-T من قيم box/mask AP مقارنة بـ DeiT-T (45.0/38.3 مقابل 44.4/38.1) مع تقليل FLOPs العمود الفقي من 106G إلى 77G.
  • التجزئة الدلالية (ADE20K): يحقق WeightFormer-S قيمة 45.6 mIoU، متجاوزاً DeiT-S (44.0 mIoU) مع تقليل FLOPs العمود الفقي.
  • توليد الصور: في توليد الصور المشروط بالفئة، تحقق متغيرات WeightFormer باستمرار درجات FID أقل من نماذج DiT و DiG المماثلة، مما يشير إلى جودة عينات محسنة.
• دراسات الاستئصال (Ablation Studies): تكشف التجارب حول تكرار الكتل الديناميكية أن التوزيع المتفرق (كتلة ديناميكية واحدة كل ثلاث كتل) يقدم أفضل مقايضة، حيث يؤدي استبدال الكثير من الطبقات الثابتة إلى ضعف الملاءمة (underfitting) وتحديات في التحسين.

الأهمية والادعاءات

تدعي الورقة أن المعلمة الديناميكية هي بديل أكثر كفاءة بشكل جوهري للانتباه الصريح للنمذجة العالمية للتسلسلات. ومن خلال نقل التركيز من تجميع الأوزان الصريح إلى توليد المعاملات الضمني، يفتح المؤلفون مجال تصميم جديد للبنيات الفعالة التي لا تعتمد على الاختناق التربيعي لشبكات "الترانسفورمر".

يحافظ المؤلفون على نبرة متواضعة فيما يتعلق بنطاق عملهم:

• التقييم حالياً يقتصر على مهام الرؤية، وظل التعميم إلى مجالات أخرى (مثل معالجة اللغات الطبيعية NLP) سؤالاً مفتوحاً.
• الفهم النظري لقدرة التعبير والانحيازات الاستقرائية للمعلمة الديناميكية لم يكتمل بعد.
• يمثل تحسين هذه المعاملات المشروطة بالمدخلات تحديات تتعلق بتدفق التدرج واستقرار التدريب.

في النهاية، يعد هذا العمل بمثابة إثبات لمفهوم (Proof-of-concept) أن النمذجة العالمية يمكن فصلها عن التعقيد التربيعي، مما يحفز المزيد من الاستكشاف للمعلمة الديناميكية كبديل قابل للتطبيق لبنيات تعتمد على الانتباه.