ملخص تقني: ترميز الموضع البارابولي (PaPE)

بيان المشكلة

أصبحت نماذج المحولات الرؤيوية (Vision Transformers - ViTs) مهيمنة في مجال الرؤية الحاسوبية، ومع ذلك، غالبًا ما يتم تكييف ترميزات الموضع الخاصة بها من بنيات معالجة اللغات الطبيعية (NLP). وبينما تعد اللغة بطبيعتها أحادية البعد وغير مبالية بالاتجاه الهندسي، فإن الوسائط الرؤيوية (الصور، الفيديوهات، تدفقات الأحداث، السحب النقطية) تمتلك خصائص مكانية متميزة. غالبًا ما تفشل التكييفات الحالية لترميزات الموضع مع الهياكل الرؤيوية متعددة الأبعاد في مراعاة هذه الخصائص بشكل كامل، مثل الثبات تجاه الإزاحة (translation invariance)، والثبات تجاه الدوران (rotation invariance)، وتلاشي المسافة (distance decay)، والاتجاهية (directionality)، والوعي بالسياق (context awareness). علاوة على ذلك، تعاني العديد من الطرق الحالية في الاستقراء (extrapolation) بفعالية نحو دقات وضوح أعلى بكثير مما تم استخدامه أثناء التدريب، مما يحد من متانتها وقابليتها للتطبيق في سيناريوهات تعدد الدقة.

المنهجية: ترميز الموضع البارابولي (PaPE)

يقترح المؤلفون ترميز الموضع البارابولي (PaPE)، وهو ترميز موضع مصمم خصيصًا للوسائط الرؤيوية بناءً على خمسة مبادئ تصميمية مستخلصة:

1. الثبات تجاه الإزاحة (Translation Invariance): يعتمد الترميز على الموضع النسبي بين الرموز (tokens)، وليس على إحداثياتها المطلقة.
2. الثبات تجاه الدوران (PaPE-RI): حالة خاصة من الترميز حيث يظل الترميز دون تغيير تحت الدوران (رغم أن هذا يأتي على حساب الاتجاهية).
3. تلاشي المسافة (Distance Decay): تضعف قوة الانتباه كلما زادت المسافة بين الرموز.
4. الاتجاهية (Directionality): يأخذ الترميز في الاعتبار الاتجاه المحدد بين الرموز (مثل أعلى، أسفل، قطري)، وهو أمر بالغ الأهمية للرؤية ولكنه أقل أهمية للغة أحادية البعد.
5. الوعي بالسياق (Context Awareness): يتم تعديل قوة تلاشي المسافة والاتجاهية بواسطة محتوى الرموز نفسها، مما يسمح للنموذج بالتكيف مع التفاعلات المحلية مقابل طويلة المدى.

الصيغة الرياضية

يعمل PaPE على نمذجة الموضع النسبي $\Delta r_{ij} = W_p(r_j - r_i)$ كمتغير تابع في مجموع من $m$ من المنحنيات المكافئة (parabolas) القابلة للتعلم. يتم تفكيك درجة الانتباه $S_{ij}$ إلى ثلاثة مكونات:
$$S_{ij} = \langle a_i, \Delta r_{ij}^{\odot 2} \rangle + \langle b_i, \Delta r_{ij} \rangle + \langle q_i, k_j \rangle$$
حيث أن:

• $\langle a_i, \Delta r_{ij}^{\odot 2} \rangle$ يقوم بترميز تلاشي المسافة. يتم اشتقاق المعامل $a_i$ من محتوى الرمز $x_i$ عبر إسقاط قابل للتعلم وتفعيل softplus (سالب) لضمان أن $a_i < 0$، مما يفرض التقعر.
• $\langle b_i, \Delta r_{ij} \rangle$ يقوم بترميز الاتجاهية. يتم اشتقاق المعامل $b_i$ أيضًا من $x_i$.
• $\langle q_i, k_j \rangle$ يمثل الانتباه الدلالي القياسي.

المتغير الثابت تجاه الدوران (PaPE-RI)

لتحقيق الثبات تجاه الدوران، يفرض PaPE-RI قيودًا: $b_i = 0$ (إزالة الاتجاهية)، و $a_i$ هو قياسي $\alpha_i < 0$، ومصفوفة الإسقاط $W_p$ هي مصفوفة هوية مُدرجة (scaled identity matrix). يؤدي هذا إلى تقليص حد المسافة إلى دالة للمسافة الإقليدية المربعة، وهي ثابتة تجاه الدوران.

التوافق مع النوى الفعالة (Efficient Kernels)

مساهمة تقنية حاسمة هي اشتقاق تحويلات منفصلة للاستعلام والمفتاح ($f_q$ و $f_k$) تسمح بحساب PaPE دون الحاجة لتجسيد مصفوفة الانتباه الكاملة $N \times N$. يضمن هذا التوافق مع نوى الانتباه الفعالة مثل FlashAttention. تقوم هذه التحويلات بحقن المعلومات الموضعية مباشرة في ناقلات الاستعلام والمفتاح، مما يزيد من بُعد الرأس بمقدار $p^2 + 2p + 2$ (حيث $p$ هو البعد المكاني)، وهو عبء حسابي متوسط لـ $p=2$ أو $p=3$.

المساهمات الرئيسية

1. ترميز مبتكر: تقديم PaPE و PaPE-RI، وهما أول ترميزات موضع مشتقة من المبادئ المجتمعة للثبات تجاه الإزاحة/الدوران، وتلاشي المسافة، والاتجاهية، والوعي بالسياق.
2. الكفاءة: إثبات أن PaPE متوافق مع نوى الانتباه الفعالة عبر تحويلات الاستعلام والمفتاح المنفصلة، مما يتجنب العائق الحسابي لتجسيد مصفوفة الانتباه الكاملة.
   فق
3. الاستقراء (Extrapolation): تقديم دليل على أن PaPE يظهر قدرات استقراء فائقة لمهام التصنيف، حيث يحافظ على الأداء عند دقات وضوح أعلى بكثير من تلك المستخدمة أثناء التدريب دون تدريب إضافي أو استكمال (interpolation).
4. العمومية: التحقق من صحة PaPE عبر 8 مجموعات بيانات تغطي 4 وسائط رؤيوية (الفيديوهات، كاميرات الأحداث، الصور، والسحب النقطية)، مما يظهر تفوقه أو مساواته لأفضل النماذج المرجعية (baselines).

النتائج التجريبية

استقراء التصنيف

على مجموعة بيانات ImageNet-1K، تم تقييم النماذج المدربة بدقة $224^2$ حتى دقة $1024^2$ دون إعادة تدريب أو استكمال للموضع.

• حقق PaPE دقة قدرها 74.9% عند $1024^2$، متفوقًا على أفضل نموذج مرجعي تالٍ (LookHere) بنسبة 10.5% (حيث حقق LookHere نسبة 64.4%).
• في المقابل، عانت النماذج المرجعية القياسية مثل nD-sincos ومتغيرات RoPE من انخفاض كبير في الأداء عند الدقات الأعلى.
• يعزو المؤلفون هذا النجاح إلى طبيعة PaPE الواعية بالسياق، والتي تسمح للنموذج بتكييف تلاشي المسافة ديناميكيًا.

ترميز الموضع الرؤي العام

التقييم عبر 8 مجموعات بيانات (UCF101, DvsGesture, GEN1, ImageNet-1K, COCO, ScanNet, ModelNet40, nuScenes) أظهر ما يلي:

• متوسط الأداء: حقق Pa-PE أعلى متوسط درجة (66.3)، متفوقًا على أفضل طريقة مرجعية (RoPE) بنقطة واحدة.
• الانتصارات في مجموعات البيانات: ساوى PaPE أفضل النماذج المرجعية في 5 مجموعات بيانات، وتفوق عليها جميعًا في مجموعتين (UCF101 و GEN1).
• البيانات الزمانية-المكانية: أظهر PaPE مكاسب قوية بشكل خاص في UCF101 (49.5% مقابل 43.9% لـ RoPE) وفي GEN1، مما يشير إلى أن اتجاهيته ووعيه بالسياق ضروريان للأجسام سريعة الحركة وبيانات الأحداث.
• السحب النقطية: في ScanNet، كان أداء PaPE أقل مقارنة بالترميزات المطلقة (nD-sincos)، مما يشير إلى أنه بالنسبة للمشاهد الداخلية ذات الأحجام المطلقة المميزة، قد تكون معلومات الموضع المطلقة مفيدة. وعلى العكس من ذلك، في ModelNet40 (الأجسام المعزولة)، تفوقت الترميزات الثابتة تجاه الإزاحة على الترميزات المطلقة.

المتانة والكفاءة

• خارج التوزيع (OOD): لم يتدهور أداء PaPE أكثر من النماذج المرجعية في ImageNetV2 و ImageNet-Renditions، مما يؤكد أن الوعي بالسياق لا يضر بالتعميم.
• مطابقة المعلمات: عندما تم ضبط النماذج المرجعية لتطابق عدد معلمات PaPE، احتفظ PaPE بميزته في الأداء، مما يشير إلى أن المكاسب ليست ناتجة فقط عن زيادة سعة النموذج.
• الكفاءة: يضيف PaPE زيادة متوسطة في الموارد (7-20% في ذاكرة VRAM وعمليات FLOPS لـ $m=50$)، لكنه يظل متوافقًا مع تطبيقات الانتباه الفعالة القياسية.

الأهمية والادعاءات

يزعم البحث أن PaPE يمثل ترميز موضع رؤي عام يسد الفجوة بين الترميزات المشتقة من اللغة والمتطلبات الهندسية المحددة للرؤية.

• الاستقراء: يزعم المؤلفون أن PaPE يقدم استقراءً "مذهلاً"، حيث يحسن المصطلحات المطلقة بما يصل إلى 10.5% فوق أفضل طريقة تالية عند الدقات العالية، وهو عامل حاسم لتقليل تكاليف التدريب وتمكين الاستدلال القوي متعدد الدقة.
• التصميم المبدئي: من خلال التصميم الصريح للثبات تجاه الإزاحة، وتلاشي المسافة، والاتجاهية، والوعي بالسياق، يعالج PaPE "النقص" في تغطية خصائص الرؤية في التكييفات السابقة.
• تعدد الاستخدامات: تشير النتائج عبر الوسائط المتنوعة (من الصور ثنائية الأبعاد إلى السحب النقطية ثلاثية الأبعاد وتدفقات الأحداث غير المتزامنة) إلى أن PaPE يوفر حلاً موحدًا وقويًا لنماذج المحولات الرؤيوية، مما يمهد طريقًا جديدًا لأبحاث ترميز الموضع.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى الزيادة المتوسطة في المعلمات واستخدام الموارد اعتمادًا على المعامل الفائق $m$، ويقترحون أن العمل المستقبلي يمكن أن يركز على تقليل $m$ أو دمج PaPE بشكل أعمق في النوى الفعالة.