ملخص تقني: تجميع حجم التشابه الزمكاني للتعرف على الأفعال مفتوحة المفردات

1. بيان المشكلة

تعتمد طرق التعرف على الأفعال مفتوحة المفردات (OVAR) الحديثة عادةً على تجميع الميزات المرئية في تمثيل عالمي (مثل استخدام رموز [CLS]) قبل حساب المحاذاة مع تضمينات النصوص. وبينما يعد هذا النهج فعالاً للتعميم في حالة الصفر (zero-shot)، إلا أنه يؤدي بطبيعته إلى التخلص من المعلومات الغنية للرقع المحلية (local patch information) داخل كل إطار. ونتيجة لذلك، يتم طمس الإشارات الزمكانية دقيقة التفاصيل — مثل مسارات الحركة، والتفاعلات الموضعية، وتطور الأنماط المرئية عبر الزمن. إن المحاولات الحالية للاستفادة من الرموز المحلية (مثل TC-CLIP و BDC-CLIP) لا تزال غالباً ما تدمج التفاعلات الزمكانية المهيكلة في متجه عالمي واحد قبل محاذاة النص، مما يفشل في نمذجة الارتباط صراحةً بين الأنماط المرئية المحلية المتطورة زمنياً ودلالات الأفعال النصية.

2. المنهجية: تجميع حجم التشابه (SimVA)

يقترح المؤلفون SimVA، وهو إطار عمل ينقل النموذج من "تجميع الميزات" إلى "تجميع التشابه". فبدلاً من دمج الميزات المرئية أولاً، يقوم SimVA ببناء حجم تشابه زمكاني رباعي الأبعاد (4D) كثيف بين الرموز المرئية على مستوى الرقع وتضمينات النصوص، مما يحافظ على الأدلة المحلية طوال مسار المعالجة.

2.1 بناء حجم التشابه

بالنظر إلى فيديو مدخل $V$ ونصوص الأفعال، يستخدم الإطار نموذج CLIP مدرب مسبقاً لاستخراج:

• التضمينات المرئية: تضمينات على مستوى الرقع $F_{img} \in \mathbb{R}^{T \times H \times W \times D}$ لـ $T$ من الإطارات.
• تضمينات النصوص: تضمينات الفئات $F_{text} \in \mathbb{R}^{N_C \times D}$ لـ $N_C$ من فئات الأفعال.

يتم بناء حجم تشابه رباعي الأبعاد $S \in \mathbb{R}^{T \times H \times W \times N_C}$ عن طريق حساب تشابه جيب التمام (cosine similarities) بين كل رقعة زمكانية $(t, i, j)$ وكل فئة $c$. يمثل هذا الحجم الارتباط المرئي-النصي الموضعي عبر الزمان والمكان.

2.2 أخذ عينات فئات الأفعال

يكون تجميع الحجم الكامل مكلفاً حوسبياً عندما تكون $N_C$ كبيرة. لذا يقدم SimVA استراتيجية أخذ عينات الفئات:

1. حساب تمثيل عالمي للفيديو $\bar{V}$ عن طريق متوسط رموز [CLS] على مستوى الإطار.
2. حساب درجات التشابه العالمية $S_{global} = \bar{V}^\top F_{text}$.
3. اختيار أفضل $M$ من الفئات. أثناء التدريب، يتم إضافة ضجيج منتظم لتشجيع الاستكشاف، ويتم فرض الفئة الحقيقية (ground-truth) ضمن المجموعة المختارة.
   يقلل هذا من بُعد الفئات من $N_C$ إلى حجم يمكن التعامل معه $M$، مما يقلص الحجم إلى $Z_0 \in \mathbb{R}^{T \times H \times W \times M \times d_f}$.

2.3 التجميع الزمكاني المهيكل

يعالج الإطار حجم التشابه المأخوذ عينات من خلال مسار مهيكل يتكرر عبر $N_L$ من الطبقات:

• التجميع المكاني: باستخدام كتل Swin Transformer، يقوم النموذج بتحسين أنماط التشابه داخل الإطار الواحد. هذا يفرض اتساقاً موضعياً بين الرقع التي تنتمي لنفس الكائن ويقلل من ضجيج الخلفية، مما يضع التشابهات المحلية في سياقها داخل الإطار.
• التعديل المدرك للحركة: لضمان حقن إشارات التباين بين الإطارات، يقدر النموذج إزاحات الحركة بين الإطارات المتتالية باستخدام ميزات صورة CLIP. يتم تطبيع هذه الإزاحات لإزالة حركة الكاميرا العالمية وإسقاطها في إشارة تعديل $\gamma_t$. تقوم هذه الإشارة بتغيير حجم الميزات المنقحة مكانياً بشكل تكيفي، مما يبرز المناطق ذات التغيرات الديناميكية الكبيرة (مثل الأجسام المتحركة) قبل النمذجة الزمنية.
• التجميع الزمني: تقوم كتلة Mamba (نموذج حالة الفضاء) بمعالجة تسلسلات التشابه المدركة للحركة. وعلى عكس نماذج Transformer التي تنتبه عالمياً، فإن آلية المسح الأمامي في Mamba تتوافق مع التقدم الزمني الطبيعي للفيديوهات. فهي تراكم تسلسلياً أنماط التشابه الواعية بالانتقالات، مما ينمذج تطور الأدلة الخاصة بالفعل عبر الزمن مع الحفاظ على المحاذاة الزمكانية.

2.4 هدف التدريب

يتم الحصول على درجات الفيديو النهائية عبر الإسقاط الخطي وتجميع المتوسط الزمكاني. يجمع هدف التدريب بين:

1. فقدان التجميع ($L_{agg}$): فقدان الإنتروبيا المتقاطعة (cross-entropy) على لوغيتات الفئات المختارة.
2. فقدان التصنيف ($L_{cls}$): فقدان مساعد يتم حسابه من المحاذاة العالمية بين الفيديو والنص (باستخدام رموز [CLS]) لمنع النسيان الكارثي والحفاظ على الأسبقية المدربة مسبقاً.

3. المساهمات الرئيسية

1. تحول في النموذج: تقديم إطار عمل لـ OVAR قائم على CLIP يعمل مباشرة في فضاء التشابه، منتقلاً من تجميع الميزات إلى تجميع التشابه للحفاظ على الارتباطات الزمكانية الكثيفة.
2. بنية قابلة للتوسع: اقتراح استراتيجية أخذ عينات الفئات الموفرة للذاكرة التي تمكن تجميع التشابه من التوسع إلى سيناريوهات واسعة النطية مفتوحة المفردات دون تكاليف حوسبية باهظة.
3. التجميع المهيكل: تصميم مسار يدمج التجميع المكاني (للاتساق داخل الإطار)، والتعديل المدرك للحركة (لديناميكيات ما بين الإطارات)، والتجميع الزمني القائم على Mamba (لنمذجة التطور التسلسلي).
4. التحقق التجريبي: إثبات الفعالية عبر اختبارات معايير التعميم في حالات الصفر (zero-shot)، والقليل من الأمثلة (few-shot)، والتعميم من الأساس إلى الجديد (base-to-novel).

4. النتائج التجريبية

تم تقييم الطريقة على خمسة معايير قياسية (Kinetics-400, Kinetics-600, HMDB-51, UCF-101, Something-Something V2) باستخدام عمود فقري ViT-B/16 CLIP.

• أداء الصفر (Zero-Shot): تفوق SimVA على النماذج المرجعية القوية (مثل ActionCLIP, X-CLIP, ViFi-CLIP, TC-CLIP) في جميع مجموعات البيانات. وفي HMDB-51 و UCF-101 و K600، حقق نتائج رائدة أو تنافسية للغاية (على سبيل المثال، 76.5% Top-1 في K600، و 86.2% في UCF-101).
• التعلم بالقليل من الأمثلة (Few-Shot Learning): في الإعدادات التي تتضمن $K \in \{2, 4, 8, 16\}$ من الأمثلة لكل فئة، تفوق SimVAR باستمرار على الطرق الموجودة، مما يشير إلى تكيف قوي مع مهام الفيديو ذات الإشراف المحدود.
• التعميم من الأساس إلى الجديد (Base-to-Novel): حقق النموذج أفضل دقة أساسية عبر جميع مجموعات البيانات وأعلى متوسط توافقي (HM) على UCF-101 و SSv2، مما يظهر تعميماً قوياً للفئات غير المرئية مع الاحتفاظ بالأداء على الفئات الأساسية.
• الكفاءة: رغم بناء الحجم الكثيف، يحافظ SimVA على ميزانية حوسبية مقاربة للطرق الأخرى القائمة على CLIP (124.6 مليون معلمة، 315 جيجا فلوب)، مما يظهر توازناً ممتازاً بين الكفاءة والأداء.

5. الأهمية والادعاءات

يزعم البحث أن SimVA ينقل قدرات المحاذاة القوية بين الصور والنصوص لنموذج CLIP إلى المجال الزمكاني من خلال نمذجة كيفية تطور الأنماط المرئية الموضعية في تفاعل مع الدلالات النصية بشكل صريح. ومن خلال الحفاظ على الارتباط الوثيق بين المرئي والنص وتجنب التجميع العالمي المبكر، يتيح الإطار تمييزاً دقيقاً للأفعال دقيقة التفاصيل التي تعتمد على التغيرات الزمنية الطفيفة.

يؤكد المؤلفون أن تجميع فضاء التشابه هو اتجاه واعد لتكييف نماذج الرؤية واللغة مع التعرف على الأفعال في الفيديو. كما يقرون بوجود قيد يتعلق بميزانية أخذ عينات الفئات الثابتة، مشيرين إلى أن الاستراتيجيات التكيفية قد تحسن القابلية للتوسع بشكل أكبر، لكنهم يؤكدون أن النهج الحالي يوفر توازناً قوياً بين الأداء والجدوى الحوسبية.