💻 computer science

CEZSAR: A Contrastive Embedding Method for Zero-Shot Action Recognition

تقترح الورقة البحثية CEZSAR، وهي طريقة تعلم تبايني جديدة للتعرف على الأفعال بدون تدريب مسبق (Zero-Shot Action Recognition)، تعالج الفجوات الدلالية والانزياحات النطاقية من خلال محاذاة تمثيلات الفيديو والنصوص في فضاء مشترك باستخدام إجراء أخذ عينات سلبية تلقائي، محققةً نتائج هي الأفضل في حالتها على مجموعتي بيانات UCF-101 وKinetics-400.

المؤلفون الأصليون: Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

نُشر 2026-05-05

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية التعرف على الأفعاء البشرية، مثل "ركوب الخيل" أو "لعب كرة السلة". عادةً، لتعليم الروبوت، تحتاج إلى إظهار آلاف الفيديوهات لأشخاص يقومون بتلك الأشياء المحددة وتصنيفها واحدًا تلو الآخر. ولكن ماذا لو أردت تعليم الروبوت فعلًا جديدًا، مثل "اللاعب بالمناشير الآلية"، وهو أمر لم يره من قبل؟ لا يمكنك إظهار أمثلة له لأنها غير موجودة في بيانات التدريب الخاصة به. هذا هو تحدي التعرف على الأفعال عبر الصفر (Zero-Shot Action Recognition).

تقدم الورقة البحثية طريقة جديدة تسمى CEZSAR لحل هذه المشكلة. وإليك كيف تعمل، مشروحة ببساطة:

المشكلتان الكبيرتان

يقول المؤلفون إن محاولة تعليم الروبوت أفعالًا جديدة دون إظهار أمثلة أمر صعب بسبب وجود "عقبتين في الطريق":

الفجوة الدلالية (حاجز اللغة):
تخيل أن لديك روبوتًا يتحدث لغة "البصر" (يرى البكسلات والأشكال)، وروبوتًا آخر يتحدث لغة "النص" (يفهم الكلمات). إذا قلت للروبوت النصي، "هذا سباق خيل"، فهو يفهم المفهوم. لكن الروبوت البصري يرى صورة ضبابية لحصان ومضمار. المشكلة هي أن "فكرة" سباق الخيل في عالم النصوص لا تتطابق تمامًا مع "صورة" سباق الخيل في العالم البصري. إنهما يشبهان شخصين يتحدثان لهجات مختلفة؛ كلاهما يفهم الشيء نفسه، لكن التفاصيل تضيع في الترجمة.

حل الورقة: يبني CEZSAR مترجمًا عالميًا. فهو يجبر الروبوت البصري والروبوت النصي على تعلم لغة مشتركة حيث تقع صورة سباق الخيل وجملة "سباق خيل" بجانب بعضهما البعض تمامًا في ذاكرتهما.

انزياح النطاق (فخ السياق):
تخيل أنك دربت روبوتًا فقط على فيديوهات لأشخاص يركضون في حديقة. إذا طلبت منه بعد ذلك التعرف على شخص يركض على جهاز جري في صالة رياضية، فقد يرتبك لأن الخلفية (النطاق) مختلفة تمامًا. لقد حفظ الروبوت "الحديقة"، وليس "فعل الركض".

حل الورقة: أدرك المؤلفون أنه بينما يتغير العالم البصري كثيرًا (حدائق مختلفة، صالات رياضية مختلفة)، فإن الوصف النصي لـ "الركض" يظل ثابتًا. ومن خلال ربط التعلم البصري بالوصف النصي، يتعلم الروبوت تجاهل الخلفية المربكة والتركيز على الفعل نفسه.

كيف يعمل CEZSAR (الوصفة)

تستخدم الطريقة نهجًا "تضاديًا" (contrastive)، وهو يشبه لعبة "ساخن وبارد" (Hot and Cold).

الإعداد: يأخذ النظام فيديو وجملة تصفه.
الهدف: يحاول جعل الفيديو والجملة المطابقة له "يتعانقان" في مساحة رياضية (يصبحان قريبين جدًا من بعضهما).
التحول (أخذ العينات السلبية الصعبة): هذا هو الجزء الذكي. يحتاج النظام إلى تعلم ما الذي "لا يتطابق". بدلًا من أن يقوم البشر بالعثيد يدويًا عن المطابقات السيئة، يقوم الكمبيوتر بإنشائها تلقائيًا.
- يأخذ فيديو لشخص "يركب حصانًا".
- يلتقط جملة عن "ركوب حصان" (المطابقة الجيدة).
- يلتقط جملة عن "ركوب دراجة" أو "طهي المعكرونة" (المطابقة السيئة).
- يجبر الكمبيوتر على دفع جملة "الطهي" بعيدًا عن فيديو "الحصان".
- السحر: يستخدمون خدعة ذكية للعثور على هذه "المطابقات السيئة" تلقائيًا دون مساعدة بشرية، مما يخلق ملايين الأمثلة التدريبية في بضع ساعات فقط على جهاز كمبيوتر واحد.

النتائج

اختبر المؤلفون هذه الطريقة على مجموعتي بيانات شهيرتين للفيديو (UCF-101 و Kinetics-400).

النتيجة: حققت طريقتهم دقة أعلى بكثير من الطرق السابقة. على سبيل المثال، في اختبار يتضمن 101 فعلًا مختلفًا لم يره من قبل، حسنت الدقة بنحو 10 نقاط مئوية مقارنة بالطريقة التالية الأفضل.
لما لماذا نجحت: من خلال استخدام الأوصاف النصية لتوجيه التعلم البصري، أصبح الروبوت أفضل بكثير في التمييز بين الأفعال التي تبدو متشابهة (مثل "ركوب الخيل" مقابل "سباق الخيل") ولم يرتبك بسبب الخلفيات المختلفة.

باختصار

CEZSAR هي طريقة جديدة لتعليم الحواسيب التعرف على الأفعال التي لم ترها من قبل. فبدلًا من مجرد حفظ الصور، هي تعلم الكمبيوتر ربط الصور بأوصافها، باستخدام لعبة ذكية من "المطابقة وعدم المطابقة" لسد الفجوة بين ما نراه وما نقرأه. هذا يسمح للكمبيوتر بفهم الأفعال الجديدة بسرعة ودقة، حتى لو لم يشاهد فيديو لها من قبل.

ملخص تقني: CEZSAR

تعريف المشكلة

تتناول الورقة البحثية مسألة التعرف على الأفعال في حالة الصفر (Zero-Shot Action Recognition - ZSAR) في مقاطع الفيديو، وهي مهمة تهدف إلى تصنيف نماذج الأفعال التي تنتمي إلى فئات لم تكن موجودة أثناء مرحلة تدريب النموذج. حدد المؤلفون تحديين مستمرين في أساليب ZSAR الحالية:

الفجوة الدلالية (The Semantic Gap): عدم توافق بين المجال البصري (الممثل بواسطة الشبكات العصبية التلافيفية CNNs أو المحولات Transformers) والمجال النصي (الممثل بنماذج اللغة). حتى في مساحات التضمين المشتركة، غالبًا ما تتباعد توزيعات الميزات البصرية عن نظيراتها الدلالية. على سبيل المثال، تشترك أفعال مثل "حصان الارتكاز" (Pommel Horse) و"عارضة التوازن" (Balance Beam) في هياكل مشاهد متشابهة (صالات ألعاب رياضية)، لكنهما يختلفان في حركات ومعدات محددة، مما يؤدي إلى الارتباك في مساحات التضمين.
انزياح النطاق (Domain Shift): التباين في توزيعات الاحتمالات بين مجموعة التدريب ومجموعة الاختبار غير المرئية. وبما أن مجموعة الاختبار غير معروفة أثناء التدريب، فإن النماذج تجد صعوبة في التعميم على بيانات جديدة التوزيع.

تعتمد الطرق الحالية غالبًا على سمات محددة بشريًا أو تضمينات كلمات بسيطة (مثل Word2Vec أو GloVe)، والتي تفشل في التقاط الاختلافات الدلالية الدقيقة أو تتطلب جهدًا يدويًا مكثفًا. علاوة على على ذلك، بينما تُظهر النماذج سابقة التدريب واسعة النطاق مثل CLIP إمكانات واعدة، إلا أنها تتطلب موارد حوسبة وبيانات هائلة (مئات الملايين من الأزواج) التي غالبًا ما يصعب الوصول إليها.

المنهجية: CEZSAR

يقترح المؤلفون CEZSAR (طريقة التضمين التبايني للتعرف على الأفعال في حالة الصفر)، وهو نموذج مصمم لتعلم مساحة تضمين مشتركة للفيديوهات والأوصاف اللغوية الطبيعية باستخدام التعلم التبايني.

البنية الهيكلية

يتكون النموذج من وحدتين أساسيتين:

وحدة التضمين البصري (VEM):
- يتم أخذ عينات من الفيديوهات بمعدل إطار واحد لكل ثانية (FPS).
- يتم ترميز الإطارات باستخدام شبكة عصبية تلافيفية (CNN) سابقة التدريب، وتحديدًا ResNet-152، لإنتاج مكدس من الميزات.
- تقوم طبقة متصلة بالكامل بتقليل الأبعاد، تليها محولة (Transformer Encoder) مع آلية انتباه ذاتي متعدد الرؤوس لنمذجة المعلومات الزمنية.
- يتم إسقاط المخرجات في مساحة دلالية مشتركة (128 بُعدًا).
وحدة تضمين الجمل (SEM):
- تتم معالجة الأوصاف اللغوية الطبيعية باستخدام نموذج Sentence-BERT (SBERT) لتوليد تضمينات بـ 768 بُعدًا.
- يتم إسقاط هذه التضمينات عبر طبقة متصلة بالكامل إلى نفس المساحة الدلالية المشتركة.

استراتيجية التدريب: أخذ العينات السالبة الصعبة (Hard Negative Sampling)

الابتكار الجوهري هو إجراء أخذ العينات السالبة الصعبة التلقائي، والذي يلغي الحاجة إلى أزواج سالبة محددة بشريًا:

التصفية الدلالية: يستخدم النموذج نموذج SBERT سابق التدريب لتقييم التشابه بين الجمل. تُعتبر الجمل ذات تشابه جيب التمام العالي (فوق عتبة $\tau$ ) متشابهة دلاليًا.
التعزيز القائم على الكائنات: يكتشف النظام الكائنات في الفيديو ويولد جملًا وصفية لها. ثم يختار الأوصاف السالبة التي تختلف بشكل كافٍ عن كل من الوصف المحدد بشريًا والأوصاف المولدة من الكائنات.
توليد الثلاثيات (Triplet Generation): تولد هذه العملية ثلاثيات تتكون من (فيديو، وصف إيجابي، وصف سلبي). أفاد المؤلفون بتوليد حوالي ثلاثة ملايين ثلاثية من مجموعة بيانات ActivityNet Captions.
دالة الخسارة: يتم تدريب النموذج باستخدام دالة خسارة الثلاثيات (Triplet Loss)، والتي تقلل المسافة بين الفيديو ووصفه الإيجابي مع زيادة المسافة إلى وصفه السلبي.

التصنيف

أثناء الاستدلال، يقوم النموذج برسم خرائط لكل من الفيديو المدخل ونماذج الفئات (المحددة بواسطة أوصاف الجمل) في مساحة التضمين المشتركة. يتم إجراء التصنيف باستخدام قاعدة الجار الأقرب بناءً على تشابه جيب التمام. يمكن لتضمين الفيديو النهائي ($VidE $) اختياريًا دمج المعلومات الدلالية على مستوى الكائن ($ O(v) $) جنبًا إلى جنب مع الميزات البصرية الخام ($ VE(v) $)، ويتم التحكم في ذلك عبر معاملات الوزن$ \alpha $و$ \beta$.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

طريقة تباينية مشتركة مبتكرة: تربط CEZSAR بفعالية الميزات البصرية مع أوصاف الجمل، مما يقلل بشكل كبير من الفجوة الدلالية بين الوسائط.
الإسقاط المجزأ (Modular Projection): تسمح البنية الهيكلية بإسقاط الفيديوهات والأوصاف عبر شبكات فرعية متميزة، مما يسهل تضمين وسائط إضافية (نصوص، صور، أو فيديوهات أخرى) دون إعادة تدريب النموذج التبايني بالكامل.
الكفاءة والمتانة: يحقق الأسلوب نتائج هي الأفضل في فئتها (state-of-the-art) على المعايير القياسية باستخدام وحدة معالجة رسومية واحدة وجزء بسيط من البيانات ووقت التدريب المطلوب للنماذج واسعة النطاق مثل CLIP.

النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات UCF-101 و Kinetics-400 تحت تكوينات تقسيم مختلفة للتعرف في حالة الصفر (على سبيل المثال، 0% فئات مرئية، 100% فئات غير مرئية).

UCF-101: في تكوين 0/101 (جميع الفئات غير مرئية)، حققت CEZSAR دقة بلغت 95.2% (كما هو موضح في الشكل 1ب)، وهو تحسن كبير عن خط الأساس ZSARCAP (67.2%) والأساليب الأخرى الرائدة. وفر إدراج الدلالات على مستوى الكائن تحسينات طفيفة ولكنها ثابتة.
Kinetics-400: تفوق النموذج على جميع الأساليب السابقة الرائدة عبر جميع تكوينات الاختبار (25، 100، و400 فئة غير مرئية). بالنسبة لتقسيم الـ 400 فئة، حقق دقة بلغت 23.8%، متجاوزًا أفضل نتيجة سابقة وهي 20.4%.
العينات الصعبة: في مجموعة فرعية مكونة من 15 فئة صعبة ومتشابهة للغاية (مثل التمييز بين "ركوب الخيل" و"سباق الخيل")، حققت CEZSAR دقة بلغت 63.3% مقارنة بـ 47.4% لـ ZSARCAP. تشير مصفوفات الارتباك إلى انخفاض كبير في أخطاء التصنيف الخاطئ، لا سيما للمجموعات التي تتضمن معدات أو سيناريوهات متشابهة.

الأهمية والادعاءات

يزعم المؤلفون أن CEZSAR يثبت أن التعلم التبايني هو نهج مباشر وفعال لسد الفجوة الدلالية في ZSAR. من خلال جعل تعلم الميزات البصرية مشروطًا بالأوصاف النصية — وهي وسيط أقل عرضة لانزياح النطاق — يقلل النموذج طبيعيًا من مشكلة انزياح النطاق.

تؤكد الورقة أن الأداء العالي في التعرف في حالة الصفر لا يتطلب بالضرورة بنية تحتية ضخمة للتدريب المسبق (مثل آلاف وحدات معالجة الرسومات ومئات الملايين من أزواج البيانات). بدلاً من ذلك، يمكن لإطار عمل تبايني مصمم بعناية مع أخذ عينات سالبة تلقائية تحقيق نتائج متفوقة باستخدام موارد أقل بكثير (أقل بـ 1000 مرة من التمثيلات البصرية و100 مرة أقل من أزواج البيانات مقارنة بنماذج مقياس CLIP، والتي تم تدريبها في بضع ساعات على وحدة معالجة رسومية واحدة). يشير العمل إلى أن المحرك الرئيسي لتحسين الأداء هو التقليل الفعال للفجوة الدلالية وليس مجرد حجم المعلومات الدلالية.