Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding

إليك ملخص تقني مفصل لورقة البحث بعنوان "Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding".

1. تعريف المشكلة: تقسيم الفئات (Category Splitting)

تعالج الورقة قيداً جوهرياً في نماذج التعرف على الفيديو الحالية: فهي مُدربة على تصنيفات ثابتة (fixed taxonomies) غالباً ما تكون فضفاضة للغاية. فالتسمية الواحدة (مثل "فتح") قد تدمج اختلافات متباينة بناءً على الكائن، أو الطريقة، أو السرعة، أو النتيجة (مثل "فتح خزانة"، "الفتح عن طريق الدفع"، "الفتح بسرعة").

ومع تطور التطبيقات، تصبح التمييزات الجديدة ضرورية، لكن إعادة تدريب النماذج باستخدام تسميات جديدة أمر مكلف ويتطلب بيانات ضخمة. والحلول الحالية مثل نماذج الرؤية واللغة (VLMs) غالباً ما تفتقر إلى الدقة الزمنية المطلدة للأفعال دقيقة التفاصيل، كما أن التعلم المستمر (Continual Learning) يتطلب عادةً بيانات للفئات الجديدة بدلاً من تقسيم الفئات الموجودة.

المهمة: قدم المؤلفون مفهوم تقسيم الفئات (Category Splitting)، والذي يُعرف بأنه تعديل مصنف فيديو موجود لتنقية فئة خشنة مختارة ($c$) إلى عدة فئات فرعية دقيقة ($S_c$) مع الحفاظ على الدقة في جميع الفئات الأخرى الموجودة. الهدف هو تحقيق ذلك تحت قيود التعلم الصفري (zero-shot) (بدون بيانات) أو التعلم من عينات قليلة (low-shot) (بيانات قليلة جداً).

2. المنهجية

تتمثل الرؤية الجوهرية في أن النماذج الخلفية للفيديو (video backbones) الحديثة تشفر ضمنياً بنية تركيبية (compositional structure). فحتى بدون إشراف صريح، تحتوي المساحة الكامنة للنموذج على متجهات تمثل "المفاهيم الأساسية" (الأفعال الخشنة) و"المعدِّلات" (الاختلافات دقيقة التفاصيل). تستغل الطريقة المقترحة هذا الأمر لتعديل رأس التصنيف فقط، مع ترك النموذج الخلفي مجمداً.

أ. تقسيم الفئات بالتعلم الصفري (Zero-Shot Category Splitting)

تعمل الطريقة على مرحلتين:

1. استرجاع المعدِّلات (بناء القاموس):

   • يحدد المؤلفون الفئات دقيقة التفاصيل الموجودة بالفعل في مجموعة التدريب والتي تشترك في مفهوم أساسي واحد (مثل "النقر ليدور" و"النقر ليسقط").
   • يعاملون هذه الفئات كـ "فئة شبه خشنة" (pseudo-coarse category).
   • متجهات المعدِّلات ($v_m$): من خلال طرح متوسط متجه الوزن للفئة شبه الخشنة من متجهات أوزان المتغيرات دقيقة التفاصيل، يستخرجون متجهات معدِّلات صريحة تمثل الفرق الدلالي (مثل "ليدور").
   • تُخزن هذه المتجهات في قاموس مقترن بأوصاف نصية.

2. التقسيم عبر النقل أو المحاذاة:

   • استرجاع المعدِّلات: لتقسيم فئة خشنة جديدة (مثل "الدفع")، يقوم النظام باسترجاع أكثر متجه معدِّل مناسب من القاموس بناءً على التشابه النصي (على سبيل المثال، مطابقة "الدفع من اليسار إلى اليمين" مع معدِّل "من اليسار إلى اليمين" المسترجع). يتم حساب الوزن الجديد كالتالي: $w_{new} = w_{coarse} + v_{retrieved}$.
   • محاذاة المعدِّلات: للتعامل مع المعدِّلات غير الموجودة في القاموس الأصلي، يتم تدريب وحدة محاذاة خفيفة ($g_\psi$). تقوم هذه الوحدة برسم خرائط لتمثيلات النصوص للمعدِّلات مباشرة إلى مساحة أوزان المصنف باستخدام قاموس المعدِّلات المنشأ كإشراف. وهذا يسمح بتخليق متجهات للمعدِّلات غير المرئية.

ب. تقسيم الفئات بالتعلم من عينات قليلة (Low-Shot Category Splitting)

عند توفر عدد قليل من الأمثلة الموسومة (على سبيل المثال، فيديو واحد لكل فئة فرعية):

• الضبط الدقيق المعزول: يتم ضبط أوزان الفئات الفرعية الجديدة فقط ($\theta'_{head}$)؛ بينما تظل الأوزان الأصلية والنموذج الخلفي مجمدين لمنع النسيان الكارثي (catastrophic forgetting).
• التهيئة بالتعلم الصفري: يتم تهيئة الأوزان الجديدة باستخدام طريقة التعلم الصفري (الاسترجاع أو المحاذاة) بدلاً من التهيئة العشوائية، مما يوفر ركيزة قوية تعزز الأداء بشكل كبير بأقل قدر من البيانات.

3. المساهمات الرئيسية

1. تعريف مهمة جديدة: صياغة تقسيم الفئات (Category Splitting)، وهي مهمة جديدة تختلف عن تعلم زيادة الفئات القياسي أو التصنيف صفري المعرفة، حيث تركز على تنقية التسميات الموجودة بدلاً من إضافة فئات جديدة تماماً.
2. إطار عمل تعديل صفري المعرفة: اقتراح طريقة لتعديل المصنفات عبر تفكيكها إلى مفاهيم أساسية ومعدِّلات، والاستفادة من البنية التركيبية الكامنة لنماذج الفيديو دون الحاجة لبيانات فيديو جديدة.
3. المعايير المرجعية (Benchmarks): تقديم SSv2-Split و FineGym-Split، وهما معياران جديدان تم إنشاؤهما من Something-Something V2 و FineGym288، مصممان خصيصاً لتقييم تقسيم الفئات مع نماذج أساسية ذات تدرج مختلف.
4. التحقق التجريبي: إثبات أن استغلال بنية المصنف الكامنة أكثر فعالية لفهم الفيديو دقيق التفاصيل مقارنة بالاعتماد على نماذج الرؤية واللغة (VLMs) الخارجية.

4. النتائج التجريبية

قيم المؤلفون طريقتهم مقابل نماذج VLM قوية (مثل CLIP، وVideoCLIP-XL، وVideoPrism، إلخ) على المعايير الجديدة.

• العمومية (الدقة على الفئات الفرعية الجديدة):

  • حققت الطريقة المقترحة 46.3% من العمومية في SSv2-Split و 34.2% في FineGym-Split.
  • تفوق هذا بشكل كبير على نماذج VLM التي تراوحت حول 27-30% في SSv2 و 12-21% في FineGym.
  • الاستنتاج: تعاني نماذج VLM في التعامل مع الإشارات الزمنية الدقيقة المطلوبة للتمييز بين فيديوهات دقيقة التفاصيل، بينما يستفيد المصنف المعدل من الميزات الزمنية المحددة التي تعلمها النموذج الخلفي للفيديو بالفعل.

• المحلية (الحفاظ على الفئات القديمة):

  • حافظت الطريقة على محلية شبه مثالية (~98-99%)، مما يعني أن التعديل لم يؤدِ إلى تدهور الأداء في الفئات الأصلية.
  • نماذج VLM حققت محلية كاملة (100%) بحكم تصميمها (كونها خارجية)، لكن عموميتها المنخفضة جعلتها غير فعالة.

• دراسات الاستئصال (Ablation Studies):

  • التهيئة: أدت تهيئة الضبط الدقيق (low-shot) باستخدام تعديل التعلم الصفري إلى تحسين العمومية بنسبة ~4-8% مقارنة بالتهيئة العشوائية أو تهيئة الفئة الخشنة.
  • التدريب المسبق للنموذج الخلفي: أدت النماذج المدربة مسبقاً بأهداف فيديو فقط (مثل MVD، SIGMA) إلى أداء أفضل من نماذج (الصورة-النص) مثل CLIP، مما يشير إلى أن التدريب المسبق الخاص بالفيديو يلتقط البنية التركيبية اللازمة.
  • المتانة: ظلت الطريقة فعالة حتى عندما كان فضاء التسميات الأصلي يحتوي على فئات أقل دقة (تنوع تركيبي أقل)، رغم انخفاض الأداء قليلاً.

5. الأهمية والأثر

• الكفاءة: تسمح هذه الطريقة بالتكيف السريع للنماذج في السيناريوهات محدودة الموارد دون الحاجة لجمع بيانات مكلفة وإعادة تدريب كاملة.
• القابلية للتفسير: تكشف الطريقة أن مصنفات الفيديو تتعلم ضمنياً هياكل تركيبية (فعل + معدِّل)، مما يقدم منظوراً جديداً لكيفية تمثيل هذه النماذج للمفاهيم دقيقة التفاصيل.
• الاتجاهات المستقبلية: تشير الورقة إلى أن إطار العمل التعديلي التركيبي هذا يمكن أن يمتد إلى وسائط أخرى (صور، صوت) ويسمح بتصنيفات هرمية أكثر ديناميكية في أنظمة فهم الفيديو.

باختصار، تثبت الورقة أن تعديل رأس التصنيف لنموذج فيديو باستخدام متجهات تركيبية كامنة هو استراتيجية متفوقة لفهم الفيديو دقيق التفاصيل مقارنة بالاعتماد على نماذج VLM الخارجية أو إعادة التدريب الكامل، حيث تحقق دقة عالية في التمييزات الجديدة مع الحفاظ على المعرفة الموجودة.