ملخص تقني: COPRA – التكيف الشرطي للمعلمات باستخدام التعلم المعزز للكشف عن الشذوذ في الفيديو

1. تعريف المشكلة والدوافع

يهدف الكشف عن الشذوذ في الفيديو (VAD) إلى تحديد الأحداث النادرة وغير المتوقعة في الفيديوهات الطويلة، وغالباً ما يكون ذلك تحت إشراف ضعيف حيث تتوفر فقط تسميات (labels) على مستوى الفيديو. وبينما أظهرت نماذج الرؤية واللغة (VLMs) واعداً في مجال VAD من خلال الاستفادة من الأولويات الدلالية وتوفير القابلية للتفسير، يحدد البحث مشكلتين حرجتين غير مستكشفتين كفاية في النهج الحالي:

1. عنق زجاجة المعلمات المشتركة: تعتمد طرق VAD الحالية القائمة على VLMs عادةً على مساحة معلمات ثابتة ومشتركة (مثل المطالبات الثابتة أو الأوزان الضبط الدقيق العالمية) بعد التدريب. وهذا يجبر أنواع الشذوذ المتباينة (مثل حوادث المرور مقابل السرقة في المتاجر) وسياقات المشاهد المتنوعة على الدخول في حل واحد متسق ومساوم. نتيجة لذلك، تفرط هذه النماذج في التكيف مع توزيعات التدريب وتفشل في التعميم على النطاقات غير المرئية أو أنواع الشذوذ الجديدة.
2. عدم التطابق بين التدريب والاستدلال: غالباً ما تتدرب خطوط الأنابيب (pipelines) الحالية على إطارات مأخوذة من عينات متفرقة من فيديوهات طويلة مع إشراف ضعيف على مستوى الفيديو، لكنها تؤدي الاستدلال على نوافذ منزلقة كثيفة العينات من أجل التحديد الدقيق. هذا التفاوت يؤدي إلى عدم اتساق حيث تُطبق المعلمات المتعلمة من مدخلات متفرقة على قرارات محلية كثيفة، مما يؤدي إلى تدهور الأداء تحت تأثير التغيرات في الحركة، ووجهات النظر، والدلالات.

2. المنهجية: إطار عمل COPRA

يقترح المؤلفون COPRA (التكيف الشرطي للمعلمات - Conditional PaRameter Adaptation)، وهو إطار عمل يعيد صياغة VAD كمسألة تكييف مشروط بالنموذج (instance-conditioned adaptation). بدلاً من تعلم تحديث واحد ثابت، يقوم COPRA بتوليد تحديثات معلمات محددة لكل مقطع فيديو ديناميكياً، مما يعدل نموذج VLM ثابتاً بشكل لحظي.

البنية الأساسية

• توليد المعلمات المشروط بالنموذج: يستخدم COPRA شبكة توليد خفيفة الوزن، $g_{\phi_2}$، تأخذ إشارة شرطية بصرية مدمجة مشتقة من الفيديو المدخل $V$ وتتنبأ بتحديث محدد للمعلمات $\Delta\theta(V)$.
• الاشتراط البصري: يتم أخذ عينات منتظمة من الفيديو المدخل (على سبيل المثال، $K=8$ إطارات) ومعالجتها بواسطة مشفر رؤية ثابت (نموذج فرعي من VLM) لإنتاج رموز بصرية (visual tokens). تعمل هذه الرموز كإشارة اشتراط وحيدة للمولد.
• تخليق أوزان LoRA: المولد هو عبارة عن Transformer يقوم برسم خرائط للرموز البصرية إلى أوزان LoRA (التكيف منخفض الرتبة) مدمجة ومشروطة بالنموذج. يتم حقن هذه الأوزان كتحديثات متبقية (residual updates) في هيكل VLM الثابت (تستهدف تحديداً إسقاطات الاستعلام-المفتاح-القيمة، وحدات البوابات، وتحويلات المخرجات).

• التكيف الهجين: يتم تهيئة معلمات LoRA المولدة باستخدام ركيزة كامنة عالمية قابلة للتعلم ($p_{global}$)، مما يجمع بين أنماط التكيف على مستوى مجموعة البيانات والمتبقيات الخاصة بالنموذج. يسمح هذا للنموذج بالاحتفاظ بالمعرفة العامة مع التخصص للحالة الحالية.

التدريب عبر التعلم المعزز

يتم تدريب COPRA من البداية إلى النهاية باستخدام تحسين السياسة النسبي للمجموعات (GRPO) تحت إشراف على مستوى الفيديو:

• السياسة: يعمل المولد $g_{\phi_2}$ كسياسة تربط الإشارات البصرية بتحديثات المعلمات.
• تصميم المكافأة: يستخدم النظام مكافآت ثنائية بناءً على صحة التصنيف النهائي لمستوى الفيديو (طبيعي مقابل شاذ) والامتثال للتنسيق.
• الآلية: بالنسبة لفيديو معين، يولد النموذج عدة تسلسلات استجابة باستخدام المعلمات المعدلة. يتم حساب الميزة (advantage) عبر التقييس المعتمد على المجموعة لهذه المكافآت. هذا يشجع المولد على إنتاج تحديثات معلمات تؤدي إلى تنبؤات صحيحة، مما يؤدي فعلياً إلى تعلم آلية "توليد مساحة الأوزان" دون الحاجة إلى إشراف صريح على الأوزات نفسها.

التكيف الزمني المرن

لمعالجة عدم التطابق بين التدريب والاستدلال، يدعم COPRA استراتيجيات أخذ عينات مرنة. أثناء الاستدلال، يتم تقسيم الفيديوهات إلى مقاطع متداخلة. يمكن لإطار العمل توليد معلمات لمقاطع زمنية محددة (مثل مقاطع مدتها 120 ثانية) وإعادة استخدامها لتسجيل النقاط للمقاطع المحلية ضمن ذلك السياق، مما يتيح مشاركة المعلمات الواعية بالسياق مع الحفاظ على الدقة الزمنية.

3. المساهمات الرئيسية

1. تحديد عنق زجاجة المعلمات المشتركة: يوضح البحث كيف أن التكيفات الثابتة والمشتركة في نماذج VAD القائمة على VLM تحد من القدرة على التعميم من خلال فرض متطلبات متباينة في حل واحد متوافق.
2. إطار عمل التكيف المشروط بالنموذج: يُقدم COPRA كأول إطار عمل يصيغ VAD كمشكلة مشروطة بالنموذج، حيث يقوم بتخصيص سلوك VLM ديناميكياً لكل مقطع فيديو عبر أوزان LoRA المولدة.
3. توليد المعلمات المدفوع بالتعلم المعزز (RL): تقديم إطار توليد معلمات شرطي يتم تدريبه باستخدام التعلم المعزز (GRPO) تحت إشراف ضعيف، مما يسمح بتكيف ديناميكي لكل مدخل دون الحاجة إلى ضبط دقيق كامل.
4. التعميم القوي: أثبت الإطار قدرته على تخفيف عدم التطابق بين التدريب والاستدلال وتقليل التداخل عبر النطاقات، مما يحسن المتانة عبر أنماط الشذوذ والديناميكيات الزمنية المتنوعة.

4. النتائج التجريبية

قيم المؤلفون COPRA على معايير VAD القياسية والمهام عبر النطاقات:

• الأداء داخل النطاق: في UCF-Crime و XD-Violence، تفوق COPRA باستمرار على النماذج المرجعية لـ VLM الثابتة وطرق التكيف الاستاتيكية القوية (مثل VERA).
  • في UCF-Crime، حسن COPRA قيمة AUC لنموذج InternVL2-8B من 84.31% إلى 87.14%.
  • في XD-Violence، حسن من قيمة AP لنموذج InternVL2-8B من 74.32% إلى 76.52%.
  • أكدت دراسات الاستئصال (Ablation studies) أن التكيف المشروط بالنموذج يتفوق بشكل كبير على التكيف الاستاتيكي القائم على GRPO.
• التعميم عبر النطاقات: تم تقييم COPRA الذي تدرب فقط على UCF-Crime، بنموذج صفر محاولات (zero-shot) على:
  • VRU-Accident: حسن مقاييس الدلالة الوصفية الكثيفة (SPICE, METEOR) ودقة الأسئلة والأجوبة بالفيديو متعددة الخيارات.
  • HIVAU-70K: عزز توليد التفسيرات باللغة الطبيعية على مستويات المقطع، والحدث، والفيديو.
• التكيف الزمني: أظهرت التجارب أن توليد المعلمات لمجموعات زمنية أكبر (مثل 120 ثانية) وإعادة استخدامها للمقاطع المحلية حقق أفضل أداء، مما يؤكد مرونة استراتيجية التكيف الزمني.
• التحليل النوعي: أظهرت تصورات t-SNE أن COPRA ينتج تمثيلات (embeddings) أكثر تمييزاً، حيث يفصل بشكل أفضل بين الفيديوهات الطبيعية والشاذة مقارنة بالنموذج المرجعي. كما كانت الأوصاف المولدة أكثر تماسكاً وتركيزاً على الإشارات ذات الصلة بالشذوذ.

5. الأهمية والادعاءات

يدعي البحث أن COPRA يوفر آلية توليد مساحة الأوزان فعالة لنماذج التأسيس. ومن خلال الانتقال من المعلمات الثابتة والمشتركة نحو التكيف الديناميكي المشروط بالمدخلات، يتيح COPRA ما يلي:

• القابلية للتوسع: تكييف النماذج الكبيرة الثابتة مع مهام محددة دون الحاجة إلى إعادة تدريب كاملة.
• القدرة على التكيف: التعامل مع التحولات الكبيرة في التوزيع وأنواع الشذوذ الجديدة من خلال تخصيص حدود القرار لكل مدخل.
  يدرك المؤلفون وجود قيود، بما في ذلك الافتقار إلى التأسيس النظري للأوزان المولدة، ومحدودية القابلية لتفسير أوزان LoRA نفسها، والعبء الحسابي الإضافي الذي تفرضه عملية تدريب GRPO (تحديداً تكرار أخذ عينات الاستجابة). ويقترحون أن هذه المجالات تستحق مزيداً من البحث المستقبلي.

توافر الكود: تم إصدار الكود على الرابط: https://github.com/THE-MALT-LAB/COPRA.