Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تلميحات الأفعال: النمطية الدلالية وتفرد السياق للكشف عن الشذوذ في الفيديو القائم على الهياكل العظمية القابل للتعميم."

1. بيان المشكلة

يهدف الكشف عن الشذوذ في الفيديو بنمط الصفر (Zero-Shot Video Anomaly Detection - ZS-VAD) إلى تحديد المواقع الزمنية للأحداث الشاذة في فيديوهات المراقبة دون استخدام أي بيانات تدريب من المجال المستهدف. وهذا أمر بالغ الأهمية في السيناريوهات التي تتضمن خصوصية البيانات أو عمليات النشر الجديدة للمراقبة حيث لا تتوفر بيانات مستهدفة.

• القيود الحالية:
  • الطرق القائمة على الإطارات/الأجسام: تعاني من تحولات النطاق (domain shifts) في الخلفية ومظهر البشر عند الانتقال إلى مشاهد جديدة.
  • الطرق الحالية القائمة على الهياكل العظمية (Skeleton-based): رغم أنها تقضي على التفاوتات في الخلفية والمظهر، إلا أنها تعتمد على تمثيلات هيكلية منخفضة المستوى (مثل التنبؤ بالإحداثيات أو إعادة البناء) يتم تعلمها عبر التعلم الخاضع للإشراف الذاتي. وهي تفتقر إلى الفهم الدلالي، مما يجعلها غير قادرة على تمييز الشذوذ الجديد الذي يشبه الأنماط الطبيعية.
  • حدود محدودة النطاق: تعتمد الطرق الموجودة بشكل أعمى على حدود الطبيعية المعرفة من بيانات المصدر التدريبية، مما يؤدي إلى التصنيف الخاطئ للأحداث الطبيعية غير المرئية كأحداث شاذة في المشاهد الجديدة.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر يستفيد من النمطية الدلالية للفعل (Action Semantic Typicality) وتفرد السياق (Context Uniqueness) لتحقيق كشف عن الشذوذ (ZS-VAD) قابل للتعميم. يتكون النهج من نموذجين رئيسيين:

أ. نمذجة النمطية الموجهة باللغة (مرحلة التدريب)

يهدف هذا النموذج إلى تعلم فهم دلالي عالي المستوى للأفعال بدلاً من الإحداثيات منخفضة المستوى.

1. محاذاة الهيكل العظمي والنص: يستخدم النموذج مجموعة بيانات خارجية للتعرف على الأفعال (Kinect-400) بدلاً من بيانات VAD المخصصة. يقوم بمحاذاة مقتطفات الهيكل العظمي مع الملصقات النصية باستخدام مشفر للهيكل العظمي ($E_s$) ومشفر للنص ($E_t$)، مما يسقط الهياكل العظمية في فضاء دلالي محاذٍ للغة.
2. اختيار معرفة النمطية (تقطير النماذج اللغوية الكبيرة - LLM Distillation):
   • يتم توجيه نموذج لغوي كبير (LLM) لتحديد أكثر 20 فعلاً طبيعياً نمطياً (مثل المشي، القراءة) وأكثر 20 فعلاً شاذاً نمطياً (مثل القتال، القفز بالمظلات) من بين 400 فئة من الأفعال.
   • يتم تصفية مقتطفات الهياكل العظمية عالية الجودة المقابلة لهذه الفئات "النمطية" المختارة بناءً على التشابه بين الهيكل العظمي والنص.
3. تعلم توزيع النمطية:
   • يتم تدريب تدفق طبيعي (Normalizing Flow - NF) على سمات الأفعال الطبيعية والشاذة النمطية المختارة.
   • يقوم الـ NF بنمذجة توزيع الاحتمالات لهذه السلوكيات. أثناء الاستدلال، يتم اشتقاق درجة الشذوذ ($S^t$) من السلب اللوغاريتمي للاحتمالية لمقتطف الاختبار تحت التوزيع "الطبيعي" المتعلم. وهذا يسمح للنموذج بالتعميم على مشاهد جديدة بناءً على الأولويات الدلالية بدلاً من إحصائيات مجموعة البيانات المحددة.

ب. تحليل تفرد السياق وقت الاختبار (مرحلة الاستدلال)

للتعامل مع السيناريوهات التي لا تكون فيها الأفعال "نمطية" تماماً (على سبيل المثال، فعل طبيعي ولكنه شاذ في سياق معين)، يقوم النموذج بتحليل السياق المكاني والزماني.

1. بناء مخطط السياق (Context Graph): لكل مقتطف هيكلي، يتم بناء مخططين:
   • المخطط عبر الأشخاص (Cross-person Graph - $G_c$): يربط الشخص الحالي بالأفراد القريبين منه في الفضاء.
   • مخطط الفحص الذاتي (Self-Inspection Graph - $G_s$): يربط الشخص الحالي بحالاته الماضية والمستقبلية في الزمن (مع استبعاد الجيران المباشرين لتجنب التكرار).
2. تسجيل التفرد: يحسب النموذج مسافة السمات بين المقتطف المستعلم عنه وجيرانه في كلا المخططين. وبما أن الشذوذ نادر وفريد، فإن المسافة العالية تشير إلى وجود شذوذ. درجة التفرد ($S^u$) هي الحد الأقصى للمسافات بين الأشخاص والفحص الذاتي.
3. التسجيل الشامل: درجة الشذوذ النهائية هي مزيج طبيعي من درجة النمطية ($S^t$) ودرجة التفرد ($S^u$):
   $$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$$
   وهذا يدمج الأولويات الدلالية (ما يجب أن يكون طبيعياً/شاذاً) مع الأدلة السياقية (ما هو في الواقع فريد في هذا المشهد).

3. المساهمات الرئيسية

1. إطار عمل جديد: إطار عمل لـ ZS-VAD قائم على الهياكل العظمية ينتقل من تعلم التمثيل منخفض المستوى إلى النمطية الدلالية وتفرد السياق.
2. وحدة النمطية الموجهة باللغة: يقدم طريقة لتقطير معرفة الـ LLM حول السلوكيات النمطية الطبيعية والشاذة في مشفر الهيكل العظمي، مما يخلق فضاءً دلالياً قابلاً للتعميم دون الحاجة لتدريب في المجال المستهدف.
3. تحليل التفرد وقت الاختبار: يقترح آلية ديناميكية لضبط الحدود متكيفة مع المشهد، تقوم بتحليل الاختلافات المكانية والزمانية بين الأفراد والخطوات الزمنية للكشف عن الشذوذ الخاص بالسياق.
4. أداء يتفوق على الحالة الراهنة (SOTA): حقق نتائج فائقة على أربع مجموعات بيانات واسعة النطاق (ShanghaiTech, UBnormal, NWPU, UCF-Crime) تغطي أكثر من 100 مشهد مراقبة غير مرئي.

4. النتائج التجريبية

تم تقييم الطريقة على أربع مجموعات بيانات دون استخدام أي بيانات تدريب من المجالات المستهدفة:

• الأداء: حققت الطريقة المقترحة نتائج SOTA عبر جميع مجموعات البيانات:
  • ShanghaiTech: بلغت 84.1% AUC (مقابل 85.9% لـ STG-NF بنمط Full-shot، ولكن هذا هو أداء 0-shot).
  • UBnormal: بلغت 74.5% AUC (تحسن كبير قدره +5.7% عن خط الأساس STG-NF بنمط Zero-shot).
  • NWPU: بلغت 62.1% AUC (بزيادة +4.2% عن خط الأساس).
  • UCF-Crime: بلغت 62.7% AUC (بزيادة +10.8% عن خط الأساس).
• المقارنة مع Full-Shot: من المثير للإعجاب أن أداء الـ Zero-shot لهذا النموذج يضاهي، وفي بعض الحالات يتجاوز، أداء طرق الـ Full-shot المدربة على البيانات المستهدفة.
• الكفاءة: النموذج خفيف الوزن (~5.0 مليون معلمة)، وهو أصغر بكثير من الأساليب القائمة على نماذج الرؤية واللغة الكبيرة (LAVAD التي تزيد عن 13 مليار معلمة). سرعة الاستدلال يهيمن عليها استخراج الهيكل العظمي، وليس منطق تسجيل الشذوذ.

5. الأهمية والتأثير

• المراقبة التي تحافظ على الخصوصية: القدرة على نشر كشف الشذوذ في بيئات جديدة دون الحاجة لجمع أو التدريب على بيانات الفيديو المحلية تعالج مخاوف الخصوصية الحرجة.
• التعميم: من خلال الانتقال من "تعلم الطبيعية من البيانات" إلى "تعلم الطبيعية من المفاهيم الدلالية والسياق"، يتغلب النموذج على فجوة النطاق التي تعاني منها أنظمة VAD التقليدية.
• النشر العملي: إطار العمل فعال حاسوبياً ولا يتطلب استدلالاً معقداً متعدد المراحل أو نماذج LLM ضخمة أثناء الاستدلال، مما يجعله مناسباً للنشر على أجهزة الحافة (Edge Deployment) في العالم الحقيقي.
• تحول في النموذج المعرفي: تثبت الورقة أن بيانات الهياكل العظمية، عندما تقترن بالأولويات الدلالية والتحليل السياقي، تعد وسيطاً فعالاً للغاية للكشف عن الشذوذ بنمط الصفر (Zero-shot)، متفوقة على الأساليب القائمة على الإطارات أو الأجسام في سيناريوهات عبر المشاهد.