DIFEM: Key-points Interaction based Feature Extraction Module for Violence Recognition in Videos

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DIFEM: وحدة استخراج الميزات القائمة على تفاعل نقاط المفاتيح للتعرف على العنف في الفيديوهات."

1. بيان المشكلة

يعد اكتشاف العنف في فيديوهات المراقبة أمراً بالغ الأهمية لضمان السلامة العامة، ولكنه يطرح تحديات كبيرة. تعتمد الأساليب الحالية المتطورة (SOTA) غالباً على تقنيات التعلم العميق (مثل: 3D CNNs، وGCNs، وشبكات Two-Stream) والتي تتميز بـ:

• التكلفة الحسابية العالية: تتطلب موارد ضخمة وأوقات استدلال طويلة.
• القابلية للإفراط في التخصيص (Overfitting): مجموعات بيانات العنف صغيرة نسبياً مقارنة بتعقيد نماذج التعلم العميق، مما يؤدي إلى ضعف القدرة على التعميم.
• استهلاك الموارد: غالباً ما تكون غير مناسبة للنشر في الوقت الفعلي (Real-time) على الأجهزة القياسية.

يجادل المؤلفون بأن السلوك العنيف يتسم جوهرياً بـ الحركة السريعة لأجزاء معينة من الجسم والتقارب المكاني الوثيق (الاصطدامات) بين الأفراد. ويقترحون أن هذه الخصائص المتأصلة يمكن التقاطها باستخدام طرق إحصائية أبسط وأخف وزناً بدلاً من الشبكات العصبية المعقدة.

2. المنهجية

النهج المقترح، DIFEM (وحدة استخراج ميزات التفاعل الديناميكي)، يتجاوز التعلم العميق الشامل (End-to-end) لاستخراج الميزات. وبدلاً من ذلك، يستخدم مسار عمل يبدأ بتقدير الوضعية (Pose Estimation) يليه حساب الميزات الإحصائية ثم التصنيف باستخدام التعلم الآلي التقليدي.

أ. نظرة عامة على مسار العمل

1. تقدير الوضعية (Pose Estimation): يستخدم النظام OpenPose لاستخراج نقاط المفاتيح الهيكلية ثنائية الأبعاد $(x, y)$ لكل شخص في كل إطار من إطارات الفيديو.
2. اختيار نقاط المفاتيح: من بين 25 نقطة مفتاح قياسية في OpenPose، اختار المؤلفون 11 مفصلاً محدداً هي الأكثر صلة بالمواجهات الجسدية:
   • المعاصم، المرفقين، الوركين، الركبتين، الكاحلين، والرقبة.
   • تم تخصيص أوزان محددة لهذه المفاصل (على سبيل المثال، المعاصم والوركين بوزن 1.0، والمرفقين/الركبتين بوزن 0.8) لإعطاء الأولوية لمساهمتها.
3. استخراج الميزات (DIFEM): تقوم الوحدة بحساب نوعين من الديناميكيات:
   • الديناميكيات الزمنية (السرعة):
     • تحسب المسافة الإقليدية التي يتحركها المفصل بين الإطارات المتتالية ($t$ و $t+1$).
     • الصيغة: $v_{i,j,t} = \sqrt{w_{i,j,t} \cdot ((x'_{i,j,t+1} - x_{i,j,t})^2 + (y'_{i,j,t+1} - y_{i,j,t})^2)}$
     • تجمع هذه السرعات عبر الفيديو لحساب المتوسط، والحد الأقصى، والتباين.
   • الديناميكيات المكانية (تداخل المفاصل):
     • تكتشف التفاعلات من خلال التحقق مما إذا كان مفصل الشخص (أ) يقع ضمن المربع المحيط بالشخص (ب).
     • الصيغة: تحسب عدد التقاطعات حيث $x^{(1)}_j \in [x^{(2)}_{min}, x^{(2)}_{max}]$ و $y^{(1)}_j \in [y^{(2)}_{min}, y^{(2)}_{max}]$.
     • تجمع عدد مرات التداخل لحساب المتوسط والتباين.
4. متجه الميزات: المدخل النهائي للمصنف هو متجه خماسي الأبعاد يتكون من: متوسط السرعة، الحد الأقصى للسرعة، تباين السرعة، متوسط التداخل، وتباين التداخل.
5. التصنيف: يتم تغذية هذه الميزات خفيفة الوزن في مصنفات التعلم الآلي التقليدية: الغابة العشوائية (Random Forest)، شجرة القرار (Decision Tree)، AdaBoost، و k-الجار الأقرب (k-NN).

3. المساهمات الرئيسية

• وحدة DIFEM: وحدة استخراج ميزات مبتعة وخفيفة الوزن تستفيد من الاستدلالات البسيطة (السرعة والتداخل المكاني) لالتقاط جوهر العنف دون الحاجة إلى شبكات عصبية عميقة.
• الكفاءة: يقلل هذا النهج بشكل كبير من عدد المعلمات (Parameters) والتكلفة الحسابية مقارنة بطرق التعلم العميق المتطورة، مما يجعله مناسباً للبيئات محدودة الموارد.
• الأداء: يثبت أن الميزات الإحصائية البسيطة المستمدة من الهياكل العظمية يمكن أن تتفوق على نماذج التعلم العميق المعقدة في مجموعات بيانات العنف القياسية.
• التقييم الشامل: اختبار واسع النطاق على ثلاث مجموعات بيانات متنوعة (RWF-2000، وHockey Fight، وCrowd Violence) مع دراسات الاستئصال (Ablation studies) التي تثبت ضرورة وجود كل من الميزات الزمنية والمكانية.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات: RWF-2000، وHockey Fight، وCrowd Violence.

• مقاييس الأداء:
  • RWF-2000: حقق مصنف الغابة العشوائية (Random Forest) دقة بلغت 96.50%، متفوقاً على أساليب SOTA مثل Hachiuma et al. (93.4%) و Zhang et al. (93.3%).
  • Hockey Fight: حقق دقة 98.80% (الغابة العشوائية)، متفوقاً على أساليب مثل Islam et al. (حيث ذُكر أن 99.0% هي منافس له، لكن DIFEM تنافس بقوة) و Tran et al. (71.39%).
  • Crowd Violence: حقق دقة 96.33%، متفوقاً على SPIL (94.5%) و Garcia-Cobo et al. (94.30%).
• الكفاءة:
  • وقت الاستدلال: سريع للغاية، يتراوح بين 0.0232 مللي ثانية إلى 0.0533 مللي ثانية لكل فيديو اعتماداً على المصنف.
  • حجم النموذج: تطلب نموذج الغابة العشوائية 13,202 عقدة شجرية فقط، وهو جزء ضئيل من المعلمات الموجودة في نماذج 3D CNNs أو GCNs.
• دراسة الاستئصال (Ablation Study):
  • استخدام التداخل المكاني فقط أدى إلى دقة أقل (مثلاً 73.16% في مجموعة بيانات Crowd) بسبب الإيجابيات الكاذبة الناتجة عن ازدحام الحشود.
  • استخدام السرعة فقط لم يكن كافياً.
  • الجمع بين كليهما أعطى أفضل النتائج، مما يؤكد أن العنف يتطلب كلاً من الحركة السريعة والتقارب الجسدي.

5. الأهمية والقيود

الأهمية:

• تحول في النموذج (Paradigm Shift): تتحدى هذه الورقة الافتراض بأن اكتشاف العنف يتطلب نماذج تعلم عميق ضخمة. فهي تثبت أن الاستدلالات المحددة للمجال (الحركة السريعة + الاصطدام) كافية لتحقيق دقة عالية.
• القابلية للتطبيق في العالم الحقيقي: التكلفة الحسابية المنخفضة تجعل هذا النهج قابلاً للتطبيق في أنظمة المراقبة في الوقت الفعلي على أجهزة الحافة (Edge devices) حيث يكون التعلم العميق غير عملي.
• القابلية للتفسير: على عكس نماذج التعلم العميق التي تُعتبر "صناديق سوداء"، فإن ميزات DIFEM (السرعة، التداخل) هي ميزات قابلة للتفسير فيزيائياً.

القيود:

• الاعتماد على تقدير الوضعية: تعتمد الطريقة كلياً على دقة OpenPose. إذا فشل مقدر الوضعية (على سبيل المثال بسبب الحجب الشديد أو الإضاءة الضعيفة)، فستكون ميزات DIFEM غير صحيحة.
• الأعباء الإضافية للمعلمات: بينما يعد المصنف خفيف الوزن، إلا أن نموذج OpenPose نفسه يضيف عدداً كبيراً من المعلمات إلى مسار العمل الإجمالي. يقترح المؤلفون عملاً مستقبلياً على خوارزميات استخراج هيكل أكثر كفاءة في المعلمات.
• الحالات الحدية: أظهر التحليل النوعي حالات فشل في السيناريوهات ذات الحركة المنخفضة (عنف بدون حركة سريعة) أو الحركة العالية بدون عنف (مثل خطوات المشي الكبيرة).

الخلاصة

نجح نهج DIFEM في إثبات أنه بالنسبة للتعرف على العنف، فإن هندسة الميزات القائمة على ديناميكيات الإنسان يمكن أن تتفوق على بنيات التعلم العميق المعقدة. ومن خلال التركيز على الواقع الفيزيائي للقتال (السرعة والاصطدام)، أنشأ المؤلفون نظاماً أسرع، وأرخص، وأكثر دقة من العديد من أساليب SOTA الحالية.