Interactive Query based Abnormal Events Synopsis Generation in Surveillance Video
تقترح هذه الورقة خوارزمية تفاعلية قائمة على الاستعلام لتوليد ملخصات للأحداث غير الطبيعية في فيديوهات المراقبة، تستخدم مصنفاً قائماً على القواعد للتعامل مع استعلامات المستخدم المعقدة وتُقدم مقياس "نسبة التداخل المحسنة" للتقييم، مما يثبت دقة وجودة متفوقتين على الطرق الحالية في مجموعة بيانات PETS09.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على لحظة محددة في فيلم، لكن الفيلم هو في الواقع بث لكاميرا مراقبة أمنية يعمل لمدة 24 ساعة دون توقف. إن مشاهدة كل ثانية من هذا التسجيل للعثور على اللحظة التي أسقط فيها شخص ما مفاتيحه أو سلك طريقاً خاطئاً ستكون أشبه بمحاولة الشرب من خرطوم حريق. هذا هو عالم تحليلات فيديو المراقبة. في هذا المجال، تعمل الحواسيب كعيون، تراقب باستمرار بحثاً عن "الأحداث غير الطبيعية" — الأشياء التي لا تتناسب مع النمط المعتاد، مثل بقاء شخص ما في مكان ما لفترة طويلة جداً، أو وقوع تصادم مفاجئ، أو تسلل شخص إلى منطقة محظورة.
ولجعل هذا الفيض من البيانات منطقياً، يستخدم العلماء تلخيص الفيديو. فكر في هذا الأمر كأنه "أبرز اللقطات" أو "إعلان ترويجي لفيلم" لمقاطع الفيديو الأمنية. فبدلاً من عرض الأجزاء المملة حيث لا يحدث شيء، يختار الكمبيوتر فقط الإطارات المثيرة ويقوم بدمجها معاً لتكوين ملخص قصير وسريع الإيقاع. ومع ذلك، هناك مشكلة: أحياناً يرتبك الكمبيوتر. فقد يعرض لك شخصين يسيران بجانب بعضهما البعض في نفس الوقت، مما يجعلهما يبدوان ككتلة واحدة ضخمة. هذا "التداخل" يجعل الملخص فوضوياً وصعب القراءة. السؤال الكبير الذي يحاول الباحثون حله هو: كيف يمكننا إنشاء ملخص يستمع تماماً لما يريد المستخدم رؤيته، ويحافظ على ترتيب القصة الصحيح، ولا يصبح فوضوياً عندما يصطدم الناس ببعضهم البعض؟
استعلام المحقق: طريقة جديدة لتلخيص مقاطع الفيديو الأمنية
في هذه الورقة البحثية، يقترح الباحثان جودي فينيلا ثانغاسوامي وبالاموروجان فيانيابان طريقة جديدة تسمى توليد ملخص الأحداث غير الطبيعية القائم على الاستعلام التفاعلي (IQAES). تخيل أنك محقق يحقق في جريمة. بدلاً من مشاهدة ساعات من لقطات باهتة، يمكنك طرح أسئلة محددة على الكمبيوتر مثل: "أرني كل من دخل الردهة من الشرق بين الساعة 2 و3 مساءً"، أو "جد اللحظة التي دخل فيها شخصان معاً".
تشير الورقة إلى أن الطرق الحالية تشبه أميناً للمكتبة يتسم بالجمود، حيث يمنحك الكتب بناءً على قائمة ثابتة فقط، متجاهلاً أسئلتك المحددة. أما خوارزمية IQAES الجديدة، فهي تعمل كمساعد ذكي للغاية يفهم الطلبات المعقدة. يمكنها التعامل مع الاستعلامات البسيطة (مثل "من دخل؟") والاستعلامات المعقدة (مثل "من دخل من الشمال بينما خرج شخص آخر من الجنوب؟").
كيف يعمل السحر
يعمل النظام عبر عدة خطوات ذكية، باستخدام مجموعة من القواعد لتتبع الأشخاص:
- الشبكة غير المرئية: أولاً، يرسم الكمبيوتر صندوقاً غير مرئي (يسمى منطقة الاهتمام، أو ROI) على الشاشة حيث يهتم بالمراقبة. وهو يتتبع إحداثيات جسم كل شخص (الأعلى، الأسفل، اليسار، اليمين) أثناء حركتهم.
- كود "0" و "1": ينشئ النظام قائمة لكل شخص. إذا كان الشخص داخل الصندوق، يحصل على الرقم "1". وإذا كان خارج الصندوق، يحصل على الرقم "0".
- محرك الاستعلام: عندما تطرح سؤالاً، يقوم النظام بمسح هذه القائمة.
- الدخول/الخروج: يبحث عن اللحظة التي يتغير فيها كود الشخص من "0" إلى "1" (دخول) أو من "1" إلى "0" (خروج).
- التسكع (Loitering): إذا بقي الشخص داخل الصندوق لفترة طويلة، يحدد النظام ذلك كحالة "تسكع".
- الاتجاه: من خلال مقارنة مكان وجود الشخص في الإطار السابق مقابل الإطار الحالي، يعرف النظام ما إذا كان يتحرك شمالاً، أو جنوباً، أو شرقاً، أو غرباً.
- التزامن: يمكنه أيضاً رصد الحالات التي يقوم فيها شخصان بأشياء في نفس الوقت، مثل الدخول معاً، من خلال التحقق مما إذا كانت لحظات "الدخول" الخاصة بهما تحدث ضمن نافذة زمنية ضيقة جداً من بعضهما البعض.
مشكلة "الكتلة الفوضوية" والحل الجديد
أحد أكبر الصداع في ملخصات الفيديو هو التداخل. تخيل شخصين يسيران جنباً إلى جنب؛ بالنسبة للكمبيوتر، قد يبدوان كشخص واحد ضخم وعريض. حاولت الطرق القديمة قياس جودة الملخص من خلال عد كيفية تداخل "البكسلات". يجادل المؤلفون بأن هذا يشبه الحكم على حفلة مزدحمة من خلال قياس المساحة الإجمالية للأرضية التي تغطيها أقدام الناس — فهذا لا يخبرك بعدد الأشخاص الذين انحشروا معاً بالفعل.
ولإصلاح ذلك، قدمت الورقة مقياساً جديداً يسمى نسبة التداخل المحسنة (IOR). فبدلاً من عد البكسلات، يقوم IOR بعد عدد الأشخاص الفعليين الذين يتداخلون. هو يتساءل: "في هذا الملخص، كم عدد البشر المتميزين الذين يتم حشرهم معاً؟" وهذا يعطي صورة أوضح بكما هو الحال في مدى "نظافة" الملخص.
ماذا وجدوا؟
اختبر الباحثون نظامهم الجديد على مجموعة بيانات شهيرة تسمى PETS09، والتي تحتوي على 794 إطاراً لفيديو مشاة. قاموا بإعداد "منطقة اهتمام" محددة بإحداثيات (160, 260) إلى (250, 280) وطلبوا من النظام العثور على أحداث متنوعة.
كانت النتائج واعدة. فعند مقارنته بطريقة قديمة ("إطار التصور")، تفوق نظام IQAES الجديد في معظم الفئات:
- الدقة (Accuracy): بالنسبة لاستعلامات الدخول/الخروج البسيطة، بلغت دقة النظام الجديد 99%.
- الإحكام (Precision): حدد النظام بشكل صحيح 97% من الأحداث ذات الصلة للاستعلامات البسيطة، مقارنة بـ 86% للطريقة القديمة.
la الاستدعاء (Recall): وجد النظام 100% من الأحداث الفعلية في بعض اختبارات الاتجاهات المعقدة، بينما وجدت الطريقة القديمة 86% فقط. - النظافة: أنتج النظام الجديد ملخصات بها "فوضى" أقل بكثير. كانت نسبة التداخل المحسنة (IOR) أقل بكثير (على سبيل المثال، 7.00% للاستعلامات الاتجاهية المعقدة مقابل 43.00% للطريقة القديمة)، مما يعني أن عدداً أقل من الأشخاص تم حشرهم معاً في الفيديو النهائي.
كما طلبوا من خمسة متطوعين بشريين تقييم الملخصات. منح المشاركون درجات عالية لكيفية كون الفيديوهات ممتعة للمشاهدة ومدى جودة حفظها للأحداث المهمة.
الخلاصة
تخلص الورقة إلى أن هذا النهج التفاعلي يعد خطوة قوية للأمام. وتقترح أنه من خلال السماح للمستخدمين بطرح أسئلة معقدة، وباستخدام مقياس IOR الجديد للتحقق من الأشخاص "المحشورين"، يمكننا إنشاء ملخصات مراقبة أسرع في المشاهدة، وأكثر دقة، وأسهل في الفهم. ورغم أن النظام ليس مثالياً (لا يزال يواجه بعض الإنذارات الكاذبة عندما يتداخل الناس بكثافة)، إلا أن المؤلفين يظهرون أنه يتفوق على المعيار الحالي، مما يوفر نافذة أكثر وضوحاً على عالم فيديوهات المراقبة الفوضوي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.