Frame-Level Evaluation in Weakly Supervised Video Anomaly Detection Mostly Measures Video-Level Ranking

في عالم الرؤية الحاسوبية، هناك سباق مستمر لتعليم الآلات كيفية مراقبة بث الفيديو ورصد المشكلات. تخيل كاميرا أمنية تمسح شارعًا مزدحمًا، أو محطة قطار، أو أرض مصنع. الهدف هو أن تلاحظ البرمجيات وقوع خطأ ما — مثل اندلاع عراك، أو سقوط شخص، أو سير مركبة في الاتجاه الخاطئ — وأن تحدد بدقة متى وأين حدث ذلك. لسنوات طويلة، قام الباحثون بتدريب هذه الأنظمة باستخدام طريقة تسمى "الإشراف الضعيف". فبدلاً من إظهار كل ثانية من الفيديو للكمبيوتر وتسمية اللحظة الدقيقة التي يحدث فيها الحدث، يكتفون بإخبار الكمبيوتر ما إذا كان الفيديو بأكمله يحتوي على حالة شاذة أم لا. إنه اختصار عملي، يشبه إلى حد كبير معلمًا يخبر طالبه بأن "هذا المقال يحتوي على خطأ" دون الإشارة إلى الجملة المحددة. وللتحقق مما إذا كانت هذه الأنظمة تعمل بكفاءة، يستخدم العلماء اختبارًا معياريًا يقوم بترتيب كل إطار من كل فيديو في قاعدة بيانات، من الأكثر ريبة إلى الأكثر طبيعية، ويتحقق من مدى قدرة النظام على الفصل بين اللحظات السيئة واللحظات الجيدة.

قرر باحثان من جامعة سونغ كيون كوان في كوريا الجنوبية، إنبيو سونغ وجانغ وون لي، النظر بعمق في هذا الاختبار المعياري. طرحا سؤالًا بسيطًا ولكنه عميق: عندما يحصل الكمبيوتر على درجة عالية في اختبار الترتيب هذا، هل يعرف حقًا متى وقعت المشكلة، أم أنه بارع فقط في التخمين بأن هذه الفيديوهات تحتوي على مشكلات؟ كشف استقصاؤهما، الذي نُشر في دراسة حديثة، عن حقيقة مذهلة حول كيفية تقييم هذه الأنظمة. فقد وجدا أن الاختبار المعياري يميل بشدة نحو مقارنة الفيديوهات المختلفة ببعضها البعض، لدرجة أن الكمبيوتر يمكنه تحقيق درجة تقارب المثالية دون أن يحدد لحظة واحدة محددة للخطر داخل الفيديو. الأمر يشبه قدرة طالب على التفوق في امتحان تاريخ عبر التخمين الصحيح للكتب المدرسية التي تحتوي على أخطاء، دون أن يقرأ صفحة واحدة للعثين عن الخطأ المطبعي.

بدأ الباحثان بتحليل الرياضيات الكامنة وراء درجة الترتيب المعيارية. وأدركا أن هذه الدرجة مبنية من نوعين مختلفين من المقارنات. النوع الأول يقارن لحظة سيئة في فيديو واحد مع لحظة جيدة في نفس الفيديو؛ وهذا هو اختبار "التحديد المحلي الحقيقي"، الذي يتحقق مما إذا كان النظام يدرك الفرق بين ثانية آمنة وثانية خطيرة داخل التسجيل نفسه. النوع الثاني يقارن لحظة سيئة في فيديو ما مع لحظة جيدة في فيديو مختلف تمامًا. وهذا هو اختبار "الفرز على مستوى الفيديو"، الذي يتحقق مما إذا كان النظام يستطيع تمييز أن الفيديو (أ) أكثر خطورة من الفيديو (ب). وعندما حسبوا عدد هذه المقارنات التي حدثت بالفعل داخل نفس الفيديو، كان العدد ضئيلاً بشكل صادم. ففي ثلاث مجموعات بيانات رئيسية تُستخدم في هذا المجال، كانت نسبة المقارنات بين إطارات من نفس الفيديو أقل من 0.4 بالمائة. الغالبية العظمى من الدرجة تأتي من مقارنة الإطارات عبر فيديوهات مختلفة.

يخلق هذا الخلل ما يسميه المؤلفون "التخفيف الزمني". فكلما زاد عدد الفيديوهات في مجموعة الاختبار، تقل فرصة اختبار النظام في قدرته على إيجاد اللحظة الدقيقة للحدث بسرعة كبيرة. النظام يُكافأ في الغالب على تخصيص درجة إجمالية عالية لفيديو يحتوي على حالة شاذة، ودرجة منخفضة لفيديو لا يحتوي عليها. ولإثبات صحة ذلك، أجرى الباحثون سلسلة من التجارب المنضبطة. فقد قاموا بتدريب نماذج حاسوبية بسيطة للقيام بشيء واحد فقط، وهو تخصيص درجة واحدة ثابتة لكل إطار في الفيديو بناءً على ما إذا كان هذا الفيديو مصنفًا كخطر أو آمن. لم تكن هذه النماذج تمتلك أي قدرة على التمييز بين لحظة وأخرى؛ فالدرجة المخصصة للثانية الأولى من الفيديو هي نفسها للثانية الأخيرة. وبالرغم من افتقارها لأي قدرة على تحديد موقع الحدث في الزمن، إلا أن هذه النماذج البسيطة حققت درجات عالية جدًا في الاختبار المعياري، تراوحت بين 81% و97% اعتمادًا على مجموعة البيانات.

بعد ذلك، أخذ الباحثون مخرجات أكثر الأنظمة تعقيدًا وتطورًا المتاحة حاليًا، وأجروا عملية "استبدال متوسط الفيديو". لقد أخذوا الدرجات التفصيلية (ثانية بثانية) التي أنتجتها هذه الأنظمة المعقدة واستبدلوا درجة كل ثانية بمتوسط الدرجة لذلك الفيديو بأكمله. هذه العملية محت جميع معلومات التوقيت الدقيقة، ولم تترك سوى التقييم العام للفيديو. ولو كان الاختبار المعياري يقيس حقًا القدرة على إيجاد اللحظة الدقيقة للشذوذ، لكان من المفترض أن تنهار هذه الدرجات. ولكن بدلًا من ذلك، لم تتغير الدرجات إلا قليلًا. ففي 69 حالة من أصل 72 تجربة منضبطة، احتفظ النظام بأكثر من 90% من درجته الأصلية حتى بعد تجريده من جميع تفاصيل التوقيت. وانطبق النمط نفسه على النتائج الرسمية التي نشرها مؤلفو الأساليب الرائدة الأخرى. وحتى عندما قام الباحثون بخلط ترتيب الإطارات داخل الفيديو، مما أدى إلى بعثرة التسلسل الزمني مع الحفاظ على نفس مجموعة الدرجات، ظل أداء الترتيب سليمًا إلى حد كبير.

تشير هذه النتائج إلى أن المعيار الحالي لتقييم هذه الأنظمة لا يقيس ما يعتقد الباحثون أنه يقيسه. فالحصول على درجة عالية في اختبار الترتيب المجمع لا يثبت أن النظام يمكنه تحديد موقع الحدث، بل يثبت أساسًا قدرة النظام على ترتيب الفيديوهات حسب خطورتها العامة. ويرى الباحثون أن هذا التمييز مهم للغاية للتطبيقات في العالم الحقيقي. فإذا تلقى حارس الأمن تنبيهًا بأن فيديو ما يحتوي على حالة شاذة، فإنه يحتاج إلى معرفة متى ينظر، وليس فقط أي فيديو يجب أن يشاهده. إن بروتوكول التقييم الحالي يكافئ القدرة على اختيار الفيديو الصحيح، لكنه يفشل في التحقق من القدرة على إيجاد اللحظة الصحيحة. ويقترح المؤلفون ضرورة تغيير طريقة الإبلاغ عن النتائج في هذا المجال؛ حيث يوصون بأن يبلغ الباحثون دائمًا عن درجة منفصلة تقيس مدى جودة ترتيب النظام للإطارات داخل فيديو واحد، جنبًا إلى جنب مع الترتيب المعياري على مستوى الفيديو. كما يقترحون أن تصميم الاختبارات المستقبلية يجب أن يضمن عدم قيام عدد الفيديوهات بتخفيف أهمية إيجاد اللحظة الدقيقة للحدث.

لا يدعي هذا العمل أن الأنظمة الحالية عديمة الفائدة أو أنها لا تستطيع تعلم تحديد مواقع الأحداث، بل يوضح ببساطة أن لوحة النتائج التي يلعبون عليها لا تجبرهم على فعل ذلك. إن الدرجات العالية التي شوهدت في السنوات الأخيرة هي في الغالب انعكاس لقدرة النظام على فرز الفيديوهات، وهي قدرة مفيدة ولكنها تختلف عن القدرة على تحديد الوقت بدقة. ومن خلال فصل هاتين المهارتين في عملية التقييم، يمكن للمجال ضمان ألا تكون الأنظمة المستقبلية جيدة فقط في تخمين الفيديوهات الخطرة، بل قادرة حقًا على مراقبة الساعة وإيجاد الثانية الدقيقة التي يحدث فيها خطأ ما. يتطلب المسار المستقبلي تحولًا في التركيز، بعيدًا عن الرقم الواحد المجمع الذي يحجب هذه الفروق، نحو صورة أوضح تثمن دقة الوقت بقدر ما تثمن تحديد الحدث نفسه.