💻 computer science

GridVAD: Open-Set Video Anomaly Detection via Spatial Reasoning over Stratified Frame Grids

تُعد GridVAD خط تدفق عمل للكشف عن الشذوذ في الفيديو مفتوح المجموعة ولا يتطلب تدريباً، حيث يستفيد من نماذج الرؤية واللغة كجهات مقترحة للشذوذ يتم تنقيحها بواسطة توحيد الاتساق الذاتي وتأصيلها بواسطة نماذج الكشف والتجزئة لتحقيق أداء فائق على مستوى البكسل دون تدريب خاص بالمجال.

المؤلفون الأصليون: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

نُشر 2026-03-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رئيس أمن في ساحة مدينة ضخمة ومزدحمة. مهمتك هي رصد أي شيء غريب يحدث — شخص يركض في الاتجاه الخاطئ، أو سيارة تقود على الرصيف، أو شجار يندلع.

في الماضي، كانت الأنظمة الأمنية تشبه الكلاب المدربة. كان عليك تعليمها تحديداً ما الذي يبدو "سيئاً" (مثل "كلب ينبح"). إذا قفز قط فوق سياج، فلن يعرف الكلب ماذا يفعل لأنه لم يتم تدريبه على القطط من قبل.

بعد ذلك، حصلنا على نماذج الرؤية واللغة (VLMs). فكر في هذه النماذج كأنها أمين مكتبة ذكي جداً ومثقف، قد قرأ كل الكتب ورأى كل الأفلام في العالم. يمكنه وصف أي شيء يراه بلغة إنجليزية مثالية. "ذلك شخص يركض"، أو "تلك سيارة تقود على العشب".

المشكلة: أمين المكتبة ثرثار للغاية (ويهلوس)

أدرك الباحثون في هذه الورقة البحثية أنه إذا سألت أمين المكتبة ببساطة: "هل هذه حالة طوارئ؟"، فإنه غالباً ما يخطئ.

لماذا؟ لقد رأى أمين المكتبكتب ملايين الفيديوهات لأشخاص يركضون على الأرصفة (وهذا أمر طبيعي) وملايين الفيديوهات لأشخاص يركضون في الأفلام (وهذا قد يكون حالة طوارئ). هو لا يعرف القواعد الخاصة بساحة مدينتك تحديداً.
النتيجة: إذا طلبت من أمين المكتبة الحكم على كل ثانية من الفيديو، فسيصرخ "حالة طوارئ!" في كل مرة يهرول فيها شخص ما، أو حتى عندما يتحرك ظل ما. إنه حساس للغاية ويخترع أشياء ليست موجودة (هلوسات).

الحل: GridVAD (فريق "الاقتراح - التثبيت - الانتشار")

بدلاً من مطالبة أمين المكتبية بأن يكون هو "القاضي"، ابتكر المؤلفون سير عمل جديداً يسمى GridVAD. لقد قسموا المهمة إلى ثلاثة أدوار متميزة، مثل آلة تعمل بسلاسة:

1. يصبح أمين المكتبة "مولد أفكار" (المقترح)

بدلاً من مطالبة أمين المكتبة بقول "نعم/لا"، نطلب منه فقط سرد الأفكار.

الخدعة: هم لا يعرضون على أمين المكتبة الفيديو ثانية بثانية. هذا مجهود كبير ومربك للغاية.
الشبكة: يأخذون مقطع فيديو مدته 10 ثوانٍ ويقسمونه إلى قصة مصورة من 9 لوحات (شبكة). يعرضون على أمين المكتبة هذه القصة المصورة كاملة دفعة واحدة.
الطلب: "انظر إلى هذه القصة المصورة. اكتب قائمة بأي شيء يبدو غريباً، وأخبرني متى حدث ذلك".
الفائدة: أمين المكتبة بارع في وصف الأشياء الغريبة ("شخص يتزلج في منطقة ممنوعة من التزلج")، لكنه سيء في تقرير ما إذا كان ذلك يشكل حالة طوارئ فعلاً. لذا، نحن نكتفي بجعله يكتب القائمة فقط.

2. "اختبار الواقع" (دمج الاتساق الذاتي)

هذا هو الجزء السحري. أمين المكتبة متقلب قليلاً. إذا سألته نفس السؤال 5 مرات، فقد يعطيك 5 إجابات مختلفة قليلاً. أحياناً يصيب، وأحياناً يخترع شبحاً.

الاستراتيجية: يطلب النظام من أمين المكتبة النظر إلى نفس مقطع الفيديو 5 مرات مختلفة (باستخدام إطارات عشوائية مختلفة قليلاً).
الفلتر: إذا قال أمين المكتبة: "أرى متزلجاً!" في 4 من أصل 5 مرات، يقول النظام: "حسناً، هذا على الأرج likely حقيقي". أما إذا قال: "أرى وحيد قرن طائراً!" مرة واحدة فقط، فيقول النظام: "لا، كان ذلك هلوسة. تجاهلها".
التشبيه: الأمر يشبه سؤال 5 شهود مختلفين لوصف جريمة. إذا قال 4 منهم "سيارة حمراء"، فأنت تثق في ذلك. أما إذا قال أحدهم "تنين أرجواني"، فأنت تعلم أنه يتخيل.

3. "المحقق وفرشاة الرسم" (التثبيت والانتشار)

الآن بعد أن أصبح لدينا قائمة موثوقة بالأحداث الغريبة (مثل: "متزلج من الساعة 2:00 إلى 2:15")، نحتاج إلى العثور عليها على الشاشة.

المحقق (Grounding DINO): نأخذ الوصف ("متزلج") ونطلب من نموذج محقق متخصص العثور على المربع الدقيق حول هذا المتزلج في الفيديو.
فرشاة الرسم (SAM2): بمجرد أن يجد المحقق المتزلج في إطار واحد، نستخدم "فرشاة رسم ذكية" (SAM2) لتتبع شكل المتزلج تلقائياً في كل إطار قبل وبعد تلك اللحظة. هذا ينشئ قناعاً متحركاً مثالياً يسلط الضوء بدقة على الشخص الذي يقوم بالشيء الغريب.

لماذا يعد هذا أمراً مهماً؟

لا حاجة للتدريب: لست بحاجة لتغذية النظام بآلاف الفيديوهات لـ "الأشياء السيئة" لتعليمه. إنه يعمل مباشرة (Zero-Shot) لأنه يستخدم المعرفة العامة لأمين المكتبة.
يوفر المال: بدلاً من مطالبة أمين المكتبية المكلف بالنظر إلى كل إطار من الفيديو (مما سيكلف ثروة من وقت الكمبيوتر)، يطلب منه GridVAD النظر 5 أو 6 مرات فقط لكل مقطع فيديو، بغض النظر عن طول الفيديو. إنه أكثر كفاءة بمقدار 2.7 مرة.
دقة أفضل: في اختبار UCSD Ped2 (مجموعة بيانات فيديو أمني قياسية)، وجدت هذه الطريقة الشذوذ على مستوى البكسل بشكل أفضل من أي طريقة أخرى، حتى تلك التي تم تدريبها خصيصاً على تلك البيانات.

العقبة

النظام جيد جداً في الدقة (عندما يجد شيئاً، فمن المؤكد تقريباً أنه حقيقي ومحدد بدقة). ومع ذلك، فإنه قد يغفل عن بعض الأشياء إذا لم يخطر ببال أمين المكتبية ذكرها في المقام الأول. من الأفضل الحصول على عدد قليل من التنبيهات المثالية بدلاً من آلاف الإنذارات الكاذبة.

باختصار: GridVAD يتوقف عن محاولة جعل الذكاء الاصطنا artificial intelligence "قاضياً" ويحوله إلى "شاهد". إنه يجمع روايات عدة شهود، ويستبعد الكاذبين منهم، ثم يرسل فريقاً متخصصاً للعثور على المثيرين للمشاكل وتحديدهم بدقة.

إليك ملخص تقني مفصل لورقة البحث: "GridVAD: كشف الشذوذ في الفيديو عبر المجموعات المفتوحة من خلال الاستدلال المكاني على شبكات الإطارات الطبقية."

1. بيان المشكلة

يهدف كشف الشذوذ في الفيديو (VAD) إلى تحديد وتوطين الأحداث التي تنحرف عن ديناميكيات المشهد الطبيعية. وهي مشكلة بطبيعتها مفتوحة المجموعة وغير متوازنة لأن حالات الشذوذ نادرة، متنوعة، وتعتمد على السياق (على سبيل المثال، الجري أمر طبيعي على الرصيف ولكنه شاذ في مصنع).

القيود الحالية: تعتمد طرق VAD التقليدية على بيانات التدريب (خاضعة للإشراف، أو تحت إشراف ضعيف، أو فئة واحدة)، مما يحد من قدرتها على التعميم على أنواع الشذوذ غير المرئية.
تحدي نماذج الرؤية واللغة (VLMs): بينما تمتلك نماذج الرؤية واللغة معرفة بصرية واسعة ويمكنها الاستدلال حول مفاهيم جديدة، فإن استخدامها مباشرة كأجهزة كشف عن الشذوذ هو أمر هش. فقد تم تدريب هذه النماذج على بيانات ضخمة من الإنترنت حيث لا تُعد حالات الشذوذ نادرة أو مصنفة بشكل منهجي. ونتيجة لذلك، فإنها تنتج درجات شذوذ غير معايرة، مما يؤدي إلى معدلات عالية من الإنذارات الكاذبة (الهلوسة) وفقدان عمليات الكشف عند مطالبتها باتخاذ قرارات ثنائية مثل "شاذ مقابل طبيعي".

2. المنهجية: مسار "الاقتراح - التوطين - الانتشار" (Propose-Ground-Propagate)

يقترح المؤلفون تحولاً في النموذج: بدلاً من استخدام نماذج الرؤية واللغة (VLMs) كأجهزة كشف مباشرة، يجب أن تعمل كـ مقترحات للمجموعات المفتوحة. مسار GridVAD هو خالٍ من التدريب (لا يتطلب ضبطاً دقيقاً على بيانات الشذوذ) ويتكون من أربع مراحل:

أ. أخذ العينات الشبكية الطبقية (Stratified Grid Sampling)

للتعامل مع السياق الزمني بكفاءة دون معالجة كل إطار على حدة:

يتم تقسيم مقطع الفيديو إلى $K$ من الحاويات الزمنية متساوية العرض.
يتم تمثيل المقطع كـ شبكة مكانية طبقية مكونة من $K$ من الإطارات (مثلاً: شبكة $3 \times 3$ تعني 9 إطارات).
يتم إجراء $M$ من عمليات أخذ العينات المستقلة. في كل عملية أخذ عينات، يتم سحب إطار واحد عشوائياً من كل حاوية ودمجها في صورة واحدة. يضمن هذا تمثيل كل حاوية زمنية مع توفير رؤى متنوعة للمقطع بتكلفة حسابية ضئيلة.

ب. اقتراح الشذوذ مفتوح المجموعة (VLM)

يتم تغذية كل صورة شبكية طبقية إلى نموذج VLM (مثل Qwen3-VL) مع مطالبة (prompt) مهيكلة.
يقوم الـ VLM بتوليد أوصاف لغوية طبيعية حرة لحالات الشذوذ المحتملة، بما في ذلك الفترات الزمنية ( $t_s, t_e$ ) ودرجات الثقة.
الأهم من ذلك، لا يُطلب من الـ VLM اتخاذ قرار بشأن ما إذا كان الشيء شاذًا أم لا؛ بل يُطلب منه فقط وصف ما يراه كأمر غير معتاد.

ج. توحيد الاتساق الذاتي (Self-Consistency Consolidation - SCC)

هذا هو الابتكار الجوهري لتصفية الضجيج:

يتم تجميع مقترحات الـ $M$ معاً.
يعمل نموذج لغوي كبير (LLM) نصي فقط كـ موحد دلالي، حيث يقوم بتجميع المقترحات التي تشير إلى نفس الكائن/الحدث عبر عمليات أخذ العينات المختلفة.
آلية التصفية: يتم الاحتفاظ فقط بالمقترحات التي تظهر في $\tau$ على الأقل من عمليات أخذ العينات المستقلة (عدد الدعم $\sigma_j \geq \tau$ ).
المنطق: حالات الشذوذ الحقيقية تكون متسقة بصرياً وستتكرر عبر عمليات أخذ العينات؛ أما الهلوسة فهي عشوائية ومن المرجح أن تظهر مرة واحدة فقط. هذا يحول المقترح المشوب بالضجيج إلى إشارة موثوقة.

د. التوطين المكاني والانتشار الزمني

التوطين (Grounding): يتم تمرير الوصف اللغوي الطبيعي للمقترح الناجي إلى GroundDino (كاشف مفتوح المفردات يعمل بنظام الصفر المعرفة) لتوليد صندوق إحاطة (bounding box) في الإطار المرجعي الأكثر إفادة.
الانتشار (Propagation): يُستخدم صندوق الإحاطة كمطالبة لنموذج SAM2 (Segment Anything Model 2) لنشر القناع (mask) للأمام وللخلف عبر النافذة الزمنية، مما يولد أقنعة شذوذ كثيفة على مستوى البكسل.

3. المساهمات الرئيسية

مبدأ "الـ VLM كمقترح": توضح الورقة أن نماذج الرؤية واللغة يجب أن تُستخدم لتوليد أوصاف مفتوحة المجموعة بدلاً من الدرجات الثنائية. هذا يفصل بين "التعرف/الوصف" (نقطة قوة الـ VLM) و"القرار/التوطين" (الذي يتم التعامل معه بواسطة نماذج متخصصة).
توحيد الاتساق الذاتي (SCC): آلية خفيفة الوزن وخالية من المعلمات، تتعامل مع الـ VLM كمستشعر عشوائي. تقوم بتصفية الهلوسة عبر الاحتفاظ بالمقترحات المدعومة إحصائياً، مما يتيح توازناً قابلاً للتحكم بين الدقة والاستدعاء.
التمثيل الشبكي الطبقي: يحول الكشف الزمني إلى مهمة استدلال مكاني تمر بمرة واحدة. يسمح هذا بـ استعلامات VLM محكومة بالميزانية (عدد ثابت $M+1$ من الاستدعاءات لكل مقطع بغض النظر عن طول الفيديو)، مما يجعله أكثر كفاءة بكثير من الاستعلام لكل إطار.

4. النتائج التجريبية

تم تقييم الطريقة على معايير UCSD Ped2 و ShanghaiTech Campus.

الأداء على UCSD Ped2:
- حقق أعلى Pixel-AUROC (77.59) بين جميع الطرق المقارنة، متفوقاً حتى على طريقة TAO المتطورة التي خضعت لضبط دقيق جزئي (75.11).
- تفوق على الأساليب الأخرى ذات الصفر المعرفة في مقاييس مستوى الكائن (RBDC) بأكثر من 5 أضعاف.
الكفاءة:
- يعد GridVAD أكثر كفاءة في استدعاءات الـ VLM بمقدار 2.7 مرة مقارنة بالاستعلام المنتظم لكل إطار.
- ينتج أقنعة تجزئة كثيفة، بينما غالباً ما تفتقر طرق أخذ العينات المنتظمة إلى السياق الزمني أو تتطلب توسعاً خطياً في عدد استدعاءات الـ API.
دراسات الاستئصال (Ablation Studies):
- إزالة SCC ( $M=1$ ) تزيد من استدعاء مستوى الكائن (RBDC/TBDC) ولكنها تقلل بشكل كبير من دقة مستوى البكسل (بسبب الأقنعة المهلوسة).
- تعمل SCC بفعالية على تصفية الضجيج، مما يحسن Pixel-AUROC بنحو 7.3 نقطة و Pixel-F1 بنحو 13.8 نقطة في ShanghaiTech، وذلك على حساب بعض الاستدعاء على مستوى الكائن.

5. الأهمية والقيود

الأهمية:

خالٍ من التدريب: يحقق GridVAD أداءً متطوراً دون أي ضبط دقيق خاص بمجموعة بيانات معينة أو قوائم فئات مغلقة.
المتانة: يعمل تفكيك (الاقتراح-التوطين-الانتشار) بفعالية على تخفيف مشكلة "الهلوسة" المتأصلة في استخدام نماذج VLM للكشف.
القابلية للتوسع: الميزانية الثابتة لكل مقطع تجعل النظام عملياً لمراقبة الفيديو طويلة المدى حيث يكون معالجة كل إطار أمراً مكلفاً حسابياً.

القيود:

عنق زجاجة استدعاء المقترحات: لا يمكن للنظام اكتشاف إلا حالات الشذوذ التي ينجح الـ VLM في اقتراحها. إذا فات الـ VLM حدثاً ما في جميع عينات $M$ ، فلن يتم اكتشافه.
مقاييس مستوى الكائن: بينما تعتبر مقاييس مستوى البكسل متفوقة، فإن الاستدعاء على مستوى الكائن (RBDC/TBDC) أقل من طرق التتبع الشاملة مثل TAO لأن GridVAD يعطي الأولوية لدقة القناع على الاستدعاء الشامل.
استقلالية المقاطع: قد يتم تفويت أو تكرار حالات الشذوذ التي تمتد عبر حدود المقاطع، حيث يعالج المسار المقاطع بشكل مستقل.

في الختام، يثبت GridVAD أنه من خلال إعادة تموضع نماذج الرؤية واللغة (VLMs) كـ مقترحات للمجموعات المفتوحة واستخدام الاتساق الإحصائي لتصفية الضجيج، يمكن تحقيق كشف دقيق للغاية لشذوذ الفيديو مع توطين كثيف على مستوى البكسل دون الحاجة للتدريب.