🤖 machine learning

A Modular Zero-Shot Pipeline for Accident Detection, Localization, and Classification in Traffic Surveillance Video

تقدم هذه الورقة البحثية مسار عمل معياريًا يعتمد على التعلم الصفري (zero-shot) لتحدي ACCIDENT @ CVPR 2026، يقوم بالكشف عن حوادث المرور وتحديد مواقعها وتصنيفها في فيديوهات المراقبة دون الحاجة إلى بيانات تدريب من العالم الحقيقي، وذلك عبر الجمع بين كشف الذروة في فروق الإطارات، وتحليل مركز ثقل التدفق البصري، ومطابقة تشابه النص والصورة القائمة على نموذج CLIP.

المؤلفون الأصليون: Amey Thakur, Sarvesh Talele

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amey Thakur, Sarvesh Talele

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك حارس أمن يراقب مئات كاميرات المرور في وقت واحد. مهمتك هي رصد حادث سيارة، وتحديد متى حدث بالضبط، وأين حدث، ونوع الحادث (مثل اصطدام من الخلف أو تصادم وجه لوجه).

المشكلة؟ أنت لم ترَ حادث سيارة حقيقية من قبل. لديك فقط فيديوهات تدريبية مصنوعة بواسطة لعبة فيديو. ولا يمكنك أن تطلب من إنسان أن يعلمك؛ بل يجب عليك اكتشاف الأمر بنفسك.

يصف هذا البحث فريقاً آلياً ذكياً مكوناً من ثلاثة أجزاء مصمماً للقيام بذلك تحديداً. يسمونه "خط معالجة الصفري" (Zero-Shot Pipeline)، وهي طريقة فخمة لقول: "نحن لم ندرس للاختبار؛ بل استخدمنا معرفتنا العامة لتخمين الإجابات فقط".

إليك كيف يعمل فريقهم المكون من ثلاثة أجزاء، مشروحاً بتشبيهات بسيطة:

1. ضابط الوقت: "مقياس الصخب"

الهدف: معرفة متى وقع الحادث بالضبط.

كيف يعمل: يراقب الروبوت الفيديو إطاراً تلو الآخر. ويحسب مقدار التغير في الصورة من ثانية إلى أخرى.
التشبيه: تخيل أنك تستمع إلى مكتبة هادئة. معظم الوقت، هناك أصوات تقليب أوراق أو همسات (حركة مرور عادية). فجأة، يسقط شخص كتاباً ثقيلاً (الحادث).
- الروبوت يقيس "الضجيج" في الفيديو.
- يتجاهل الضوضاء الصغيرة (ضجيج الخلفية) عن طريق تنعيمها وتلطيفها.
- عندما يرى قفزة هائلة في الضجيج — لحظة "صاخبة" مقارنة بالمكتبة الهادئة — يحدد تلك الثانية بدقة كزمن للحادث.
العيب: إذا هبت الرياح وحركت الأشجار في الخلفية، فقد يرتبك الروبوت ويعتقد أن الرياح هي حادث.

2. الراصد: "الخريطة الحرارية"

الهدف: معرفة أين وقع الحادث بالضبط على الشاشة.

كيف يعمل: بمجرد أن يقول ضابط الوقت: "لقد حدث الأمر في الثانية الخامسة!"، يقوم الراصد بالتركيز على تلك اللحظة. إنه ينظر إلى كيفية تحرك البكسلات (التدفق البصري).
التشبيه: تخيل أن الفيديو عبارة عن ساحة رقص مزدحمة.
- معظم الناس يرقصون بإيقاع هادئ ومتوقع (سيارات تسير بشكل طبيعي).
- عندما يقع حادث، يدور فج hกลุ่ม معين من الراقصين فجأة بشكل جنوني ويتصادمون.
- ينشئ الروبوت "خريطة حرارية" لكل الحركة. يتجاهل التمايل اللطيف للحشد ويركز فقط على أكثر بقعة جنونية وفوضوية.
- ثم يحسب "مركز الجاذبية" لتلك الفوضى لتحديد الإحداثيات الدقيقة للاصطدام.
العيب: إذا كانت ثلاث سيارات مختلفة تنحرف في نفس الوقت، سيرتبك الروبوت ويشير إلى منتصف الفوضى بأكملها بدلاً من مكان الحادث المحدد.

3. المحقق: "مطابق كتاب الصور"

الهدف: معرفة نوع الحادث (تصادم وجه لوجه، اصطدام من الخلف، إلخ).

كيف يعمل: يستخدم هذا الجزء ذكاءً اصطناعياً فائق الذكاء يسمى CLIP. CLIP يشبه أمين مكتبة قرأ ملايين الكتب ورأى ملايين الصور، لكن لم يتم تعليمه خصيصاً عن حوادث السيارات.
التشبيه:
- يأخذ الروبوت لقطة ثابتة للحادث.
- ثم يسأل أمين المكتبة (CLIP): "هل تبدو هذه الصورة أقرب إلى 'سيارتين تصطدمان وجهاً لوجه' أم 'سيارة تصطدم بحائط'؟"
- ليتأكد، يسأل الروبوت بخمس طرق مختلفة (مثلاً: "سيارة تصطدم بظهر سيارة أخرى"، "اصطدام من الخلف"، إلخ) ويقوم بمتوسط الإجابات.
- يقارن أمين المكتبة الصورة بهذه الأوصاف ويختار أفضل مطابقة.
العيب: تعلم أمين المكتبة من صور الإنترنت الملتقطة من مستوى العين. لكن كاميرات المرور تكون عادةً عالية على أعمدة. لذا، يرتبك أمين المكتبة بسبب الزوايا الغريبة وغالباً ما يخمن نوع الحادث بشكل خاطئ.

النتائج: مزيج من النجاح والإخفاق

جرب الفريق هذا النظام على لقطات حقيقية من كاميرات المرور، وإليكم كيف كان أداؤهم:

الوقت: كانوا جيدين حقاً في إيجاد لحظة وقوع الحادث.
الموقع: كانوا جيدين في إيجاد البقعة، غالباً لأن الحوادث تحدث عادة في منتصف الطريق على أي حال.
النوع: واجهوا صعوبة هنا. ولأن "أمين المكتبة" (CLIP) معتاد على رؤية السيارات من مستوى الأرض، فقد استمر في التخمين بأنه "اصطدام جانبي" أو "حادث سيارة واحدة" حتى عندما كان الحادث في الواقع "اصطداماً من الخلف".

الخلاصة:
يثبت هذا البحث أنه يمكنك بناء نظام للكشف عن الحوادث دون الحاجة إلى آلاف الأمثلة المصنفة. الأمر يشبه تعليم طفل التعرف على الكلب من خلال إظهار صورة كلب له وسؤاله: "هل هذا كلب؟" دون تعليم كلمة "كلب" له صراحةً.

النظام يعمل، لكنه ليس مثالياً بعد. يقترح المؤلفون أنه إذا علموا "أمين المكتبة" كيف ينظر إلى كاميرات المرور خصيصاً، أو استخدموا "راصداً" أفضل للحركة، فسيكون النظام أكثر ذكاءً بكثير.

باختصار: لقد بنوا روبوتاً يستمع للحادث، ويبحث عن الفوضى، ويخمن نوع الحادث باستخدام عقل ضخم مدرب مسبقاً. إنها بداية رائعة، لكن الروبوت لا يزال بحاجة إلى المزيد من التدريب ليتوقف عن التخمين الخاطئ!

إليك ملخص تقني مفصل لورقة البحث بعنوان: "خط أنابيب معياري صفري التدريب (Zero-Shot) للكشف عن الحوادث، وتحديد موقعها، وتصنيفها في فيديوهات مراقبة المرور."

1. بيان المشكلة

تعالج الورقة تحدي ACCIDENT @ CVPR 2026، والذي يتطلب تحليل فيديوهات مراقبة المرور للتنبؤ بثلاث سمات محددة لحادث مروري دون استخدام أي بيانات تدريب حقيقية مصنفة:

التحديد الزمني (Temporal Localization): الوقت الدقيق (بالثواني) الذي يقع فيه الحادث.
التحديد المكاني (Spatial Localization): الإحداثيات المعيارية $(x, y)$ لنقطة الاصطدام داخل إطار الفيديو.
تصنيف التصادم (Collision Classification): نوع التصادم من بين تصنيف خماسي الفئات: تصادم وجه لوجه (head-on)، تصادم من الخلف (rear-end)، احتكاك جانبي (sideswipe)، حادث مركبة واحدة (single-vehicle)، وتصادم جانبي عرضي (t-bone).

القيود الرئيسية:

إعداد صفري التدريب (Zero-Shot Setting): يُزود المشاركون فقط ببيانات تدريب اصطناعية (تم إنشاؤها عبر محاكي CARLA) وبيانات اختبار من العالم الحقيقي (لقطات كاميرات المراقبة CCTV). لا يُسمح بأي ضبط دقيق (fine-tuning) باستخدام تسميات من العالم الحقيقي.
فجوة النطاق (Domain Gap): يجب أن يتعميم النظام من الرندرات الاصطناعية عالية الجودة إلى لقطات العالم الحقيقي التي تتميز بتنوع الدقة، والإضاءة، وعيوب الضغط، وزوايا الكاميرا.
التقييم: الدرجة النهائية هي المتوسط التوافقي (harmonic mean) للدقة الزمنية، والدقة المكانية، ودقة التصنيف. أي فشل في أي بُعد واحد يؤدي إلى درجة صفر لذلك المكون، مما يعاقب بشدة على الإخفاقات الجزئية.

2. المنهجية

يقترح المؤلفون خط أنابيب معياري، صفري التدريب يتكون من ثلاثة مكونات مستقلة. لا يتم إجراء أي ضبط دقيق خاص بالنطاق؛ بل يعتمد النظام كلياً على أوزان النماذج المدربة مسبقاً ومعالجة الإشارات الكلاسيكية.

أ. التحديد الزمني (كشف الذروة)

الهدف: تحديد مؤشر الإطار (frame index) لوقوع التصادم.
الآلية:
1. تفاضل الإطارات (Frame Differencing): يحسب متوسط الفرق المطلق بين الإطارات الرمادية المتتالية ( $I_t$ و $I_{t+1}$ ).
2. التنعيم (Smoothing): يطبق متوسطاً متحركاً مركزياً (حجم النافذة $w=5$ ) لتقليل الضوضاء قصيرة الأمد (مثل اهتزاز الكاميرا).
3. كشف الشذوذ (Anomaly Detection): يقوم بتطبيع الإشارة المنعمة إلى درجات معيارية (z-scores).
4. الاختيار: الإطارات التي تتجاوز عتبة ( $\tau = 1.5$ ) هي المرشحة. يتم اختيار الإطار الذي يمتلك أعلى درجة z-score كزمن الحادث ( $t^*$ ). إذا لم يتم تجاوز أي عتبة، يتم اختيار القيمة القصوى العالمية.

ب. التحديد المكاني للأثر (مركز التدفق البصري)

الهدف: تحديد إحداثيات $(x, y)$ لموقع التصادم.
الآلية:
1. النافذة (Windowing): يضع نافذة مكونة من 30 إطاراً ممركزة حول زمن الحادث المتوقع $t^*$ .
2. التدفق البصري (Optical Flow): يحسب التدفق البصري الكثيف باستخدام خوارزمية Farneback (هرم غاوسي متعدد المقاييس) للإطارات المتتالية في النافذة.
3. التراكم (Accumulation): يجمع مقدار نواقل التدفق ( $M(u,v)$ ) عبر النافذة لإنشاء خريطة حركة تراكمية.
4. العتبة (Thresholding): يطبق عتبة المئوية التسعين (90th-percentile) على خريطة المقدار لتجاهل الحركة المنتشرة في الخلفية (مثل حركة السحب أو حركة المرور البعيدة) والاحتفاظ فقط بالتجمعات ذات المقدار العالي.
5. حساب المركز (Centroid Calculation): يحسب المركز الموزون للخريطة المطبقة العتبة لتحديد إحداثيات التصادم $(c^*_x, c^*_y)$ .

ج. تصنيف نوع التصادم (CLIP)

الهدف: تصنيف نوع الحادث إلى أحد الفئات الخمس.
الآلية:
1. هندسة الأوامر (Prompt Engineering): لكل فئة، يتم إنشاء خمسة أوصاف لغوية طبيعية مختلفة (مثل "سيارتان تصطدمان وجهاً لوجه")، ويتم حساب متوسطها لإنشاء تضمين نصي قوي ( $t_k$ ) باستخدام مشفر النصوص CLIP.
2. الترميز البصري (Visual Encoding): يتم استخراج ثمانية إطارات ممركزة حول زمن الحادث المتوقع، وإعادة تغيير حجمها، وترميزها باستخدام المشفر البصري CLIP (ViT-B/32). يتم حساب متوسطها في تضمين صورة واحد ( $v$ ).
3. مطابقة التشابه (Similarity Matching): الفئة المتوقعة هي الفئة ذات أعلى تشابه جيب التمام (cosine similarity) بين التضمين الصوري والتضمينات النصية.

3. المساهمات الرئيسية

بنية صفرية التدريب (Zero-Shot Architecture): يثبت وجود خط أنابيب فعال تماماً للكشف عن الحوادث يعمل دون أي بيانات حقيقية مصنفة، معتمداً فقط على النماذج المدربة مسبقاً (CLIP) والخوارزميات الكلاسيكية (Farneback).
المعيارية (Modularity): تم تصميم خط الأنابيب بمكونات منفصلة. هذا يسمح بترقية المكونات الفردية (على سبيل المثال، استبدال Farneback بمقدر تدفق بصري متعلم مثل RAFT) دون الحاجة لإعادة تدريب النظام بأكمله.
تكامل معالجة الإشارات: يجمع بفعالية بين كشف الشذوذ الإحصائي (z-scores) وتحليل اللحظات الصورية (المركز الموزون) مع نماذج الرؤية واللغة الحديثة لحل مشكلة زمانية-مكانية معقدة.
التنفيذ العام: تم إصدار الكود كدفتر ملاحظات عام على Kaggle، مما يعزز قابلية إعادة الإنتاج.

4. النتائج والأداء

درجة لوحة المتصدرين (Leaderboard Score): حقق خط الأنابيب درجة قدرها 0.2523 على مجموعة اختبار CCTV من العالم الحقيقي.
تحليل المكونات (مجموعة المعايرة):
- الزمن (T): متوسط الدرجة 0.438. النظام فعال بشكل عام في اكتشاف لحظة الحركة العالية.
- المكان (S): متوسط الدرجة 0.168. الأداء متوسط؛ تنشأ الأخطاء غالباً عند تحرك عدة مركبات في وقت واحد، مما يتسبب في انحراف المركز.
- التصنيف (C): متوسط الدرجة 0.0 على مجموعة المعايرة. فشل النموذج في التنبؤ بحوادث "الاصطدام وجهاً لوجه" بشكل صحيح، حيث كان يتنبأ دائماً بـ "الاصطدام الجانبي العرضي".
أنماط الخطأ:
1. الإيجابيات الكاذبة: الحركة الكبيرة في الخلفية (تمايل الأشجار، السحب) تطلق جهاز الكشف الزمني.
2. انحراف المركز: الحركة المتزامنة لعدة مركبات تشتت مركز التدفق البصري.
3. فجوة النطاق في التصنيف: يواجه CLIP صعوبة في التعامل مع زوايا كاميرات CCTV (علوية/مائلة) مقارنة ببيانات التدريب (صور الإنترنت بمستوى العين). توقع النموذج "الاحتكاك الجانبي" و"الحادث الفردي" بشكل متكرر، مما عكس التوزيع المشاهد في بيانات التدريب الاصطناعية (حيث كان "الاصطدام من الخلف" هو السائد).

5. الأهمية والتوجهات المستقبلية

الأهمية: يثبت هذا العمل أن الكشف عن الحوادث ممكن في بيئة صفرية التدريب، مما يوفر نموذجاً أساسياً لأنظمة إرسال الطوارئ التي لا تتطلب تسمية بيانات مكلفة ومحددة لكل موقع. كما يسلط الضوء على إمكانية الجمع بين الرؤية الحاسوبية الكلاسيكية والنماذج التأسيسية.
القيود: العائق الرئيسي هو وحدة التصنيف، التي تعاني من فجوة نطاق كبيرة بين بيانات التدريب الاصطناعية/CLIP ولقطات المراقبة في العالم الحقيقي.
العمل المستقبلي:
- استبدال تدفق Farneback البصري بمقدرات متعلمة (مثل RAFT) لتحسين الدقة في المدخلات منخفضة الدقة.
- الضبط الدقيق للمشفر البصري لـ CLIP على مجموعة البيانات الاصطناعية لسد الفجوة بين صور الإنترنت ولقطات المراقبة، وهو ما حدده المؤلفون كأكثر المسارات واعداً لتحسين الدرجة الإجمالية.

في الختلص، تقدم الورقة إطاراً معيارياً قوياً ينجح في تحديد مواقع الحوادث زمنياً ومكانياً باستخدام تقنيات صفرية التدريب، مع تحديد أن تحسين المحاذاة البصرية-اللغية للتصنيف هو الخطوة الحاسمة التالية للنشر في العالم الحقيقي.