💻 computer science

Two-Pass Zero-Shot Temporal-Spatial Grounding of Rare Traffic Events in Surveillance Video

تقدم هذه الورقة البحثية مسار عمل يعتمد على التعلم الصفري (zero-shot) دون الحاجة إلى ضبط دقيق (no-fine-tuning)، والذي يستفيد من استراتيجية مرور مرحلتين من الخشن إلى الناعم (two-pass coarse-to-fine) وتخصيص أدوار نماذج الرؤية واللغة المتخصصة لتحقيق أفضل النتائج الحالية في التوطين الزماني والمكاني لحوادث المرور النادرة في فيديوهات المراقبة، متفوقاً بذلك على النماذج المرجعية الحالية بنسبة 12.7% في معيار ACCIDENT@CVPR 2026.

المؤلفون الأصليون: Jiantang Huang

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jiantang Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل جريمة وقعت في ساحة مدينة مزدحمة، لكن ليس لديك سوى لقطة واحدة من كاميرا أمنية مشوشة مدتها 30 ثانية. مهمتك هي العثور على ثلاثة أشياء محددة: متى بالضبط حدث الاصطدام، وأين بالضبط على الشاشة حدث، وما نوع هذا الاصطدام (على سبيل المثال، اصطدام من الخلف مقابل احتكاك جانبي).

المشكلة؟ لا يمكنك استئجار فريق من الخبراء البشريين لمشاهدة كل فيديو، كما لا يُسمح لك بـ "دراسة" فيديوهات حوادث حقيقية للتعلم كيفية رصدها (بسبب قوانين الخصوصية). عليك حل هذه المعضلة باستخدام أدوات ذكاء اصطناعي "جاهزة للاستخدام" لم يتم تدريبها خصيصاً على الحوادث.

تقدم هذه الورقة استراتيجية ذكية مكونة من خطوتين لحل هذا اللغز باستخدام نوعين مختلفين من "محققي" الذكاء الاصطناعي.

المشكلة: خطأ "المحاولة الواحدة"

إذا طلبت من ذكاء اصطناعي قياسي مشاهدة الفيديو المكون من 30 ثانية بالكامل وتخمين وقت ومكان ونوع الاصطدام دفعة واحدة، فإنه غالباً ما يصاب بالارتباك. الأمر يشبه أن تطلب من شخص مشاهدة فيلم كامل ثم يخبرك بالثانية المحددة التي عطس فيها ممثل معين، مع الإشارة أيضاً إلى المكان الدقيق على الشاشة وتسمية نوع العطسة. قد يخمن الشخص الفيلم الصحيح، لكنه قد يخطئ في التوقيت بفارق 20 ثانية أو يخلط بين العطسة والسعال.

وجد المؤلفون أن محاولات الذكاء الاصطناعي السابقة كانت غالباً ما تخطئ بهوامش كبيرة (مثل التخمين بأن الاصطدام حدث بعد 21 ثانية من وقعه الفعلي) أو تخطئ في نوع الاصطدام تماماً.

الحل: فريق المحققين "ثنائي المسار"

أنشأ المؤلفون مسار عمل يستخدم نموذجين مختلفين من الذكاء الاصطناعي يعملان معاً بترتيب محدد، مثل المحقق الأقدم والمتخصص.

المسار الأول: المسح "واسع الزاوية" (العام)

أولاً، يستخدمون ذكاءً اصطناعياً قوياً (يسمى Qwen3-VL) لمشاهدة الفيديو بسرعة بطيئة (إطار واحد في الثانية).

التشبيه: تخيل محققاً يتجول في مسرح الجريمة بسرعة، ينظر إلى الغرفة بأكملها. هو لا يتوقف لفحص كل بصمة إصبع بعد. هو فقط يحصل على "شعور غريزي" حول مكان وقوع الحدث والوقت التقريبي لحدوثه.
المخرجات: يعطي هذا الذكاء الاصطناعي تخميناً "خشناً": "الاصطدام ربما حدث حوالي الثانية 15، بالقرب من منتصف الشاشة، ويبدو أنه حادث سيارة واحدة".
شبكة الأمان: إذا ارتبك الذكاء الاصطناعي أو فشل الاتصال (API) بالإنترنت، فإن النظام لديه خطة احتياطية باستخدام قواعد فيزيائية بسيطة (مثل تتبع حركة السيارات) لتقديم أفضل تخمين، بحيث لا يترك الفيديو فارغاً أبداً.

المسار الثاني: التكرار "عالي الدقة" (المتخصص)

بعد ذلك، يأخذ النظام ذلك التخمين الخشن ويقوم بإنشاء مقطع فيديو صغير عالي الدقة "مكبر" يركز فقط على الـ 6 ثوانٍ حول وقت الاصطدام المشتبه به.

التشبيه: الآن، يضع المحقق عدسة مكبرة ويشاهد تلك الثواني الست فقط بالحركة البطيئة. إنه يبحث عن اللحظة الدقيقة للتصادم والمكان الدقيق الذي تلامست فيه السيارات.
بوابات السلامة: يحتوي النظام على "فحصين للسلامة":
1. فحص الوقت: إذا قال الذكاء الاصطناعي "المكبر" إنه "لا يستطيع رؤية اصطدام في هذه النافذة الزمنية المحددة المكونة من 6 ثوانٍ"، أو إذا خمن وقتاً عند حافة النافذة تماماً (مما يعني أنه مجرد تخمين)، فإن النظام يتجاهل التخمين الجديد ويلتزم بـ "الشعور الغريزي" الأصلي من المسار الأول.
2. فحص المساحة: إذا أشار الذكاء الاصطناعي "المكبر" إلى نقطة على حافة الشاشة تماماً (وهو ما يعد خطأً في الغالب)، فإن النظام يتجاهله ويستخدم الموقع الأصلي من المسار الأول.

"المتخصص" لأنواع الاصطدام

أخيراً، أدرك النظام أن الذكاء الاصطناعي الأول ليس جيداً جداً في تسمية نوع الاصطدام (مثل الخلط بين "الاحتكاك الجاني" و"الاصطدام من الخلف").

التشبيه: لذا، يقومون بتسليم المقطع القصير والمكبر لخبير ذكاء اصطناعي ثانٍ ومختلف (يسمى Gemini 3.1) وهو متخصص في تحديد أنواع الاصطدام. هذا الخبير ينظر فقط إلى لحظة الاصطدام ويقول: "هذا بالتأكيد احتكاك جانبي".

النتائج: التفوق على المنافسين

اختبر المؤلفون هذا الفريق "ثنائي المسار" على معيار عالمي حقيقي يحتوي على أكثر من 2,000 فيديو من كاميرات المراقبة (CCTV).

النتيجة: حققوا درجة قدرها 0.539.
المقارنة: كانت هذه النتيجة أفضل بكثير من أفضل المحاولات السابقة (التي سجلت حوالي 0.412) وأفضل بكثير من استخدام نموذج ذكاء اصطناعي واحد بمفرده.
التكلفة: بلغت تكلفة العملية بأكملها حوالي 20 دولاراً لتشغيلها على جميع الفيديوهات الـ 2,000 (أي حوالي سنت واحد لكل فيديو)، مما يثبت أنك لست بحاجة إلى كمبيوتر خارق للحصول على نتائج جيدة.

ما وجدوه (تحليل الفشل)

تعترف الورقة أيضاً بالمجالات التي لا يزال النظام يعاني فيها، كأنها تقرير من محقق صادق يوضح حدوده:

الانحياز المتأخر: يميل الذكاء الاصطناعي لتخمين أن الاصطدام حدث بعد وقوعه فعلياً (بفارق 1.5 ثانية تقريباً). هو غالباً ما يرى الحطام بعد التصادم بدلاً من لحظة التصادم نفسها.
خلط الأنواع: لا يزال النظام سيئاً في التمييز بين حادث "وجهاً لوجه" وحادث "اصطدام جانبي (T-bone)"، أو بين "الاحتكاك الجاني" و"الاصطدام من الخلف". إنه يخلط بينهما بنسبة 40-80% من الوقت.
طول الفيديو: كلما طال الفيديو، زادت صعوبة عثور الذكاء الاصطناعي على اللحظة الدقيقة، تماماً مثل صعوبة العثور على إبرة في كومة قش مدتها ساعة مقارنة ببحث في كومة مدتها 10 دقائق.

ملخص

باختصار، توضح هذه الورقة أنك لست بحاجة لتدريب ذكاء اصطناعي جديد من الصفر للعثور على حوادث المرور النادرة. بدلاً من ذلك، يمكنك استخدام استراتيجية "المسارين" الذكية: المسح بشكل واسع أولاً، ثم التكبير بعناً ثانياً، ثم استخدام خبير مختلف لتسمية نوع الاصطدام. هذا النهج، جنباً إلى جنب مع فحوصات السلامة البسيطة لتجنب التخمينات السيئة، يخلق نظاماً أكثر دقة بكثير من الطرق السابقة، وكل ذلك مع الحفاظ على التكال rendah واحترام الخصوصية.

ملخص تقني: التحديد الزماني والمكاني من دون تدريب (Zero-Shot) عبر مرحلتين للأحداث المرورية النادرة

بيان المشكلة
تتناول الورقة البحثية تحدي تحديد مواقع الحوادث المرورية في لقطات كاميرات المراقبة (CCTV) في العالم الحقيقي، وتستهدف تحديداً الربط المشترك للزمن، والإحداثيات المكانية، ونوع التصادم. يُصنف هذا كـ "مشكلة أحداث نادرة"، حيث لا يتوفر حجم الفيديوهات المصنفة المطلوبة للتعلم الخاضع للإشراف الحديث. علاوة على ذلك، تمنع مخاوف الخصوصية والمسؤولية القانونية غالباً التدريب على بيانات الحوادث الحقيقية. يركز العمل على معيار ACCIDENT@CVPR 2026، الذي يوفر 2,211 فيديو اصطناعياً من محاكي CARLA لأغراض التطوير، ولكنه يمنع منعاً باتاً التدريب على لقطات كاميرات المراقبة الحقيقية البالغ عددها 2,027 مقطعاً. مقياس التقييم هو ACCS، وهو المتوسط التوافقي لدرجات الدقة الزمنية (T)، والمكانية (S)، ونوع التصادم (C)، وهو مقياس يعاقب الأنظمة ذات المكونات الضعيفة في أي مهمة فرعية.

المنهجية
يقترح المؤلفون خط معالجة لا يعتمد على الضبط الدقيق (no-fine-tuning) يستفيد من النماذج اللغوية الرؤيوية (VLMs) المجمدة من خلال تفكيك المهمة إلى مرحلتين وتعيين أدوار متخصصة. يعمل النظام دون التدريب على بيانات حوادث حقيقية، معتمداً بدلاً من ذلك على القدرات الأصلية للنماذج سابقة التدريب.

التفكيك من الخشن إلى الناعم عبر مرحلتين:
- المرحلة الأولى (التحديد الخشن): يتم أخذ عينات من الفيديو الكامل بمعدل إطار واحد في الثانية (حتى 30 إطاراً) ومعالجتها بواسطة Qwen3-VL-Plus. يتم توجيه النموذج لإخراج زوج مرتب $(t_1, x_1, y_1, c_1)$ يمثل وقت التصادم، والموقع، والنوع. وللمساعدة في المحاذاة الزمنية، يتم تسلسل الإطارات باستخدام وسوم صريحة [Frame at t.ts]، مما يسمح للنموذج بمعامل تحديد الزمن كمهمة تسمية إطارات بدلاً من الانحدار المستمر.
- المرحلة الثانية (التحسين الناعم): يتم استخراج نافذة زمنية قدرها $\pm 3$ ثوانٍ حول التقدير الزمني الخشن $t_1$ وأخذ عينات بمعدل 5 إطارات في الثانية (حتى 30 إطاراً بدقة 1024 بكسل). يقوم Qwen3-VL-Plus بإعادة تقييم هذه النافذة لتحسين الوقت ( $t_2$ ) والموقع ( $x_2, y_2$ ) بدقة 0.1 ثانية.
- بوابات الثقة: تحدد بوابتان حتميتان ما إذا كان سيتم قبول تقديرات المرحلة الثانية المحسنة أو العودة إلى تقديرات المرحلة الأولى الأكثر متانة:
  - بوابة الزمن: إذا أعادت المرحلة الثانية وقتاً سالباً أو وقتاً قريباً من حدود النافذة (مما يشير إلى انخفاض الثقة)، يعود النظام إلى $t_1$ .
  - البوابة المكانية: إذا كانت إحداثيات المرحلة الثانية "مقيدة عند الحواف" (بالقرب من حدود 0 أو 1000 في الشبكة الموحدة)، يعود النظام إلى $(x_1, y_1)$ .
تعيين الأدوار المتخصصة:
- إدراكاً بأن نموذجاً لغوياً رؤوياً واحداً قد لا يتفوق في جميع المهام الفرعية، يقوم خط المعالجة بتقسيم المسؤوليات. يتولى Qwen3-VL-Plus مهام التحديد الزمني والمكاني (T+S).
- تم تعيين دور تصنيف نوع التصادم (C) لنموذج Gemini 3.1 Flash-Lite. يتم قص مقطع مدته 5 ثوانٍ ممركز حول التقدير الزمني النهائي (تكبير 2.5 ضعف حول مركز المرحلة الأولى) وتمريره إلى Gemini مع أمر (prompt) مغلق العالم يسرد أنواع التصادم الخمسة. هذا التخصص يحسن دقة النوع بشكل كبير مقارم استخدام نموذج واحد لجميع المهام.
آلية التراجع (Fallback):
- في حالات فشل واجهة برمجة التطبيقات (API) (لوحظ في حوالي 17% من الفيديوهات)، يتراجع النظام إلى خط معالجة كاشف مجمد (YOLO26x + ByteTrack) مدمج مع تسجيل فيزيائي قائم على القواعد. يضمن ذلك عدم ترك أي فيديو دون معالجة.

المساهمات الرئيسية

خط معالجة بدون ضبط دقيق: طريقة تستخرج مخرجات (T+S+C) مشتركة من نماذج VLMs مجمدة، متجنبة الحاجة إلى بيانات حوادث حقيقية مصنفة.
التفكيك عبر مرحلتين مع بوابات: استراتيجية لتحسين المناطق ذات الأهمية العالية مع استخدام فحوصات ثقة حتمية لمنع انتشار الخطأ من المرحلة الثانية.
تقسيم الأدوار المتخصصة: إثبات أن تعيين تصنيف النوع لنموذج VLM ثانٍ متخصص (Gemini) يرفع دقة النوع من 0.474 إلى 0.591، وهو تحسن حاسم لدرجة المتوسط التوافقي.
التحليل المنهجي للفشل: تقدم الورقة تشخيصاً مفصلاً لأنماط الفشل، بما في ذلك انحياز زمني متأخر قدره +1.55 ثانية، والتدهور المرتبط بطول الفيديو، وتحليل "أوراكل" (Oracle) بين الفيزياء والـ VLM.

النتائج
على مجموعة اختبار ACCIDENT@CVPR 2026 (2,027 فيديو)، يحقق خط المعالجة المقترح ACCS قدره 0.539 (فاصل ثقة 95% [0.525, 0.553]).

الأداء المقارن: يمثل هذا تحسناً قدره +0.127 عن أفضل "أوراكل" للنماذج الأساسية في الورقة المرجعية (0.412)، وتحسناً قدره +0.143 عن أقوى نموذج أساسي أحادي الـ VLM وهو Molmo-7B (0.396).
تفصيل المهام الفرعية: يحقق المنهج T=0.50، وS=0.54، وC=0.59. ومن الملاحظ أن دقة النوع (C) هي الأعلى المسجلة، بينما تتخلف الدقة المكانية قليلاً عن أفضل نموذج أساسي أحادي الـ VLM.
كفاءة التكلفة: تبلغ تكلفة التشغيل الكامل حوالي 20 دولاراً لمجموعة الاختبار بأكملها (حوالي 0.01 دولار لكل فيديو)، باستخدام ما يصل إلى ثلاث استدعاءات لـ API لكل فيديو.
تشخيصات الفشل: يكشف التحليل عن متوسط انحياز زمني متأخر قدره +1.55 ثانية (غالباً ما يحدد النموذج حطام ما بعد التصادم بدلاً من لحظة التلامس) وارتباك كبير بين تصنيفي "التصادم المواجه" و"التصادم الجانبي".

الأهمية والادعاءات
تدعي الورقة أن سد الفجوة بين الأنظمة الآلية والأداء البشري (Human ACCS = 0.843) في تحديد الأحداث النادرة دون تدريب تحت الإشراف يتطلب تجاوز العناصر الأولية المصنوعة يدوياً والتوجيه أحادي الخطوة. يجادل المؤلفون بأن نهجهم يثبت جدوى خطوط معالجة الـ VLM التي تعمل بدون تدريب (zero-shot) للمهام الحرجة تتعلق بالسلامة حيث تكون ندرة البيانات والخصوصية هي القيود الأساسية.

يظل المؤلفون متواضعين بشأن الحالة الراهنة للنظام، مشيرين إلى أن الغموض الزمني المتبقي (متوسط خطأ 1.1 ثانية) والارتباك النوعي المحدد (المواجه/الجانبي) ليست بعد مقبولة لأنظمة الإخطاء الأولية عن الخسارة (FNOL) المؤتمتة بالكامل دون وجود تدخل بشري. ويخلصون إلى أن التحسينات المستقبلية يجب أن تركز على أخذ العينات التكيفي ودمج الفيزياء مع الـ VLM بدلاً من مجرد زيادة حجم النماذج. يرسخ هذا العمل أن التخصيص النوعي للأدوار والتحسين من الخشن إلى الناعم هي أدوات فعالة لتحسين التحديد من دون تدريب في سيناريوهات المراقبة المعقدة في العالم الحقيقي.