Multi-Camera Trajectory Forecasting with Trajectory Tensors
تقدم هذه الورقة إطار عمل للتنبؤ بالمسارات عبر كاميرات متعددة يستخدم "موترات المسار" المبتكرة ومنهجية "أين ومتى وأي" للتنبؤ بحركات الأجسام عبر مناظر كاميرات متعددة، مما يظهر أداءً فائقاً على الطرق الحالية أحادية الكاميرا في مجموعة بيانات واسعة النطاق ومتعددة المناظر.
المؤلفون الأصليون:Olly Styles, Tanaya Guha, Victor Sanchez
تخيل أنك تشاهد ساحة مدينة صاخبة من خلال كاميرا أمنية واحدة. ترى شخصًا يمشي بخطى سريعة نحو حافة شاشتك. في عالم الرؤية الحاسوبية، هذه لغز كلاسيكي: "إلى أين سيذهب بعد ذلك؟". لقد أمضى العلماء سنوات في تعليم الحواسيب تخمين هذا الأمر، لكنها عادة ما تنظر إلى كاميرا واحدة في كل مرة. الأمر يشبه محاولة التنبؤ بمسار صديق عبر متاهة بينما تراه فقط من خلال ثقب باب صغير؛ فبمجرد أن يخرج من مجال رؤيتك، تصبح مجرد تخمين في الظلام. هذا القصور يجعل من الصعب تتبع الأشخاص لفترات طويلة أو عبر مساحات واسعة. ولحل هذه المشكلة، يحاول الباحثون الآن الربط بين النقاط عبر العديد من الكاميرات، لخلق "رؤية فائقة" ترى الصورة الكاملة دفعة واحدة. الهدف هو بناء نظام لا يكتفي بمراقبة ما يحدث الآن فح، بل يتنبأ أين سيظهر الشخص التالي، وفي أي غرفة، وفي أي وقت، حتى لو كان يتحرك بين مناطق كاميرات مختلفة.
تقدم هذه الورقة البحثية طريقة جديدة لحل ذلك اللغز، تسمى "التنبؤ بالمسار متعدد الكاميرات" (MCTF). يرى المؤلفون، أولي ستايلز، وتانايا غوها، وفيكتور سانشيز، أن الطريقة القديمة في التفكير في الحركة — باستخدام إحداثيات X و Y بسيطة مثل دبوس تحديد الموقع (GPS) — هي طريقة جامدة للغاية لعالم مليء بالكاميرات. لذا، يقترحون أداة جديدة أكثر مرونة تسمى "تنسورات المسار" (trajectory tensors). فكر في الإحداثي كأنه نقطة واحدة على الخريطة، بينما "تنسور المسار" يشبه سحابة متوهجة وضبابية من الضوء تغطي شبكة كاملة. يمكن لهذه السحابة أن توضح بدقة أين يوجد الشخص، ومدى حجمه، وحتى مدى احتمالية وجوده في مكان معين، كل ذلك مع التعامل مع حقيقة أنه قد يختفي من كاميرا ويظهر في أخرى.
اختبر الباحثون فكرتهم على مجموعة بيانات ضخمة أنشأوها تسمى مجموعة بيانات "وارويك-إن تي يو للتنبؤ متعدد الكمرات" (WNMF). هذه ليست مجرد ثوانٍ معدودة من الفيديو؛ بل هي 600 ساعة من اللقطات التي التقطتها 15 كاميرا مختلفة في مبنى جامعي، تتبع الأشخاص أثناء تحركهم عبر الممرات. لقد وضعوا تحديًا: باستخدام ثانيتين فقط من حركة الشخص الماضية، هل يمكن للحاسوب التنبؤ بمكانه خلال الـ 12 ثانية القادمة؟ وقد قسموا هذا التحدي إلى ثلاثة أسئلة: "في أي كاميرا سيظهر؟" (الـ أي)، "متى سيصل إلى هناك؟" (الـ متى)، و"أين بالضبط داخل رؤية تلك الكاميرا سيكون؟" (الـ أين).
تشير النتائج إلى أن نهج "التنسور" الجديد الخاص بهم يتفوق على الأساليب القديمة. فبينما عانت النماذج التقليدية التي تستخدم إحداثيات بسيطة للتعامل مع تعقيد الكاميرات المتعددة، كانت نماذج تنسور المسار — وخاصة تلك التي تستخدم بنية (3D-CNN) — هي الأفضل أداءً. لقد كانوا أفضل في تخمين الكاميرا الصحيحة، والوقت الصحيح، والمكان الصحيح. وجد المؤلفون أنه من خلال معاملة شبكة الكاميرات كشبكة واحدة موحدة بدلاً من مجموعة من ثقوب الرؤية المنفصلة، استطاع الحاسوب تعلم الأنماط بشكل أكثر فعالية. فعلى سبيل المثال، أظهروا أن مراقبة شخص عبر كاميرات متعددة في آن واحد (الرؤية المتعددة) أعطت النموذج دفعة كبيرة في الدقة مقارلة بمجرد النظر إلى كاميرا واحدة.
ومع ذلك، فإن الورقة البحثية حريصة على عدم الادعاء بأن هذه مشكلة مثالية تم حلها. يشير المؤلفون إلى أنه على الرغم من تفوق نماذجهم على النماذج المرجعية الموجودة، إلا أن المهمة لا تزال صعبة للغاية، خاصة عند التنبؤ بالموقع الدقيق (أين) بدلاً من مجرد المنطقة العامة. كما أشاروا إلى أن نظامهم يعمل حاليًا بشكل أفضل عندما تظل شبكة الكاميرات ثابتة بين مرحلتي التدريب والاختبار؛ فإذا قمت فجأة بإضافة أو إزالة كاميرات، فقد يرتبك النموذج. علاوة على ذلك، وبينما نجحوا في إثبات ذلك على مجموعة بيانات تضم 119 سيناريو متعدد الأشخاص، فقد حذروا من ضرورة التعامل مع هذه النتائج بحذر نظرًا لصغر حجم العينة مقارنة بمجموعة البيانات الكاملة.
في الجوهر، تقترح هذه الورقة أنه لكي نتنبأ حقًا بحركة البشر في عالم معقد متعدد الكاميرات، نحتاج إلى التوقف عن التفكير في نقاط مفردة والبدء في التفكير في سحب متعددة الأبعاد ومتوهجة. فمن خلال استخدام هذه "التنسورات المسارية"، يمكن للحواسيب توقع مكان وجود الشخص التالي بثقة أكبر، مما قد يساعد أنظمة المراقبة لتصبح أكثر ذكاءً وكفاءة، وقادرة على تتبع الأشخاص لمسافات أطول دون فقدانهم في الفجوات بين الكاميرات.
ملخص تقني: التنبؤ بالمسارات عبر كاميرات متعددة باستخدام موترات المسار (Trajectory Tensors)
تعريف المشكلة تتناول الورقة البحثية تحدي التنبؤ بالمسار عبر كاميرات متعددة (MCTF)، وهي مهمة تتمثل في التنبؤ بالمسار المستقبلي لجسم متحرك عبر شبكة من الكاميرات غير المتداخلة أو المتداخلة جزئيًا. بينما يركز الأدب الحالي بشكل كبير على التنبؤ بالمسار عبر كاميرا واحدة (SCTF)، حدد المؤلفون قيودًا حرجة في نموذج الكاميرا الواحدة:
مجال رؤية محدود: يقتصر نظام SCTF على التنبقات قصيرة المدى (عادةً من 1 إلى 5 ثوانٍ) لأن الأجسام تغادر مجال رؤية الكاميرا بسرعة.
عدم القدرة على توقع الدخول: لا تستطيع نماذج الكاميرا الواحدة التنبؤ بموعد أو مكان دخول جسم جديد إلى المشهد من كاميرا مجاورة.
عدم كفاءة الحوسبة: إن مراقبة شبكات الكاميرات الكبيرة باستخدام فيديو كامل الدقة للكشف والتتبع أمر مكلف حوسبيًا، مما يؤدي غالبًا إلى فقدان عمليات الكشف إذا تم تقليل الدقة أو معدلات الإطارات.
تتم صياغة مشكلة MCTF كنظام استباقي يقوم، بناءً على مسار الجسم (سجل حركة لمدة ثانيتين) في عرض واحد أو أكثر، بالتنبؤ بموقعه المستقبلي عبر الشبكة بأكملها لمدة تصل إلى 12 ثانية. ويتم تقسيم ذلك إلى ثلاث مهام هرمية:
أيُّ (Which): في أي كاميرا (أو كاميرات) سيظهر الجسم بعد ذلك؟
متى (When): في أي خطوات زمنية سيظهر الجسم في تلك الكاميرات؟
أين (Where): أين بالضبط (الإحداثيات المكانية) سيظهر الجسم داخل مشاهد تلك الكاميرات؟
المنهجية يقترح المؤلفون إطار عمل "مشفر-فك تشفير" (encoder-decoder) عميق يتمحور حول تمثيل بيانات مبتكر يسمى موترات المسار (Trajectory Tensors).
موترات المسار: على عكس التمثيلات التقليدية القائمة على الإحداثيات (سلاسل من إحداثيات x و y) التي تعاني مع حالات الاحتجاب، والتعميم متعدد الرؤى، ونمذجة عدم اليقين؛ تقوم موترات المسار بترميز وجود الجسم كخرائط حرارية.
يتم تقسيم كل عرض كاميرا إلى شبكة w×h.
يتم تمثيل مواقع الأجسام بقيم ثنائية (وجود/غياب) في خلايا هذه الشبكة، مع تنعيمها عبر نواة غاوس (Gaussian kernel).
يتم تكديس الخرائط الحرارية من k كاميرا عبر t من الخطوات الزمنية لتشكيل موتر بأبعاد k×t×w×h.
هذا التمثيل يعالج بشكل طبيعي "المسارات الفارغة" (عندما لا يكون الجسم مرئيًا في كاميرا معينة) ويقوم بنمذجة المستقبلات متعددة الأنماط (عدم اليقين) ضمن هيكل واحد.
بنيات النماذج: تقيم الورقة عدة نماذج مشفر-فك تشفير:
النماذج المرجعية القائمة على الإحداثيات: نماذج SCTF معدلة (مثل GRU، وLSTM، و1D-CNN) تُطبق على بيانات الإحداثيات. تتطلب هذه النماذج نماذج منفصلة لكل عرض كاميرا.
نماذج موتر المسار: نماذج موحدة تعالج بيانات الموتر مباشرة. وتشمل:
3D-CNN: يستخدم التلافيف ثلاثية الأبعاد لاستخراج الميزات المكانية والزمانية في آن واحد.
2D-1D-CNN: يفصل بين استخراج الميزات المكانية (2D) والزمانية (1D) لتقليل عدد المعلمات.
CNN-GRU: نهج هجين يستخدم مشفر تلقائي (auto-encoder) يعتمد على CNN لضغط الميزات المكانية إلى متجه، والذي تتم معالجته بعد ذلك بواسطة GRU للتنبؤ الزماني.
مقاييس التقييم: تم تكييف أخطاء الإزاحة القياسية (ADE/FDE) لتناسب إعداد الكاميرات المتعددة. قدم المؤلفون أيضًا الدقة المتوسطة (AP) لجميع المهام، واقترحوا مقياس تقاطع الاتحاد الناعم (Soft-Intersection-over-Union - SIOU) لمهامي "متى" و"أين" للتعامل بشكل أفضل مع الطبيعة الاحتمالية للتنبؤات.
المساهمات الرئيسية
صياغة المشكلة: تقديم إطار عمل MCTF، وتحديد تسلسل "أي-متى-أين" الهرمي للتنبؤ بمسارات الأجسام عبر شبكة كاميرات.
موترات المسار: تقنية تمثيل بيانات جديدة تشفر مسارات الكاميرات المتعددة وما يرتبط بها من حالات عدم اليقين، متجاوزة بذلك قيود الطرق القائمة على الإحداثيات فيما يتعلق بالاحتجاب والتعميم متعدد الرؤى.
النمذجة الموحدة: إثبات أن نموذجًا موحدًا واحدًا يمكنه معالجة البيانات من جميع الكاميرات في وقت واحد، على عكس النهج الذي يتطلب نماذج متعددة والمستخدم في الطرق القائمة على الإحداثيات.
مجموعة البيانات: إصدار مجموعة بيانات Warwick-NTU Multi-camera Forecasting (WNMF)، التي جُمعت من 15 كاميرا في حرم جامعة نانيانغ التكنولوجية، وتحتوي على 2.0 ألف مطابقة نظيفة عبر الكاميرات مع مغادرات متعددة نقاط الرؤية.
النتائج أُجريت التجارب على مجموعة بيانات WNMF باستخدام التحقق المتقاطع خماسي الطيات (5-fold cross-validation).
الأداء: تفوقت النماذج القائمة على موتر المسار باستمرار على كل من النماذج المرجعية القائمة على الإحداثيات والنماذج ذات الميزات المصممة يدويًا عبر مهام "أي"، و"متى"، و"أين".
أفضل نموذج: حققت بنية 3D-CNN عمومًا أعلى أداء، لا سيما في مهامي "أي" و"أين".
ميزة تعدد الرؤى: أكدت دراسات الاستئصال (Ablation studies) أن استخدام موترات المسار مع مدخلات من رؤى كاميرات متعددة يحسن الأداء بشكل كبير مقارنة بمدخلات الرؤية الواحدة.
التوسع لتعدد الأهداف: تم توسيع إطار العمل للتعامل مع أهداف متعددة في آن واحد عن طريق تكديس المسارات على طول بُعد الدفعة (batch dimension)، مما أظهر أن نهج الموتر الموحد يظل فعالًا حتى مع وجود أجسام متعددة.
الأهمية والادعاءات تدعي الورقة أن إطار عمل MCTF وتمثيل موتر المسار يقدمان تقدمًا كبيرًا مقارنة بطرق SCTF الحالية لتطبيقات المراقبة. يؤكد المؤلفون أن نهجهم:
يتيح التنبؤ طويل المدى من خلال إزالة قيد منظور الكاميرا الواحدة.
يسهل المراقبة الذكية للكاميرات، مما يسمح للأنظمة بتركيز الموارد على كاميرات محددة حيث يُتوقع ظهور الأجسام، بدلاً من مراقبة جميع البثات باستمرار.
يوفر المتانة ضد فشل الكاميرات من خلال التنبؤ بمواقع الأجسام عبر رؤى متكررة.
يقدم طريقة أكثر بديهية وأناقة لنمذجة عدم اليقين والمستقبلات متعددة الأنماط مقارنة بالنهج القائم على الإحداثيات.
يخلص المؤلفون إلى أنه بينما تظهر نماذجهم نتائج واعدة على مجموعة بيانات WNMF، فإن المجال يتطلب مجموعات بيانات أكثر لتقييم النهج بشكل كامل في بيئات متنوعة. وهم يتصورون أن عملهم سيكمل أنظمة التعرف على الأشخاص (re-identification) وأنظمة التتبع متعددة الكاميرات الموجودة.