CalibFree: Self-Supervised View Feature Separation for Calibration-Free Multi-Camera Multi-Object Tracking
تقدم هذه الورقة البحثية CalibFree، وهو إطار عمل ذاتي الإشراف لتتبع الأجسام المتعددة عبر كاميرات متعددة دون الحاجة إلى معايرة، والذي يحقق أداءً هو الأفضل في مجاله من خلال فصل الميزات غير المرتبطة بالمنظور عن الميزات المرتبطة بمنظور محدد عبر التقطير أحادي المنظور وإعادة البناء عبر المنظورات دون الحاجة إلى تسمية يدوية أو معايرة دقيقة للكاميرا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تتبع مجموعة من الأصدقاء وهم يسيرون عبر مركز تسوق مزدحم. لديك درزن من كاميرات المراقبة التي تراقبهم من زوايا مختلفة: بعضها مرتفع، وبعضها منخفض، وبعضها ينظر مباشرة إليهم، وأخرى تراهم من الجانب.
المشكلة:
عادةً، لكي يفهم الكمبيوتر أن "الشخص في الكاميرا (أ)" هو نفسه "الشخص في الكاميرا (ب)"، فأنت بحاجة إلى خريطة دقيقة جداً للمول. تحتاج لمعرفة مكان كل كاميرا بالضبط، وكيف تميل، وكيف تشوه العدسات الصورة. وهذا ما يسمى بـ "المعايرة" (Calibration).
لكن في العالم الحقيقي، قد تتعرض الكاميرات للاصطدام، أو تنحرف بمرور الوقت، أو يتم تحريكها. إذا كانت الخريطة خاطئة، فسيصاب الكمبيوتر بالارتباك وسيعتقد أن صديقك شخصان مختلفان. كما أن تسمية جميع مقاطع الفيديو لتعليم الكمبيوتر من هو الشخص تستغرق وقتاً طويلاً وتكلف الكثير من المال.
الحل: CalibFree
تقدم الورقة نظاماً جديداً يسمى CalibFree. فكر فيه كأنه محقق لا يحتاج إلى خريطة أو قائمة أسماء. بدلاً من ذلك، هو يتعلم من خلال مشاهدة الفيديو ويكتشف الأمور من تلقاء نفسه.
إليك كيف يعمل، باستخدام تشبيه بسيط:
1. نظام "الدماغين"
تخيل أن الكمبيوتر لديه طريقتان مختلفتان للنظر إلى الشخص، مثل امتلاك دماغين مختلفين:
- الدماغ (أ) (دماغ "من أنا؟"): هذا الجزء يحاول تجاهل زاوية الكاميرا. إنه يركز على الأشياء التي تظل ثابتة بغض النظر عن كيفية النظر إليها: طول الشخص، شكل جسمه، وظله العام. هو يسأل: "هل هذا هو نفس الشخص، بغض النظر عن الكاميرا؟"
- الدماغ (ب) (دماغ "ماذا أرى؟"): هذا الجزء يركز على التفاصيل التي تتغير بناءً على الكاميرا: الإضاءة، زاوية الوجه المحددة، أو ملمس القميص كما يظهر من الجانب. هو يسأل: "كيف يبدو هذا الشخص الآن من هذه الزاوية المحددة؟"
يجبر النظام هذين الدماغين على البقاء منفصلين حتى لا يختلط الأمر عليهما.
2. لعبة "المعلم والتلميذ"
لتعليم دماغ "ماذا أرى؟"، يستخدم النظام معلماً.
- المعلم هو ذكاء اصطناعي فائق الذكاء درس بالفعل ملايين الصور. هو يعرف تفاصيل مظهر الشخص بدقة.
- يحاول التلميذ (نظامنا) تقليد وصف المعلم لمظهر الشخص. هذا يساعد النظام على أن يصبح جيداً حقاً في التعرف على الشخص داخل زاوية كاميرا واحدة، حتى لو تغيرت الإضاءة.
3. خدعة "قطعة الأحجية"
لتعليم دماغ "من أنا؟"، يلعب النظام لعبة إعادة البناء.
- تخيل أن لديك صورة لصديقك، لكن شخصاً ما قام بقص 75% من الصورة (القناع).
- الآن، تخيل أن لديك صورة أخرى لنفس الصديق من زاوية كاميرا مختلفة، حيث تكون الأجزاء المفقودة مرئية.
- يحاول النظام استخدام "الأجزاء المفقودة" من الصورة الثانية لملء الفراغات في صورة الكاميرا الأولى.
- للقيام بذلك بنجاح، يجب على النظام أن يتعلم أن الشخص في الكاميرا (أ) والشخص في الكاميرا (ب) هما نفس الشخص. إنه يتعلم ربط النقاط بمجرد النظر إلى الأدلة البصرية، دون الحاجة إلى خريطة أو تسمية تقول "هذا هو بوب".
لماذا هو مميز؟
- لا يحتاج إلى خرائط: لا يهتم إذا كانت الكاميرات مائلة، أو متحركة، أو معطلة. هو فقط ينظر إلى الصور.
- لا يحتاج إلى تسميات: لا تحتاج لدفع أموال للبشر لمشاهدة الفيديو وكتابة "هذا هو الشخص 1، هذا هو الشخص 2". النظام يكتشف ذلك بنفسه.
- يتعامل مع الفوضى: اختبرت الورقة هذا النظام في بيئات حقيقية مزدحمة وفوضوية حيث يحجب الناس بعضهم البعض. ولأنه يفصل بين "من هم" وبين "ما تراه الكاميرا"، فإنه يستمر في تتبع الأشخاص حتى عندما يكونون مخفيين جزئياً.
النتائج
عندما اختبروا هذا النظام على مجموعات بيانات فيديو من العالم الحقيقي:
- كان أكثر دقة بنسبة 3% في تتبع الهويات مقارنة بأفضل الأساليب الموجودة.
- حسن "درجة F1" الإجمالية (وهي مقياس لمدى توازنه بين إيجاد الأشخاص وعدم ارتكاب الأخطاء) بنسبة 7.5%.
- عمل بشكل أفضل من الأساليب التي تستخدم بالفعل الخرائط والتسميات، مما يثبت أنك لست بحاجة إلى تلك الأدوات المكلفة للحصول على نتائج رائعة.
باخت-القول، CalibFree هو نظام تتبع ذاتي التعلم، يتعلم التعرف على الأشخاص عبر كاميرات مختلفة من خلال لعب لعبة "ملء الفراغات" بالأدلة البصرية، مما يجعله مثالياً للمواقف الواقعية حيث تتحرك الكاميرات، أو تتعطل، أو لا يتم إعدادها بشكل مثالي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.