LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World
تقترح الورقة البحثية إطار عمل LAMP، وهو إطار عمل مبتكر يحقق تتبعًا قويًا لحركة البشر ثلاثية الأبعاد في بيئات الكاميرات المتعددة ذات المنظور الشخصي الديناميكي، وذلك من خلال توحيد عمليات الكشف ثنائية الأبعاد أولاً في إطار عالمي متري ثلاثي الأبعاد باستخدام حركة الجهاز المعروفة، ثم ملاءمة محول مكاني-زماني لهذه السحابة الشعاعية ثلاثية الأبعاد، مما يعمل بفعالية على فصل حركة المراقب عن حركة الهدف للتغلب على تحديات مثل الحركة الذاتية الشديدة والانسدادات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك ترتدي نظارات ذكية عالية التقنية تحتوي على أربع كاميرات صغيرة في جميع أنحاءها، مثل العيون على جانبي رأسك. أنت تسير في مقهى مزدحم، وتلتفت برأسك بسرعة، والناس يتحركون من حولك. هدفك هو أن تجعل الكمبيوتر يفهم بالضبط أين يقف كل شخص وكيف يتحركون في العالم الحقيقي ثلاثي الأبعاد من حولك.
هذا هو التحدي الذي تعالجه ورقة بحثية بعنوان LAMP. إليك كيف يعمل، مشروحاً ببساطة:
المشكلة: "اليد المهتزة" و"تبديل العيون"
معظم البرامج الحاسوبية التي تتبع الأشخاص مصممة لكاميرا ثابتة على حامل ثلاثي القوائم، أو لشخص يحمل كاميرا ببطء. هذه البرامج ترتبك عندما:
- الكاميرا تهتز: لأن النظارات موجودة على رأسك، ففي كل مرة تحرك فيها رأسك أو تلتفت، تتحرك الكاميرا بشكل عشوائي. يعتقد الكمبيوتر أن الأشخاص هم من يتحركون، بينما في الواقع، أنت من تحركت.
- الرؤية تتبدل: مع وجود أربع كاميرات، قد يرى شخص ما من الكاميرا اليسرى، ثم من الكاميرا الأمامية، ثم من الكاميرا اليمنى بينما تلتفت برأسك. غالباً ما تفقد الأنظمة القديمة تتبع الشخص أثناء عمليات "التسليم" هذه، أو ترتبك بشأن مدى بعده.
- البيانات مفقودة: أحياناً يكون الشخص خلف عمود أو محجوباً بطاولة. الكمبيوتر يرى جزءاً منه فقط.
الحل: LAMP (التتبع متعدد الكاميرات المدرك للموقع)
يقترح المؤلفون طريقة جديدة لحل هذه المشكلة تسمى LAMP. فكر في الأمر كخدعة سحرية من خطوتين تفصل بين "أنت" و"هم".
الخطوة 1: "المنصة المستقرة" (رفع الأشعة)
تخيل أنك تحاول رسم خريطة لمدينة متحركة، لكن يدك تهتز بشكل لا يمكن السيطرة عليه. بدلاً من محاولة رسم المباني بينما تهتز يدك، قم أولاً بتثبيت يدك على منصة غير مرئية وثابتة.
يقوم LAMP بذلك باستخدام مستشعرات النظارات المدمجة (التي تعرف بالفعل كيف تتحرك النظارات بدقة في الفضاء ثلاثي الأبعاد).
- الطريقة القديمة: محاولة تخمين مكان الشخص بينما الكاميرا تهتز.
- طريقة LAMP: تأخذ الصور ثنائية الأبعاد الضبابية والمهتزة من الكاميرات وترفعها فوراً إلى خريطة عالم ثلاثية الأبعاد مستقرة. إنها تستخدم حركة النظارات المعروفة لإلغاء تأثير الاهتزاز. الآن، يرى الكمبيوتر الشخص واقفاً بثبات في غرفة ثلاثية الأبعاد، رغم أن الكاميرا تتحرك بجنون حوله.
الخطوة 2: "حل اللغز" (المحول - Transformer)
بمجرد رفع "الأشعة" (خطوط النظر) ثلاثية الأبعاد إلى هذا العالم المستقر، يستخدم LAMP عقلاً ذكياً يعتمد على الذكاء الاصطناعي (يسمى Transformer) لحل اللغز.
- ينظر إلى جميع خطوط النظر من جميع الكاميرات الأربع.
- يقوم بملء الفراغات. إذا رأت الكاميرا (أ) ذراعاً يساراً، والكاميرا (ب) ساقاً يمنى، فإن الذكاء الاصطناعي يعرف أنهما ينتميان لنفس الشخص لأنه يفهم كيف تتحرك الأجسام البشرية بشكل طبيعي.
- يقوم بربط هذه القطع معاً لإنشاء رسوم متحركة ثلاثية الأبعاد سلسة ومستمرة للشخص وهو يمشي، حتى لو كان محجوباً جزئياً أو تغيرت زوايا رؤية الكاميرا.
لماذا هذا مميز؟
- إنه متتبع "الأول من نوعه في العالم": معظم أدوات التتبع تقول: "الشخص على بُعد مترين إلى يساري". أما LAMP فيقول: "الشخص يقف عند هذا الإحداثي المحدد في الغرفة". إنه يربطهم بالعالم الحقيقي، وليس بموقع الكاميرا فقط.
- إنه مرن: لأن LAMP يفصل بين حركة الكاميرا وحركة الشخص، يمكن تدريبه على بيانات وهمية (محاكاة) ثم يعمل بشكل مثالي على نظارات حقيقية مع إعدادات كاميرا مختلفة. الأمر يشبه تعلم قيادة السيارة في برنامج محاكاة ثم القدرة على قيادة أي سيارة حقيقية دون الحاجة لإعادة تعلم كل شيء.
- إنه يتعامل مع الفوضى: تظهر الورقة البحثية أن LAMP يمكنه تتبع عدة أشخاص في الوقت الفعلي، حتى عندما تمشي بسرعة، أو تلتفت برأسك، أو يحجب الناس بعضهم البعض.
النتائج
اختبر الباحثون LAMP على بيانات واقعية من نظارات Project Aria. ووجدوا أن:
- إنه يتتبع الأشخاص بدقة أكبر بكثير من الطرق السابقة التي تستخدم كاميرا واحدة فقط أو لا تأخذ حركة الرأس في الاعتبار.
- استخدام كاميرات أكثر (مثل الكاميرات الأربع الموجودة في النظارات) يجعل التتبع أكثر موثوقية، حيث يغطي مساحة أكبر من الغرفة ويقلل "النقاط العمياء".
- يعمل في الوقت الفعلي، مما يعني أنه يمكنه القيام بذلك أثناء تجولك فعلياً، وليس فقط بعد تسجيل الفيديو.
باختصار، نظام LAMP يحول الرؤية المهتزة ومتعددة الكاميرات من رأسك إلى خريطة ثلاثية الأبعاد مستقرة ودقيقة للأشخاص من حولك، مما يسمح للحواسيب بفهم التفاعلات الاجتماعية في العالم الحقيقي حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.