EgoTrack3D: A Modular Framework for Egocentric 3D Object Tracking
يُعد EgoTrack3D إطار عمل معياري يعيد بناء ويحافظ على تمثيلات المشاهد ثلاثية الأبعاد الديناميكية من فيديوهات RGB من منظور الشخص الأول عبر رفع الأقنعة ثنائية الأبعاد إلى إطار إحداثيات عالمي باستخدام تقييم الحركة والدمج القائم على الفوكسل، محققاً دقة تتبع رائدة في مجموعة بيانات ADT مع الحفاظ على المتانة في ظل ظروف الملاحظة الشحيحة والمشوشة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك ترتدي نظارات عالية التقنية تتيح لك رؤية العالم ثلاثي الأبعاد، تماماً مثل روبوت أو شخصية في لعبة فيديو. لكي تتمكن هذه النظارات من التنقل في الغرفة بأمان، يجب أن تبني خريطة ذهنية لكل ما يحيط بها: أين يوجد الكرسي، وأين يوضع كوب القهوة، وكيف يتغير المشهد عند مرور شخص بجانبك. هذا هو عالم الإدراك ثلاثي الأبعاد (3D perception)، وهو مجال تحاول فيه الحواسيب فهم العالم المادي من خلال فيديوهات الكاميرا.
عادةً ما تكون الحواسيب بارعة في رصد الأشياء في الصور المسطحة ثنائية الأبعاد (مثل العثور على قطة في صورة). ولكن عندما تحرك رأسك، يتغير شكل العالم، وتختبئ الأشياء خلف بعضها البعض، وتصبح الأمور معقدة. لبناء خريطة ثلاثية الأبعاد حقيقية، تحتاج الحواسيب ليس فقط لمعرفة "ماهية" الشيء، بل وأين يقع بالضبط في الفضاء وكيف يتحرك بمرور الوقت. وهذا ما يسمى تتبع الأجسام ثلاثي الأبعاد (3D object tracking). إنه الفرق بين التقاط لقطة واحدة لغرفة فوضوية وبين امتلاك نموذج ثلاثي الأبعاد حي يتحدث كل ثانية بينما تسير أنت في خلالها. هذا الأمر بالغ الأهمية للروبوتات التي تحتاج لتجنب التعثر بالألعاب، أو لتطبيقات الواقع المعزز التي تريد وضع تنين افتراضي على طاولتك الحقيقية دون أن يبدو وكأنه يطفو بعيداً عنها.
المشكلة: ضبابية "المنظور الشخصي الأول"
تخيل أنك ترتدي كاميرا على رأسك، وتتجول في مطبخ مزدحم. تمسك بكوب، تمر بجانب طاولة، ثم تلتفت بسرعة. بالنسبة للحاسوب، هذا كابوس. المنظر يدور بجنون، ويدك تحجب الرؤية عن الكوب، والأشياء تظهر وتختفي فجأة. الطرق الموجودة حالياً لبناء خرائط ثلاثية الأبعاد ترتبك هنا؛ فبعضها يفترض أن كل شيء ثابت (مثل المتحف)، والبعض الآخر يتتبع فقط الأشياء التي تلمسها في تلك اللحظة. إنها تعاني للحفاظ على "ذاكرة" متسقة لكل جسم في الغرفة، خاصة عندما تتحرك الكاميرا بسرعة ويكون المنظر فوضوياً.
الحل: EgoTrack3D
إليك EgoTrack3D، وهو نظام جديد صُمم ليكون "حافظ الذاكرة" الأمثل لفيديوهات المنظور الشخصي الأول. فكر فيه كأمين مكتبة فائق التنظيم لمكتبة فوضوية. مهمته هي أخذ فيديو مهتز وسريع الحركة وتحويله إلى خريطة ثلاثية الأبعاد مستقرة لكل جسم يراه، سواء كان هذا الجسم كرسياً ثابتاً أو كوباً يتم حمله من مكان لآخر.
يعمل النظام في وضعين رئيسيين، اعتماداً على مقدار المعلومات المتاحة:
- وضع "عالي الدقة" (Dense): إذا كان لدى الحاسوب بيانات عمق مثالية (مثل ماسح ضوئي ثلاثي الأبعاد فائق الدقة)، فإنه يعمل كالنحات الماهر. يأخذ الخطوط الخارجية ثنائية الأبعاد للأجسام من الفيديو و"يرفعها" إلى الفضاء ثلاثي الأبعاد، ليبني نموذج "سحابة نقاط" (point-cloud) كاملاً لكل عنصر. ثم يستخدم كاشف حركة خاص لتحديد الأجسام التي تتحرك وتلك التي تظل ثابتة. وإذا رأى نفس الجسم مرتين، فإنه يدمج البيانات بذكاء حتى لا يحسب الكرسي نفسه ككرسيين مختلفين.
- وضع "العالم الحقيقي" (Sparse): في العالم الحقيقي، نادراً ما تتوفر ماسحات ضوئية ثلاثية الأبعاد مثالية. غالباً ما يكون لدى الحاسوب مجرد تخمين تقريبي لمكان الأشياء. في هذا الوضع، يغير EgoTrack3D تكتيكه؛ فبدلاً من محاولة بناء نموذج ثلاثي الأبعاد مثالي لكل بكسل، يستخدم "أفضل تخمين" لصندوق ثلاثي الأبعاد لكل جسم. وللتعامل مع فوضى الأيدي المتحركة والكاميرات المهتزة، يستخدم حيلة ذكية: فهو يراقب التفاعلات. إذا رأى يداً تمسك بوعاء، فإنه يعرف أن هذا الوعاء "ديناميكي" ويحتاج لعناية خاصة. يقوم بإنشاء "مرساة" مؤقتة لتتبع ذلك الوعاء حتى لو بدا الصندوق ثلاثي الأبعاد مهتزاً بعض الشيء.
كيف يعمل: أدوات المحقق
يستخدم النظام بعض الأدوات الذكية لحل اللغز:
- درجة الحركة (The Motion Score): هو لا يخمن فقط ما إذا كان الشيء يتحرك، بل يتتبع نقاطاً صغيرة على الجسم. إذا تحركت تلك النقاط بشكل ملحوظ، يصنف النظام الجسم على أنه "متحرك" ويحدث موقعه بسرعة. أما إذا ظلت النقوت ثابتة، فيعامله كجزء صلب وثابت من الغرفة.
- دمج الفوكسل (The Voxel Merge): تخيل أن العالم ثلاثي الأبعاد مكون من بكسلات ثلاثية الأبعاد صغيرة تسمى "فوكسل" (voxels). إذا رأى النظام جسمين يشغلان نفس المساحة، فإنه يدرك أنهما على الأرجح نفس الجسم، فيقوم بدمجهما معاً، مما ينظف الخريطة ويزيل التكرارات.
- دليل التفاعل (The Interaction Guide): في الوضع "المتباعد" (Sparse)، عندما يكون الحاسوب غير متأكد بشأن جسم متحرك، فإنه ينظر إلى الأيدي. إذا كانت يد تمسك بجسم ما، فإن النظام يمنح هذا الجسم "بطاقة دخول VIP"، مما يضمن عدم فقدانه أو الخلط بينه وبين عناصر أخرى، حتى لو كانت البيانات ثلاثية الأبعاد مشوشة.
النتائج: صورة أوضح
اختبر الباحثون نظام EgoTrack3D على مجموعة بيانات تسمى Aria Digital Twin (ADT)، والتي تحتوي على فيديوهات لأشخاص يتحركون مع توفر بيانات ثلاثية الأبعاد مثالية. وقارنوا نظامهم مع أفضل الطرق الموجودة حالياً.
كانت النتائج واعدة. فعند استخدام البيانات المثالية، حسن EgoTrack3D دقة تحديد مواقع الأجسام بنسبة 11% مقارنة بأقوى النماذج المرجعية الحالية. وفي وضع "عالي الدقة"، حقق درجة سجل فيها أن 63.01% من الأجسام تم تتبعها وتحديد موقعها بشكل صحيح (مقاسة بمعيار يسمى PCL)، وهو ما كان أفضل بكثير من الطرق الأخرى التي تعاني من التكرارات أو فقدان التتبع.
وحتى في وضع "العالم الحقيقي"، حيث كانت البيانات فوضوية وغير مكتملة، أظهر النظام قدرته على بناء خريطة ثلاثية الأبعاد مفيدة. فقد نجح في تتبع الأجسام التي يتم التعامل معها (مثل وعاء أو دفتر ملاحظات يتم تحريكه) عبر تغييرات كبيرة في زاوية الرؤية، وهي مهمة تفشل فيها الأنظمة الأخرى غالباً وتفقد فيها تتبع العناصر تماماً.
الخلاصة
EeroTrack3D ليس عصا سحرية تحل كل المشكلات فوراً. يقر المؤلفون بأنه إذا كانت بيانات العمق للكاميرا مشوشة جداً، فقد يرتبك النظام، كما أنه يواجه أحياناً صعوبة في إعادة التعرف على جسم ما إذا اختفى لفترة طويلة. ومع ذلك، تشير الورقة البحثية إلى أنه من خلال كونه نظاماً "نموذجياً" (modular) — أي يمكنه استبدال أدوات مختلفة بناءً على جودة المدخلات — فإنه يقدم خطوة قوية نحو الأمام. إنه يثبت أننا نستطيع بناء خرائط ثلاثية الأبعاد ديناميكية لعالمنا من فيديوهات المنظور الشخصي الأول، والتعامل مع كل من الأثاث الثابت وفوضى الحياة اليومية المتحركة، مما يمهد الطريق لروبوتات أكثر ذكاءً وتقنيات واقع معزز أكثر انغماساً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.