Track4World: Feedforward World-centric Dense 3D Tracking of All Pixels
يُعد Track4World نموذجاً بنظام التغذية الأمامية يتيح تتبعاً ثلاثي الأبعاد شاملاً وفعالاً لكل بكسل في فيديو أحادي العدسة، وذلك عبر الاستفادة من تمثيل مشهد ثلاثي الأبعاد عالمي ومخطط ارتباط ثلاثي الأبعاد مبتكر لتقدير التدفقات ثنائية وثلاثية الأبعاد الكثيفة وإعادة بناء الديناميكيات رباعية الأبعاد في آن واحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيلماً على هاتفك. ترى سيارة تسير في شارع، وطائراً يحلق فوق الرأس، وشخصاً يمر بجانب الطريق. بالنسبة لعينيك، هي مجرد شاشة مسطحة ثنائية الأبعاد (2D). ولكن في الواقع، العالم ثلاثي الأبعاد (3D)، وكل بكسل (تلك النقاط الصغيرة التي تشكل الصورة) يتحرك في الفضاء ضمن رقصة معقدة.
لفترة طويلة، كانت الحواسيب سيئة جداً في فهم هذه "الرقصة". كان بإمكانها إما تتبع بعض النقاط المحددة (مثل مصابيح السيارة الأمامية)، أو محاولة رسم خريطة للمشهد بأكم له، لكن ذلك كان يتطلب ساعات من الحسابات البطيئة والثقيلة.
إليك Track4World. فكر فيه كأنه "آلة زمن ثلاثية الأبعاد" فائقة القوة وفورية للفيديو. إليك كيف يعمل، مشروحاً ببساطة:
1. المشكلة: العالم "المسطح" مقابل العالم "الحقيقي"
تخيل أنك تحاول معرفة كيفية حركة منحوتة ثلاثية الأبعاد بمجرد النظر إلى صورة فوتوغرافية واحدة لها. من المستحيل معرفة ما إذا كان الجسم يتحرك يساراً، يميناً، للأمام، أو للخلف من مجرد صورة مسطحة واحدة. هذه هي مشكلة "الرؤية أحادية العين" (monocular problem).
الأساليب السابقة كانت تشبه محاولة حل لغز عبر النظر إلى قطع قليلة فقط في كل مرة. كان بإمكانها تتبع عجلات السيارة، لكنها لم تستطع تتبع ذرات الغبار في الهواء أو أوراق الأشجار. أو إذا حاولت تتبع كل شيء، كان عليها تشغيل محاكاة بطيئة ومكلفة تستغرق وقتاً طويلاً جداً.
2. الحل: "المترجم الفوري"
Track4World مختلف. هو لا يخمن؛ بل يعرف. إنه نموذج "تغذية أمامية" (feedforward)، وهي طريقة تقنية تعني أنه مترجم مباشر وذو خطوة واحدة. أنت تغذيه بفيديو، وهو يخرج لك فوراً الحركة ثلاثية الأبعاد لـ كل بكسل في العالم.
فكر في الأمر كالتالي:
- الطريقة القديمة: محقق يحاول حل جريمة من خلال مقابلة شاهد واحد في كل مرة، ثم كتابة تقرير، ثم مقابلة الشاهد التالي. العملية بطيئة وقد تتغير القصة.
- Track4World: ذكاء اصطناعي فائق الذكاء يشاهد مسرح الجريمة بأكمله دفعة واحدة، ويكتب فوراً سيناريو ثلاثي الأبعاد مثالياً يوضح بدقة كيف تحرك كل شخص وكل جسم، من البداية وحتى النهاية.
3. السر الكامن: "مصعد من 2D إلى 3D"
التحدي الأكبر هو أن حساب الحركة ثلاثية الأبعاد لملايين البكسلات يشبه محاولة عد كل حبة رمل على الشاطئ. إنه عمل شاق للغاية.
لقد ابتكر المؤلفون حيلة ذكية تسمى "الارتباط من 2D إلى 3D".
- التشبيه: تخيل أنك تحاول معرفة كيفية حركة سحابة دخان ثلاثية الأبعاد. بدلاً من محاولة حساب فيزياء كل قطرة ماء في الهواء (وهو أمر صعب)، تنظر أولاً إلى الظل الذي تلقيه السحابة على الأرض (الصورة ثنائية الأبعاد 2D).
- كيف يعمل: يقوم الذكاء الاصطناعي أولاً بتتبع الحركة على الشاشة المسطحة (2D). وهو بارع في هذا لأن هناك الملايين من أمثلة التدريب على الحركة ثنائية الأبعاد. ثم يستخدم "مصعداً" خاصاً لرفع تلك الحركة ثنائية الأبعاد إلى الفضاء ثلاثي الأبعاد. إنه يستخدم شكل الأجسام (الهندسة) ليعرف مدى "ارتفاع" أو "تقدم" تلك الحركة ثنائية الأبعاد في الفضاء الثلاثي الأبعاد.
هذا يغير قواعد اللعبة لأنه يسمح للذكاء الاصطناعي باستخدام الكم الهائل من البيانات ثنائية الأبعاد التي يعرفها بالفعل لحل المشكلة الأصعب وهي ثلاثية الأبعاد، دون الغرق في الحسابات الرياضية الثقيلة.
4. الرؤية "المتمحورة حول العالم": السجادة السحرية
معظم أدوات التتبع ثلاثية الأبعاد هي "متمحورة حول الكاميرا". وهذا يعني أنها تصف الحركة بالنسبة للكاميرا. إذا مشيت للأمام، سيبدو العالم وكأنه يتحرك للخلف. الأمر يشبه وجودك على ممر متحرك في المطار؛ كل شيء حولك يبدو وكأنه ينزلق.
Track4World هو نظام "متمحور حول العالم" (World-Centric).
- التشبيه: تخيل أنك تقف على شبكة ثابتة وغير مرئية في منتصف الكون. الكاميرا تتحرك من حولك، لكن الشبكة تظل ثابتة.
- النتيجة: عندما تشاهد فيديو باستخدام Track4World، تظل الخلفية (المباني، الأشجار) ثابتة ومستقرة تماماً، حتى لو كانت الكاميرا تهتز أو تدور. الأجسام المتحركة (السيارات، الأشخاص) تتحرك عبر هذه الشبكة المستقرة. هذا يسمح للكمبيوتر بفهم الفيزياء الحقيقية للمشهد، وفصل حركة الكاميرا عن حركة الأجسام.
5. لماذا هذا مهم؟
لماذا نهتم بتتبع كل بكسل في الفضاء ثلاثي الأبعاد؟
- الروبوتات: يمكن للروبوتات فهم كيفية الإمساك بجسم متحرك بدقة دون الاصطدام به.
- الرسوم المتحركة: يمكنك أخذ فيديو لشخص وتحويله فوراً إلى شخصية ثلاثية الأبعاد يمكن رؤيتها من أي زاوية.
- السيارات ذاتية القيادة: يمكن للسيارة أن تفهم ليس فقط مكان وجود أحد المشاة، بل أيضاً سرعة واتجاه حركته بدقة في الفضاء ثلاثي الأبعاد، مما يسمح بالتنبؤ بمساره بشكل مثالي.
الملخص
Track4World يشبه منح الكمبيوتر "رؤية من منظور الإله" للفيديو. إنه يأخذ فيلماً مسطحاً ثنائي الأبعاد ويعيد بناء العالم ثلاثي الأبعاد بالكامل فوراً، متتبعاً حركة كل نقطة في الإطار. يفعل ذلك باستخدام اختصار ذكي (تتبع ظلال الـ 2D أولاً، ثم رفعها إلى الـ 3D) ومن خلال تثبيت كل شيء على خريطة عالمية مستقرة. إنه سريع، وكثيف (يتتبع كل شيء)، وقد سمح أخيراً للآلات بأن "ترى" حقاً العالم ثلاثي الأبعاد في حالة حركة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.