ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

لفهم كيف يرى الكمبيوتر العالم، تخيل أنك تحاول إعادة بناء غرفة ثلاثية الأبعاد باستخدام سلسلة من الصور الفوتوغرافية ثنائية الأبعاد فقط. هذا هو التحدي الجوهري لمجال يسمى "البنية من الحركة" (structure-from-motion). الهدف هو أخذ فيديو، حيث تتحرك الكاميرا عبر الفضاء، وتحديد موقع الكاميرا بدقة رياضية في كل لحظة، مع بناء نموذج ثلاثي الأبعاد للمشهد المحيط بها في آن واحد. هذه التكنولوجيا هي المحرك الخفي وراء تطبيقات الواقع المعزز التي تضع أثاثًا افتراضيًا في غرفة معيشتتك، والخرائط التي توجه المركبات ذاتية القيادة، والأدوات التي تسمح لصناع الأفلام بإنشاء عوالم افتراضية غامرة. لسنوات، اعتمد الباحثون على اختبارات قياسية لمعرفة ما إذا كانت خوارزميات الرؤية الحاسوبية الجديدة تعمل، ومع ذلك، غالبًا ما تستخدم هذه الاختبارات مشاهد ثابتة بسيطة أو محاكاة مولدة بواسطة الكمبيوتر لا تعكس الواقع الفوضوي والمضطرب للعالم الحقيقي. عندما تتحرك الكاميرا بسرعة، أو عندما تغطي الثلوج الأرض، أو عندما يسير حشد من الناس عبر الإطار، فإن البرامج الأكثر تقدمًا غالبًا ما تفشل تمامًا، عاجزة عن معرفة الاتجاه الذي يمثل "الأعلى" أو مدى بعد جسم ما.

لقد عالج فريق من الباحثين من "جوجل ديب مايند" (Google DeepMind) وعدة جامعات هذه الفجوة من خلال إنشاء اختبار جديد أكثر صعوبة بكثير يسمى "أوربيت" (ORBIT). لقد أدركوا أنه لاختبار قدرة الكاميرا حقًا على التنقل في البرية، كانوا بحاجة إلى مصدر للبيانات يكون غنيًا جدًا بالمعلومات المرئية وصعب المعالجة في آن واحد. وجدوا هذا المصدر في المكتبة المتنامية لمقاطع الفيديو بزاوية 360 درجة التي تلتقطها الكاميرات الاستهلاكية. فخلافًا للفيديو القياسي الذي ينظر عبر نافذة ضيقة، تلتقط كاميرا 360 درجة كرة كاملة من العالم من حولها، حيث ترى في كل الاتجاهات في وقت واحد. استخدم الباحثون مقاطع الفيديو البانورامية هذه لإنشاء مجموعة بيانات مرجعية مصممة خصيصًا لكسر التكنولوجيا الحالية. ومن خلال أخذ هذه المشاهد الشاملة وتقطيعها إلى مقاطع ذات زاوية ضيقة قياسية، أنشأوا مئات السيناريوهات الصعبة التي تحاكي الظروف الصعبة التي قد تواجهها الهواتف الذكية أو الطائرات بدون طيار، مثل الحركة السريعة، والإضاءة المنخفضة، والحشود المتحركة.

كانت عملية بناء هذا الاختبار عبارة عن تمرين دقيق في التحقق. بدأ الباحثون بجمع مقاطع فيديو متنوعة بزاوية 360 درجة من الإنترنت، تضم كل شيء من رحلات التجديف في القوارب وجولات التزلح إلى المواقع السياحية المزدحمة. ولأن الفيديو الأصلي يلتقط الكرة بأكملها، تمكن الفريق من استخدام خوارزمية حاسوبية متخصصة لحساب مسار الكاميرا بثقة عالية، مع العلم أنه حتى لو كان جزء من المشهد ضبابيًا أو متحركًا، فإن الأجزاء الأخرى من الكرة ستظل واضحة ومستقرة. لقد عاملوا الكاميرا كما لو كانت منصة تحمل أربع عدسات منفصلة، مما سمح لهم بمراجعة المسار من زوايا متعددة لضمان دقة البيانات. وبمجرد حصولهم على مسار "الحقيقة الأرضية" (ground truth) الموثوق للفيديو الكامل بزاوية 360 درجة، قاموا بإعادة إسقاط اللقطات رقميًا لإنشاء فيديوهات ذات منظور قياسي. لم تكن هذه المقاطع مجرد قصات عشوائية؛ بل اختار الباحثون عمدًا وجهات نظر معروفة بصعوبتها، مثل النظر مباشرة إلى جسم مائي متحرك أو مركبة سريعة الحركة، وأضافوا اهتزازات كاميرا محاكات لجعل المهمة أكثر صعوبة. والنتي نتيجة لذلك، تمثل المجموعة النهائية في 308 مقطع فيديو، طول كل منها يصل إلى 30 ثانية، والتي تعمل كمسار عقبات صارم لبرمجيات الرؤية الحاسوبية.

عندما اختبر الباحثون الأساليب الرائدة الحالية مقابل هذا المعيار الجديد، كانت النتائج صارخة. لقد قيموا العديد من الخوارزميات الرائدة، بما في ذلك الأدوات التقليدية التي كانت المعيار الصناعي لسنوات والأنظمة الأحدث القائمة على التعلم والتي تستخدم الذكاء الاصطناعي. أظهرت النتائج أن أفضل الأساليب الموجودة تعاني بشكل كبير في هذه الظروف الواقعية. تسببت نسبة كبيرة من المقاطع في فشل البرامج تمامًا، مما يعني أن الكمبيوتر لم يستطع تتبع حركة الكاميرا لأكثر من بضع ثوانٍ. على سبيل المثال، غالبًا ما استسلمت الأساليب التقليدية التي تعتمد على إيجاد أنماط مميزة في الصورة، مثل حواف المباني أو الأنسجة على الأرض، عند مواجهة أسطح ناعمة مثل الماء أو الثلج. وفي الوقت نفسه، تعثرت الأساليب الجديدة المدفوعة بالذكاء الاصطناটি، والمصممة لتخمين البنية ثلاثية الأبعاد بناءً على الأنماط التي تعلمتها أثناء التدريب، بشكل متكرر عندما تتحرك الكاميرا بسرعة أو تدور بطرق لم ترها من قبل. كشفت البيانات أنه لا توجد طريقة واحدة يمكنها التعامل مع جميع التحديات؛ فبعضها كان جيدًا في التتبع عبر الحشود لكنه فشل في الإضاءة المنخفضة، بينما نجحت أخرى في التعامل مع الحركة السريعة لكنها فقدت طريقها في البيئات الخالية من الأنسجة.

تسلط الدراسة الضوء على أن المجال قد وصل إلى نقطة يصعب فيها قياس التقدم لأن الاختبارات سهلة للغاية. وجد الباحثون أنه في معيارهم الجديد، فشلت كل طريقة تم اختبارها في تقدير موقع الكاميرا بشكل صحيح في 36 بالمائة من المقاطع على الأقل. يشير هذا إلى أن الجيل الحالي من التكنولوجيا ليس جاهزًا بعد للتطبيقات الأكثر تطلبًا في العالم الحقيقي. وتجادل الورقة البحثية بأن الافتقار إلى معيار موثوق وصعب قد أعاق المجال، مما سمح للباحثين بادعاء النجاح في مهام بسيطة بينما يغفلون عن المشكلات الأساسية التي تحدث في المشاهد المعقدة والديناميكية. ومن خلال توفير مجموعة بيانات متنوعة ومحققة بدقة، يأمل الفريق في منح المطورين هدفًا واضحًا للتحسين. لا يقدم العمل حلاً جديدًا لهذه المشكلات، بل يقدم طريقة أفضل لقياسها، مما يوضح أنه لا يزال هناك طريق طويل أمام الكمبيوترات للتنقل بشكل موثوق في العالم البري وغير المتوقع بنفس السهولة التي يفعلها البشر.