WorldRover: A Scalable Synthetic Video Data Engine for World Exploration with Rich Annotations
تقدم هذه الورقة WorldRover، وهو محرك بيانات قابل للتوسع مبني على محرك Unreal Engine يقوم بتوليد تسلسلات فيديو اصطناعية طويلة المدى وغنية بالتعليقات التوضيحية لبيئات صممها فنانون، مما يوفر بيانات متزامنة من نوع RGB، والعمق المتري، ومسارات الكاميرا، وبيانات وجهات نظر متنوعة لتدريب النماذج على الاستكشاف وإعادة البناء المتماسك للعالم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لفهم كيف يمكن لآلة أن تتعلم كيفية التنقل في عالم ما، يجب علينا أولاً أن نفهم ماذا يعني رؤية ذلك العالم. لكي يتمكن الحاسوب من التحرك عبر مساحة ما، فإنه يحتاج إلى ما هو أكثر من مجرد صورة لما هو موجود أمامه؛ فهو يحتاج إلى معرفة مدى بعد الأشياء، وكيف تتحرك الكاميرا نفسها، وكيف تتغير أشكال الأشياء أثناء مرورها خلف بعضها البعض. في العالم الحقيقي، يعد التقاط كل هذه المعلومات دفعة واحدة أمراً صعباً للغاية. يمكن للكاميرا أن تسجل مقطع فيديو، لكنها لا تستطيع إخبارك تلقائياً بالمسافة الدقيقة إلى شجرة أو المسار الدقيق الذي سلكه الشخص الذي يحمل الكاميرا. غالباً ما يضطر العلماء إلى التخمين بشأن هذه التفاصيل لاحقاً، ويمكن أن تكون تخميناتهم خاطئة، خاصة عندما تحجب الأشياء الرؤية عن بعضها البعض. وبدون معرفة مثالية بالهندسة والحركة، يصعب تعليم الحاسوب بناء خريطة ذهنية مستقرة ومتماسكة لمكان يمكنه استكشافه والعودة إليه.
هذا هو التحدي الذي واجهه فريق من الباحثين في "ألايا لاب" (Alaya Lab)، وجامعة طوكيو، ومعهد شنغهاي للابتكار، من خلال نظام جديد يسمى "وورلد روفر" (WorldRover). فبدلاً من محاولة استخراج بيانات مثالية من فيديوهات العالم الحقيقي الفوضوية، قاموا ببناء آلة تولد البيانات من الصفر. لقد أنشأوا مسار عمل يأخذ بيئات افتراضية صممها فنانون ويرسل كاميرا في رحلات طويلة على مقياس الدقائق عبرها. والابتكار الرئيسي هو أن هذا النظام لا يكتفي بتسجيل الفيديو فحسب، بل يسجل تاريخ الرحلة بأكراها في وقت واحد. وبينما تتحرك الكاميرا، يلتقط النظام المسار الدقيق الذي سلكته، والمسافة الدقيقة لكل نقطة في المشهد، وكيف ترتبط كل بكسل في الصورة بالبكسل الذي سبقها. ولأن العالم اصطناعي، فإن الباحثين يعرفون حقيقة كل إطار: فهم يعرفون بالضبط أين كانت الكاميرا، وكيف سقط الضوء على الجدران، وأين يقع كل جسم في الفضاء ثلاثي الأبعاد.
ونتيجة لهذا الجهد هي مجموعة ضخمة من البيانات تسمى "وورلد روفر-10 إم" (WorldRover-10M). وهي تحتوي على أكثر من ستة آلاف تسلسل فيديو متميز مستمد من اثنين وثلاثين بيئة افتراضية مختلفة، تتراوح من شوارع المدن ومحطات المترو إلى الغابات والكاتدرائيات. وفي المجمل، تضم المجموعة أكثر من واحد وعشرين مليون إطار فيديو، ما يعادل أكثر من مائتي ساعة من اللقطات. وما يجعل هذه المجموعة فريدة من نوعها هو أنها تقدم نفس الرحلة من ثلاثة منظورات مختلفة: منظور الشخص الأول كما لو كان يمشي عبر العالم، ومنظور الشخص الثالث الذي يتبع شخصية من الخلف، ومنظور بانورامي بزاوية 360 درجة يلتقط كل شيء حول المراقب. ولكل إطار واحد، يوفر النظام مجموعة مطابقة من الملصقات التوضيحية، تشمل خريطة للعمق الدقيق للمشهد، وسجلاً لكيفية تحرك الكاميرا، وتتبعاً كثيفاً لكيفية انتقال النقاط في الصورة من لحظة إلى أخرى.
صمم الباحثون هذا المحرك لحل مشكلة محددة: الحاجة إلى بيانات لا يختلط فيها أبداً سبب التغير البصري. في الفيديو العادي، من الصعب معرفة ما إذا كان البكسل قد تحرك لأن الجسم تحرك أم لأن الكاميرا دارت. في "وورلد روفر"، يمكن للباحثين إعادة تشغيل نفس المسار تحت ظروف مختلفة؛ حيث يمكنهم عرض نفس المشي في مدينة تحت ضوء النهار الساطع، ثم في ضباب كثيف، أو حتى كنموذج أبيض محايد حيث تمت إزالة جميع الأنسجة مع بقاء الأشكال كما هي. ولأن المسار والهندسة يظلان متطابقين بينما يتغير المظهر فقط، يمكن للحاسوب الذي يتعلم من هذه البيانات أن يتعلم فصل بنية العالم عن طريقة مظهره. وهذا الفصل حيوي لتدريب النماذج التي تحتاج إلى فهم العالم بعمق كافٍ للتنقل فيه أو إعادة بنائه في ثلاثة أبعاد.
ولبناء ذلك، استخدم الفريق محرك ألعاب قوياً، وهو أداة تُستخدم عادةً لإنشاء ألعاب الفيديو، لكنهم أعادوا توظيفها لتوليد البيانات العلمية. لقد أعدوا اثنين وثلاثين بيئة متميزة صممها فنانون، مع ضمان كونها غنية بالتفاصيل والفوضى، تماماً مثل الأماكن الحقيقية. ثم برمجوا ثلاث طرق مختلفة للتحرك عبر هذه المساحات: استخدمت الطريقة الأولى خريطة محسوبة مسبقاً للمسارات القابلة للسير للتخطيط لمسارات فعالة، واستخدمت الثانية عميلاً تفاعلياً يستشعر العوائق أثناء حركته، حيث يتجول أحياناً أو يعلق، تماماً مثل شخص يستكشف غرفة جديدة، أما الطريقة الثالثة فقد سمحت لإنسان بتسجيل مسار يدوياً. تم بعد ذلك رصد هذه المسارات خارج نطاق الوقت الفعلي (offline)، مما يعني أن الحاسوب استغرق وقته لحساب كل شعاع ضوء وظل بدقة عالية، بدلاً من الاستعجال لإنتاج صورة فورية. وقد سمحت هذه العملية بتوليد بيانات دقيقة فيزيائياً، مع إضاءة تتغير بشكل صحيح مع تغير الوقت من اليوم أو تقلبات الط la جو.
تتضمن مجموعة البيانات مجموعات فرعية محددة مصممة لمهام مختلفة. وتعتبر تسلسلات منظور الشخص الثالث قيمة بشكل خاص لأنها تظهر شخصية تتحرك بشكل مستقل عن الكاميرا، مما يسمح للباحثين بدراسة كيف يمكن للآلة التمييز بين حركة المراقب وحركة جسم ما في العالم. كما يتتبع النظام النقاط الموجودة على الشخصية وفي الخلفية عبر فترات طويلة، حتى عندما تختفي تلك النقاط خلف الجدران أو الأشياء الأخرى. وتخبر البيانات الحاسوب ليس فقط بمكان النقطة عندما تكون مرئية، بل وأين ستكون لو ظلت مرئية، وهو مفهوم يُعرف باسم "التتبع غير المكتمل" (amodal tracking). وهذا أمر بالغ الأهمية لفهم أن السيارة الموجودة خلف مبنى لا تزال موجودة ولها موقع محدد، حتى عندما لا يمكن رؤيتها.
إن "وورلد روفر-10 إم" ليست مجرد مجموعة من الفيديوهات، بل هي مكتبة مهيكلة حيث ترتبط كل قطعة من المعلومات باللحظة الدقيقة التي تم التقاطها فيها. تُقاس خرائط العمق بالأمتار، ويسجل التدفق البصري حركة البكسلات بوحدات دقيقة، ويتم تسجيل مسارات الكاميرا بدقة عالية. لقد أتاح الفريق هذه البيانات بتنسيق يسمح للباحثين بالوصول بسهما إلى المعلومات الخام دون الحاجة إلى التخمين أو التقدير. لقد جعلوا البيانات متاحة للجمهور، مما يوفر أساساً للآخرين لبناء نماذج يمكنها فهم واستكشاف وإعادة بناء عوالم قابلة للاستكشاف. ومن خلال تحويل مشكلة استكشاف العالم إلى مهمة توليد بيانات قابلة للتوسع، قدم الباحثون أداة جديدة لمجال الذكاء الاصطناعي، توفر مستوى من الوضوح والتحكم يستحيل تحقيقه من خلال تسجيلات العالم الحقيقي وحدها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.