تخيل أنك تحاول تصوير فيلم، ولكن ليس لديك سوى كاميرا واحدة على سيارة واحدة تسير في شارع ما. تريد أن تظهر للجمهور كيف سيبدو المشهد لو كانت الكاميرا على سيارة ثانية تسير بجانب السيارة الأولى مباشرة، أو ربما على بُعد أمتار قليلة إلى اليسار. هذا هو حلم "تخليق المسارات الجديدة" (novel trajectory synthesis) في عالم القيادة الذاتية: إنشاء منظورات فيديو جديدة من منظورات قديمة. وللقيام بذلك، تحاول الحواسيب عادةً بناء نموذج ثلاثي الأبعاد للعالم أولاً، مثل منحوتة طينية رقمية، ثم تحاول رسم صور جديدة عليها. ومع ذلك، فإن هذا الأمر صعب؛ فإذا حاولت الحواسيب إصلاح الأجزاء القبيحة في نموذجها ثلاثي الأبعاد لاحقاً، فإنها غالباً ما تنتهي بإنشاء عيوب غريبة ومشوهة لا تبدو منطقية. وبدلاً من ذلك، إذا حاولت استخدام الماسحات الضوئية الليزرية (LiDAR) لتوجيه الكاميرا، فإنها غالباً ما تفقد التفاصيل في المسافات البعيدة أو خلف الأشجار لأن أشعة الليزر تكون متباعدة جداً، مثل محاولة رسم بورتريه دقيق باستخدام بضع نقاط متفرقة فقط.

هنا يأتي دور ReCamDriving، وهو أسلوب جديد يعمل مثل مخرج بارع لا يحتاج إلى ماسح ضوئي ليزري أو خبير إصلاح سحري. بدلاً من ذلك، يستخدم "رقصة" ذكية من خطوتين لتعليم الكمبيوتر كيفية "تحريك" كاميرا عبر مشهد فيديو دون الحاجة أبداً إلى أجهزة باهظة الثمن. لقد وجد الباحثون أنه من خلال استخدام نوع معين من الرندرة ثلاثية الأبعاد يسمى "تشتت غاوس ثلاثي الأبعاد" (3D Gaussian Splatting) - تخيله كسحابة من ملايين النقاط ثلاثية الأبعاد الصغيرة والمتوهلة التي تشكل شكلاً صلباً - يمكنهم تعليم الذكاء الاصطناعي فهم هندسة العالم بشكل مثالي. لم يلقوا بالذكاء الاصطناائي في العمق مباشرة؛ بل علموه المشي قبل أن يركض. أولاً، علموه تحريك الكاميرا بناءً على اتجاهات بسيطة، ثم بمجرد أن تعلم التحرك، أظهروا له "سحابة النقاط" لمساعدته على فهم كيف يجب أن يبدو العالم تماماً من تلك الزاوية الجديدة. والنتيجة؟ نظام يمكنه إنتاج فيديوهات سلسة وواقعية لسيارة تسير في شارع من زاوية جديدة تماماً، حتى لو لم يتم تصوير تلك الزاوية من قبل.

المشكلة: الإصلاحات المشوهة والنقاط المفقودة

يبدأ البحث بالإشارة إلى أن الطرق الحالية لصنع هذه الفيديوهات الجديدة تشبه محاولة إصلاح مزهرية مكسورة باستخدام شريط لاصق. أحد الأساليب الشائعة هو نهج "إعادة البناء ثم الإصلاح". تخيل أنك تبني نموذجاً ثلاثي الأبعاد لشارع ما، لكنه يبدو ضبابياً أو مشوهاً. ثم تقوم بتدريب كمبيوتر على "إصلاح" تلك البقع الضبابية. المشكلة هي أنه عندما يحاول الكمبيوتر "إصلاح" عرض جديد لم يره من قبل، فإنه غالباً ما يرتبك؛ حيث يحاول تطبيق نفس منطق "الشريط اللاصق" الذي تعلمه من العروض القديمة، مما يؤدي إلى عيوب غريبة خارج النطاق، حيث قد تذوب السيارات أو تختفي الطرق.

أما الطريقة الأخرى، فتحاول استخدام تقنية LiDAR (الماسحات الليزرية) لإخبار الكمبيوتر بمكان الأشياء بالضبط في الفضاء ثلاثي الأبعاد. لكن LiDAR يشبه كشافاً ضوئياً في غرفة ضبابية؛ فهو يرى الأشياء التي أمامه بوضوح، لكن النقاط تصبح متباعدة جداً وتختفي في المسافات البعيدة أو خلف العوائق. يؤدي هذا إلى فيديوهات تبدو فيها الخلفية غير متسقة أو ينهار فيها الهيكل ثلاثي الأبعاد.

الحل: رقصة من مرحلتين مع دليل "السحابة"

يقترح المؤلفون ReCamDriving، وهو نظام يعتمد كلياً على الرؤية (الكاميرات) ونوع خاص من الدليل ثلاثي الأبعاد. إليكم كيف حلوا اللغز:

1. دليل "السحابة" (رندرة 3DGS)
بدلاً من استخدام نقاط الليزر المتباعدة، استخدم الفريق تشتت غاوس ثلاثي الأبعاد (3DGS). تخيل المشهد ليس كجدار صلب، بل كسحابة كثيفة من ملايين الكرات ثلاثية الأبعاد الصغيرة الملونة والمتوهجة. عندما تقوم برندرة هذه السحابة من زاوية جديدة، فإنها تنشئ صورة كاملة وكثيفة للعالم، حتى لو كانت تحتوي على بعض عيوب الرندرة. الفكرة الجوهرية هي أنه حتى لو لم تكن صورة "السحابة" هذه مثالية، إلا أنها تمتلك الشكل والهيكل الصحيحين. فهي تخبر الكمبيوتر: "السيارة هنا، والطريق هناك"، بتفاصيل أكثر بكثير مما يقدمه مسح ليزري متباعد.

2. التدريب على مرحلتين (المشي، ثم الركض)
إذا عرضت على الكمبيوتر صورة "السحابة" وطلبت منه توليد فيديو جديد فحسب، فقد يعتمد على طرق مختصرة بدلاً من تعلم التحول الكامل. قد يحاول فقط "إصلاح" صورة السحابة بدلاً من تعلم كيفية تحريك الكخلية فعلياً إلى مكان جديد، وهذا ما يسمى "تعلم الاختصارات".

لمنع حدوث ذلك، استخدم المؤلفون استراتيجية تدريب من مرحلتين:

• المرحلة الأولى (المشي): قاموا أولاً بتدريب النموذج باستخدام تعليمات حركة الكاميرا (poses) فقط. أخبروا الذكاء الاصطناعي: "حرك الكاميرا 3 أمتار إلى اليسار". يتعلم الذكاء الاصطناعي الفيزياء الأساسية لكيفية تغير العالم عند تحريك الكاميرا. إنه يشبه تعليم الطالب المشي قبل تعليمه الرقص.
• المرحلة الثانية (الرقص): بمجرد أن يعرف الذكاء الاصطناعي كيفية التحرك، يقومون بـ "تجميد" هذا الجزء من عقله وإضافة طبقة جديدة. الآن، يقومون بتغذية "صورة السحابة" (رندرة 3DGS) كدليل. ولأن الذكاء الاصطناعي يعرف بالفعل كيفية التحرك، فإنه يستخدم صورة السحابة ليس كقالب للنسخ، بل كإطار هيكلي لضمان أن يكون الفيديو الجديد صحيحاً من الناحية الهندسية. الأمر يشبه إعطاء الراقص خريطة للمسرح حتى لا يتعثر، بينما هو يتحرك بالفعل.

3. مجموعة البيانات المتوازية (ParaDrive)
لتعليم هذا النظام، احتاجوا إلى كمية هائلة من بيانات التدريب. عادةً، لا يمكنك الحصول على فيديوهات لنفس الشارع من سيارتين تسيران جنباً إلى جنب. لذا، ابتكروا حيلة ذكية. أخذوا فيديوهات من سيارة واحدة، وبنوا نموذجاً ثلاثي الأبعاد للمشهد، ثم قاموا بـ "رندرة" فيديو وهمي لما سيبدو عليه المشهد لو سارت سيارة ثانية على بُعد 3 أمتار إلى اليسار. استخدموا هذا الفيديو الوهمي كـ "معلم" والفيديو الحقيقي كـ "طالب". ومن خلال القيام بذلك لـ 110,000 زوج من الفيديوهات عبر 1,600 مشهد من مجموعات بيانات Waymo وNuScenes، أنشأوا مجموعة بيانات جديدة تسمى ParaDrive. سمح هذا بتدريب الذكاء الاصطناعي على الحركات الجانية (من جانب إلى آخر)، وهي الحركات التي عانت منها الطرق السابقة.

النتائج: أكثر حدة، أكثر سلاسة، وأكثر دقة

عندما اختبروا ReCamDriving، كانت النتائج مبهرة.

• الجودة البصرية: كانت الفيديوهات الجديدة أكثر حدة وتحتوي على عيوب أقل من الطرق التي تحاول "إصلاح" النماذج ثلاثية الأبعاد.
• الاتساق: ظل الهيكل ثلاثي الأبعاد متسقاً؛ فالسيارات لم تذب، والطرق لم تلتوِ، حتى عندما تحركت الكاميرا بشكل كبير (حتى 4 أمتار إلى الجانب).
• التحكم في الكاميرا: كان النظام أفضل بكثير في اتباع تعليمات الكاميرا الدقيقة. على سبيل المثال، عند طلب تحريك الكاميرا 4 أمتار إلى اليمين، كان ReCamDriving أكثر دقة بشكل ملحوظ من الطرق التي تستخدم LiDAR، والتي غالباً ما كانت تنحرف أو تخطئ في تقدير المسافة.

يوضح البحث صراحةً أن فكرة "إصلاح" رندرة ثلاثية الأبعاد سيئة ليست هي الطريق الأمثل، مبيناً أنها تفشل عندما يكون المنظور مختلفاً جداً عما رآه الذكاء الاصطناعي من قبل. كما يظهرون أن الاعتماد على LiDAR هو طريق مسدود للحصول على توليد عالي الدقة ومتسق لأن البيانات تكون متباعدة جداً.

لماذا يهم هذا؟

يشير هذا العمل إلى أننا لسنا بحاجة إلى ماسحات ضوئية ليزرية باهظة الثمن لإنشاء محاكاة فيديو ثلاثية الأبعاد مثالية للسيارات ذاتية القيادة. من خلال استخدام عملية تدريب ذكية من خطوتين و"سحابة" كثيفة من النقاط ثلاثية الأبعاد، يمكننا إنشاء فيديوهات عالية الجودة ومتسقة هندسياً من كاميرا واحدة. يمكن أن يجعل هذا تدريب المركبات ذاتية القيادة أرخص وأسهل بكثير، حيث يمكنها التعلم من ملايين سيناريوهات "ماذا لو" المولدة دون الحاجة إلى أسطول من السيارات التي تسير جنباً إلى جنب. ويشير المؤلفون إلى أنه على الرغم من أن طريقتهم تتطلب خطوة أولية لبناء النموذج ثلاثي الأبعاد، إلا أن هذه تكلفة تُدفع لمرة واحدة وتؤتي ثمارها من خلال السماح بتوليد فيديوهات لا حصر لها، ومع تحسن تكنولوجيا إعادة البناء ثلاثية الأبعاد، ستصبح هذه العملية أسرع فقط.