AnyScene: Towards Highly Controllable Driving Scene Generation at Anywhere and Beyond
تقترح الورقة البحثية AnyScene، وهو إطار عمل موحد متمحور حول الإشغال يستفيد من محول انتشار إشغالي مكاني-زماني ووحدة توسيع منظور قائمة على الهندسة لتوليد فيديوهات قيادة متعددة المشاهد عالية الدقة، وعالية التحكم، ومتسقة زمنياً من تخطيطات رؤية علوية (BEV) عشوائية دون الاعتماد على إطارات مرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد بناء فيلم واقعي ومثالي لشارع في مدينة، لكن ليس لديك طاقم تصوير، ولا ممثلون، ولا سيارات حقيقية. بدلاً من ذلك، لديك فقط خريطة بسيطة من منظور علوي (مثل الخريطة المصغرة في ألعاب الفيديو) حيث يمكنك رسم مسارات الطرق، وأماكن السيارات، وحتى تغيير حالة الطقس عبر ملاحظة نصية.
هذا هو بالضبط ما يفعله برنامج AnyScene. إنه برنامج حاسوبي جديد يحول هذه المخططات ثنائية الأبعاد البسيطة (2D) إلى فيديوهات قيادة ثلاثية الأبعاد (3D) عالية الدقة تبدو وكأنها حقيقية تماماً.
إليك كيف يعمل الأمر، مقسماً إلى ثلاث خطوات بسيية باستخدام تشبيهات من الحياة اليومية:
1. "المخطط الهندسي" (تحويل الخرائط إلى فضاء ثلاثي الأبعاد)
حاولت معظم الطرق القديمة رسم الفيديو مباشرة من الخريطة، مما أدى غالباً إلى حدوث أخطاء غريبة—مثل ظهور سيارة عائمة في الهواء أو اختفاء مبنى عند تحرك الكاميرا.
يتخذ AnyScene نهجاً مختلفاً. أولاً، يعمل كـ مهندس معماري ثلاثي الأبعاد. يأخذ خريطتك ثنائية الأبعاد (تخطيط BEV) ويبني "نموذجاً من الصلصال الرقمي" للمشهد بأكمله. في الورقة البحثية، يسمون هذا الاحتلال الدلالي (Semantic Occupancy).
- التشبيه: فكر في هذا الأمر كأنه شبكة ضخمة غير مرئية من مكعبات "الليغو" الصغيرة التي تملأ الفضاء. بعض المكعبات تمثل "الطريق"، وبعضها "سيارة"، وبعضها "شجرة"، وبعضها "هواء فارغ".
- السحر: يقوم النظام ببناء نموذج الليغو هذا إطاراً تلو الآخر. ولأن النظام يبني الهيكل ثلاثي الأبعاد أولاً، فإنه يضمن أنه إذا كانت السيارة على الجانب الأيسر من الطريق في الخريطة، فستبقى على الجانب الأيسر في العالم ثلاثي الأبعاد، بغض النظر عن حركة الكاميرا. وهذا يحل مشكلة ظهور الأشياء بشكل "مهتز" أو غير متناسق.
2. "مخرج الكاميرا" (تحويل النموذج إلى فيلم)
بمج once يتم بناء نموذج الليغو ثلاثي الأبعاد، يحتاج النظام إلى تحويله إلى فيديو. كانت الطرق القديمة تشبه مخرجاً مقيداً بجهاز كاميرا محدد؛ حيث لا يمكنهم التصوير إلا من زوايا ثابتة أو يحتاجون إلى فيديو "مرجعي" لتقليده.
يستخدم AnyScene وحدة جديدة تسمى توسيع الرؤية القائم على الهندسة (GGVE).
- التشبيه: تخيل أن لديك منحوتة ثلاثية الأبعاد مثالية لمدينة ما. AnyScene يشبه مخرجاً يمكنه التجول حول تلك المنحوتة بكاميرا وتصويرها من أي زاوية يريدها، حتى الزوايا التي لا وجود لها في الواقع.
- السحر: هو لا يحتاج إلى فيديو مرجعي لتقليده. بل ينظر إلى نموذج الليغو ثلاثي الأبعاد، ويحسب بدقة كيف يجب أن تبدو الإضاءة والظلال من زاوية جديدة، ثم يقوم بتوليد بكسلات الفيديو. هذا يعني أنه يمكنك طلب فيديو من طائرة بدون طيار (درون)، أو من سيارة، أو حتى من كاميرا مثبتة على دراجة، وسيقوم بتوليده فوراً دون الحاجة لإعادة تدريبه.
3. "الملعب اللانهائي" (لماذا هذا مهم)
توضح الورقة البحثية أن هذا النظام "قابل للتحكم" ويعمل "في أي مكان".
- التشبيه: فكر في الأمر كأنه مجموعة ليغو لا تنفد قطعها أبداً. يمكنك رسم ازدحام مروري في نيويورك، ثم تغيير الخريطة فوراً لتصبح شارعاً ممطراً في سنغافورة، أو حتى رسم تقاطع مصطنع تماماً لم يوجد من قبل. سيقوم النظام بتوليد فيديو واقعي لكل منها.
- النتيجة: يمكنه إنشاء فيديوهات بـ 12 زاوية كاميرا مختلفة في وقت واحد، أو حتى أكثر، مع بقائها متناسقة تماماً مع بعضها البعض. إذا قمت بتعديل الخريطة لإزالة سيارة، فسيتم تحديث الفيديو فوراً ليظهر شارعاً فارغاً، مع تعديل الظلال والانعكاسات تلقائياً.
باختصار
تدعي الورقة البحثية أن AnyScene هو آلة ذات خطوتين:
- الخطوة الأولى: يقرأ رسماً بسيطاً من منظور علوي ويبني عالماً "ليغو" ثلاثي الأبعاد دقيقاً (Occupancy).
- الخطوة الثانية: يستخدم هذا العالم ثلاثي الأبعاد لتصوير فيلم من أي زاوية كاميرا تريدها، وبأي طقس أو نمط حركة مرور ترسمه.
اختبر المؤلفون هذا النظام على مجموعة بيانات جديدة عالية السرعة قاموا بإنشائها (nuCraftv2)، وأظهروا أن طريقتهم تنشئ فيديوهات قيادة أكثر نظافة، وتناسقاً، وقابلية للتحكم مقارنة بالأنظمة السابقة، والتي كانت تعاني غالباً في الحفاظ على اتساق الهندسة أو تتطلب إعدادات كاميرا ثابتة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.