GA-Drive: Geometry-Appearance Decoupled Modeling for Free-viewpoint Driving Scene Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "GA-Drive: نمذجة فصل الهندسة عن المظهر لتوليد مشاهد القيادة من منظور حر".

1. بيان المشكلة

يعد تطوير محاكيات قيادة ذات واقعية فوتوغرافية، وقابلة للتعديل، وذات منظور حر، أمراً بالغ الأهمية لتدريب وتقييم أنظمة القيادة الذاتية من طرف إلى طرف (end-to-end). تواجه الأساليب الحالية قيوداً كبيرة:

• الأساليب القائمة على إعادة البناء (Reconstruction-based methods): (مثل PVG، وOmniRe، وS3Gaussian) تعتمد على مسارات مسجلة. وهي تعاني في عرض مناظر عالية الجودة من وجهات نظر جديدة وخارج المسار بسبب محدودية الملاحظات، مما يؤدي غالباً إلى تشوهات هندسية (مثل "العناصر العائمة" - floaters) وعيوب بصرية.
• النماذج التوليدية/نماذج العالم (Generative/World Models): (مثل DriveDreamer-2، وMaskGWM) يمكنها توليد فيديوهات ولكنها تفتقر إلى تمثيلات مشهد ثلاثية الأبعاد صريحة. يؤدي هذا إلى ضعف الاتساق ثلاثي الأبعاد، وعدم القدرة على ضمان التحكم في وضعية الكاميرا، والافتقار إلى قدرات تحرير المشهد.
• الأساليب الهجينة (Hybrid methods): تحاول الجمع بين التوليد وإعادة البناء ولكنها غالباً ما تعاني من تفاصيل ضبابية، وهياكل ثلاثية الأبعاد غير متسقة، وقابلية تعديل دون المستوى الأمثل.
• ندرة البيانات: يتطلب تدريب نماذج الانتشار (diffusion models) لتوليد المناظر من منظور جديد مسارات متعددة مسجلة في آن واحد (لاستخدام أحدها كشرط والآخر كأرضية حقيقية)، وهو أمر غير متوفر في مجموعات بيانات القيادة العامة (التي عادة ما تكون مساراً واحداً لكل مشهد).

2. المنهجية: إطار عمل GA-Drive

يقترح GA-Drive إطار عمل مبتكر يقوم بـ فصل هندسة المشهد عن مظهره، مستفيداً من استراتيجية "فصل الهندسة عن المظهر" وخط إنتاج "التوليد القائم على الانتشار".

أ. إعادة بناء الهندسة رباعية الأبعاد (وحدة الهندسة)

يقوم النظام أولاً بإعادة بناء هندسة المشهد رباعية الأبعاد باستخدام "رسم بياني لمشهد غاوسي" (Gaussian Scene Graph) (بناءً على OmniRe). ولمعالجة الغموض الهندسي الشائع في مشاهد القيادة ذات المنظور المحدود، قدم المؤلفون تحسينين رئيسيين:

1. الإشراف العميق على العمق (Dense Depth Supervision): بما أن بيانات LiDAR متفرقة (تغطي غالباً النصف السفلي فقط)، فقد استخدموا Marigold لتقدير خرائط العمق النسبية ومواءمتها مع مقاييس LiDAR المطلقة. يوفر هذا قيوداً هندسية كثيفة عبر الصورة بأكملة.
2. تنظيم تشوه العمق (Depth Distortion Regularization): قاموا بدمج دالة خسارة (من Mip-NeRF 360) لتشجيع الأوزان الغاوسية على التركز على طول الأشعة، مما يمنع تشكل العيوب العائمة ("floaters").

ب. توليد المناظر الزائفة الموجهة بالهندسة (Geometry-Guided Pseudo-View Synthesis)

بمجرد إنشاء الهندسة رباعية الأبعاد، يقوم النظام بتوليد "مناظر زائفة" لمسارات الكاميرا الجديدة:

1. إطلاق الأشعة (Ray Casting): يتم إطلاق الأشعة من الوضعية المستهدفة الجديدة إلى الفضاء ثلاثي الأبعاد المعاد بناؤه باستخدام خريطة العمق المصورة لإنشاء سحابة نقاط ثلاثية الأبعاد.
2. الإسقاط وأخذ العينات (Projection & Sampling): يتم إسقاط هذه النقاط ثلاثية الأبعاد على المشاهد المصدرية الأصلية المسجلة لأخذ عينات من ألوان RGB.
3. معالجة الرؤية (Visibility Handling): يضمن فحص الرؤية أن النقاط المحجوبة بواسطة أسطح أقرب في المشهد المصدر يتم حجبها (تظل سوداء) بد لا أن يتم تلوينها بشكل خاطئ.
   النتيجة: تحتوي هذه المناظر الزائفة على علاقات مكانية ثلاثية الأبعاد وأنماط حجب صحيحة، ولكن قد تحتوي على ثقوب أو عيوب. وهي تعمل كـ "أولويات هندسية" (geometric priors) قوية.

ج. نموذج انتشار الفيديو المجزأ (Segment-wise Video Diffusion Model)

يقوم نموذج انتشار فيديو مدرب بتحويل المناظر الزائفة (الصحيحة هندسياً ولكن غير المثالية) إلى إطارات ذات واقعية فوتوغرافية.

• البنية (Architecture): تعتمد على CogVideoX (I2V)، باستخدام VAE ثلاثي الأبعاد لترميز الإطارات الشرطية.
• التوليد المجزأ (Segment-wise Generation): لتوليد مسارات طويلة، يعالج النموذج الفيديو في أجزاء (segments). يتم اشتراط الإطار الأول من الجزء الجديد على آخر إطار تم توليده من الجزء السابق لضمان الاتساق الزمني، بينما تُشترط بقية الإطارات على المناظر الزائفة المقابلة.

د. خط إنتاج محاكاة المناظر الزائفة (استراتيجية التدريب)

لتدريب نموذج الانتشار دون الحاجة لمجموعات بيانات ذات مسارات متعددة، صمم المؤلفون خط إنتاج محاكاة يحاكي خصائص المناظر الزائفة الجديدة باستخدام مسار واحد فقط:

1. محاكاة الأنماط (Pattern Simulation): يقوم خط الإنتاج بإدخال ما يلي اصطناعياً:
   • الأقنعة العشوائية (Random Masks): لمحاكاة أخطاء الإسقاط.

• الدمج المحلي (Local Blending): لمحاكاة عدم دقة تقدير العمق.
• المناطق المحجوبة (Occluded Regions): حجب المناطق التي يتغير فيها العمق بشكل حاد.

2. دورة التدريب (Training Loop): يتم تدريب النموذج على استقبال هذه المناظر الزائفة "المحاكات" (كشروط) والإطارات الأصلية المسجلة (كأرضية حقيقية) لتعلم كيفية ملء التفاصيل المفقودة وتصحيح العيوب مع الحفاظ على الاتساق ثلاثي الأبعاد.

3. المساهمات الرئيسية

1. فصل الهندسة عن المظهر: إطار عمل يفصل بين إعادة بناء البنية ثلاثية الأبعاد وتوليد المظهر. يسمح هذا بـ تحرير المظهر بمرونة (مثل تغيير الطقس، أو ألوان السيارات) عبر أدوات تحرير الفيديو المتطورة دون التأثير على الهندسة الأساسية، مما يضمن الاتساق عبر جميع المسارات المولدة.
2. خط إنتاج محاكاة المناظر الزائفة: استراتيجية تدريب مبتكرة تتيح استخدام مجموعات بيانات ذات مسار واحد (مثل Waymo) لتدريب نماذج انتشار الفيديو لتوليد المناظر من منظور جديد، مما يلغي الحاجة لتسجيلات متعددة الكاميرات متزامنة ومكلفة.
3. إعادة بناء رباعي الأبعاد محسّن: إن إدخال الإشراف العميق على العمق وتنظيم التشوه يحسن بشكل كبير الدقة الهندسية في المناطق ذات بيانات LiDAR المتفرقة مقارنة بطرق إعادة البناء الأساسية.

4. النتائج التجريبية

قيم المؤلفون GA-Drive مقابل أحدث النماذج المرجعية (PVG، S3Gaussian، DriveDreamer4D، ReconDreamer، Deformable-GS) على مجموعة بيانات التحقق الخاصة بـ Waymo.

• المقاييس الكمية: حقق GA-Drive أداءً فائقاً في:
  • NTA-IoU (Novel Trajectory Agent IoU): بنسبة 0.558 (مقابل 0.443 لأفضل نموذج تالٍ)، مما يشير إلى وضعية أفضل للمركبة.
  • NTL-IoU (Novel Trajectory Lane IoU): بنسبة 56.83 (مقابل 53.78)، مما يظهر اتساقاً أفضل في حدود المسارات.
  • FID (Fréchet Inception Distance): بنسبة 49.77 (الأقل هو الأفضل)، مما يثبت واقعية فوتوغرافية أعلى بكثير مقارنة بالنماذج المرجعية (مثلاً 76.24 لـ ReconDreamer).
• النتائج النوعية: تظهر المقارنات البصرية أن GA-Drive ينتج تفاصيل أكثر حدة، وعيوباً أقل، واتساقاً زمنياً أفضل من الأساليب الهجينة. كما نجح في التعامل مع انزياحات المسارات والحفاظ على الاتساق حيث تفشل الطرق الأخرى (مثل عدم اتساق الشكل في DriveDreamer4D).
• المتانة (Robustness): يظل النموذج متيناً حتى عندما يتم إفساد التمثيل الغاوسي ثلاثي الأبعاد الأساسي (مثل إزالة 80% من الـ Gaussians أو إضافة ضجيج)، وذلك بفضل قدرة التعميم لنموذج الانتشار وخط إنتاج المحاكاة.
• القدرة على التحرير: أثبت النظام نجاح مهام التحرير، مثل تغيير الطقس إلى ضباب أو تغيير مظهر السيارات، مع نتائج متسقة عبر مسارات الكاميرا المختلفة.

5. الأهمية

يمثل GA-Drive تقدماً كبيراً في محاكاة القيادة ذاتية القيادة من خلال حل المقايضة بين الدقة الهندسية، والواقعية الفوتوغرافية، وقابلية التحرير.

• السلامة والتدريب: يوفر طريقة قابلة للتوسع لتوليد سيناريوهات قيادة متنوعة وعالية الدقة (بما في ذلك ظروف الطقس النادرة وزوايا الكاميرا الجديدة) لتدريب أنظمة القيادة المستقلة من طرف إلى طرف.
• الكفاءة: من خلال فصل الهندسة عن المظهر واستخدام خط إنتاج المحاكاة، يتجاوز النموذج الحاجة لجمع بيانات مسارات متعددة مكلفة.
• المرونة: القدرة على تحرير مظهر المشهد عالمياً (عبر جميع المسارات) مع الحفاظ على البنية ثلاثية الأبعاد تفتح آفاقاً جديدة لتعزيز البيانات واختبار السيناريوهات في أبحاث القيادة الذاتية.