SeasonScapes: Learning Large-scale Re-lightable 3D Landscapes with Seasonal Variation from Sparse Webcams
يقدم البحث SeasonScapes، وهو إطار عمل ومجموعة بيانات تعمل على إنشاء مناظر طبيعية جبلية ثلاثية الأبعاد واسعة النطاق وقابلة لإعادة الإضاءة مع تغيرات موسمية، وذلك عن طريق إسقاط أكثر من 85,000 صورة كاميرا ويب متفرقة على شبكة (mesh) واستخدام نماذج الانتشار الشرطية لملء الفجوات الناتجة عن الحجب.
المؤلفون الأصليون:Timo Kleger, Qi Ma, Deheng Zhang, Luc Van Gool, Danda Pani Paudel
تخيل أنك تريد بناء عالم مثالي ثلاثي الأبعاد للعبة فيديو يجسد جبال سويسرا. المشكلة هي أنك لا تملك طائرة بدون طيار (درون) تحلق في كل مكان، ولا تملك فريقاً من المصورين الفوتوغرافيين. كل ما تملكه هو 32 كاميرا ويب قديمة منتشرة عبر المناظر الطبيعية، تلتقط صوراً في أوقات مختلفة من اليوم وأوقات مختلفة من السنة.
ورقة "SeasonScapes" البحثية تتحدث عن كيفية أخذ تلك الصور المبعثرة والمتفرقة من كاميرات الويب وتحويلها إلى نموذج ثلاثي الأبعاد ضخم، حي، ومتنفس يتغير مع تغير الفصول.
إليك كيف فعلوا ذلك، مقسماً إلى خطوات بسيطة:
1. "المسودة الأولية" (الهيكل العظمي)
بدأ الفريق أولاً بخريطة أساسية منخفضة الدقة للجبال (مثل نموذج ارتفاع رقمي) وصورة قمر صناعي. قاموا بتحويل هذه الخريطة إلى شبكة ثلاثية الأبعاد (Mesh) — وهي عبارة عن هيكل سلكي لتضاريس الأرض.
المشكلة: كان هذا الهيكل رمادياً وفارغاً؛ لم يكن يبدو كجبال حقيقية.
الحل: حاولوا "طلاء" الهيكل باستخدام صور كاميرات الويب. ولكن نظرًا لأن كاميرات الويب متباعدة عن بعضها البعض، بقيت أجزاء ضخمة من الجبل فارغة (مثل محاولة رسم جدارية عملاقة باستخدام بضع فرشاة رسم صغيرة جداً فقط).
2. "الفرشاة السحرية" (الترميم بالذكاء الاصطناعي - AI Inpainting)
هذه هي الحيلة الجوهرية. لملء الفراغات حيث لا تستطيع أي كاميرا الرؤية، استخدموا أداة ذكاء اصطناعي خاصة تسمى ControlNet.
التشبيه: تخيل أنك تنظر إلى صورة لجبل، لكن سحابة تغطي القمة. أنت تعلم كيف تبدو قمة الجبل عادةً. يعمل الذكاء الاصطناعي كفنان ذكي للغاية ينظر إلى الأجزاء المرئية من الجبل، وشكل التضاريس (العمق)، ووصف نصي، ثم يقوم بـ "هلوسة" أو تخمين كيف يجب أن تبدو القمة المخفية.
العملية: لم يكتفوا بالتخمين العشوائي؛ بل أنشأوا "مساراً" يتبعه الذكاء الاصطناعي، عبر تحريك الكاميرا الافتراضية حول الجبل. ومع تحرك الكاميرا، يقوم الذكاء الاصطناعي بملء الأنسجة (Textures) المفقودة، مما يضمن أن يبدو العشب والصخور والثلج متناسقين مع الصور الحقيقية.
3. "آلة الزمن" (الفصول والوقت من اليوم)
معظم النماذج ثلاثية الأبعاد تكون ثابتة؛ فهي تبدو كما هي في ظهيرة شهر يوليو كما في منتصف ليل شهر ديسمبر. أراد هذا المشروع التقاط التغيير.
قاموا بجمع أكثر من 85,000 صورة تم التقاطها على مدار عام كامل.
من خلال تدريب نظامهم على هذه الأوقات المختلفة، أنشأوا نموذجاً يعرف كيف يبدو الجبل عندما يكون مغطى بالخضرة الصيفية، أو ثلوج الشتاء، أو ضوء الخريف الذهبي.
حتى أنهم قاموا بتدريب نموذج "غاوسي" (Gaussian) خاص (وهي طريقة متطورة لقول مجموعة من النقاط ثلاثية الأبعاد) يمكن "إعادة إضاءته". وهذا يعني أنه يمكنك إخبار الكمبيوتر: "أرني هذا الجبل عند غروب الشمس"، وسيقوم بتعديل الظلال والألوان وفقاً لذلك، حتى لو تم التقاط صورة كاميرا الويب الأصلية وقت الظهيرة.
4. النتائج
اختبروا ذلك على ثلاث مناطق مختلفة من جبال الألب السويسرية.
المناطق الصغيرة: أدى الذكاء الاصطناعي عملاً رائعاً في ملء الفجوات.
المناطق الكبيرة: كان الأمر أكثر صعوبة، وفي بعض الأحيان ارتكب الذكاء الاصطناعي أخطاء صغيرة (مثل رسم وادٍ يبدو "حلمياً" أو غير دقيق تماماً)، لكنه كان لا يزال أفضل بكثير من مجرد استخدام خرائط الأقمار الصناعية القياسية، والتي غالباً ما تفتقر إلى التفاصيل في المنحدرات الشديدة لأنها تُرى من الأعلى مباشرة.
باختدصار
تقدم الورقة البحثية مجموعة أدوات جديدة تسمى SeasonScapes. إنها تأخذ بضع صور مبعثرة من كاميرات الويب لمنطقة جبلية شاسعة وتستخدم الذكاء الاصطناعي لـ:
ملء الفراغات حيث لم تتمكن الكاميرات من الرؤية.
طلاء الأنسجة لتبدو النماذج ثلاثية الأبعاد حقيقية.
محاكاة الوقت، مما يسمح لك برؤية كيف يتغير المشهد الطبيعي من الفجر إلى الغسق ومن الصيف إلى الشتاء.
إنها في الأساس تحويل مجموعة من لقطات كاميرات الويب الثابتة والمنفصلة إلى فيلم مستمر وتفاعلي ثلاثي الأبعاد لجبال الألب السويسرية.
ملخص تقني: SeasonScapes
بيان المشكلة
لا يزال إعادة بناء المناظر الطبيعية ثلاثية الأبعاد واسعة النطاق من مشاهد متفرقة وغير مقيدة يمثل تحديًا كبيرًا في الرؤية الحاسوبية. تعاني الطرق الحالية من أخطاء معايرة الكاميرا، والتغطية المحدودة للمشهد، والتعقيد العالي للمشهد الذي يتضمن إضاءة ديناميكية وتغيرات في المظهر الموسمي. وبينما توجد مجموعات بيانات ضخمة للبيئات الحضرية الثابتة، هناك فجوة ملحوءة في مجموعات البيانات عالية الجودة والغنية زمنيًا للمناظر الطبيعية الجبلية الطبيعية غير المحدودة التي تلتقط التحولات الموسمية ودورات الإضاءة النهارية. علاوة على ذلك، تعتمد الأنظمة التقليدية القائمة على الشبكات (Mesh) (مثل Google Earth) على هندسة ثابتة وأنسجة أقمار صناعية مدمجة، مما يؤدي إلى الفشل في نمذجة المظهر المعتمد على وجهة النظر وظروف الإضاءة المتنوعة باتساق فوتومتري.
المنهجية
يقترح المؤلفون SeasonScapes، وهو إطار عمل ومجموعة بيانات مصممة لإعادة بناء مناظر طبيعية ثلاثية الأبعاد قابلة لإعادة الإضاءة من صور كاميرات الويب المتفرقة. يدمج خط الإنتاج (Pipeline) البيانات متعددة الوسائط (كاميرات الويب، صور الأقمار الصناعية، ونماذج الارتفاع) من خلال المراحل التالية:
1. معالجة البيانات مسبقًا والتهيئة
الهندسة الأساسية: تبدأ العملية بنموذج ارتفاع رقمي (IDEM) منخفض الدقة وصورة ملونة من قمر صناعي (IS) للمنطقة المستهدفة (مثل مرتفعات برنيس). يتم إنشاء سحابة نقاط ثلاثية الأبعاد عن طريق رسم ارتفاعات البكسل من الـ IDEM وتلوينها باستخدام IS. يتم بناء شبكة ثلاثية الأبعاد (M) باستخدام إعادة بناء سطح بواسون (Poisson surface reconstruction).
فرد الخريطة (UV Unwrapping): يتم فرد سطح الشبكة باستخدام مكتبة xatlas لإنشاء خريطة نسيج UV، مما يفصل تخزين النسيج عن الهندسة.
محاذاة كاميرات الويب: يتم تقسيم تغذيات كاميرات الويب البانورامية (أسطوانية 360 درجة) إلى 4-6 صور فرعية منظوريه. يتم تصحيح ألوانها لضمان الاتساق ومحاذاتها مع الشبكة ثلاثية الأبعاد.
تحسين الكاميرا: يتم اشتقاق وضعيات الكاميرا الأولية من إحداثيات GPS، ولكن يتم تحسينها عبر نهج قائم على التعلم. يقوم المؤلفون يدويًا بإنشاء توافقات 2D–3D وتحسين المعلمات الداخلية (البعد البؤري) والخارجية (الدوران) عن طريق تقليل فقدان البكسل L1 بين النقاط ثلاثية الأبعاد المسقطة ونقاط الصورة المستهدفة 2D.
2. تلوين الشبكة ثلاثية الأبعاد ومعالجة الفراغات (Inpainting)
لمعالجة حالات الاحتجاب والتغطية المتفرقة، يستخدم إطار العمل عملية تلوين مكونة من مرحلتين:
التلوين الأولي: يتم إسقاط صور كاميرات الويب المعالجة مسبقًا على خريطة UV الخاصة بالشبكة. تُستخدم استراتيجية فوقية تدريجية، حيث يتم دمج الأنسجة الجديدة مع الأنسجة الموجودة بناءً على قناع UV، مما يضمن الحفاظ على المناطق التي تم تلوينها مسبقًا.
المعالجة التكرارية للفراغات (Iterative Inpainting): بالنسبة للمناطق غير المغطاة بمشاهد كاميرات الويب، يستخدم النظام نموذج انتشار مدرك للعمق (ControlNet) لمعالجة المناطق المفقودة.
المسار: يحدد النظام مسار رؤية جديد بوضعيات محددة.
الاشتراط (Conditioning): لكل خطوة، يتم رندر صورة RGBD. يتم إنشاء قناع غير ملون باستخدام تصفية مساحة ألوان HSV لتحديد المناطق المفقودة.
الانتشار (Diffusion): يعمل خط إنتاج ControlNet على اشتراط عملية معالجة الفراغات بناءً على خريطة العمق، و IP-Adapter (للتوجيه المظهري من كاميرات الويب المجاورة)، ومطالب نصي (Text Prompt).
الإسقاط: يتم إسقاط الصورة المولدة والمعالجة مرة أخرى على خريطة نسيج UV المحلية ودمجها مع النسيج السابق.
3. التمثيل ثلاثي الأبعاد القابل لإعادة الإضاءة
تتضمن المرحلة النهائية تدريب نموذج Wild Gaussian (امتداد لـ 3D Gaussian Splatting) باستخدام مجموعة البيانات المكتملة والمتنوعة زمنيًا.
MLP المظهر: يقوم Perceptron متعدد الطبقات (MLP) بتحويل سمات اللون الأساسية لكل Gaussian بناءً على اتجاه شعاع الرؤية والوقت، مما يسمح بإعادة بناء خصائص المشهد الديناميكية وقدرات إعادة الإضاءة.
المساهمات الرئيسية
مجموعة بيانات SeasonScapes: مجموعة بيانات متعددة الوسائط عالية الجودة وواسعة النطاق تغطي 3,000 كم² من التضاريس الألبية. تتضمن أكثر من 85,000 صورة من كاميرات الويب من 32 موقعًا عبر 13 طابعًا زمنيًا، مما يلتقط الدورات الموسمية الكاملة والتغيرات النهارية. توفر طوابع زمنية دقيقة وتوافقات 2D–3D معايرة بين الصور الأرضية وبيانات الأقمار الصناعية المرجعية جغرافيًا.
إطار عمل SeasonScapes: خط إنتاج مبتكر لإنشاء مناظر طبيعية ثلاثية الأبعاد قابلة لإعادة الإضاءة. يتعامل بشكل فريد مع المشاهد واسعة النطية وغير المحدودة من خلال إدخال مسارات معالجة الفراغات (Inpainting) باستخدام الشرائح الخطية أو التكعيبية بين إحداثيات GPS، وإجراء تلوين مدرك للاحتجاب عبر فهرسة UV ورندر العمق، بدلاً من الاعتماد فقط على تصفية القيم الطبيعية (Normal-based filtering).
النمذجة الديناميكية القابلة لإعادة الإضاءة: دمج التضمينات الديناميكية في تدريب Gaussian القابل لإعادة الإضاءة، مما يسمح بالنمذجة الفعالة للتغيرات الزمنية (المواسم والوقت من اليوم) في المشاهد الخارجية واسعة النطاق.
النتائج والتقييم
قيم المؤلفون خط الإنتاج عبر ثلاثة مشاهد اختبار متنوعة: Grindelwald (صغير النطاق)، Jungfrau (متوسط النطاق)، و Bernese Highlands (واسع النطاق).
المقاييس الكمية: تم قياس الأداء باستخدام LPIPS و PSNR و SSIM. حقق مشهد Grindelwald قيمة LPIPS بلغت 0.159، بينما أظهرت مشاهد Jungfrau و Bernese الأكبر قيم LPIPS أعلى (0.191 و 0.216 على التوالي). يعزو المؤلفون تدهور الأداء في المشاهد الأكبر إلى زيادة نسبة المناطق غير المرئية التي تتطلب توليدًا اصطناعيًا.
دراسات الاستئصال (Ablation Studies): أدى إزالة مرحلة التلوين الأولية إلى انخفاض كبير في الأداء (يصل إلى 33.1% في LPIPS لمشهد Grindelwald)، مما يبرز ضرورة النهج المكون من مرحلتين. أدى إزالة التحكم في العمق إلى حدوث "هلوسات جبلية" في المناطق البعيدة، كما أظهر الـ IP-Adapter أنه ينظم درجات الألوان بشكل أساسي.
المقارنة النوعية: مقارنة بـ Google Earth، أظهر نهج SeasonScapes تلوينًا فائقًا على المنحدرات الصخرية شديدة الانحدار من خلال التقاط رؤى شبه متعامدة بشكل أفضل، متجنبًا التشويه وفقدان التفاصيل الشائع في منظور الأقمار الصناعية من الأعلى. كما أظهرت الطريقة قدرة أكبر على التكيف مع التغيرات الموسمية.
الأهمية والقيود
تضع الورقة البحثية SeasonScapes كخطوة للأمام في إنشاء توائم رقمية للبيئات الطبيعية التي ليست دقيقة هندسيًا فحسب، بل متسقة فوتومتريًا عبر الزمن. من خلال الجمع بين بيانات كاميرات الويب المتفرقة ومع معرفات الانتشار (Diffusion Priors)، يتيح النهج نمذجة التحولات البيئية طويلة الأمد وتغيرات الإضاءة قصيرة المدى، متقدمًا بذلك عن عمليات إعادة البناء الساكنة المعتمدة على الأقمار الصناعية فقط.
يعترف المؤلفون بالقيود الحالية:
عملية إنشاء التوافقات 2D–3D اليدوية تستغرق وقتًا طويلاً.
يعاني ControlNet من صعوبة في معالجة الفراغات الصغيرة جدًا.
تظهر مخرجات الـ Gaussian القابلة لإعادة الإضاءة أحيانًا آثار ضبابية، ويرجع ذلك على الأرجوات إلى أخطاء المعايرة وقيود التعبير في إطار عمل Wild Gaussian.
يوفر هذا العمل أساسًا لتطبيقات في المراقبة البيئية، ونمذجة الطقس، والسياحة الافتراضية، مما يقدم تمثيلًا أكثر ديناميكية وواقعية للمناظر الطبيعية من مجموعات البيانات الساكنة الموجودة.