DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

تخيل أنك تحاول بناء هولوغرام ثلاثي الأبعاد مثالي لغرفة ما باستخدام بضع صور فقط التقطتها بهاتف ذكي. هذا هو العالم المثير لـ إعادة البناء ثلاثي الأبعاد، وهو مجال تحاول فيه الحواسيب فهم شكل ومظهر العالم الحقيقي من صور مسطحة. عادةً، يعمل هؤلاء "المهندسون المعماريون" الحاسوبيون بشكل أفضل عندما تكون الصور واضحة تماماً. ولكن ماذا يحدث عندما تهطل أمطار غزيرة؟ تغطي الصور خطوط مائية، وبقع ضبابية ناتجة عن قطرات الماء على العدسة، وضباب رمادي كدر. إذا حاولت بناء نموذجك ثلاثي الأبعاد بهذه الصور الفوضوية، فسيصاب الحاسوب بالارتباك، وسيبدو الهولوغرام الناتج مشوهاً ومكسوراً. هذه مشكلة كبيرة لأشياء مثل السيارات ذاتية القيادة أو الروبوتات التي تحتاج إلى "الرؤية" بوضوح للتنقل بأمان، حتى عندما يكون الطقس سيئاً للغاية.

لفترة طويلة، كان لدى العلماء طريقتان رئيسيتان للإصلاح. إحدى الطريقتين كانت محاولة تنظيف كل صورة على حدة قبل بناء النموذج ثلاثي الأبعاد، مثل مسح نافذة متسخة قبل النظر من خلالها. أما الطريقة الأخرى فكانت بناء النموذج ببطء، عبر تعديله مراراً وتكراراً لكل مشهد ممطر على حدة، وهو أمر بطيء للغاية. ظهرت طريقة أحدث وأسرع تسمى 3D Gaussian Splatting، وهي قادرة على بناء مشهد ثلاثي الأبعاد بنظرة واحدة خاطفة وسريعة كالبرق. ومع ذلك، فقد صُممت هذه الطريقة السريعة للأيام الصافية، وهي تنهار عندما تواجه المطر. السؤال الكبير الذي طرحه الباحثون هو: هل يمكننا تعليم الحاسوب أن ينظر إلى بضع صور ممطرة ويرى فوراً العالم الجاف والنظيف الموجود تحتها، دون الحاجة لتنظيف الصور أولاً أو الانتظار لساعات للحصول على نتيجة؟

هنا يأتي دور DerainSplat، وهو نهج جديد يقول: "نعم، يمكننا ذلك!". أدرك الباحثون وراء هذا العمل أن محاولة تنظيف الصور أولاً ثم بناء النموذج كانت فكرة سيئة، لأن الصور المنظفة لم تكن متوافقة مع بعضها البعض، مما يؤدي إلى نتيجة ثلاثية الأبعاد فوضوية. بدلاً من ذلك، بنوا ساحة تدريب ضخمة حيث علموا الحاسوب كيف يفهم المطر نفسه. لقد أنشأوا مجموعة بيانات اصطناعية عبر أخذ مشاهد ثلاثية الأبعاد جميلة وصافية وإضافة المطر إليها رقمياً في أربع مراحل واقعية: أولاً، خفضوا الإضاءة لمحاكاة سماء ملبدة بالغيوم؛ ثانياً، أضافوا ضباباً يعتمد على العمق يزداد كثافة كلما ابتعدت الأشياء؛ ثالثاً، رسموا خطوط مطر واقعية؛ وأخيراً، أضافوا قطرات ماء عالقة بعدسة الكاميرا تشوه الرؤية.

باست مستخدماً هذه البيانات التدريبية، يعمل DerainSplat كالمحقق الذكي جداً الذي لا يكتفي بمجرد مسح النافذة، بل يستنتج بالضبط كيف يعبث المطر بالرؤية. إنه يتنبأ بـ "عوامل الطقس" — مثل خريطة توضح أين توجد خطوط المطر، ومدى كثافة الضباب، وأين تختبئ قطرات العدسة. ثم يستخدم هذه الخرائط لتوجيه عملية البناء ثلاثي الأبعاد. فكر في الأمر كطاقم بناء يعرف بالضبط أي الطوب مغطى بالطين. فبدلاً من محاولة فرك الطين عن الطوب، يقومون ببساطة بتجاهل الأجزاء الملطخة بالطين وملء الفراغات باستخدام طوب نظيف من زوايا أخرى، مع تقليل درجة الثقة في البقع الملطخة حتى لا تفسد الهيكل.

النتائج مبهرة. فعند اختباره على مجموعات بيانات متنوعة، بما في ذلك مشاهد ممطرة من العالم الحقيقي، أنتج DerainSplat نماذج ثلاثية الأبعاد أكثر نظافة ودقة من الطرق السابقة. لقد تفوق على الأساليب السريعة الموجودة بفارق كبير، حيث حسن درجات جودة الصورة بأكثر من 4 ديسيبل في بعض الاختبارات، وفعل ذلك في جزء من الثانية. تشير الورقة البحثية إلى أنه من خلال تعلم فصل "الطقس" عن "المشهد" دفعة واحدة، بدلاً من خطوات منفصلة، يمكننا أخيراً بناء عوالم ثلاثية الأبعاد موثوقة حتى عندما تكون السماء رمادية والأرض مبتلة. وهذا يعني أنه في المستقبل، قد تتمكن الروبوتات والمركبات ذاتية القيادة من التنقل في الشوارع الممطرة بنفس الثقة التي تتنقل بها في الأيام المشمسة، ورؤية الشكل الحقيقي للعالم وسط العاصفة.