Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting
تقترح الورقة البحثية Underwater360، وهو إطار عمل لتقنية Gaussian Splatting ثلاثية الأبعاد شاملة الاتجاهات ومعتمدة على الفيزياء، يقوم بإعادة بناء المشاهد البانورامية تحت الماء من خلال إجراء عملية إلقاء الأشعة في الفضاء الكروي وفصل الإشعاع الجوهري عن تأثيرات الوسط لتحقيق جودة رندر فائقة واستعادة المظهر.
تخيل أنك تحاول التقاط صورة مثالية بزاوية 360 درجة لحطام سفينة في أعماق المياه. إنه كابوس لسببين رئيسيين:
تشوه "حوض السمك": إذا استخدمت كاميرا عادية، فسيتعين عليك التقاط مئات الصور المتداخلة لتغطية المشهد بأكم، وتجميعها معاً تحت الماء يشبه محاولة حل لغز (بازل) حيث تتغير أشكال القطع باستمرار.
تأثير "الحساء العكر": الماء ليس هواءً صافياً؛ بل هو أشبه بالنظر من خلال ضباب أخضر كثيف. الماء يمتص الضوء (مما يجعل الأشياء تبدو زرقاء أو خضراء) ويشتت الضوء (مما يخلق توهجاً ضبابياً)، وهذا يخفي الألوان والأشكال الحقيقية للأجسام.
تقترح ورقة بحثية بعنوان "Underwater360" طريقة جديدة لحل هذه المشكلة. فكر في الأمر كبناء نموذج ثلاثي الأبعاد افتراضي وشفاف لعالم تحت الماء، رغم أن الصور التي غذيتها بها كانت ضبابية ومشوهة.
إليك كيف فعلوا ذلك، باستخدام بعض التشبيهات البسيطة:
1. "البالون الكروي" بدلاً من الخريطة المسطحة
تحاول رسومات الكمبيوتر ثلاثية الأبعاد القياسية عادةً تسطيح مشهد ثلاثي الأبعاد على شاشة ثنائية الأبعاد، مثل إسقاط كرة أرضية على خريطة مسطحة. وهذا يسبب تمدد وتشويه الحواف (مثل كيف تبدو جرينلاند ضخمة على الخريطة المسطحة).
حل الورقة البحثية: بدلاً من تسطيح العالم، بنى المؤلفون نظامهم ليعمل داخل بالون شفاف عملاق. لقد أطلقوا "أشعة" (مثل أشعة الليزر) مباشرة من مركز البالون إلى سطحه. هذا يتجنب التمدد والتشوه الذي يحدث عند محاولة حشر رؤية 360 درجة في صورة مسطحة. إنه الفرق بين محاولة تغليف هدية بورقة مسطحة (حيث تظهر التجاعيد في كل مكان) مقابل استخدام بالون جاهل القالب يناسب الشكل تماماً.
2. "الفلتر السحري" (فصل الحساء عن الجسم)
عندما تنظر إلى سمكة حمراء تحت الماء، لا تبدو حمراء؛ بل تبدو بنية باهتة لأن الماء قد "أكل" الضوء الأحمر وأضاف ضباباً رمادياً.
حل الورقة البحثية: ابتكروا "فلترًا رقميًا" ذكيًا يعمل مثل طاهٍ يفصل المكونات.
هدف الطاهي: معرفة كيف يبدو شكل السمكة الحقيقي (اللون الجوهري) مقابل كيف غيرها الماء (التوهين والتشتت الخلفي).
كيف يعمل: يتعلم النظام تخمين شيئين في آن واحد:
الصورة "النظيفة": كيف سيبدو المشهد لو كان الماء صافياً.
صورة "الماء": مقدار ما حجبه الماء من الضوء ومقدار "الضباب" (التشتت الخلفي) الذي تمت إضافته.
من خلال فصل هذين الأمرين، يمكن للكمبيوتر رياضياً "إلغاء" تأثير الماء، ليكشف عن الألوان الحقيقية والتفاصيل الحادة للمشهد تحت الماء.
3. "بخاخات الطلاء الذكية" (Gaussian Splatting)
لبناء النموذج ثلاثي الأبعاد، يستخدم النظام آلاف "رذاذات الطلاء" ثلاثية الأبعاد الصغيرة والضبابية (تسمى Gaussians) بدلاً من الكتل الصلبة.
التشبيه: تخيل أنك تحاول إعادة إنشاء سحابة. يمكنك استخدام مكعبات بلاستيكية صلبة، لكنها ستبدو مربعة وغير متناسقة. بدلاً من ذلك، تستخدم آلاف النفثات الضبابية المتوهلة والمتداخلة. يكتشف الكمبيوتر بالضبط أين يضع هذه النفثات ومدى شفافيتها لتتطابق مع الصور.
الابتكار: عادةً، يتم تصميم هذه "النفثات" لتناسب الهواء الصافي. أما تحت الماء، فإن نظام المؤلفين يعلم هذه النفثات أن تحمل أيضاً "خريطة مياه" مرفقة بها. هذا يسمح للنظام بمعرفة: "هذه النفثة تبعد 5 أمتار، لذا جعلها الماء تبدو أغمق بنسبة 20% وأكثر ضبابية بنسبة 10%".
النتيجة: "خريطة تحت الماء" جديدة
لم يكتفِ المؤلفون ببناء الأداة فحسب؛ بل بنوا أيضاً ساحة التدريب.
أنشأوا مجموعة بيانات جديدة تسمى OmniUW (مشاهد اصطناعية مصنوعة في محرك ألعاب فيديو) و Insta360 (صور حقيقية تم التقاطها في مسبح).
اختبروا طريقتهم مقابل أفضل نماذج الذكاء الاصطناعي الأخرى. وأظهرت النتائج أن نهج "البالون + الفلتر السحري" الخاص بهم أنشأ نماذج ثلاثية الأبعاد أكثر حدة ودقة للمشاهد تحت الماء مقارنة بالطرق السابقة، والتي كانت غالباً ما تترك الأشياء ضبابية أو ذات ألوان خاطئة.
باختاً: يعد Underwater360 وصفة جديدة لإعادة البناء ثلاثي الأبعاد تستخدم رؤية كاميرا كروية لتجنب التشوه وفلترًا رياضيًا ذكيًا لـ "تقشير" المياه العكرة، مما يكشف عن العالم الواضح والملون المختبئ تحتها.
ملخص تقني: Underwater360
بيان المشكلة يعد إعادة البناء ثلاثي الأبعاد عالي الدقة للمشاهد تحت الماء أمراً بالغ الأهمية للاستكشاف الغامر، ولكنه يواجه عقبات كبيرة. فالطرق التقليدية التي تعتمد على كاميرات المنظور القياسية تواجه صعوبات تحت الماء بسبب البيئة المائية غير المستقرة (التيارات، الجسيمات العالقة) والتدهور البصري الشديد الناتج عن امتصاص الضوء وتشتته. وتؤدي هذه العوامل إلى إضعاف التوافقات بين الرؤى المختلفة، مما يؤدي إلى تقدير غير موثوق لوضعية الكاميرا وعيوب في إعادة البناء. علاوة على ذلك، تتطلب الكاميرات ذات مجال الرؤية الضيق التقليدية مشاهد كثيفة ومتداخلة لتغطية المشهد، وهو أمر يصعب تحقيقه بموثوقية تحت الماء. وبينما أحدثت تقنية "النقاط الغاوسية ثلاثية الأبعاد" (3D Gaussian Splatting - 3DGS) ثورة في إعادة بناء المشاهد الأرضية، فإن التعديلات الحالية المخصصة للبيئات تحت المائية مصممة أساساً لصور المنظور، وتفشل في معالجة التحديات المزدوجة المتمثلة في تشوه الإسقاط الكروي (الملازم للصور البانورامية 360 درجة) وتدهور الوسط المشارك. وفي المقابل، تفترض طرق الرندرة (Rendering) متعددة الاتجاهات الموجودة عادةً ظروف هواء صافية ولا تقوم بنمذجة انتقال الضوء تحت الماء.
المنهجية يقترح المؤلفون Underwater360، وهو إطار عمل لتقنية 3DGS متعدد الاتجاهات قائم على الفيزياء، مصمم لإعادة بناء المشاهد البانورامية تحت الماء. يدمج إطار العمل ثلاثة مكونات أساسية:
النقاط الغاوسية متعددة الاتجاهات (Omnidirectional Gaussian Splatting): بدلاً من إسقاط النقاط الغاوسية ثلاثية الأبعاد على صورة إسقاط مستطيلة متساوية (ERP) (والذي يتسبب في تشوه هندسي)، تقوم الطريقة بإجراء تتبع الأشعة مباشرة في فضاء الكاميرا الكروي. لكل بكسل في صورة الـ ERP، يتم تحديد شعاع رؤية في إحداثيات كروية. ويتم تقييم مساهمة كل نقطة غاوسية على طول هذه الأشعة ضمن مستوى مماس محلي. تعتمد هذه الطريقة على إطار عمل SPaGS، وهي تخفف من تشوهات الإسقاط الكروي وتوفر أعماق تقاطع الشعاع والتبقع (ray-splat intersection) الدقيقة اللازمة للنمذجة الفيزيائية اللاحقة.
نمذجة المظهر والوسط القائمة على الفيزياء (Physics-Based Appearance-Medium Modeling): للتعامل مع التدهور تحت الماء، يقوم المؤلفون بفصل إشعاع المشهد الجوهري عن التشتت الخلفي (backscatter) والوهن (attenuation) المعتمد على العمق باستخدام نموذج تكوين الصورة تحت الماء (UIFM).
المظهر الجوهري: يقوم وحدة تضمين المظهر المشروطة بالوضعية بتعديل اللون الأساسي لكل نقطة غاوسية باستخدام شبكة MLP خفيفة الوزن. يعمل هذا على فصل إشعاع المشهد الجوهري عن التأثيرات المعتمدة على الرؤية والتحولات الناتجة عن الوسط، مما يضمن بقاء تمثيل الغاوس الأساسي مستقراً.
تقدير الوسط: تقوم شبكتان عصبيتان خفيفتان بتقدير المعلمات الفيزيائية للمياه.
شبكة التشتت الخلفي (Backscatter-Net): تأخذ خريطة العمق كمدخل للتنبؤ بمعاملات التوهن الخاصة بالتشتت الخلفي، مما ينمذج التشبع التقاربي للون ضوء الماء عند المسافات اللانهائية والانحرافات القريبة.
شبكة إزالة التوهن (DeattenuateNet): تأخذ خريطة العمق وتضمين الرؤية كمدخل للتنبؤ بمعاملات التوهن المتغيرة مكانياً، مع مراعاة ظروف المياه غير المتجانسة. يتم تركيب الصورة المتدهورة النهائية عبر دمج الإشعاع النظيف، والتوهن المقدر، والتشتت الخلفي وفقاً للنموذج الفيزيائي: I(p)=J(p)⊙A(p)+B(p).
التحسين المشترك (Joint Optimization): يقوم النظام بتحسين سمات الغاوس (الموقع، التباين، الشفافية، اللون) ومعلمات شبكات المظهر والوسط بشكل مشترك. تجمع دالة الخسارة بين خسارة L1 لكل بكسل وتشابه الهيكل (L-SSIM) للإشراف على إعادة البناء مقابل الملاحظات البانورامية تحت الماء الخام.
المساهمات الرئيسية
إطار عمل موحد: تقدم الورقة أول صياغة موحدة تربط رندرة الغاوس متعددة الاتجاهات مع تكوين الصورة الصريح تحت الماء، مما يسمح بإعادة البناء المشترك للهندسة، والمظهر المعتمد على الرؤية، وتدهور الوسط من المدخلات البانورامية.
النقاط الغاوسية متعددة الاتجاهات: تقديم وحدة تقوم بتتبع الأشعة الكروية مباشرة في فضاء الكاميرا، مما يقلل بفعالية من التشوهات الهندسية المرتبطة بتقريبات الإسقاط ثنائي الأبعاد في مجالات الرؤية 360 درجة.
النمذجة المدركة للفيزياء: بنية مبتكرة تفصل صراحةً بين إشعاع المشهد الجوهري وبين التوهن والتشتت الخلفي تحت الماء باستخدام أولويات العمق والتضمينات المشروطة بالوضعية، مما يسمح باستعادة المشهد على أسس فيزيائية.
مقاييس مرجعية جديدة: إنشاء مجموعة بيانات بانورامية مرجعية جديدة تحت الماء، OmniUW (اصطناعية، 5 مشاهد في Unreal Engine 5) و Insta360 (واقعية، 5 مشاهد تم التقاطها بكاميرا Insta360 X4)، والتي تضم مشاهد تحت مائية بانورامية اصطناعية وواقعية.
النتائج أُجريت تجارب مكثفة على كل من مجموعتي البيانات الاصطناعية OmniUW والواقعية Insta360، لمقارنة Underwater360 مع أحدث الطرق القائمة على NeRF و 3DGS (بما في ذلك النسخ المخصصة للمياه والنسخ متعددة الاتجاهات).
الأداء الكمي: حقق Underwater360 أداءً متفوقاً أو قريباً من التفوق في معظم المشاهد والمقاييس (PSNS, SSim, LPIPS) على كلتا مجموعتي البيانات. والجدير بالذكر أنه أظهر متانة كبيرة في المشاهد ذات التدهور الشديد حيث واجهت الطرق الأخرى صعوبة أو أنتجت نتائج غير مستقرة.
التحسينات النوعية: أظهرت المقارنات البصرية أن الطريقة تستعيد التفاصيل المحلية الأكثر وضوحاً والمظاهر الأكثر دقة للمشهد. كما وُجد أن تحليل المشهد إلى إشعاع نظيف، وتوهن، وتشتت خلفي كان أكثر تماسكاً مكانياً ومنطقية من الناحية الفيزيائية مقارنة بالأعمال السابقة.
رؤى دراسة الاستئصال (Ablation): أشارت النتائج إلى أنه بينما تعد النقاط الغاوسية متعددة الاتجاهات فعالة للمشاهد الصافية، فإن نمذجة تكوين الصورة تحت الماء الصريحة ضرورية للتعامل مع التوهن والتشتت الخلفي الشديدين.
الأهمية والادعاءات يدعي المؤلفون أن Underwater360 يقدم منظوراً جديداً لإعادة بناء المشاهد تحت الماء من خلال توحيد تمثيل المشهد البانورامي مع النمذجة الفيزيائية الصريحة. ومن خلال الاستفادة من التغطية الغنية للتصوير متعدد الاتجاهات وكفاءة 3DGS، توفر الطريقة قيوداً عالمية أقوى لإعادة البناء في البيئات المائية الصعبة. يُنظر إلى هذا العمل كخطوة تأسيسية نحو رؤية ثلاثية الأبعاد قوية تحت الماء، حيث يوفر للمجتمع أول مجموعة بيانات مرجعية وإطار عمل قادراً على التعامل مع التحديات المزدوجة للتشوه الكروي وتدهور الوسط. ويقر المؤلفون بوجود قيود تتعلق بافتراض المشاهد الثابتة، وغياب نمذجة الانكسار لأغطية الكاميرات، وعدم الاستقرار في البيئات شديدة العكارة أو فقيرة الملمس (texture-sparse)، مقترحين هذه كاتجاهات للعمل المستقبلي.