💻 computer science

Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis

تقدم هذه الورقة Dehaze-then-Splat، وهو مسار عمل يتكون من مرحلتين لتحدي NTIRE 2026 يجمع بين إزالة الضباب التوليدية وتقنية Gaussian Splatting ثلاثية الأبعاد القائمة على الفيزياء وخسائر تنظيم متخصصة لمعالجة عدم الاتساق في تعدد الرؤى وتحقيق تركيب مشاهد جديدة متفوقة خالية من الدخان.

المؤلفون الأصليون: Yuchao Chen, Hanqing Wang

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuchao Chen, Hanqing Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مثالي لغابة، لكن الصور التي تملكها التُقطت من خلال دخان كثيف ومتصاعد. هدفك مزدوج: أولاً، إزالة الدخان من كل صورة على حدة، وثانياً، استخدام هذه الصور المنقاة لبناء عالم ثلاثي الأبعاد يبدو واقعياً من أي زاوية.

هذه الورقة البحثية، "Dehaze-then-Splat"، هي وصفة لحل هذه المشكلة بالضبط. أدرك المؤلفون أن القيام بهاتين الخطوتين بشكل منفصل أمر صعب، تماماً مثل محاولة خبز كعكة يكون فيها الكريمة مثالية، لكن الطبقات غير متراصفة.

إليك قصة حلهم، مقسمة إلى أجزاء بسيطة:

1. المشكلة: "الفنان المنفرد" مقابل "الجوقة"

بدأ المؤلفون بأداة ذكاء اصطناعي قوية (تسمى Nano Banana Pro) وهي مذهلة في إزالة الدخان من صورة واحدة في كل مرة. إنها تشبه فناناً منفرداً يمكنه رسم لوحة جميلة لشجرة خالية من الدخان.

ومع ذلك، عندما يكون لديك 20 صورة مختلفة لنفس الغابة ملتقطة من زوايا مختلفة، يقوم هذا الذكاء الاصطناعي برسم كل منها بشكل مستقل.

المشكلة: في الصورة (أ)، قد تكون الشجرة أكثر اخضراراً قليلاً. في الصورة (ب)، قد تبدو الأوراق مائلة للاصفرار قليلاً. في الصورة (ج)، قد يكون الغصن في مكان مختلف قليلاً لأن الذكاء الاصطناعي "تخيل" (هلوس) تفصيلاً لم يكن موجوداً.
النتيجة: إذا حاولت بناء نموذج ثلاثي الأبعاد باستخدام هذه الصور غير المتناسقة، فسيصاب الكمبيوتر بالارتباك. سيحاول دمج الاختلافات، مما ينتج عنه نموذج ثلاثي الأبعاد ضبابي، مهتز، أو "شبحِي". إنه يشبه محاولة بناء جوقة موسيقية حيث يغني كل مغنٍ نفس الأغنية ولكن بنغمة مختلفة قليلاً؛ النتيجة هي ضجيج، وليست موسيقى.

2. الحل: "Dehaze-then-Splat"

ابتكر المؤلفون مسار عمل يتكون من مرحلتين. فكر في الأمر كعملية تحضير تليها عملية بناء.

المرحلة الأولى: فريق التنظيف (إزالة الضباب/الدخان)

أولاً، يستخدمون الذكاء الاصطناعي لتنقية كل صورة من الدخان.

الحيلة: لاحظ أن الصور، حتى بعد إزالة الدخان، بدت مختلفة في السطوع (بعضها كان ساطعاً جداً، وبعضها مظلماً جداً). قاموا بتطبيق "فلتر سطوع" للتأكد من أن جميع الصور لها نفس مستوى الإضاءة، تماماً مثل ضبط مستوى الصوت في كل آلة موسيقية في أوركسترا لتكون جميعها بنفس القوة.

المرحلة الثانية: البناء الذكي (3D Gaussian Splatting)

هنا يحدث السحر. يقومون بتغذية هذه الصور المنقاة في نظام إعادة بناء ثلاثي الأبعاد (يسمى 3D Gaussian Splatting). ولكن بدلاً من ترك النظام يخمن فحسب، فإنهم يعطونه ثلاثة "قواعد فيزيائية" خاصة ليتبعها، تعمل مثل معلم صارم يصحح لطالب:

قاعدة العمق (المسطرة): يستخدمون ذكاءً اصطناعياً منفصلاً لتخمين مدى بعد الأشياء (حتى من خلال الدخان). يجبرون النموذج ثلاثي الأبعاد على مطابقة هذه التخمينات للمسافات. هذا يحافظ على استقامة الهندسة، مثل استخدام المسطرة للتأكد من أن جدران المنزل مبنية بزوايا صحيحة.
قاعدة "لا ضباب" (القناة المظلمة): يعلمون النظام أن الصورة النظيفة لا ينبغي أن تحتوي على أي "ضباب رمادي" في الأجزاء الأكثر عتامة من الصورة. إذا حاول النموذج إضافة الضباب مجدداً، يقوم المعلم بتوبيخه. هذا يحافظ على وضوح الصورة.
قاعدة الحواف (المخطط الخارجي): يقارنون حواف النموذج ثلاثي الأبعاد الجديد مقابل رسم لمشهد من ذكاء اصطناعي آخر. إذا لم تتطابق الخطوط الخارجية، يجب على النموذج إصلاحها. هذا يضمن اتساق الأشكال عبر جميع المشاهد.

3. السر الخفي: "توقف وأنت في القمة"

الاكتشاف الأكثر إثارة للدهشة في الورقة البحثية يتعلق بـ التوقيت.

عادةً، عند تدريب الذكاء الاصطناعي، تستمر في العمل حتى يصبح الخطأ ضئيلاً جداً. لكن هنا، وجد المؤلفون أنه إذا تركوا الذكاء الاصطناعي يتدرب لفترة طويلة جداً، فإنه يبدأ في "حفظ" الأخطاء.

التشبيه: تخيل طالباً يؤدي اختباراً. إذا درس لمدة 10 دقائق، فسيأخذ الفكرة العامة الصحيحة. أما إذا درس لمدة 10 ساعات، فقد يبدأ في حفظ الأخطاء المطبعية المحددة في الكتاب المدرسي ويصاب بالارتباك بسببها.
الحل: أوقفوا التدريب مبكراً جداً (بعد بضعة آلاف من الخطوات فقط). عند هذه النقطة، كان النموذج ثلاثي الأبعاد بسيطاً بما يكفي لتجاهل التناقضات الصغيرة بين الصور والتركيز فقط على "الصورة الكبيرة" للمشهد. لو تركوه يستمر لفترة أطول، لكان النموذج قد انفجر بـ "الأشباح" و"العناصر العائمة" (العيوب البصرية).

النتيجة النهائية

من خلال الجمع بين مزيل دخان قوي ومجموعة صارمة من القواعد الفيزيائية ومعرفة الوقت المناسب للتوقف، نجحوا في بناء نموذج ثلاثي الأبعاد حاد، واضح، ومتسق.

بدون حيلهم: كان النموذج ثلاثي الأبعاد ضبابياً ومهتزاً (مثل فيديو منخفض الجودة).
مع حيلهم: أصبح النموذج ثلاثي الأبعاد حاداً وواقعياً (مثل فيلم عالي الدقة).

باخت-قول: لقد أدركوا أن جعل الصور الفردية تبدو مثالية ليس كافياً؛ بل يجب التأكد من أنها تتفق مع بعضها البعض. ومن خلال العمل كمحرر صارم ومعرفة متى تتوقف عملية التحرير، حولوا فوضى دخانية إلى عالم ثلاثي الأبعاد شديد الوضوح.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis."

1. بيان المشكلة (Problem Statement)

تتناول الورقة تحدي إزالة الدخان من متعدد الرؤى وتوليد رؤى جديدة (NVS) لإعادة البناء ثلاثي الأبعاد. وتستهدف تحديداً تحدي NTIRE 2026 للترميم وإعادة البناء ثلاثي الأبعاد (المسار 2)، والذي يتضمن إزالة الدخان الملتقط فيزيائياً من صور متعددة الرؤى (بناءً على معيار RealX3D) وتوليد رؤى جديدة نظيفة.

التحدي الجوهري:
هناك توتر أساسي بين جودة استعادة الصورة لكل إطار وبين الاتساق عبر الرؤى المتعددة (Multi-view consistency):

إزالة الضباب التوليدية (Generative Dehazing): تنتج النماذج التوليدية الحديثة (مثل Nano Banana Pro) نتائج عالية الجودة ومثيرة للإعجاب بصرياً لكل إطار على حدة. ومع ذلك، فهي تعالج كل رؤية بشكل مستقل، مما يفتقر إلى الشرط المتبادل بين الرؤى (Cross-view conditioning). يؤدي هذا إلى تباينات عشوائية في اللون، والملمس، والتفاصيل المتخيلة عبر الإطارات.
فشل إعادة البناء ثلاثي الأبعاد: عندما تُستخدم هذه الصور "النظيفة ظاهرياً" غير المتسقة لتدريب تقنية "Gaussian Splatting" ثلاثية الأبعاد (3DGS)، يحاول المُحسّن (Optimizer) التوفيق بين الإشارات الضوئية المتضاربة. ينتج عن ذلك رندرة ضبابية، وانزياح في الملمس، وعدم استقرار هندسي، وظهور "الشوائب الطافية" (Floaters) (وهي قيم Gaussian يتم تخصيصها لتناسب الضجيج بدلاً من بنية المشهد).

2. المنهجية: Dehaze-then-Splat

يقترح المؤلفون مسار عمل مكون من مرحلتين يجمع بين إزالة الضباب التوليدية وتدريب 3DGS القائم على الفيزياء لسد الفجوة بين الاستعادة ثنائية الأبعاد والاتساق ثلاثي الأبعاد.

المرحلة الأولى: إزالة الضباب التوليدية والمعالجة المسبقة

النموذج: يستخدم Nano Banana Pro (عبر واجهة برمجة تطبيقات Gemini) لإزالة الدخان من كل إطار.
هندسة الأوامر (Prompt Engineering): يتم استخدام أمر (Prompt) مهيكل من 6 نقاط لضمان إزالة الدخان مع الحفاظ على هندسة المشهد والواقعية الفوتوغرافية.
تطبيع السطوع (Brightness Normalization): لمعالجة التغيرات في السطوع بين الإطارات (التي تصل إلى 0.12) الناتجة عن المعالجة لكل إطار، يطبق المؤلفون تطبيع المتوسط والانحراف المعياري لكل قناة.
- إذا كانت الحقيقة الأرضية (GT) متوفرة، يتم التطبيع ليتوافق مع إحصائيات GT.
- في حال عدم توفرها، يتم استخدام "التطبيع الذاتي" ليتوافق الإطارات مع إحصائيات الوسيط (Median) لمجموعة البيانات.
محاذاة الدقة (Resolution Alignment): يتم تغيير حجم المخرجات لتتطابق تماماً مع الخصائص الداخلية للكاميرا لضمان المحاذاة بدقة البكسل.

المرحلة الثانية: تدريب 3DGS القائم على الفيزياء

تم تعزيز تقنية 3DGS القياسية بـ خسائر مساعدة قائمة على الفيزياء لتعمل كمنظمات ضمنية للاتساق عبر الرؤى، وذلك لتعويض عدم الاتساق الناتج في المرحلة الأولى.

دالة الخسارة (The Loss Function):
$L = (1-\lambda_s)L_1 + \lambda_s L_{SSIM} + \lambda_d L_{DCP} + \lambda_p L_{depth} + \lambda_g L_{grad}$

الإشراف على العمق ( $L_{depth}$ ):
- يستخدم Depth Anything V2 لتوليد خرائط عمق زائفة من الصور الأصلية المليئة بالدخان (وهي قوية في مواجهة الدخان).
- يطبق خسارة ارتباط بيرسون موزونة غير متغيرة بالمقياس بين العمق المرندر والعمق الزائف.
- الأثر: هو المساهم الأكبر (+0.79 ديسيبل)، حيث يعمل على تثبيت الهندسة رغم تغيرات الملمس.
تنظيم القناة المظلمة (DCP Regularization - $L_{DCP}$ ):
- يفرض أن تقترب القناة المظلمة للصورة المرندرة من الصفر، مما يقلل من آثار الدخان المتبقية.
مطابقة التدرج من مصدر مزدوج ( $L_{grad}$ ):
- يشرف على الهياكل الحوافية باستخدام تدرجات Sobel مقابل مرجع هيكلي ثانوي (مخرج MB-TaylorFormer) لضمان الاتساق الهيكلي.
تكثيف MCMC والتوقف المبكر:
- استراتيجية MCMC: تستخدم حقن/إعادة تموضع الضجيج العشوائي (من gsplat) بدلاً من قواعد التقسيم/الاستنساخ اليدوية، مما يحسن PSNR بمقدار +0.47 ديسيبل.
- التوقف المبكر: حدد المؤلفون أن التكثيف المتأخر يسبب "الشوائب الطافية". لذا، يتم إيقاف عملية التكثيف مبكراً (الخطوة 3000، حوالي 104 ألف إلى 161 ألف Gaussian). هذا يمنع النموذج من الإفراط في ملاءمة (Overfitting) التباينات بين الرؤى، حيث يفتقر النموذج للقدرة على حفظ هذه العيوب عند انخفاض عدد الـ Gaussians.

النهج البديل (المرفوض)

اختبر المؤلفون نهج "تفكيك التشتت المتكامل" (End-to-End Scattering Decomposition) (دمج نموذج Koschmizer الجوي مباشرة في 3DGS). فشل هذا النهج (10.28 ديسيبل) لأنه، بدون وجود بدائل قوية للمشهد، انهار النموذج نحو حل تافه ( $\beta \to 0$ )، وفشل في الفصل بين الدخان والمحتوى. أثبت هذا ضرورة نهج "Dehaze-then-Splat" الهجين.

3. المساهمات الرئيسية

تحديد فجوة الاتساق: تسلط الورقة الضوء على أن إزالة الضباب التوليدية عالية الجودة لكل صورة لا تضمن الاتساق عبر الرؤى المتعددة، وهذا عدم الاتساق هو العائق الأساسي أمام إعادة البناء ثلاثي الأبعاد.
التنظيم القائم على الفيزياء: تقديم دالة خسارة مبتكرة تجمع بين الإشراف على العمق (ارتباط بيرسون)، والقناة المظلمة، ومطابقة التدرج من مصدر مزدوج لفرض الاتساق الهندسي والضوئي في 3DGS.
استراتيجية التحكم في السعة: إثبات أن التوقف المبكر للتكثيف أمر بالغ الأهمية؛ فهو يمنع النموذج من الإفراط في ملاءمة التباينات العشوائية الناتجة عن مرحلة إزالة الضباب التوليدية، مما يعمل كمنظم فعال.
المسار الهجين: دمج ناجح لنموذج توليدي ثنائي الأبعاد قوي (Nano Banana Pro) مع إعادة البناء ثلاثي الأبعاد، متجاوزاً قيود النهج الثنائي أو الثلاثي الأبعاد الصرف.

4. النتائج

تم التقييم على مشهد التحقق Akikaze (25 رؤية تدريب، 4 رؤى اختبار):

الأداء:
- PSNR: 20.98 ديسيبل
- SSIM: 0.683
- التحسن: زيادة قدرها +1.50 ديسيبل عن خط الأساس غير المنظم (19.48 ديسيبل).
رؤى الدراسة الاستقصائية (Ablation Insights):
- وفر الإشراف على العمق أكبر مكسب (+0.79 ديسيبل).
- وفر تكثيف MCMC مقدار +0.47 ديسيبل مقارنة بالاستراتيجيات الافتراضية.
- حقق التوقف المبكر (الخطوة 3k مقابل 15k) تحسناً قدره +0.35 ديسيبل عبر منع الإفراط في الملاءمة.
- تحدث النقطة المثلى (Optimal Checkpoint) مبكراً (الخطوة 2000–4000) عندما يكون عدد الـ Gaussians منخفضاً ( $\sim$ 104 ألف)، مما يؤكد أن النموذج يتعلم تمثيلاً متوسطاً للرؤى بدلاً من حفظ العيوب.
المقارنة: تتفوق الطريقة بشكل كبير على طرق إزالة الضباب الكلاسيكية (DCP، حوالي 11.9 ديسيبل) والطرق ثنائية الأبعاد القائمة على التعلم (MB-TaylorFormer، 17.00 ديسيبل) عند استخدامها كمسار لتوليد الرؤى الجديدة (NVS).

5. الأهمية

الربط بين 2D و 3D: توفر الورقة إطار عمل قوياً لاستخدام النماذج التوليدية ثنائية الأبعاد القوية في المهام ثلاثية الأبعاد، وهو مجال تفشل فيه هذه النماذج عادةً بسبب مشاكل الاتساق.
حل عملي للدخان/الضباب: تقدم حلاً رائداً للمواقف الواقعية التي تتضمن دخاناً أو ظروف إضاءة منخفضة، وهي ظروف يصعب التعامل معها بالنماذج الفيزيائية التقليدية أو النماذج التمييزية.
التوجه المستقبلي: يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على إزالة الضباب الواعية بالاتساق (على سبيل المثال، النماذج التوليدية القائمة على الفيديو أو الانتباه متعدد الرؤى) لتقليص الفجوة بين الاستعادة وإعادة البناء بشكل أكبر.

باختة القول، يثبت Dehaze-then-Splat أنه بينما تؤدي إزالة الضباب التوليدية إلى حدوث عدم اتساق، يمكن التخفيف من ذلك بفعالية من خلال القيود ثلاثية الأبعاد القائمة على الفيزياء والإدارة الدقيقة للسعة، مما يحقق توليد رؤى جديدة خالية من الدخان وعالية الدقة.