💻 computer science

DelowlightSplat: Feed-Forward Gaussian Splatting for Lowlight 3D Scene Reconstruction

تقترح الورقة البحثية DelowlightSplat، وهو إطار عمل لـ Gaussian splatting يعمل بنظام التغذية الأمامية يدمج محولًا خفيف الوزن للإضاءة المنخفضة واستدلالًا متعدد المناظر يعتمد على حجم التكلفة (cost-volume) لتمكين إعادة بناء ثلاثي الأبعاد للمشاهد بشكل قوي وتخليق مناظر جديدة نظيفة من صور قليلة العدد ومنخفضة الإضاءة.

المؤلفون الأصليون: Fuzhen Jiang, Zengtian Xie, Zhuoran Li

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fuzhen Jiang, Zengtian Xie, Zhuoran Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مثالي لغرفة باستخدام عدد قليل فقط من الصور. عادةً، إذا التقطت هذه الصور في غرفة مشمسة ومضيئة، يمكن لجهاز الكمبيوتر الخاص بك أن يحدد بسهولة أين توجد الجدران والأثاث والأشياء. الأمر يشبه تجميع قطع أحجية (بازل) ذات حواف واضحة وحادة.

ولكن ماذا يحدث إذا حاولت القيام بذلك في غرفة مظلمة تماماً باستخدام مصباح يدوي فقط؟ ستكون الصور محببة (فيها ضجيج)، والألوان تبدو غريبة (ربما يبدو كل شيء مائلاً للزرقة أو الخضرة)، والحواف ضبابية. إذا حاولت بناء النموذج ثلاثي الأبعاد مباشرة من هذه الصور السيئة، فسيصاب الكمبيوتر بالارتباك. قد يعتقد أن الظل هو ثقب في الجدار، أو قد يجعل قطعة الأثاث تبدو ككتلة ذائبة.

هذه هي المشكلة التي يحلها بحث DelowlightSplat.

المشكلة: "الأحجية الضبابية"

يوضح المؤلفون أن أدوات الذكاء الاصطناعي الحالية لإعادة البناء ثلاثي الأبعاد رائعة في التعامل مع الصور المضيئة، لكنها تفشل فشلاً ذريعاً في الإضاءة المنخفضة.

الضجيج (Noise): في الظلام، تصبح الكاميرات "محببة" (مثل التشويش في التلفاز القديم).
انحراف الألوان (Color Shift): تتشوه الألوان (يبدو كل شيء برتقالياً أو أزرق بشكل مبالغ فيه).
الارتباك: نظرًا لأن الصور تبدو مختلفة تمامًا عن بعضها البعض، لا يستطيع الكمبيوتر مطابقة نفس الشيء في الصورة (أ) مع نفس الشيء في الصورة (ب). وبدون مطابقة هذه "النقاط"، لا يمكنه بناء الشكل ثلاثي الأبعاد.

الطريقة القديمة: "أصلح الصورة، ثم ابنِ"

قبل هذه الطريقة الجديدة، حاول الناس اتباع عملية من خطوتين:

الخطوة 1: خذ الصورة المظلمة والمضببة ومررها عبر برنامج منفصل لجعلها مضيئة وواضحة (مثل استخدام محرر صور لـ "تحسين" صورة ما).
الخطوة 2: غَذِّ برنامج البناء ثلاثي الأبعاد بتلك الصورة "المُصلحة".

لماذا فشلت هذه الطريقة: محرر الصور كان يُصلح الصورة بشكل فردي. فقد يجعل الصورة (أ) دافئة وصفراء، لكنه يجعل الصورة (ب) باردة وزرقاء. عندما يحاول الباني ثلاثي الأبعاد دمجها، لن تعود متطابقة. الأمر يشبه محاولة بناء أحجية قام شخص ما بطلاء قطعها بألوان مختلفة لجعلها تبدو جميلة بشكل فردي، ولكن الآن لم تعد القطع تتناسب مع بعضها البعض.

الحل الجديد: "DelowlightSplat"

ابتكر المؤلفون نظامًا جديدًا يسمى DelowlightSplat. فكر فيه كطاقم بناء ذكي لا يكتفي فقط بـ "إصلاح" الصور، بل يتعلم كيفية "ترجمتها" لكي تعمل معًا.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "المترجم" (المحول منخفض الإضاءة - Lowlight Adapter)

بدلاً من مجرد تفتيح الصورة، يستخدم النظام مساعدًا صغيرًا وذكيًا يسمى Lowlight Adapter.

التشبيه: تخيل أنك تحاول التحدث إلى صديق يتحدث لهجة لا تفهمها. المترجم لا يكتفي بالصراخ بصوت أعلى (تفتيح الصورة)؛ بل يترجم المعنى حتى تتمكنوا من فهم بعضكم البعض.
ماذا يفعل: ينظر هذا المحول إلى الصورة المظلمة والمحببة ويضيف القدر المناسب من "التصحيح" لجعل الميزات (مثل الحواف والمنسوجات) أسهل للكمبيوتر للتعرف عليها ومطابقتها مع الصور الأخرى. إنه يحافظ على اتساق الصور مع بعضها البعض، بدلاً من تغييرها بشكل عشوائي.

2. "الباني ثلاثي الأبعاد" (Gaussian Splatting التنبؤي - Feed-Forward Gaussian Splatting)

بمجرد "ترجمة" الصور وتجهيزها، يقوم النظام الأساسي ببناء المشهد ثلاثي الأبعاد.

التشبيه: تخيل سحابة من ملايين البالونات الصغيرة المتوهجة (هذه هي الـ "Gaussians"). كل بالون له موضع، وحجم، ولون، وشفافية.
ماذا يفعل: ينظر النظام إلى الصور "المترجمة" ويحدد فورًا مكان وضع هذه الملايين من البالونات لإعادة إنشاء الغرفة. إنه يتنبأ بشكل ولون الغرفة مباشرة، متجاوزًا عملية التحسين البطيئة والتدريجية التي استخدمتها الطرق القديمة.

3. النتيجة: غرفة "نظيفة"

الخدعة السحرية هي أنه على الرغم من أن الصور المدخلة كانت مظلمة وفوضوية، إلا أن النظام يبني نموذجًا ثلاثي الأبعاد نظيفًا ومضيئًا وحادًا.

التشبيه: الأمر يشبه النظر من نافذة مظلمة وضبابية، وامتلاك آلة ترسم فورًا صورة واض_حة تمامًا للحديقة بالخارج، رغم أن الزجاج متسخ. المخرج ليس مجرد صورة "مُصلحة"؛ بل هو عرض ثلاثي الأبعاد جديد ومثالي للمشهد.

الإثبات

اختبر المؤلفون ذلك من خلال أخذ مجموعة بيانات كبيرة من الصور العادية وجعل الصور "المدخلة" مظلمة ومضببة اصطناعيًا (مثل خفض الإضاءة وإضافة الضباب)، مع الحفاظ على الصور "المستهدفة" نظيفة للتحقق من النتائج.

الطريقة المباشرة: عندما قاموا بتغذية الصور المظلمة مباشرة في الباني ثلاثي الأبعاد، كانت النتيجة عبارة عن كتلة ضبابية وعائمة.
طريقة الخطوتين القديمة: عندما قاموا بإصلاح الصور أولاً ثم بناؤها، كانت النتيجة أفضل ولكنها لا تزال تعاني من انحرافات لونية غريبة وحواف ضبابية.
DelowlightSplat: أنتجت طريقتهم الجديدة نموذجًا ثلاثي الأبعاد حادًا ودقيقًا يبدو جيدًا تقريبًا كما لو كانت الصور قد التُقطت في ضوء النهار الساطع.

باختصار

DelowlightSplat هو أداة جديدة تسمح لأجهزة الكمبيوتر ببناء نماذج ثلاثية الأبعاد مثالية من صور مظلمة وسيئة. يفعل ذلك باستخدام "مترجم" ذكي لإصلاح الصور بقدر كافٍ فقط لتتمكن من التواصل مع بعضها البعض، ومن ثم بناء عالم ثلاثي الأبعاد نظيف ومضيء فورًا من خلال هذا التواصل، متجاوزًا الخطوات الفوضوية للماضي.

ملخص تقني: DelowlightSplat

بيان المشكلة

يعد تخليق الرؤية من زوايا جديدة وإعادة البناء ثلاثي الأبعاد من صور قليلة التمركز عملية بالغة الأهمية للروبوتات والواقع المعزز/الافتراضي. وبينما نجحت أساليب "تشتت غاوس ثلاثي الأبعاد" (3D Gaussian Splatting - 3DGS) التوجيهية الحديثة في تقليل زمن التحسين لكل مشهد عبر التنبؤ المباشر بمتغيرات غاوس ثلاثية الأبعاد من رؤى محدودة، إلا أنها تفشل بشكل كبير في ظروف الإضاءة المنخفضة. ففي أنظمة الإضاءة المنخفضة، تؤدي قلة التباين، وضجيج المستشعر، وانحياز الألوان إلى تدهور القدرة على مطابقة الميزات. هذا الانهيار في التوافق يؤدي إلى تعطيل تجميع حجم التكلفة (cost-volume aggregation)، مما ينتج عنه هندسة غير صحيحة ومظاهر مفرطة في النعومة.

إن الحلول البديلة الحالية، مثل خط الإنتاج "الترميم ثم إعادة البناء" (تحسين الصور ثنائية الأبعاد قبل إعادة البناء)، غير كافية. إذ يؤدي تحسين كل صورة على حدة غالبًا إلى إزاحات لونية تعتمد على زاوية الرؤية وعدم اتساق في الإضاءة، مما يفشل في التحسين الصريح للاتساق متعدد الرؤى، وهو ما يؤدي بدوره إلى إعادة بناء غير مستقرة. علاوة على ذلك، هناك ندرة في بيانات الإشراف متعددة الرؤى الواقعية حيث تكون الرؤى المستهدفة نظيفة بينما الرؤى السياقية متدهورة، مما يجعل من الصعب تدريب النماذج خصيصًا لهذه المهمة.

المنهجية: DelowlightSplat

يقترح المؤلفون DelowlightSplat، وهو إطار عمل (3DGS) توجيهي ثنائي الرؤية يدرك انخفاض الإضاءة، مصمم لإعادة بناء مشاهد ثلاثية الأبعاد نظيفة وذات إضاءة طبيعية مباشرة من مدخلات الإضاءة المنخفضة. يتكون خط الإنتاج من ثلاث مراحل رئيسية:

1. معيار مرجعي متعدد الرؤى للإضاءة المنخفضة قابل للتحكم

لمعالجة نقص بيانات التدريب، أنشأ المؤلفون معيارًا مرجعيًا يعتمد على مجموعة بيانات واسعة النطاق ذات رؤى محددة التمركز. وبدلاً من إضعاف المشاهد بأكملها، قاموا بإضعاف الرؤى السياقية فقط (الصور المدخلة) مع الحفاظ على الرؤى المستهدفة (الحقيقة الأرضية) نظيفة. يطبق عامل التدهور $\mathcal{L}$ أربعة تحويلات احتمالية بالتتابع على الصور السياقية:

تعتيم غاما (Gamma Darkening): $I \leftarrow I^\gamma$ مع $\gamma > 1$ .
تدرج التعرض (Exposure Scaling): $I \leftarrow s \cdot I$ مع $0 < s < 1$ .
إزاحة قناة RGB: تغيير قياس قنوات R و G و B بشكل مستقل.
التغبيش (Blur): الالتفاف مع نواة غاوسية (Gaussian kernel).

هذا البروتوكول يعزل تأثير مدخلات الإضاءة المنخفضة على إعادة البناء مع منع النموذج من مجرد تعلم محاكاة مظاهر الإضاءة المنخفضة.

2. مُكيِّف الإضاءة المنخفضة (Lowlight Adapter)

تم تقديم وحدة أمامية خفيفة الوزن لخرائط مدخلات الإضاءة المنخفضة إلى نطاق تمثيل مناسب للاستنتاج متعدد الرؤى. وعلى عكس نماذج التحسين ثنائية الأبعاد المستقلة، تم تحسين هذا المُكيِّف لتحسين قابلية المطابقة (matchability) للمرحلة التالية.

الآلية: يتنبأ بتصحيح متبقي $\Delta(I_i)$ باستخدام مجموعة صغيرة من كتل التراكم الالتفافية (convolutional residual blocks).
المخرج: يتم حساب الصورة المكيفة كـ $\tilde{I}_i = \text{clip}(I_i + \lambda \cdot \tanh(\Delta(I_i)))$ .
الفائدة: تسمح هذه الصيغة المتبقية للنموذج بالبقاء قريبًا من الهوية (identity) في حالات التدهور الطفيف (لتجنب الإفراط في التحسين) ويتم تدريبها من البداية إلى النهاية مع العمود الفقري لإعادة البناء.

3. شبكة تشتت غاوس التوجيهية (Feed-forward Gaussian Splatting Network)

تتم معالجة الرؤى السياقية المكيفة $\{\tilde{I}_i\}$ بواسطة مشفر متعدد الرؤى يعتمد على حجم التكلفة (cost-volume):

ترميز الميزات: استخراج الميزات ثنائية الأبعاد وإجراء تفاعل عبر الرؤى لتجميع الأدلة المتسقة هندسيًا.
بناء الهندسة: التنبؤ بالكميات المتعلقة بالعمق والكثافة عند كل بكسل. يتم إسقاط هذه الكميات عكسيًا إلى 3D لتشكيل مراكز غاوس ( $\mu$ ). يتم تمثيل التباينات ( $\Sigma$ ) والعتامة ( $\alpha$ ) لضمان الإيجابية وتحديد النطاقات الصحيحة.
المظهر: يحمل كل عنصر غاوس معاملات التوافقيات الكروية (Spherical Harmonics - $h$ ) لتمثيل اللون المعتمد على الرؤية.
هدف التدريب: يتم الإشراف على الشبكة باستخدام الصور المستهدفة النظيفة ( $I^\star_t$ ) عبر مزيج من فقدان البكسل (مثل $\ell_2$ أو Charbonnier) والفقدان الإدراكي (perceptual loss).

المساهمات الرئيسية

معيار مرجعي متعدد الرؤى للإضاءة المنخفضة قابل للتحكم: إطار عمل للتدريب والتقييم يقوم بإضعاف الرؤى السياقية فقط عبر تحويلات احتمالية مع الحفاظ على الرؤى المستهدفة نظيفة، مما يسمح باختبار منهجي لآثار الإضاءة المنخفضة.
خط إنتاج DelowlightSplat: خط إنتاج (3DGS) توجيهي ثنائي الرؤية يدمج مُكيِّف إضاءة منخفضة خفيف الوزن للتحسين المتبقي. يحسن هذا النهج قابلية المطابقة عبر الرؤى ويتنبأ مباشرة بعناصر غاوس ثلاثية الأبعاد نظيفة لتوليد رؤى جديدة، متجنبًا عدم الاتساق في خطوط الإنتاج ذات المرحلتين.

النتائج التجريبية

تم تقييم الطريقة مقابل اثنين من النماذج المرجعية:

Lowlight MVSplat: تغذية صور الإضاءة المنخفضة مباشرة في مُعيد بناء توجيهي قياسي.
DarkIR $\to$ MVSplat: خط إنتاج ذو مرحلتين يستخدم نموذج ترميم ثنائي الأبعاد قوي (DarkIR) يليه إعادة البناء.

الأداء الكمي (تخليق الرؤية الجديدة في الإضاءة المنخفضة):
تفوق DelowlightSplat بشكل كبير على كلا النموذجين المرجعيين:

PSNR: تحسن من 8.49 (Lowlight MVSplat) و 17.11 (DarkIR $\to$ MVSplat) إلى 23.08.
SSIM: تحسن من 0.372 و 0.723 إلى 0.833.
LPIPS: انخفض من 0.355 و 0.225 إلى 0.162 (الأقل هو الأفضل).

الملاحظات النوعية:

أدت إعادة البناء المباشرة إلى ملامح مفرطة في النعومة وعيوب هندسية (مثل الهياكل العائمة).
أدى النموذج المرجعي ذو المرحلتين إلى تحسين السطوع ولكنه تسبب في إزاحات لونية تعتمد على الرؤية وتغبيش متبقي بسبب عدم اتساق الترميم لكل صورة.
أنتج DelowlightSplat حوافًا أكثر حدة، وهندسة مستقرة، وألوانًا وظلالاً متسقة عبر زوايا الرؤية المختلفة.

الأهمية والادعاءات

يزعم البحث أن DelowlightSplat يسد الفجوة بفعالية بين إعادة البناء ثلاثي الأبعاد التوجيهي القياسي وظروف الإضاءة المنخفضة. ومن خلال دمج تكيف الإضاءة المنخفضة مباشرة في خط إنتاج إعادة البناء بدلاً من معاملته كخطوة معالجة مسبقة منفصلة، فإن الطريقة تعمل صراحةً على تحسين الاتساق متعدد الرؤى. وتظهر النتائج أن هذا النهج يحقق دقة إعادة بناء وجودة إدراكية أعلى تحت ظروف متنوعة من تدهور الإضاءة المنخفضة (غاما، التعرض، إزاحة الألوان، والتغبيش) مقارنة بالطرق المباشرة أو طرق المرحلتين الموجودة.

ويشير المؤلفون إلى أن العمل المستقبلي يمكن أن يوسع النموذج للتعامل مع المزيد من الرؤى، والسياقات الزمنية الأطول، وآثار المستشعرات الحقيقية مثل التغبيش الناتج عن الحركة الشديدة والضجيج المتغير مكانيًا.