💻 computer science

Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark

تقترح هذه الورقة نهج نمذجة عصبية مدركاً للبعد الثالث من أجل تصوير RGB-NIR قوي في ظروف الإضاءة المنخفضة، يعمل بفعالية على استعادة صور RGB نظيفة من خلال دمج ملاحظات RGB المشوشة مع إشارات NIR في فضاء ثلاثي الأبعاد، مما يلغي الحاجة إلى إشراف RGB نظيف مع إظهار قدرة فائقة على التعميم عبر مستويات الضجيج المتفاوتة.

المؤلفون الأصليون: Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

نُشر 2026-08-03

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التقاط صورة مثالية في غرفة مظلمة تماماً. توجه كاميرتك، تضغط على زر التصوير، فتعود بصورة عبارة عن فوضى من الضجيج والتشويش. هذا هو الصراع اليومي لـ "التصوير في الإضاءة المنخفضة" في مجال الرؤية الحاسوبية. لعقود من الزمن، حاول العلماء إصلاح ذلك إما عبر الانتظار لفترة أطول لتجميع الكاميرا للضوء (مما يسبب ضبابية الحركة) أو باستخدام رياضيات معقدة لتخمين كيف يجب أن تبدو الصورة. ولكن هناك حيلة ذكية: الضوء القريب من الأشعة تحت الحمراء (NIR). وبينما لا تستطيع أعيننا رؤيته، تستطيع الكاميرات ذلك، ويتصرف هذا الضوء مثل كشاف شبحي يكشف شكل وأنسجة الأشياء حتى في الظلام الدامس، وإن كان يظهرها بتدرجات رمادية أحادية اللون. السؤال الكبير كان دائماً: هل يمكننا استخدام هذه الخريطة الرمادية الشبحية لإصلاح صورنا الملونة والمشوشة دون الحاجة إلى صورة "مثالية" لتعليم الكمبيوتر ما يجب فعله؟ عادةً، لتعليم الكمبيوتر كيفية تنظيف صورة ما، تحتاج إلى إظهار نسخة "متسخة" ونسخة "نظيفة" جنباً إلى جنب. لكن في العالم الحقيقي، غالباً ما يكون الحصول على تلك النسخة النظيفة في الظلام أمراً مستحيلاً.

هذه الورقة البحثية، التي تحمل عنوان "نحو تصوير RGB-NIR قوي وواعٍ بالبعد الثالث في الظلام"، تقترح طريقة جديدة لحل هذا اللغز. يقترح المؤلفون، وهم فريق من جامعة طوكيو ومؤسسات أخرى، أنه بدلاً من محاولة تنظيف صورة ثنائية الأبعاد (2D) واحدة، يجب علينا بناء نموذج ثلاثي الأبعاد (3D) للمشهد أولاً. فكر في الأمر كالتالي: إذا كان لديك صورة ضبابية ومشوشة لقلعة من قطع "ليجو" التُقطت في الظلام، وصورة رمادية واضحة لنفس القلعة التُقطت بكاميرا تعمل بالأشعة تحت الحمراء، فإن الطرق القديمة تحاول لصق التفاصيل الرمادية فوق الصورة الملونة مثل الملصق. تجادل هذه الورقة بأن هذا هو النهج الخاطئ. بدلاً من ذلك، يقومون ببناء منحوتة افتراضية ثلاثية الأبعاد للقلعة في عقل الكمبيوتر. إنهم يستخدمون الصورة الرمادية الواضحة (NIR) لتحديد شكل المنحوتة، ثم يستخدمون الصورة الملونة (RGB) المشوشة لطلائها، لكنهم يفعلون ذلك بطريقة تجبر الطلاء على الالتصاق فقط حيث يبدو الشكل منطقياً.

وجد الباحثون أنه من خلال دمج هذين النوعين من الضوء في مساحة ثلاثية الأبعاد، استطاعوا إعادة بناء صورة ملونة ونظيفة دون رؤية نسخة "نظيفة" من الصورة الأصلية أبداً. لقد اكتشفوا عقبتين رئيسيتين في هذه العملية. أولاً، كان الكمبيوتر يحاول باستمرار تعلم "الضجيج" العشوائي في الصورة الملونة وكأنه تفاصيل حقيقية، مما يخلق نمط "رقعة الشطرنج" الغريب. ولإصلاح ذلك، علموا الكمبيوتر أن يستمع إلى "إيقاع" (تردد) صورة الأشعة تحت الحمراء بدلاً من الصورة الملونة المشوشة، مما أدى فعلياً إلى إسكات الضجيج. ثانياً، أدركوا أن نفس الدرجة من الرمادي في صورة الأشعة تحت الحمراء يمكن أن تقابل ألواناً مختلفة في الواقع (جدار رمادي قد يكون أحمر، أو أزرق، أو أخضر). ولحل هذه المشكلة، أضافوا نظام "كود لوني" خاص يسمح للكمبيوتر بتخمين اللون الصحيح من قائمة من الاحتمالات، بدلاً من مجرد مزجها لتصبح بنياً طينياً.

اختبر الفريق فكرتهم على كل من المشاهد المولدة حاسوبياً واللقطات الواقعية، بما في ذلك مشهد لبومة وآخر لمركبة جوالة. وقارنوا طريقتهم بالعديد من التقنيات الموجودة، بما في ذلك تلك التي تعتمد على كميات هائلة من بيانات التدريب النظيفة. أظهرت النتائج أن طريقتهم الواعية بالبعد الثالث أنتجت صوراً أكثر حدة وألواناً أفضل وأقل في العيوب، حتى عندما كان الضجيج شديداً للغاية. لقد أثبتوا أن هذا النهج يعمل عبر مستويات مختلفة من الظلام والضجيج دون الحاجة إلى الصور المرجعية "النظيفة" المستحيلة التي تتطلبها الطرق الأخرى. وبينما يعمل النظام حالياً بشكل أفضل في المشاهد الثابتة ويعاني إذا لم تكن الكاميرات متوافقة تماماً في المحاذاة، تشير الورقة إلى أن هذا يمثل خطوة مهمة نحو جعل الكاميرات قادرة على الرؤية بوضوح في الظلام، باستخدام الضوء الذي يمكنها التقاطه بالفعل.

ملخص تقني: نحو تصوير RGB-NIR قوي ومتوافق مع الأبعاد الثلاثية في الظلام

بيان المشكلة

لا يزال التصوير القوي في الإضاءة المنخفضة يمثل تحديًا جوهريًا في الرؤية الحاسوبية. وبينما تعاني الاستراتيجيات التقليدية مثل التعريض الطويل والتصوير المتتابع من ضبابية الحركة ومشكلات الرؤية، فإن طرق التحسين القائمة على التعلم العميق الحالية تعتمد غالبًا على مجموعات ثلاثية من "RGB-NIR-RGB نظيف"، وتظهر هذه النماذج الخاضعة للإشراف ضعفًا في التعميم عبر المجالات وقدرة محدودة على الصمود تحت مستويات ضوضاء متفاوتة. هناك فجوة حرجة في تحقيق تحسين قوي للإضاءة المنخفضة باستخدام ملاحظات الأشعة تحت الحمراء القريبة (NIR) وRGB الصاخبة فقط، دون الاعتماد على أي شكل من أشكال الإشراف لصور RGB نظيفة.

المنهجية

تقترح الورقة بنية دمج عصبية جديدة متوافقة مع الأبعاد الثلاثية (3D-aware) تستفيد من إطار عمل رندر الحجم (volume rendering) لدمج ملاحظات RGB شديدة الضوضاء مع ملامح NIR ضمن الفضاء ثلاثي الأبعاد بشكل ضمني. تعتمد هذه المنهجية على الشبكات العصبية متعددة الطبقات (MLPs) ورندر الحجم، وقد أُعيد تصميمها لاستغلال الخصائص المتكاملة لوسائط RGB-NIR دون الحاجة إلى حقيقة أرضية (ground truth) لصور RGB نظيفة.

المكونات المعمارية الرئيسية

بنية الدمج المتوافقة مع الأبعاد الثلاثية (MLP مشروط بـ NIR):
- بخلاف البنية المتوازية حيث تتعامل MLPs منفصلة مع RGB وNIR، تستخدم الطريقة المقترحة بنية مشروطة بـ NIR.
- تقوم MLP الخاصة بـ NIR بتقدير كثافة الحجم ( $\sigma$ ) باستخدام ملاحظة NIR.
- يتم تغذية مخرجات MLP الخاصة بـ NIR إلى MLP الخاصة بـ RGB لتوفير توجيه هيكلي. ومن الأهمية بمكان أن استراتيجية إيقاف التدرج (gradient-stopping) تمنع ملاحظات RGB الصاخبة من إضعاف تعلم تمثيل NIR.
- يسمح هذا التصميم لـ MLP الخاصة بـ RGB بالاستفال من المعلومات الهيكلية المشفرة في NIR مع الحفاظ على سلامة تمثيل NIR، مما يؤدي فعليًا إلى استعادة تفاصيل الأنسجة ثنائية الأبعاد الدقيقة التي قد تفقدها الاتساق ثلاثي الأبعاد البحت.
الترميز الموضعي المعدل بـ NIR (NIR-P.E.):
- غالبًا ما يؤدي الترميز الموضعي (P.E.) الجيبي القياسي المطبق على الإحداثيات ثلاثية الأبعاد ( $x$ ) واتجاهات الرؤية ( $d$ ) إلى ظهور "آثار مربعة" (checkerboard artifacts) في ظل الضوضاء الشديدة، حيث تفرط الشبكة في ملاءمة الضوضاء عالية التردد بدلاً من التفاصيل الهيكلية.
- يكشف التحليل في نطاق التردد أن صور RGB وNIR النظيفة تشترك في توزيعات ترددية سلسة متشابهة، بينما تهيمن الضوضاء العشوائية عالية التردد على صور RGB الصاخبة.
- لمعالجة ذلك، يطبق المؤلفون الترميز الموضعي (P.E.) على تقدير NIR ( $c_N$ ) بدلاً من الإحداثيات المكانية. تأخذ RGB MLP الإحداثيات $x$ و $d$ و $\gamma(c_N)$ المشفر كمدخلات.
- يعمل هذا كنمط محاذٍ للتردد، حيث يقوم بتضخيم الترددات المتسقة هيكليًا الموجودة في NIR مع كبح المكونات المدفوعة بالضوضاء من إشراف RGB الصاخب.
MLP رمز اللون (C.C. MLP):
- إن عملية الربط من NIR إلى RGB هي عملية غير محددة بطبيعتها (ill-posed)؛ حيث يمكن لقيمة واحدة من NIR أن تقابل ألوان RGB متميزة متعددة (على سبيل المثال، أجسام مختلفة الألوان لها انعكاسية متشابهة في NIR). وبسبب السلاسة، تميل الـ MLPs القياسية إلى إنتاج تقديرات RGB "ممتزجة" أو متوسطة للنقاط ذات قيم NIR المتطابقة.
- لحل هذا الغموض، تم تقديم MLP رمز اللون (Color Code MLP) لتعلم توزيع احتمالي للألوان لكل قيمة NIR.
- يتنبأ هذا المكون بتوزيع احتمالية لوغاريتمي غير منتظم ( $\pi$ ) ويستخدم Gumbel-Softmax لأخذ عينة من رمز لون واحد (one-hot color code) وهو ( $\delta$ ).
- يتم تغذية هذا الرمز في RGB MLP، مما يمكن النموذج من التمييز بين ألوان RGB المختلفة التي تشترك في نفس قيمة NIR، وبالتالي الحفاظ على تمثيلات ألوان متنوعة.

التحسين

يتم تحسين النموذج عن طريق تقليل خسارة الفوتومتري (photometric loss) من نوع L2 بين التقديرات والملاحظات. ومن الجدير بالذكر أن دالة الخسارة لا تتضمن إشراف RGB نظيف. بدلاً من ذلك، فهي تقلل الفرق بين NIR/RGB المرندر وملاحظات RGB/NIR الصاخبة. يتم تضخيم ملاحظة RGB الصاخبة بواسطة معلمة $\phi$ لمراعاة الاختلافات في التعريض الضوئي.

المساهمات الرئيسية

نموذج دمج جديد متوافق مع الأبعاد الثلاثية: تقترح الورقة نموذجًا للتصوير المظلم RGB-NIR يدمج بفعالية ملاحظات RGB الصاخبة مع ملامح NIR في فضاء ثلاثي الأبعاد دون الحاجة إلى إشراف RGB نظيف.
مكونات معمارية ثاقبة: تم تقديم مكونين محددين لإطلاق الإمكانات المتكاملة لوسائط RGB-NIR:
- الترميز الموضعي المعدل بـ NIR: لقمع الملاءمة المفرطة الناجمة عن الضوضاء والقضاء على الآثار المربعة.
- MLP رمز اللون: لحل غموض NIR-إلى-RGB الأساسي ومنع امتزاج الألوان.
مجموعات البيانات: يساهم المؤلفون بمجموعات بيانات اصطناعية وواقعية تحتوي على صور NIR وملاحظات RGB صاخبة لتسهيل الأبحاث المستقبلية.

النتائج والتقييم

تم تقييم الإطار المقترح على كل من مجموعات البيانات الاصطناعية (التي تم إنشاؤها عبر Mitsuba3) واللقطات الواقعية (باستخدام كاميرا JAI FS-3200T10GE-NNC).

البيانات الاصطناعية: تم اختبار النموذج عبر خمس مستويات من الضوضاء ( $s \in \{1/10, \dots, 1/200\}$ ). وقد تفوق باستمرار على الطرق الخاضعة للإشراف (SANet, NAID)، والطرق غير الخاضعة للإشراف (NVEU)، والأساليب الأخرى القائمة على NeRF (مثل RawNeRF و LLNeRF) من حيث SSIM و PSNR و LPIPS.
البيانات الواقعية: شملت التقييمات مقاييس غير مرجعية (PI, MUSIX, MANIQA) والتقييم الذاتي البشري (HSE). حققت الطريقة المقترحة أفضل الدرجات عبر جميع المقاييس، مما أظهر سلامة هيكلية وتطابقًا لونيًا فائقًا مقارنة بالنماذج المرجعية الحالية.
دراسات الاستئصال (Ablation Studies): أدى إزالة NIR-P.E. إلى ظهور آثار مربعة شديدة. وأدى إزالة C.C. MLP إلى ظهور آثار امتزاج حيث تندمج الألوان المتميزة. كان النموذج الكامل ضروريًا لإعادة بناء عالية الدقة.
التعميم في نطاق RAW: تم تقييم الطريقة أيضًا في نطاق 12-bit RAW، مما أظهر قدرتها على التعميم بفعالية وتفوقها على نماذج مثل RawNeRF و NVEU دون الحاجة إلى موازنة بيضاء أو تصحيح ألوان.

الأهمية والادعاءات

تدعي الورقة أنه يمكن تحقيق تحسين قوي للإضاءة المنخفضة باستخدام فقط ملاحظات NIR وRGB الصاخبة، مما يلغي الحاجة إلى بيانات إشراف RGB نظيفة يصعب الحصول عليها. ومن خلال دمج التمثيل العصبي المتوافق مع الأبعاد الثلاثية، يتعمم الأسلوب عبر مستويات ضوضاء وسيناريوهات مختلفة حيث تفشل النماذج الخاضعة للإشراف التقليدية. يوضح العمل أن التمثيلات العصبية الضمنية، إذا تم إعادة تصميمها بعناية لتراعي الخصائص المحددة لوسائط RGB-NIR (محاذاة التردد وغموض اللون)، يمكنها استعادة صور نظيفة من مدخلات شديدة الضوضاء. ويؤكد المؤلفون أن هذا النهج يوفر منظورًا جديدًا للتصوير المظلم، حيث يقدم حلاً قويًا وقابلاً للتعميم دون قيود بيانات التدريب المقترنة.