⚡ electrical engineering

Towards a General-Purpose Zero-Shot Synthetic Low-Light Image and Video Pipeline

تقدم هذه الورقة شبكة تقدير التدهور (DEN) القائمة على التعلم الصفري، والتي تولد صورًا وفيديوهات اصطناعية واقعية ومستندة إلى الفيزياء في ظروف الإضاءة المنخفضة دون الحاجة إلى بيانات وصفية للكاميرا، مما يحسن الأداء بشكل كبير في مهام مثل محاكاة الضوضاء، وتحسين الفيديو، وكشف الأشياء.

المؤلفون الأصليون: Joanne Lin, Crispian Morris, Ruirui Lin, Fan Zhang, David Bull, Nantheera Anantrasirichai

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Joanne Lin, Crispian Morris, Ruirui Lin, Fan Zhang, David Bull, Nantheera Anantrasirichai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة: لغز "الغرفة المظلمة"

تخيل أنك محقق تحاول حل جريمة، لكن الدليل الوحيد الذي تملكه هو صورة باهتة ومشوشة التُقطت في غرفة مظلمة تمامًا. من الصعب رؤية أي شيء. الآن، تخيل أنك تدرب روبوتًا (ذكاءً اصطناعيًا) ليكون محققًا. تريد تعليمه كيفية رصد المجرمين في الظلام، لكن ليس لديك ما يكفي من الصور الحقيقية لجرائم تحدث في الظلام لتريها له.

في عالم الكمبيوتر، هذه هي مشكلة "الإضاءة المنخفضة". تعاني الكاميرات في الظلام؛ فهي تنتج صورًا مليئة بـ "الضجيج" (تلك النقط الصغيرة القبيحة التي تراها في صور الليل). ولأن من الصعب الحصول على صور واضهة ومصنفة للصور الملتقطة في الظلام، لا يستطيع الباحثون في مجال الذكاء الاصطناعي تدريب نماذجهم بشكل جيد. إنهم يحاولون تعليم الروبوت الرؤية في الظلام باستخدام صور ملتقطة فقط تحت ضوء الشمس الساطع، وهذا لا يعمل بشكل جيد.

الحلول القديمة: "آلات التصوير الرديئة"

لإصلاح ذلك، حاول الباحثون صنع صور مظلمة مزيفة باستخدام الكمبيوتر. أخذوا صورة ساطعة وواضحة وحاولوا جعلها تبدو مظلمة ومشوشة.

ومع ذلك، كانت الطرق القديمة تشبه آلات التصوير الرديئة:

آلة التصوير "الساكنة": بعضها اكتفى بإضافة طبقة من "التشويش الأبيض" (مثل تشويش التلفاز القديم) إلى الصورة. بدت الصورة مظلمة، لكن الضجيج لم يكن يبدو حقيقيًا. فالضجيج في الكاميرات الحقيقية معقد؛ ويتغير بناءً على مدى سطوع الضوء.
آلة التصوير "اليدوية": حاول البعض الآخر أن يكون أكثر علمية، باستخدام معادلات رياضية لمحاكاة الضجيج. لكن هذا تطلب "كتيب تعليمات" يجب أن تعرف فيه الإعدادات الدقيقة للكاميرا (مثل الـ ISO أو نوع المستشعر). ومعظم الصور العامة لا تأتي مع هذا الكتيب، لذا غالبًا ما فشلت هذه الطرق.
آلة التصوير "الموحدة": تعلمت بعض الطرق نسخ الضجيج من كاميرا واحدة محددة فقط. وإذا حاولت استخدامها على كاميرا مختلفة، بدا الضجيج مزيفًا، مثل ارتداء زي تنكري لا يناسب مقاسك.

الحل الجديد: "الرسام الحرباء"

قام مؤلفو هذه الورقة البحثية (من جامعة بريستول) ببناء أداة جديدة تسمى شبكة تقدير التدهور (DEN). فكر في هذا كأنه "رسام حرباء".

إليك كيف يعمل:

مرحلة "النظر والتعلم" (Zero-Shot):
تخيل أنك سلمت "الرسام الحرباء" صورة لمشهد حقيقي مظلم ومشوش (مثل صورة التقطها صديق بهاتفه في حفلة موسيقية). لا يحتاج الرسام لمعرفة نوع الهاتف المستخدم أو إعداداته. هو فقط ينظر إلى طبيعة التشويش.

السحر: يقوم بتحليل الضجيج ويكتشف "الوصفة" الخاصة بهذا التشويش المحدد. يتساءل: "هل هذا التشويش ناتج عن ضعف الإضاءة؟ أم بسبب تداخل كهربائي؟ أم بسبب مستشعر الكاميرا؟"

"الوصفة" (متجه الضجيج - Noise Vector):
يكتب الرسام وصفة سرية (قائمة من الأرقام) تصف بالضبط كيف يتصرف هذا الضجيج. هذا يسمى "متجه الضجيج". إنه يشبه شفرة الـ DNA الخاصة بالضجيج.
مرحلة "الرسم":
الآن، خذ صورة جميلة وساطعة وواضحة (مثل يوم مشمس). يأخذ الرسام "الوصفة" التي تعلمها للتو من الصورة المظلمة ويطبقها على الصورة الساطعة.

النتيجة: تتحول الصورة الساطعة فورًا إلى صورة مظلمة تبدو واقعية للغاية، وتحمل نفس نوع التشويش الموجود في الصورة المظلمة الأصلية.

لماذا يعد هذا أمرًا بالغ الأهمية؟

هذا نظام عام الغرض، وبدون تدريب مسبق (Zero-Shot).

عام الغرض: يعمل على أي كاميرا، أي فيديو، وأي نوع من أنواع الضجيج. لا يحتاج لإعادة التدريب لكل كاميرا جديدة.
بدون تدريب مسبق (Zero-Shot): لا يحتاج لرؤية نسخة "مثالية" من الصورة المظلمة ليتعلم. يمكنه النظر إلى صورة مظلمة حقيقية وفوضوية وفهم كيفية نسخ هذا "التشويش" على صورة نظيفة فورًا.

ماذا أثبتوا؟

اختبر الفريق "الرسام الحرباء" بثلاث طرق:

اختبار "المزيف ضد الحقيقي": طلبوا من خبراء (ومن أجهزة كمبيوتر) التمييز بين صورهم المظلمة المزيفة والصور الحقيقية. كانت صورهم المزيفة جيدة جدًا لدرجة أن أجهزة الكمبيوتر لم تستطع التمييز بينها. لقد كانوا أفضل بكثير من "آلات التصوير الساكنة" القديمة.
اختبار "الرؤية الليلية": استخدموا هذه الصور المظلمة المزيفة لتدريب ذكاء اصطناعي لتحسين الفيديو (روبوت يحاول تنظيف الفيديوهات المظلمة). وعندما اختبروا هذا الروبوت على فيديوهات مظلمة حقيقية، قام بعملية تنظيف أفضل بكثير من الروبوتات التي تدربت باستخدام الطرق القديمة.
اختبار "المحقق": قاموا بتدريب ذكاء اصطناعي للعثور على الأشياء (مثل السيارات أو البشر) في الظلام.
- الطريقة القديمة: ارتبك الذكاء الاصطناعي؛ فرأى حصانًا وظن أنه بقرة.
- الطريقة الجديدة: الذكاء الاصطناعي، الذي تدرب على صورهم المظلمة الواقعية المزيفة، تعرف على الحصان بشكل صحيح. لقد كان أكثر دقة بنسبة 62% في رصد الأشياء في الظلام.

الخلاية

تقدم هذه الورقة البحثية أداة ذكية يمكنها النظر إلى أي صورة مظلمة في العالم الحقيقي، وفهم بالضبط ما الذي يجعلها تبدو "مشوشة"، ثم تعليم الكمبيوتر كيفية إنشاء نفس هذا النوع من الضجيج على أي صورة أخرى.

إنه بمثابة منح الروبوت القدرة على تعلم "ملمس" الظلام بمجرد النظر إليه مرة واحدة، مما يسمح لنا بتدريب ذكاء اصطناعي أفضل للقيادة الليلية، والمراقبة، واستكشاف الفضاء دون الحاجة إلى آلاف الصور المظلمة الحقيقية والمثالية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو خط إنتاج عام الأغراض وصفرِي الاستباق (Zero-Shot) لصور وفيديوهات الإضاءة المنخفضة الاصطناعية".

1. بيان المشكلة

تفرض ظروف الإضاءة المنخفضة تحديات كبيرة لمهام الرؤية الحاسوبية (مثل كشف الأشياء، وتحسين الفيديو) بسبب ضجيج المستشعر، وانخفاض التباين، وضبابية الحركة. وتتمثل إحدى العقبات الرئيسية أمام تقدم الفهم الآلي في سيناريوهات الإضاءة المنخفضة في نقص مجموعات البيانات عالية الجودة والموسومة.

صعوبة التوسيم: يعد توثيق فيديوهات الإضاءة المنخفضة بدقة أمراً صعباً بسبب غياب الحقيقة الأرضية (Ground Truth) الواضحة.
محدودية خطوط الإنتاج الاصطناعية الحالية:
- الضجيج غير الواقعي: غالباً ما تستخدم الطرق التقليدية نماذج ضجيج بسيطة (مثل الضجيج الأبيض الغاوسي المضاف AWGN) أو تتطلب ضبطاً يدوياً للمعلمات، مما يفشل في محاكاة ضجيج المستشعرات المعقد والواقعي.
- الاعتماد على البيانات الوصفية (Metadata): تتطلب العديد من النهج القائمة على الفيزياء نوعاً معيناً من بيانات الكاميرا (مثل ISO، ونوع المستشعر)، وهي بيانات نادراً ما تتوفر في مجموعات البيانات العامة.
- نقص القدرة على التعميم: غالباً ما يتم تدريب طرق التعلم العميق الحالية على مجموعات بيانات أو نماذج كاميرات محددة، مما يجعلها غير قادرة على التعميم على خصائص ضجيج جديدة وغير مرئية (أي ليست "صفرية الاستباق").

2. المنهجية

يقترح المؤلفون خط إنتاج اصطناعي عام الأغراض وصفري الاستباق (Zero-Shot) للإضاءة المنخفضة يتمحور حول شبكة تقدير التدهور (Degradation Estimation Network - DEN) مبتكرة. الفلسفة الجوهرية هي تقدير معلمات توزيعات الضجيج القائمة على الفيزياء من فيديو مرجعي للإضاءة المنخفضة، ثم استخدام هذه المعلمات لتخليق ضجيج واقعي على بيانات نظيفة، دون الحاجة إلى بيانات وصفية للكاميرا.

أ. شبكة تقدير التدهور (DEN)

إن الـ DEN هي شبكة عصبية ذاتية الإشراف مصممة للتنبؤ بمتجه معلمات الضجيج ( $\hat{v}$ ) من مدخل إضاءة منخفضة مرجعي ( $y_n$ ).

البنية: تعتمد على إطار عمل U-Net مع رأسين (Two Heads):
1. المُشفر + رأس MLP: لتقدير متجه معلمات الضجيج $\hat{v}$ .
2. المُفكك (Decoder): لإعادة بناء نسخة منزوعة الضجيج من المدخلات لتوجيه المُشفر في التمييز بين الضجيج ومحتوى الصورة.
استراتيجية التدريب (ذاتي الإشراف):
- يتم تعتيم الصور/الفيديوهات النظيفة اصطناعياً باستخدام تحويلات خطية وقدرية (Power Transformations).
- يقوم محاكي الضجيج بتطبيق نطاق متنوع من معلمات الضجيج العشوائية لإنشاء مدخل "صاخب".
- يتم تدريب الشبكة للتنبؤ بمعلمات الضجيج الأصلية (عبر رأس MLP) وإعادة بناء الصورة النظيفة (عبر المُفكك).
- دالة الخسارة (Loss Function): مزيج من متوسط الخطأ التربيعي (MSE) للتنبؤ بالمعلمات ( $L_{MLP}$ ) وخسارة إعادة البناء $\ell_1$ ( $L_{rec}$ ).

ب. محاكاة الضجيج القائمة على الفيزياء

بمجرد أن تقوم الـ DEN بتقدير متجه الضجيج $\hat{v}$ أثناء مرحلة الاستنتاج، يقوم محاكي الضجيج $f(\cdot)$ بتوليد خريطة ضجيج باستخدام خمسة نماذج قائمة على الفيزياء:

الضجيج المتباين (Heteroscedastic Noise): يجمع بين ضجيج القراءة (غاوسي) وضجيج الطلقة (بواسون، مقرب كغاوسي) لنمذجة الضجيج المرتبط بالإشارة.
ضجيج التكميم (Quantization Noise): يتم نمذجته عبر توزيع منتظم لمحاكاة عيوب التحويل الرقمي.
ضجيج النطاقات (Banding Noise): يُنمذج كضجيج غاوسي مع اتساق مكاني وزماني محدد (الخطوط الرأسية/الأفقية الشائعة في ISO العالي).
الضجيج الدوري (Periodic Noise): يُنمذج في المجال الترددي لمحاكاة أنماط التداخل الكهربائي (الخطوط/الشبكات).

ج. عملية الاستنتاج

يتم تغذية فيديو مرجعي حقيقي للإضاءة المنخفضة ( $y_n$ ) إلى الـ DEN.
تُخرج الـ DEN متجه الضجيج المقدر $\hat{v}$ .
يُستخدم هذا المتجه لتهيئة محاكي الضجيج $f(\cdot)$ .
يقوم المحاكي بتوليد خريطة ضجيج تُضاف إلى صورة/فيديو نظيف ( $x_d$ ) لإنشاء مجموعة بيانات اصطناعية واقعية للإضاءة المنخفضة ( $x_n$ ) لتدريب النماذج اللاحقة.

3. المساهمات الرئيسية

أول خط إنتاج عام الأغراض وصفري الاستباق: تقوم الطريقة بتخليق صور/فيديوهات sRGB واقعية للإضاءة المنخفضة تطابق خصائص الضجيج لأي محتوى مرجعي دون الحاجة لإعادة تدريب الـ DEN أو طلب بيانات وصفية للكاميرا.
تنوع فائق في الضجيج: على عكس الطرق صفرية الاستباق الحالية المقتصرة على الضجيج الغاوسي، ينمذج هذا النهج طيفاً واسعاً من أنواع الضجيج (المتباين، النطاقات، الدوري، والتكميم) المناسبة للتطبيقات الواقعية.
بنية DEN مبتكرة: شبكة U-Net مزدوجة الرأس تتعلم بشكل مشترك تقدير معلمات الضجيج وإزالة الضجيج، مما يسمح بتعميم قوي عبر توزيعات الضجيج المختلفة.
تدريب ذاتي الإشراف: يتم تدريب الشبكة على توزيع واسع من معلمات الضجيج الاصطناعية، مما يسمح لها بالتعميم على أنماط الضجيج الحقيقية غير المرئية.

4. النتائج التجريبية

تم تقييم الطريقة مقابل النماذج المرجعية القياسية (AWGN، وPoisson-Gaussian، وStarlight generator) عبر ثلاث مهام:

تقييم الجودة الاصطناعية:
- تم التقييم باستخدام تباعد كولباك - ليبلر (KLD)، ومسافة فريدشيه للبداية (FID)، ومسافة كيرنل للبداية (KID) على مجموعة بيانات SIDD-Small.
- النتيجة: حققت الطريقة المقترحة أفضل النتائج عبر جميع المقاييس، مما يشير إلى أعلى درجة من الدقة في محاكاة توزيعات الضجيج الحقيقية.
تحسين الفيديو في الإضاءة المنخفضة (LLVE):
- تم ضبط نموذج BVI-Mamba مُدرب مسبقاً باستخدام بيانات اصطناعية من كل خط إنتاج واختباره على فيديو حقيقي لـ "حصان".
- النتيجة: حققت النماذج المدربة على الخط المقترح أفضل توازن بين الجودة الإدراكية والطبيعية (أقل درجات NIQE في المناطق المضيئة) ونجحت في إزالة الضجيج من المشاهد المعقدة حيث تسببت الطرق الأخرى في ظهور عيوب (artifacts).
كشف الأشياء:
- تم تدريب نموذج YOLOv11n على بيانات إضاءة منخفضة اصطناعية واختباره على صور حقيقية ذات ISO عالٍ.
- النتيجة: أظهر النموذج المدرب على الخط المقترح تحسناً بنسبة 62% في AP50-95 مقارنة بالنماذج المرجعية. وقد نجح في كشف الأشياء (مثل الخيول والأكواب) التي فاتتها أو أخطأت في تصنيفها النماذج المدربة على خطوط الإنتاج الاصطناعية الأخرى.

5. الأهمية

يعالج هذا العمل فجوة حرجة في أبحاث الرؤية الحاسوبية من خلال توفير حل قابل للتوسع ولا يعتمد على البيانات الوصفية لتوليد بيانات تدريب لمهام الإضاءة المنخفضة.

ديمقراطية البيانات: تتيح هذه الطريقة للباحثين تدريب نماذج قوية لبيئات الإضاءة المنخفضة باستخدام مجموعات البيانات النظيفة الموجودة، متجاوزين الحاجة إلى الحصول على بيانات مقترنة (إضاءة منخفضة/حقيقة أرضية) يصعب الحصول عليها.
الواقعية: من خلال النمذجة الدقيقة للضجيج المعقد المرتبط بالإشارة والضجيج المهيكل (مثل النطاقات والتداخل الدوري)، تسد البيانات الاصطناعية "فجوة الواقع" التي غالباً ما توجد في تدريب الرؤية الحاسوبية.
تعدد الاستخدامات: الطبيعة "صفرية الاستباق" لخط الإنتاج تجعلها قابلة للتطبيق الفوري على كاميرات ومجموعات بيانات ومهام لاحقة جديدة (كشف، تقسيم، تحسين) دون الحاجة لإعادة تدريب محرك التخليق الأساسي.

يخلص المؤلفون إلى أنه بينما يركز العمل الحالي على تخليق الضجيج، فإن النسخ المستقبلية ستستهدف نمذجة خرائط الإضاءة، وتشويه الألوان، وضبابية الحركة لإنشاء خط إنتاج شامل تماماً لمحاكاة الإضاءة المنخفضة.