AutoLumNet: Monotone Optimal Transport for Single-Shot Exposure Correction
تُعد AutoLumNet إطار عمل متطور لتصحيح التعرض بلقطة واحدة، يضمن الرتابة الهيكلية ومحاذاة النقل الأمثل من خلال منحنى تدرج رتيب عالمياً مع معالجة العيوب المحلية عبر وحدة فك تشفير متبقية مقيدة، محققةً أداءً فائقاً وقدرة عالية على التعميم عبر أنظمة التعرض المتنوعة.
المؤلفون الأصليون:Airin Akter Tania, Md Raihan Khan, Mohiuddin Ahmad
تحكي كل صورة قصة ضوء، لكن مستشعر الكاميرا الذي يلتقطها يمتلك نطاق رؤية محدوداً. في العالم الحقيقي، يمكن لضوء الشمس أن يكون ساطعاً لدرجة تعمي الأبصار، بينما تخفي الظلال العميقة تفاصيل دقيقة، ومع ذلك يجب على الكاميرا الرقمية ضغط هذا النطاق الشاسع في صورة واحدة يمكن التعامل معها. عندما يكون الضوء خافتاً جداً، يعاني المستشعر من أجل الرؤية، مما ينتج صورة مظلمة وطينية حيث تضيع البنية في العتمة. وعندما يكون الضوء شديد الكثافة، يغمر المستشعر، محولاً المناطق الساطعة إلى بقع بيضاء بلا معالم حيث تُمحى المعلومات بشكل دائم. هذا هو التحدي الجوهري للتعرض الضوئي: التقاط مشهد يحتوي على كل من الظلال العميقة والإضاءات الساطعة في لقطة واحدة. لعقود من الزمن، حاول الباحثون إصلاح هذه الأخطاء بعد حدوثها، لكن معظم الحلول كانت أحادية الجانب، مصممة فقط لتفتيح الصور المظلمة أو فقط لدمج عدة لقطات مأخوذة في أوقات مختلفة. ولا يعمل أي من النهجين بشكل جيد عندما تحتوي الصورة الواحدة على مزيج من المشكلتين معاً، مما يؤدي غالباً إلى ألوان غير طبيعية، أو هالات متوهجة حول الأجسام، أو فقدان كامل لبنية المشهد الأصلية.
قام فريق من الباحثين في جامعة خولنا للهندسة والتكنولوجيا في بنغلاديش بتطوير نهج جديد لهذه المشكلة يسمى AutoLumNet. فبدلاً من محاولة تخمين كيفية إصلاح صورة سيئة عبر تخمين واحد معقد، قاموا بتقسيم المهمة إلى جزأين متميزين. أولاً، أنشأوا تعديلاً عالمياً يعمل مثل مفتاح التحكم الرئيسي لمستوى صوت الصورة بأكملها. تم تصميم هذا التعديل بقاعدة صارمة: يجب ألا يغير أبداً الترتيب النسبي للضوء والظلام. فإذا كان أحد البكسلات أكثر سطوعاً قليلاً من جاره في الصورة الأصلية، فيجب أن يظل أكثر سطوعاً قليلاً بعد الإصلاح. يضمن هذا الحفاظ على الشكل والبنية الطبيعية للمشهد، مما يمنع الهالات المتوهجة والظلال المعكوسة التي غالباً ما تعيب أدوات التصحيح الأخرى. وقد أثبت الباحثون رياضياً أن طريقتهم تضمن الحفاظ على هذا الترتيب، بغض النظر عما إذا كانت الصورة مظلمة جداً، أو ساطعة جداً، أو مزيجاً فوضوياً من كليهما.
الجزء الثاني من نظامهم يتعامل مع التفاصيل المحلية التي لا يستطيع المفتاح العالمي إصلاحها. فبينما يضبط المفتاح الرئيسي السطوع العام، فإنه لا يستطيع استعادة التفاصيل التي غُسلت تماماً بفعل الشمس أو فُقدت في الظلام الدامس. ولحل ذلك، يضيف النظام طبقة ثانية من الضبط الدقيق التي تنظر إلى مناطق صغيرة من الصورة بشكل فردي. هذه الطبقة مقيدة بعناية بحيث لا يمكنها سوى إجراء تعديلات صغيرة وآمنة، مما يمنعها من ابتكار تفاصيل وهمية أو إنشاء آثار غريبة. والأهم من ذلك، يستخدم النظام تصميماً ذا مسارين للتعامل مع الظلال والإضاءات بشكل منفصل، ودمجهما بطريقة تضمن بقاء النتيجة النهائية ضمن الحدود الممكنة فيزيائياً. هذا يمنع البرمجيات من "هلوسة" تفاصيل لم تكن موجودة أصلاً، مما يبقي عملية الترميم مرتكزة على الواقع.
نتائج هذا النهج مذهلة. فعند اختباره على خمسة معايير مرجعية مختلفة تحتوي على آلاف الصور، تفوق النظام على الأساليب الحالية في كل من الدقة والسرعة. لقد حقق أعلى الدرجات في وضوح الصورة والتشابه الهيكلي، حيث صحح الصور ناقصة التعرض والمفرطة التعرض بمهارة متساوية. ومن المثير للإعجاب أن النظام يعمل في غض- 11.2 ميلي ثانية لكل إطار، مما يجعله سريعاً بما يكفي للاستخدام في الوقت الفعلي على الأجهزة المحمولة. والأكثر إثارة للإعجاب هو أن النظام كان قادراً على إصلاح صور الإضاءة المنخفضة الصرفة دون أن يتم تدريبه عليها مطلقاً، مما يظهر أنه تعلم فهماً عاماً لكيفية عمل الضوء بدلاً من مجرد حفظ أمثلة محددة. ومن خلال الجمع بين تعديل عالمي مضمون رياضياً وإصلاح محلي آمن ومحدد، يقدم AutoLumNet طريقة جديدة لاستعادة المظهر الحقيقي للمشهد من لقطة واحدة غير مثالية.
ملخص تقني: AutoLumNet
بيان المشكلة يهدف تصحيح التعرض بلقطة واحدة (SEC) إلى رسم خريطة لصورة واحدة متدهورة — سواء كانت ناقصة التعرض، أو زائدة التعرض، أو مزيجاً مكانياً من كليهما — للوصول إلى مخرج ذي تعرض جيد. تواجه الأساليب الحالية قيوداً هيكلية كبيرة؛ فأساليب تحسين الصور في الإضاءة المنخفضة (LLIE) تفترض تدهوراً تناقصياً أحادي الاتجاه وتطبق تفتيحاً أحادياً، وعند تطبيقها على مدخلات زائدة التعرض، فإنها تؤدي إلى تفاقم التشبع. وعلى العقص، تتطلب أساليب دمج التعرض المتعدد (MEF) لقطات متعددة متوافقة، وهو أمر نادراً ما يتوفر في السيناريوهات الديناميكية أو محدودة الموارد. علاوة على ذلك، يتم تقييم معظم أساليب SEC الحالية تجريبياً بحتًا، مما يفتقر إلى الضمانات الرسمية بأن الصورة المحسنة تحافظ على الترتيب النسبي لسطوع المشهد. هذا الانتهاك لترتيب السطوع غالباً ما يظهر في شكل عيوب الهالة (halo artifacts)، والانعكاسات النغمية، وفقدان التفاصيل.
المنهجية: AutoLumNet يقترح المؤلفون AutoLumNet، وهو إطار عمل يقوم بتفكيك تصحيح التعرض إلى منحنى نغمة أحادي الاتجاه عالمي وبواقي محلي محدود. تعتمد البنية على ثلاثة مبادئ أساسية:
نموذج التدهور الصادق: تميز الطريقة بين المناطق القابلة للاسترداد رياضياً (حيث يكون رسم الخرائط التوني قابلاً للعكس) والمناطق المشبعة (حيث يعتمد الاسترداد على التقدير القائم على المعرفة المسبقة بدلاً من العكس).
رسم الخرائط التوني الأحادي العالمي (ضمان هيكلي):
يتم تمثيل تصحيح السطوع العالمي Tθ كالتكامل التراكمي المعياري لدالة كثافة موجبة تماماً mθ.
تحديداً، Tθ(y)=∫01mθ(t)dt∫0ymθ(t)dt، حيث يتم توليد mθ عبر مخرج شبكة عصبية يتم تمريره عبر دالة softplus مع حد أدنى موجب ϵ.
يضمن هذا البناء الرتابة الصارمة بالتصميم، بدلاً من فرضها عبر حد جزاء. وبالتالي، تحافظ الخريطة على ترتيب السطوع الزوجي لجميع البكسلات وجميع القيم القصوى المكانية دون استثناء.
يتم اشتقاق منحنى النغمة من واصف عالمي للصورة (التجميع المتوسط العالمي لأعمق ميزة في المشفر)، مما يضمن وجود منحنى واحد بالضبط لكل صورة للحفاظ على ترتيب السطوع المكاني.
محاذاة النقل الأمثل (Optimal Transport Alignment):
ثبت أن عائلة منحنيات النغمة المحددة كثيفة في فضاء تصحيحات النغمة الصالحة وتحتوي على خريطة النقل الأمثل (OT) أحادية البعد من توزيع سطوع المدخلات إلى توزيع مستهدف ذي تعرض جيد.
يستخدم التدريب هدف Wasserstein-2 للعينات المرتبة القابل للتفاضل (Lalign) لدفع المنحنى المتعلم نحو مثالية النقل الأمثل.
البواقي المحلية المحدودة:
للتعامل مع التظليل المحلي، وانزياحات الكروماتين، واستعادة المناطق المشبعة (التي لا يمكن للخريطة العالمية معالجتها)، يتم إضافة باقٍ مكاني محدود rθ.
يتم تقييد الباقي بـ ∣rθ∣≤ρ باستخدام دالة تنشيط tanh لضمان بقاء التصحيح ضمن ميزانية محددة.
يستخدم فك التشفيد آلية دمج محدب ثنائية المسار. حيث يحافظ على شبكات فرعية منفصلة لاستعادة الظلال (Ui) واستعادة الإضاءة العالية (Oi)، ويدمجهما عبر بوابة softmax. يضمن ذلك أن الميزات المدمجة تقع ضمن الغلاف المحدب للمسارين، مما يمنع الاستقراء (extrapolation).
المساهمات الرئيسية
الرتابة الرسمية: يقدم البحث "تمثيلاً بارامترياً رتيباً بالتصميم" يضمن الرتابة الصارمة والحفاظ على ترتيب السطوع العالمي والقيم القصوى المكانية دون الاعتماد على الجزاءات اللينة.
الارتباط بالنقل الأمثل: يثبت البحث أن عائلة المعلمات المقترحة كثيفة في فضاء منحنيات النغمة الصالحة وتحتوي على خريطة النقل الأمثل أحادية البعد، مما يبرر استخدام هدف محاذاة قائم على النقل الأمثل.
الحفاظ الشرطي على الترتيب المحلي: يقدم المؤلفون شرطاً كافياً صريحاً للحفاظ على الترتيب المحلي عند تطبيق الباقي المحدود، مما يوضح حدود التكيف المحلي.
بنية موحدة: يعد AutoLumNet أول طريقة توحد الرتابة الهيكلية، ومثالية النقل الأمثل، والتكيف المحلي المحدود ضمن بنية واحدة قابلة للتدريب لتصحيح اللقطة الواحدة.
النتائج التجريبية أُجريت التجارب على خمسة معايير مرجعية: MSEC، وSICE، وLCDP، وLOL-v1، وLOL-v2-real.
الأداء: يحقق AutoLumNet أعلى مستويات PSNR وSSIM في كل من أنظمة نقص التعرض وزيادة التعرض في MSEC وSICE وLCDP. على سبيل المثال، في MSEC، يحقق 23.75 dB PSNR و0.907 SSIM، متفوقاً على الأساليب السابقة مثل Exposure-Slot وCTAS.
الكفاءة: يعالج النموذج الإطارات بسرعة 11.2 مللي ثانية (حوالي 8.39 مللي ثانية في اختبارات عتادية محددة مذكورة في الجدول IV)، وهو أسرع بكثير من العديد من أساليب التعرض المتعدد المنافسة.
التعميم بدون تدريب (Zero-Shot Generalization): النموذج المدرب حصرياً على مجموعة بيانات MSEC متعددة التعرض يتعمم بشكل تلقائي (zero-shot) على معايير الإضاءة المنخفضة النقية (LOL-v1 وLOL-v2-real) دون إعادة تدريب، محققاً نتائج تنافسية ضد الأساليب المدربة خصيصاً على تلك البيانات.
التحليل النوعي: تُظهر المقارنات البصرية أن AutoLumnet يتجنب عيوب الهالة، وانزياحات الألوان، وفقدان التفاصيل الشائعة في الأساليب الأخرى، خاصة في سيناريوهات التعرض المختلط.
الأهمية يزعم البحث أن AutoLumNet يمثل خطوة كبيرة للأمام من خلال نقل تصحيح التعرض من مجرد تحسين تجريبي بحت إلى إطار عمل ذي ضمانات نظرية رسمية. من خلال ضمان أن خريطة النغمة العالمية رتيبة صارمة بالتصميم، تلغي الطريقة المصدر الرئيسي للفشل في التحسين (الانعكاسات النغمية والهالات). يوفر التكامل مع النقل الأمثل هدفاً مبدئياً لمطابقة التوزيع، بينما يضمن الباقي المحدود التكيف المحلي دون التضحة بالسلامة الهيكلية العالمية. يضع المؤلفون هذا كأول طريقة تنجح في الجمع بين هذه الخصائص الثلاث — الرتابة الهيكلية، ومثالية النقل الأمثل، والتكيف المحلي المحدود — ضمن بنية واحدة.