💻 computer science

On the Global Photometric Alignment for Low-Level Vision

تحدد هذه الورقة أن عدم الاتساق الضوئي في بيانات التدريب المزدوجة يسبب اعتلالات في التحسين في نماذج الرؤية منخفضة المستوى الخاضعة للإشراف، وتقترح فقدان محاذاة ضوئية (PAL) مبتكرًا يعالج هذه المشكلة عبر فصل التباينات الضوئية المزعجة عن المحتوى الهيكلي من خلال محاذاة لونية تآلفية ذات صيغة مغلقة، مما يحسن الأداء والتعميم عبر مختلف المهام والبنى الهيكلية.

المؤلفون الأصليون: Mingjia Li, Tianle Du, Hainuo Wang, Qiming Hu, Xiaojie Guo

نُشر 2026-04-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mingjia Li, Tianle Du, Hainuo Wang, Qiming Hu, Xiaojie Guo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية إصلاح الصور التالفة. تعرض عليه الآلاف من الأزواج: صورة "تالفة" على اليسار، وصورة "مثالية" على اليمين. مهمة الروبوت هي تعلم كيفية تحويل الصورة التالفة إلى الصورة المثالية.

عادةً، نحن نعلم الروبوتات عبر قول: "انظر إلى كل بكسل على حدة. إذا كان توقعك مختلفاً ولو بجزء بسيط عن الصورة المثالية، فقد ارتكبت خطأً. حاول إصلاح هذا البكسل تحديداً".

المشكلة: "المعلم المشوش"
اكتشف مؤلفو هذه الورقة البحثية عيباً خفياً في طريقة التدريس هذه. أدركوا أنه في العديد من مجموعات بيانات الصور، لا تكون الصور "المثالية" متطابقة تماماً مع الصور "التالفة" من حيث الإضاءة واللون.

فكر في الأمر كالتالي:

المهمة 1 (إضاءة منخفضة): تظهر للروبوت صورة مظلمة وصورة ساطعة. يحتاج الروبوت لتعلم كيفية رفع السطوع.
المهمة 2 (تحت الماء): تظهر له صورة ذات مسحة زرقاء وصورة واضحة. يحتاج الروبوت لتعلم كيفية إزالة اللون الأزرق.
المهمة 3 (إزالة المطر): من المفترض أن تظل الألوان كما هي، لكن ربما تم التقاط الصورة "المثالية" بإعدادات كاميرا مختلفة قليلاً، مما يجعلها تبدو أكثر دفئاً أو برودة.

المشكلة هي أن الروبوت يصاب بالارتباك. فهو يرى زوجاً تكون فيه الصورة "المثالية" أكثر سطوعاً، وزوجاً آخر تكون فيه أكثر زرقة. يحاول الروبوت تعلم قاعدة لكل بكسل ليتطابق تماماً مع الهدف.

بسبب الاختلاف في السطوع واللون (القياس الضوئي/photometry) الذي يكون ضخماً ويؤثر على كامل الصورة، فإنه يطغى على التفاصيل الصغيرة والمهمة مثل الحواف، والقوام، والأشكال (البنية/structure).

التشبيه: الحشد الصاخب
تخيل أن الروبوت يحاول الاستماع إلى موسيقي هادئ (البنية/القوام في الصورة) داخل غرفة.

عدم الاتساق الضوئي يشبه حشداً صاخباً يصرخ (تغيرات السطوع واللون الشاملة).
الحشد يصرخ أشياء مختلفة في أوقات مختلفة ("اجعلها أكثر سطوعاً!"، "اجعلها أكثر زرقة!"، "اجعلها أكثر دفئاً!").
ولأن الحشد صاخب جداً ويغطي الغرفة بأكملها، لا يستطيع الروبوت سماع الموسيقى. فهو يبذل كل طاقته في محاولة الصراخ رداً على الحشد ليتساوى معهم في مستوى الصوت، متجاهلاً الموسيقى تماماً.

النتيجة؟ يصبح الروبوت جيداً في تغيير الألوان، ولكنه سيء في إصلاح الضرر الفعلي (مثل إزالة المطر أو الضباب).

الحل: "الفلتر الذكي" (PAL)
ابتكر المؤلفون أداة جديدة تسمى فقدان المحاذاة الضوئية (Photometric Alignment Loss - PAL).

بدلاً من الصراخ على الروبوت لمطابقة كل بكسل بدقة، يعمل PAL مثل سماعات إلغاء الضوضاء الذكية:

يستمع أولاً: قبل الحكم على عمل الروبوت، يقوم بعملية حسابية سريعة: "أوه، هذه الصورة 'المثالية' تحديداً هي فقط أكثر سطوعاً بنسبة 20% وتميل للون الأحمر قليلاً عن الصورة التالفة. هذا مجرد اختلاف في الإضاءة، وليس خطأً في البنية".
يعدل الهدف: يقوم "بخفض" ذلك الفرق في السطوع واللون رياضياً قبل مقارنة الصور. يقول: "حسناً، لنتجاهل حقيقة أن الصورة المستهدفة أكثر سطوعاً. لنرى فقط ما إذا كان الروبوت قد أزال المطر".
يركز على الموسيقى: الآن، يمكن للروبوت أخيراً سماع الموسيقي الهادئ. يمكنه تركيز طاقته على استعادة القوام، والحواف، والتفاصيل لأن "الحشد الصاخب" (تغيرات اللون) قد تم إسكاته.

لماذا هذا أمر رائع؟

إنه سريع: الرياضيات اللازمة للقيام بعملية "الخفض" هذه بسيطة وسريعة للغاية (مثل خدعة ذهنية سريعة). إنها لا تبطئ عملية التدريب.
إنه عالمي: يعمل سواء كانت المشكلة هي إصلاح الصور المظلمة، أو الصور تحت الماء، أو إزالة المطر. إنه يعمل على أي نوع من أنواع ترميم الصور تقريباً.
إنه أذكى: من خلال تجاهل "الضجيج" الناتج عن اختلافات الإضاءة، يتعلم الروبوت كيفية ترميم الصورة فعلياً، وليس مجرد تغيير لونها.

باخت-الاختصار
تقول الورقة البحثية: "توقفوا عن إجبار الذكاء الاصطناعي على مطابقة اللون الدقيق لكل صورة مرجعية. أحياناً تكون الصورة المرجعية تمتلك فقط إعدادات كاميرا مختلفة. أصلحوا فرق الإضاءة أولاً، ثم علموا الذكاء الاصطناعي كيفية إصلاح الضرر الفعلي".

من خلال القيام بذلك، يصبح الذكاء الاصطناعي أفضل بكثير في أداء مهمته، مما ينتج صوراً أكثر وضوحاً وطبيعية عبر مختلف المهام.

1. بيان المشكلة: عدم الاتساق الضوئي لكل زوج (Per-Pair Photometric Inconsistency)

تحدد الورقة البحثية خللاً جوهرياً في عملية التحسين (optimization pathology) في مهام الرؤية منخفضة المستوى الخاضعة للإشراف (مثل تحسين الصور، الترميم، وإزالة الضباب). بينما تعتمد النماذج القياسية على خسائر تعتمد على البكسل (مثل MSE أو L1) مقابل صور الحقيقة الأرضية (GT) المقترنة، تعاني مجموعات البيانات هذه من عدم اتساق ضوئي لكل زوج.

المشكلة: غالباً ما تتطلب أزواج الصور المختلفة داخل نفس مجموعة البيانات خرائط عالمية (global mappings) مختلفة للسطوع، واللون، وتوازن اللون الأبيض.
مصادر عدم الاتساق:
1. متأصل في المهمة (Task-Intrinsic): في مهكات التحسين (مثل الإضاءة المنخفضة أو التصوير تحت الماء)، تختلف الحقيقة الأرضية (GT) عمداً عن المدخلات. ومع ذلك، فإن الخريطة المحددة تختلف لكل زوج بناءً على ظروف الالتقاط والقصد من المعالجة.
2. ناجم عن عملية الاستحواذ (Acquisition-Induced): في مهام الترميم (مثل إزالة الضباب أو المطر)، يجب أن تتطابق الحقيقة الأرضية نظرياً مع الضوئيات (photometry) للمدخلات. ومع ذلك، فإن جمع البيانات في العالم الحقيقي يؤدي إلى حدوث انزياحات غير مقصودة في التعرض، أو توازن اللون الأبيض، أو درجة حرارة اللون بين الأزواج.
النتيجة: الخسائر القياسية المعتمدة على البكسل حساسة بشكل مفرط لهذه الانزياحات العالمية. ولأن الأخطاء الضوئية كثيفة مكانياً (تؤثر على جميع البكسلات) بينما الأخطاء الهيكلية (النسيج، الحواف) متفرقة، فإن المكون الضوئي يهيمن على ميزانية طاقة التدرج (gradient energy budget). يستهلك الشبكة قدرتها في محاولة حل التضاربات الضوئية بدلاً من تعلم ترميم المحتوى، مما يؤدي إلى أداء دون المستوى وتعميم ضعيف.

2. المنهجية: خسارة المحاذاة الضوئية (Photometric Alignment Loss - PAL)

لمعالجة ذلك، تقترح الورقة خسارة المحاذاة الضوئية (PAL)، وهي هدف إشرافي مرن يقوم صراحةً بتجاهل الاختلافات الضوئية المزعجة قبل حساب خطأ إعادة البناء.

الأساس النظري

التفكيك المتعامد (Orthogonal Decomposition): يثبت المؤلفون أنه تحت تفكيك المربعات الصغرى (least-squares decomposition)، يمكن تقسيم المتبقي (residual) بين التنبؤ ( $\hat{I}$ $\hat{I}$ ) والهدف ( $I_{gt}$ $I_{g t}$ ) إلى مكونين متعامدين:
1. المكون الضوئي ( $\Delta_p$ ): تحويل لوني أفيني عالمي (global affine color transformation).
2. المكون الهيكلي ( $\Delta_s$ ): المحتوى ذو الصلة بالترميم (النسيج، الحواف).
هيمنة التدرج: يوضح المؤلفون أن طاقة التدرج للمكون الضوئي تتناسب مع إجمالي عدد البكسلات ( $N$ )، بينما يتناسب الخطأ الهيكلي مع عدد البكسلات الهيكلية المتفرقة ( $M$ ). وبما أن $N \gg M$ ، فإن التدرج الضوئي يطغى على الإشارة الهيكلية ( $\rho \to 1$ ).

خوارزمية PAL

تنمذج PAL التباين الضوئي كـ تحويل لوني أفيني عالمي:
$I_{gt} \approx C\hat{I} + b$
حيث $C$ هي مصفوفة $3 \times 3$ (تتعامل مع الاقتران بين القنوات، والتعرض، ودرجة حرارة اللون) و $b$ هو متجه انحياز $3 \times 1$ (يتعامل مع الإزاحات الجمعية).

الحل المغلق (Closed-Form Solution): يتم حساب المعلمات المثلى $(C^*, b^*)$ عبر انحدار ريدج (Ridge Regression) (المربعات الصغرى مع تنظيم $L_2$ ) لض ضمان الاستقرار العددي، خاصة عندما تكون المدخلات ذات تباين لوني منخفض (مثل المناطق أحادية اللون).
$C^* = \text{Cov}(I_{gt}, \hat{I}) \left( \text{Cov}(\hat{I}, \hat{I}) + \epsilon E \right)^{-1}$
$b^* = \mu_{gt} - C^* \mu_{\hat{I}}$
حساب الخسارة: يتم حساب الخسارة على المتبقي المحاذى (aligned residual):
$L_{PAL} = \| (C^*\hat{I} + b^*) - I_{gt} \|$
التكامل: تُحسب الخسارة الإجمالية كمجموع مرجح لخسارة البكسل القياسية وحدّ PAL: $L_{total} = L_{pixel} + \alpha L_{PAL}$ $L_{t o t a l} = L_{p i x e l} + α L_{P A L}$ .
- من الضروري معاملة $C^*$ و $b^*$ كثوابت (إيقاف التدرج/stop-gradient) أثناء الانتشار العكسي لمنع الشبكة من تقليل الخسارة بشكل تافه دون تحسين المحتوى الهيكلي.
- التكلفة الحسابية ضئيلة جداً (حوالي 0.01% من تكلفة النموذج الأساسي).

التعامل مع التباينات المكانية

بالنسبة للمهام التي لا تكون فيها التحولات الضوئية عالمية بحتة (مثل إزالة الظلال حيث تختلف مناطق الظل عن غير الظل)، يمكن توسيع PAL باستخدام قناع (mask) لحساب تحويلات أفينية منفصلة لمناطق مكانية مختلفة.

3. المساهمات الرئيسية

تشخيص موحد: تحديد عدم الاتساق الضوئي لكل زوج كونه مصدراً موحداً لتشويه التحسين في الرؤية منخفضة المستوى المقترنة، والناجم عن كل من المتطلبات الجوهرية للمهمة وعيوب الاستحواذ.
دالة خسارة مبتكرة: اقتراح PAL، وهي خسارة ذات حل مغلق وغير مرتبطة بمهمة محددة، تقوم بإزالة المكون الضوئي المزعج من إشارة التدرج مع الحفاظ على الإشراف على المحتوى. وهي تتطلب فقط إحصائيات التغاير (covariance statistics) وعملية عكس مصفوفة صغيرة جداً.
التحقق المكثف: التحقق من الطريقة عبر 6 مهام، و 16 مجموعة بيانات، و 16 بنية نموذجية، مما أظهر تحسناً ثابتاً في مقاييس الدقة والتعميم.

4. النتائج التجريبية

قيم المؤلفون PAL عبر مجموعة واسعة من مهام الرؤية منخفضة المستوى:

المهام ذات النقل الجوهري (التحسين - Enhancement):
- تحسين الصور في الإضاءة المنخفضة (LLIE): تم الاختبار على LOLv1 و LOLv2-real و LOLv2-syn. حسنت PAL قيمة PSNR بما يصل إلى +1.13 dB (في Retinexformer على LOLv1) وحسنت باستمرار قيم SSIM و LPIPS عبر جميع البنيات (MIRNet, Uformer, Retinexformer, CIDNet).
- تحسين الصور تحت الماء (UIE): في مجموعة بيانات EUVP، حسنت PAL قيمة PSNR بمقدار +0.57 إلى +0.65 dB عبر الشبكات المختلفة.
المهام ذات عدم التطابق الناجم عن الاستحواذ (الترميم - Restoration):
- إزالة الضباب والضباب الليلي: في مجموعتي بيانات RESIDE-SOTS-Indoor و NHR، قللت PAL من آثار تلوين البقايا وحسنت PSNR (على سبيل المثال، +0.85 dB لـ NAFNet على NHR).
- الترميم الشامل (All-in-One Restoration): في التدريب متعدد مجموعات البيانات (ثلج، مطر، ضباب)، تعاملت PAL مع عدم الاتساق الضوئي المركب، مما حقق مكاسب ثابتة في Histoformer و MODEM.
المهام الهجينة:
- إزالة الظلال: باستخدام نسخة مقنعة من PAL على مجموعة بيانات ISTD، حسنت الطريقة PSNR بمقدار +0.33 إلى +0.47 dB، مما عالج بفعالية وجود التحولات الجوهرية والمستحثة بالاستحواذ معاً.
التعميم:
- أظهرت النماذج المدربة باستخدام PAL على مجموعات بيانات LOL أداءً فائقاً على مجموعات بيانات غير مقترنة وغير مرئية (DICM, LIME, MEF, إل•) عند تقييمها بمقاييس غير مرجعية (IQA, IAA)، مما يشير إلى تقليل الإفراط في التخصيص (overfitting) لضوئيات تدريب محددة.

5. الأهمية والمقارنة

مقابل الطرق الحالية: على عكس الخسائر الإدراكية (perceptual losses) (التي تكون مكلفة حاسوبياً وغير مباشرة) أو الفضاءات اللونية البديلة (التي تعيد التنظيم ولكن لا تقضي على المشكلة)، تعمل PAL مباشرة في فضاء RGB لإزالة المكون المزعج صراحةً.
مقابل GT-Mean: تقارن الورقة بين PAL و GT-Mean (محاذاة السطوع القياسي). نموذج PAL الأفيني الكامل (12 معلمة) يلتقط الاقتران بين القنوات والانحيازات الجمعية التي يفتقدها GT-Mean (معلمة واحدة)، مما يؤدي إلى أداء متفوق حتى في مهام الإضاءة المنخفضة التي صُمم لها GT-Mean في الأصل.
الأثر: توفر PAL وحدة بسيطة وسهلة الدمج (plug-and-play) تحسن بشكل كبير كفاءة التدريب وجودة المخرجات لنماذج الرؤية منخفضة المستوى من خلال ضمان تركيز إشارة التدرج على الترميم الهيكلي بدلاً من المطابقة اللونية العالمية.

في الختام، تجادل الورقة بأن عدم الاتساق الضوئي هو عامل مهيمن وغالباً ما يتم تجاهله في تدريب الرؤية منخفضة المستوى. ومن خلال فصل هذا عدم الاتساق رياضياً عن إشارة الإشراف عبر PAL، يمكن للنماذج تعلم خرائط ترميم أكثر قوة وفعالية.