💻 computer science

NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Multi-Exposure Image Fusion in Dynamic Scenes (Track 2)

تقدم هذه الورقة تحدي NTIRE 2026 الثالث لنموذج استعادة أي صورة (RAIM)، والذي وضع معياراً لدمج الصور متعددة التعريض في المشاهد الديناميكية لمعالجة عيوب مثل التخيل (ghosting) وعدم المحاذاة، مما جذب 114 فريقاً و987 مشاركة لتعزيز قدرات تصوير المدى الديناميكي العالي (HDR).

المؤلفون الأصليون: Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu Chen, Qinquan Gao, Tong Tong, Song Gao, Jiacong Tang, Tao Hu, Xiaowen Ma, Qingsen Yan, Sunhan Xu, Juan Wang, Xinyu Sun, Lei Qi, He Xu, Jiachen Tu, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yaokun Shi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التقاط صورة مثالية لمشهد شارع مزدحم عند غروب الشمس. لديك كاميرا لا تستطيع التقاط كل شيء في لقطة واحدة: فالسماء الساطعة تبدو بيضاء للغاية (محترقة)، والأزقة المظلمة تبدو سوداء تمامًا (ممسوحة).

لحل هذه المشكلة، تلتقط ثلاث أو خمس صور متتالية بسرعة:

صورة ساطعة جدًا (لرؤية الظلال).
صورة مظلمة جدًا (لرؤية السماء).
صورة متوسطة بينهما.

المشكلة: العالم ليس لوحة زيتية؛ إنه كائن حي. بينما كنت تلتقط هذه الصور، مرت سيارة، أو مر شخص، أو اهتزت يدك قليلاً. إذا قمت فقط بوضع هذه الصور فوق بعضها البعض، ستحصل على صورة "شبحية" فوضوية، حيث يبدو الشخص وكأن لديه ثلاثة أذرع، أو تظهر السيارة وكأنها ممتدة عبر الشارع.

التحدي (NTIRE 2026 RAIM Track 2):
يصف هذا البحث مسابقة عالية المخاطر حيث حاولت 114 فرقًا من باحثي الذكاء الاصطناعي بناء "محرر صور رقمي" فائق القدرة. كان هدفهم هو أخذ تلك الصور المتعددة التعريض والمبعثرة وغير المتطابقة، ودمجها في صورة واحدة مثالية وواضحة تمامًا، تبدو وكأنها التُقطت بكاميرا خارقة، رغم أن المشهد كان متحركًا ومهتزًا.

إليك كيف سارت هذه المسابقة، مشروحة من خلال تشبيهات بسيطة:

1. أرض التدريب (مجموعة البيانات)

لم يكتفِ المنظمون بإعطاء الفرق بعض الصور السهلة؛ بل أنشأوا صالة ألعاب رياضية للذكاء الاصطناعي.

التمرين: قدموا لهم 100 "تسلسل تدريبي" (مثل تمارين التدريب) حيث كان على الذكاء الاصطناعي تعلم كيفية التعامل مع السيارات المتحركة، والأضواء الوامضة، والأيدي المهتزة.
الامتحان: بعد ذلك، أعطوهم 100 "تسلسل اختبار" مع عدد أقل من الصور للعمل بها (5 بدلاً من 7)، مما جعل المهمة أصعب. الأمر يشبه طلب إعداد وجبة فاخرة من قبل طاهٍ باستخدام مكونات أقل مما تدرب عليها.

2. قواعد اللعبة (التقييم)

كيف تحكم على ما إذا كان الذكاء الاصطناعي قد قام بعمل جيد؟

بطاقة النتائج: استخدموا مزيجًا من الرياضيات والإحساس البشري.
- PSNR/SSIM: هذه بمثابة مسطرة "دقيقة البكسل". فهي تتحقق مما إذا كانت صورة الذكاء الاصطناعي تطابق الإجابة "المثالية" تمامًا.
- LPIPS: هذا هو اختبار "العين البشرية". فهو يتحقق مما إذا كانت الصورة تبدو طبيعية أم أنها تبدو غريبة وبلاستيكية.
الحكم النهائي: لم يكن الفائز هو من حصل فقط على أعلى درجة رياضية؛ بل كان عليه أيضًا إثبات أن الكود الخاص به يعمل فعليًا ولم يكن يغش.

3. استراتيجيات الفوز (الفرق)

فكر في الفرق كأنهم أنواع مختلفة من الطهاة يحاولون حل نفس مشكلة الوصفة. إليك بعض المتنافسين الأوائل و"خلطاتهم السرية":

WHU-VIP (المحرر الذكي):
- التشبيه: تخيل محرر صور يقرر: "أنا لست بحاجة إلى جميع الصور السبع؛ الصورة الوسطى بالإضافة إلى أسطع وأظلم صورتين تكفيان".
- الحيلة: بنوا نظامًا يتجاهل الأجزاء "المزعجة" من الصور. إذا تحركت سيارة وخلقت طيفًا شبحيًا، فإن الذكاء الاصطناعي لديهم يمتلك "بوابة موثوقية" تقول: "تجاهل هذا البكسل، إنه شبح"، ثم يملأ مكانه بالتفاصيل الصحيحة من صورة أخرى. كما استخدموا استراتيجية "التعلم المنهجي"، حيث علموا الذكاء الاصطناعي المشاهد السهلة أولاً، ثم المشاهد الأصعب، تمامًا مثل المعلم.
SHL (دليل الصورة الكبيرة):
- التشبيه: تخيل محاولة رسم تفصيل صغير على خريطة وأنت معصوب العينين. منح فريق SHL الذكاء الاصطناعي "رؤية شاملة" للمشهد بأكمله (نسخة مصغرة منه) لمساعدته على فهم السياق.
- الحيلة: أضافوا "خسارة علاقة البكسل المجاورة". فكر في هذا كقاعدة صارمة: "إذا كان حافة المبنى مستقيمًا في المدخلات، فيجب أن يظل مستقيمًا في المخرجات". هذا منع الذكاء الاصطناعي من جعل الحواف ضبابية.
nunucccb (محقق الـ Transformer):
- التشبيه: استخدم هذا الفريق "Vision Transformer"، وهو مثل المحقق الذي ينظر إلى الصورة بأكملها دفعة واحدة لفهم العلاقات، بدلاً من مجرد النظر إلى مربع صغير واحد في كل مرة.
- الحيلة: استخدموا آلية "الانتباه المكاني". إنها مثل تسليط الضوء فقط على الأجزاء التي تتحرك في الصورة، لتخبر الذكاء الاصطناعي: "انتبه جيدًا هنا لإصلاح عدم المحاذاة".
I2 Group & Transsion (نساج الموجات):
- التشبيه: تخيل أخذ صورة وفصلها إلى "هيكل" (شكل الأشياء) و"نسيج" (التفاصيل الدقيقة مثل الشعر أو الطوب).
- الحيلة: استخدموا أداة رياضية تسمى "تحويل المويجات" (Wavelet Transform) لتقسيم الصور. قاموا بإصلاح "الهيكل" في مسار واحد، و"النسيج" في مسار آخر، ثم دمجوهما معًا. هذا منع ظهور "الأشباح" التي تحدث عادةً عند محاولة إصلاح كليهما في وقت واحد.

4. النتيجة

الفائز، WHU-VIP، لم يحصل فقط على أعلى درجة رياضية؛ بل وجد التوازن المثالي. لقد أزال "الأشباح" (الصور المزدوجة الضبابية للأشخاص المتحركين) بشكل أفضل من أي شخص آخر مع الحفاظ على التفاصيل الدقيقة حادة.

لماذا يهم هذا؟
هذا ليس مجرد فوز في مسابقة. هذه التكنولوجيا هي ما يجعل كاميرا هاتفك الذكي تعمل. عندما تلتقط صورة في إضاءة منخفضة أو لشخص أليف يتحرك، يقوم هاتفك سرًا بهذا السحر المسمى "دمج التعرض المتعدد" لمنحك صورة واضحة ومشرقة وحادة. يساعد هذا التحدي المهندسين على بناء كاميرات أفضل للمستقبل.

باختًا: علمت 114 فريقًا الذكاء الاصطناعي كيف يكون محرر صور ماهرًا، يتعلم كيفية إصلاح الصور المهتزة والمتحركة وضعيفة الإضاءة وتحويلها إلى لقطة واحدة مثالية. لقد أثبت الفائز أن أفضل ذكاء اصطناعي لا يكتفي بمعالجة الأرقام فحسب؛ بل يفهم "قصة" الصورة.

1. تعريف المشكلة

يتناول هذا البحث تحدي دمج الصور متعددة التعريض (MEF) في المشاهد الديناميكية. وخلافًا للمعايير المرجعية الثابتة، تتضمن التصوير الفوتوغرافي في العالم الحقيقي:

حركة المشهد: الأجسام المتحركة بين لقطات التعريض المختلفة.
اهتزاز الكاميرا: عدم الاستقرار عند التصوير باليد مما يسبب عدم محاذاة عالمي.
تباين الإضاءة: التغيرات في ظروف الإضاءة بين الإطارات.
تدرج التعريض (Exposure Bracketing): دمج الإطارات ذات مستويات التعريض المختلفة (EV) لاستعادة تفاصيل المدى الديناميكي العالي (HDR).

تكمن الصعوبة الجوهرية في دمج هذه الإطارات لإنتاج صورة واحدة عالية الجودة دون آثار الشبح (ghosting artifacts)، أو عدم المحاذاة، أو تشوه الألوان، مع الحفاظ على الكفاءة الحسابية للنشر على الهواتف المحمولة.

2. تصميم مجموعة البيانات والمعيار المرجعي

قدم المنظمون معيارًا مرجعيًا جديدًا صُمم خصيصًا ليعكس قيود التصوير الواقعي للهواتف المحمولة:

مجموعة التدريب: 100 تسلسل، يحتوي كل منها على 7 مستويات تعريض. مقترنة بصور دمج مرجعية للتعلم الخاضع للإشراف.
مجموعة الاختبار: 100 تسلسل، يحتوي كل منها على 5 مستويات تعريض. إن تقليل عدد الإطارات يزيد من درجة الصعوبة، مما يتطلب من الطرق أن تظل مستقرة باستخدام معلومات أقل.
الخصائص الرئيسية: تتضمن مجموعة البيانات حركة الأجسام، والتشبع الموضعي/نقص التعريض، وعدم المحاذاة العالمي، مما يجعلها مناسبة لتقييم المتانة ضد الآثار الديناميكية.

3. بروتوكول التقييم

استخدم التحدي استراتيجية تقييم متعددة الأبعاد:

المقاييس الكمية: درجة لوحة الصدارة المركبة المستمدة من PSNR و SSIM و LPIPS (تشابه رقع الصور الإدراكي المتعلم).
- الصيغة: $Score = 30 \cdot \frac{PSNR}{50} + 22.5 \cdot \frac{SSIM - 0.5}{0.5} + 30 \cdot (1 - \frac{LPIPS}{0.4})$ .
المقاييس الثانوية: DISTS، وNIQE، والتقييمات النوعية الذاتية.
قيود الكفاءة: تم تسجيل وقت التشغيل، وعدد المعلمات (parameters)، وعمليات الفاصلة العائمة (FLOPs) لضمان القابلية للتطبيق العملي.
قابلية التكرار: تطلب التصنيف النهائي تقديم كود قابل للتشغيل وأوزان مدربة مسبقًا للتحقق من إمكانية تكرار درجات لوحة الصدارة محليًا.

4. المنهجية: النهج الأكثر أداءً

جذب التحدي 114 فريقًا بـ 987 مشاركة. استخدمت الطرق الأعلى أداءً استراتيجيات معمارية متنوعة:

WHU-VIP (الفائز):
- المعمارية: تعتمد على AFUNet (بنية Swin Transformer).
- الابتكارات الرئيسية:
  - تقليل المدخلات: يستخدم 3 إطارات فقط (0 EV، و ±2 EV) بدلاً من جميع الإطارات المتاحة لتقليل آثار الحركة وتحسين الكفاءة.
  - تحويل الميزات المكانية (SFT): يعدل الميزات مكانيًا بناءً على الإضاءة المحلية.
  - DCM-RG (وحدة اتساق البيانات مع بوابات الموثوقية): تتنبأ ببوابات على مستوى البكسل لقمع المناطق غير الموثوقة (غير المحاذية أو المفرطة/الناقصة في التعريض) أثناء الدمج.
  - التعلم المنهجي (Curriculum Learning): استراتيجية تدريب مكونة من 4 مراحل تتدرج من المحاذاة الأساسية إلى التحسين الإدراكي والتدريب الواعي بالكمية (quantization-aware training).
SHL (المركز الثاني):
- الاستراتيجية: توجيه عالمي خفيف الوزن.
- الآلية: دمج صورة كاملة الدقة منخفضة العينة كسابقة سياق عالمي قبل مدخلات النموذج.
- دالة الخسارة: تقدم خسارة علاقات البكسل المجاورة (NPR Loss) لتقييد الاتساق الهيكلي المحلي صراحةً والحفاظ على التفاصيل عالية التردد، مما يمنع الضبابية.
- التجميع (Ensemble): يجمع بين تنبؤات ثلاث بنيات مختلفة (Restormer، وUformer، وMST++) عبر المتوسط الموزون.
nunucccb (المركز الثالث):
- المعمارية: تعتمد على HDR-Transformer المبني على Vision Transformer السياقي (CA-ViT).
- الآلية: يستخدم الانتباه المكاني لمحاذاة الميزات غير المرجعية مقابل ميزة مرجعية ( $f_3$ ) لقمع آثار حركة المقدمة. يتبع ذلك شبكة إعادة بناء باستخدام التلافيف المتسعة (dilated convolutions) لتوسيع مجال الاستقبال.
untrafusion:
- الاستراتيجية: إطار عمل متكامل لنمذجة أولويات التعريض الفيزيائية.
- الآلية: يستخدم وحدة محاذاة التعريض الموجهة بأولوية السطوع للتعامل مع الاختلافات الكبيرة في قيم البكسل. يستخدم استراتيجية تدريب متطورة النطاق (التجزئة التدريجية) للتعامل مع الضوضاء والآثار الهيكلية في نطاق JPG غير الخطي.
I2 Group & Transsion:
- الاستراتيجية: التفكيك القائم على الموجات (Wavelet-based).
- الآلية: يفصل المدخلات إلى مكونات ذات تردد منخفض (LF) وتردد عالٍ (HF) باستخدام تحويل الموجات المتقطع (DWT).
  - فرع التردد المنخفض (LF): يستخدم DehazeFormer-s للشدة والاعتمادات طويلة المدى.
  - فرع التردد العالي (HF): يستخدم وحدة دمج متبقية خفيفة الوزن لتنقية التفاصيل دون إدخال آثار الشبح.
NTR:
- الاستراتيجية: الانتشار المتوافق مع المقاييس (Metric-aligned diffusion).
- الآلية: يقوم بضبط دقيق لـ مشفر تلقائي انتشار مقنع (TimeDiffiT) مع شبكة U-Net مشروطة بالزمن. يتم تحسين دالة الخسارة صراحةً لتطابق درجة التحدي الرسمية (التي تجمع بين L1 وSSIM وLPIPS).

5. النتائج الرئيسية

الفائز: حقق WHU-VIP أعلى درجة نهائية (58.889)، مما أظهر أفضل توازن بين PSNR وSSIM والجودة الإدراكية (LPIPS).
اتجاهات الأداء:
- حقق SHL أعلى قيم خام لـ PSNR وSSIM ولكنه عانى قليلاً في الجودة الإدراكية (LPIPS)، مما أدى إلى ترتيب أدنى إجمالاً.
- المتانة: حافظت الفرق الثلاثة الأولى على أداء مستقر عبر كل من المرحلة الأولى والمرحلة الثانية من الاختبار، بينما أظهرت الفرق ذات التصنيف الأدنى انخفاضًا كبيرًا في الأداء، مما يسلط الض الضوء على صعوبة التعميم على الحركة غير المرئية وتغيرات التعريض.
الجودة البصرية: نجحت الطرق الفائزة في قمع آثار الشبح والحفاظ على الأنسجة الدقيقة في المناطق الديناميكية الصعبة مقارنة بالطرق الأساسية.

6. الأهمية والمساهمات

سد الفجوة: نجح التحدي في تقليص الفجوة بين البحث الأكادى والنشر العملي لتقنية HDR على الهواتف المحمولة من خلال فرض قيود الكفاءة واستخدام مجموعة بيانات ديناميكية من الواقع.
معيار مرجعي جديد: وضع معيارًا مرجعيًا قابلاً للتكرار لدمج الصور متعددة التعريض في المشاهد الديناميكية، مع التركيز على المتانة ضد الحركة وقمع الآثار، متجاوزًا افتراضات المشاهد الثابتة.
رؤى منهجية: أثبت أن التعلم المنهجي، وأولويات التوجيه العالمي، والتفكيك الموجي، والتدريب المتوافق مع المقاييس هي استراتيجيات فعالة للتعامل مع الدمج الديناميكي.
توافر الموارد: أطلق المنظمون مجموعة البيانات، والصور المرجعية، والكود الخاص بجميع الفرق المشاركة، مما يعزز المزيد من الأبح في مجال التصوير الحاسوبي.

يؤكد هذا العمل أنه بينما يمكن تحقيق إعادة بناء عالية الدقة، فإن التحدي الرئيسي في دمج الصور متعددة التعريض الديناميكي يظل في التعامل المتسق مع عدم المحاذاة وآثار الشبح دون التضحية بالطبيعة الإدراكية أو الكفاءة الحسابية.