💻 computer science

NTIRE 2026 3D Restoration and Reconstruction in Real-world Adverse Conditions: RealX3D Challenge Results

تقدم هذه الورقة نتائج تحدي NTIRE 2026 RealX3D، الذي قيّم أساليب 33 فريقاً للترميم وإعادة البناء ثلاثي الأبعاد القوي في بيئات شديدة انخفاض الإضاءة ومتدهورة بسبب الدخان، مع تسليط الضوء على مبادئ التصميم الرئيسية والتقدم الملحوظ في التعامل مع تدهور المشاهد في العالم الحقيقي.

المؤلفون الأصليون: Shuhong Liu, Chenyu Bao, Ziteng Cui, Xuangeng Chu, Bin Ren, Lin Gu, Xiang Chen, Mingrui Li, Long Ma, Marcos V. Conde, Radu Timofte, Yun Liu, Ryo Umagami, Tomohiro Hashimoto, Zijian Hu, Yuan Gan, Tianh

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuhong Liu, Chenyu Bao, Ziteng Cui, Xuangeng Chu, Bin Ren, Lin Gu, Xiang Chen, Mingrui Li, Long Ma, Marcos V. Conde, Radu Timofte, Yun Liu, Ryo Umagami, Tomohiro Hashimoto, Zijian Hu, Yuan Gan, Tianhan Xu, Yusuke Kurose, Tatsuya Harada, Junwei Yuan, Gengjia Chang, Xining Ge, Mache You, Qida Cao, Zeliang Li, Xinyuan Hu, Hongde Gu, Changyue Shi, Jiajun Ding, Zhou Yu, Jun Yu, Seungsang Oh, Fei Wang, Donggun Kim, Zhiliang Wu, Seho Ahn, Xinye Zheng, Kun Li, Yanyan Wei, Weisi Lin, Dizhe Zhang, Yuchao Chen, Meixi Song, Hanqing Wang, Haoran Feng, Lu Qi, Jiaao Shan, Yang Gu, Jiacheng Liu, Shiyu Liu, Kui Jiang, Junjun Jiang, Runyu Zhu, Sixun Dong, Qingxia Ye, Zhiqiang Zhang, Zhihua Xu, Zhiwei Wang, Phan The Son, Zhimiao Shi, Zixuan Guo, Xueming Fu, Lixia Han, Changhe Liu, Zhenyu Zhao, Manabu Tsukada, Zheng Zhang, Zihan Zhai, Tingting Li, Ziyang Zheng, Yuhao Liu, Dingju Wang, Jeongbin You, Younghyuk Kim, Il-Youp Kwak, Mingzhe Lyu, Junbo Yang, Wenhan Yang, Hongsen Zhang, Jinqiang Cui, Hong Zhang, Haojie Guo, Hantang Li, Qiang Zhu, Bowen He, Xiandong Meng, Debin Zhao, Xiaopeng Fan, Wei Zhou, Linzhe Jiang, Linfeng Li, Louzhe Xu, Qi Xu, Hang Song, Chenkun Guo, Weizhi Nie, Yufei Li, Xingan Zhan, Zhanqi Shi, Dufeng Zhang, Boyuan Tian, Jingshuo Zeng, Gang He, Yubao Fu, Weijie Wang, Cunchuan Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مثالي لغرفة باستخدام مجموعة من الصور. عادةً، ستلتقط هذه الصور في طقس مشمس وصافٍ. ولكن ماذا لو حاولت القيام بذلك في كهف شديد الظلمة أو أثناء الوقوف داخل سحابة كثيفة من الدخان؟ ستكون الصور مظلمة، أو ضبابية، أو مليئة بـ "الضباب"، مما يجعل من المستحيل تقريبًا معرفة أين توجد الجدران أو كيف يبدو شكل الأثاث.

هذه الورقة البحثية هي بمثابة "تقرير درجات" لمسابقة عالمية تسمى NTIRE 2026، حيث حاول 33 فريقًا من العلماء والمهندسين حل هذه المشكلة بالضبط. كان هدفهم هو اكتشاف كيفية تحويل هذه الصور "التالفة" (سواء كانت مظلمة جدًا أو مليئة بالدخان) إلى نموذج ثلاثي الأبعاد واضح ودقيق.

إليك شرح بسيط لما حدث، وكيف فعلوا ذلك، ومن فاز.

التحدي: كارثتان مختلفتان

تضمن المسابقة مسارين، مثل مستويين مختلفين في لعبة فيديو:

المسار الأول (الغرفة المظلمة): تعين على الفرق إصلاح الصور الملتقطة في إضاءة منخفضة للغاية.
المسار الثاني (آلة الدخان): تعين على الفرق إصلاح الصور الملتقطة عبر دخان كثيف.

استخدموا مجموعة بيانات خاصة تسمى RealX3D، والتي تحتوي على مشاهد من العالم الحقيقي تم التقاطها في هذه الظروف السيئة. كان على الفرق تغذية حواسيبهم بهذه الصور السيئة والحصول على صورة ثلاثية الأبعاد نظيفة من الجانب الآخر.

السلاح السري: "3DGS"

استخدم الجميع تقريبًا تقنية تسمى 3D Gaussian Splatting (3DGS).

التشبيه: تخيل أنك تحاول رسم منحوتة ثلاثية الأبعاد. بدلاً من استخدام كتلة صلبة من الطين، تستخدم الملايين من كرات الطلاء الصغيرة والهشة (Gaussians). تقوم برمي هذه الكرات في الهواء، وهي تلتصق معًا لتشكل شكل الجسم.
المشكلة: عندما تكون الصور مظلمة أو مليئة بالدخان، يصاب الكمبيوتر بالارتباك حول مكان وضع الكرات. قد يعتقد أن الظل هو ثقب، أو أن الدخان هو جدار.
الحالح: كان على الفرق ابتكار طرق ذكية لـ "تنظيف" الصور قبل أو أثناء رمي كرات الطلاء، حتى يعرف الكمبيوتر تمامًا كيف يبدو الجسم الحقيقي.

كيف فعل الفائزون ذلك (الاستراتيجيات)

استخدمت الفرق بعض الحيل الإبداعية للفوز. إليك بعض الأمثلة على أساليبهم:

نهج "العمل الجماعي" (FuME-GS): بدلاً من الاعتماد على طريقة واحدة لإصلاح الصور المظلمة، استخدم هذا الفريق أربعة "مصلحين" مختلفين في نفس الوقت. الأمر يشبه طلب أربعة مرممين فنيين مختلفين لإصلاح لوحة، ثم دمج أفضل أجزاء عملهم لصنع صورة واحدة مثالية.
"الوحش ثلاثي الرؤوس" (CISP-GS): بنى هذا الفريق نظامًا يتكون من ثلاثة فروع مختلفة. ركز أحد الفروع على السطوع، والآخر على إعدادات الكاميرا، والثالث على التفاصيل الدقيقة. جعلوا الفروع الثلاثة تعمل معًا ودمجوا نتائجها للحصول على صورة فائقة الاستقرار.
"محقق الفيزياء" (Smoke-GS & GenSmoke-GS): بالنسبة لتحدي الدخان، لم يحاول بعض الفرق مجرد "مسح" الدخان. بل بنوا نموذجًا رياضيًا لكيفية سلوك الدخان (مثل كيفية تشتت الضوء). لقد علموا الكمبيوتر قواعد فيزياء الدخان حتى يتمكن من طرح الدخان رياضيًا من الصورة، بدلاً من مجرد التخمين.
"الفنان التوليدي" (GenSmoke-GS): استخدم أحد الفرق ذكاءً اصطناعيًا قويًا (نموذج لغوي كبير متعدد الوسائط) ليعمل كفنان. أخبروا الذكاء الاصطناعي: "هذه صورة مليئة بالدخان؛ يرجى إعادة رسم التفاصيل التي لا يمكنك رؤيتها، ولكن لا تغير شكل المبنى". قام الذكاء الاصطناعي بملء التفاصيل المفقودة بناءً على ما يعرفه عن العالم.

النتائج

من بين 279 شخصًا سجلوا في المسابقة، تمكن 33 فريقًا فقط من إنهاء التحدي بحل فعال.

الفائزون:
- بالنسبة للغرفة المظلمة: فاز الفريق DimV بطريقتهم المسماة FuME-GS. لقد حصلوا على أوضح صورة من خلال دمج تقنيات تحسين متعددة.
- بالنسبة للدخان: فاز الفريق PLBBL بطريقتهم GenSmoke-GS. لقد استخدموا مزيجًا من الفيزياء والذكاء الاصطناعي التوليدي لتنقية الجو.

لماذا هذا مهم؟

تخلص الورقة البحثية إلى أنه بينما أصبحنا جيدين جدًا في صنع نماذج ثلاثية الأبعاد في استوديوهات مثالية، فإن العالم الحقيقي فوضوي. لقد أظهر لنا هؤلاء الفائزون أنه من خلال الجمع بين تنظيف الصور (إصلاح الصورة) وإعادة البناء ثلاثي الأبعاد (بناء النموذج)، يمكننا أخيرًا الرؤية من خلال الظلام والدخان.

الورقة لا تعد بأن هاتفك سيقوم بهذا غدًا، لكنها تثبت أن التكنولوجيا تتحرك في الاتجاه الصحيح. يأمل المنظمون أن يساعد هذا الروبوتات المستقبلية والسيارات ذاتية القيادة على التنقل بأمان حتى عندما يكون الجو شديد الظلمة أو ضبابيًا في الخارج.

باختًا: كانت سباقًا لمعرفة من يمكنه الأفضل في تنظيف صورة فوضوية وتحويلها إلى عالم ثلاثي الأبعاد واضح، وقد أثبت الفائزون أنه مع المزيج الصحيح من الرياضيات والفيزياء والذكاء الاصطناعي، يمكن إعادة بناء حتى أكثر المشاهد ظلمة ودخانًا.

إليك ملخص تقني مفصل لورقة البحث "NTIRE 2026 3D Restoration and Reconstruction in Real-world Adverse Conditions: RealX3D Challenge Results."

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في إعادة بناء المشاهد ثلاثية الأبعاد (تحديداً باستخدام حقول الإشعاع العصبية و3D Gaussian Splatting) في ظل الظروف الواقعية القاسية. فبينما تؤدي الطرق الحالية المتطورة (مثل NeRF و3DGS) أداءً جيداً في البيئات المنضبطة والنظيفة، إلا أنها تفشل بشكل كبير عندما تكون الصور المدخلة متدهورة بسبب:

الإضاءة المنخفضة الشديدة: مما يؤدي إلى الضجيج، وفقدان الملمس، وضعف استخراج الميزات.
الدخان/الضباب: مما يسبب التشتت، وانخفاض التباين، وانزياحات الألوان، وحجب التفاصيل الهندسية.

إن ندرة مجموعات البيانات متعددة المناظر الواقعية التي تحتوي على أزواج (متدهورة/نظيفة) من الحقيقة الأرضية تعيق التقدم بشكل أكبر. لذا تقدم الورقة تحدي RealX3D لتقييم مسارات العمل القوية لهذه التدهورات المحددة.

2. المنهجية: تحدي RealX3D

تم تنظيم التحدي في مسارين متميزين، كلاهما يستخدم مجموعة فرعية من معيار RealX3D التي تحتوي على 7 مشاهد متميزة لكل مسار.

مجموعة البيانات: أزواج صور واقعية متعددة المناظر (متدهورة مقابل نظيفة) مع وضعيات كاميرا (camera poses) حقيقية.
- التدريب: مشهد واحد للتحقق (مقترن) + 4 مشاهد للتطوير (متدهورة فقط).
- الاختبار: 3 مشاهد (متدهورة فقط).
المسارات:
1. المسار 1: تحسين الإضاءة المنخفضة ثلاثية الأبعاد: يركز على استعادة الإضاءة، وتقليل الضجيج، والحفاظ على البنية في البيئات المظلمة.
2. المسار 2: استعادة الدخان ثلاثية الأبعاد: يركز على إزالة تأثيرات التشتت، واستعادة التباين، وتصحيح انزياحات الألوان الناتجة عن الدخان.
التقييم:
- المقياس: جودة تخليق المنظر الجديد (NVS) مقاسة بـ PSNR (المقياس الأساسي) و SSIM (مقياس كسر التعادل) مقابل الصور النظيفة للحقيقة الأرضية.
- البروتوكول: قدمت 33 فرقة نتائج صالحة من أصل 279 مشاركاً مسجلاً.

3. المساهمات الرئيسية والتوجهات المنهجية

تراجع الورقة 27 طريقة مقدمة، مما يكشف عن عدة استراتيجيات تقنية مهيمنة استخدمتها الفرق الأعلى أداءً:

أ. مسارات العمل الهجينة "الترميم ثم إعادة البناء"

تعتمد معظم الفرق المتصدرة (مثل FuME-GS و GenSmoke-GS و 3DLLR) مبدأ فصل المشكلة إلى مرحلتين:

المعالجة المسبقة ثنائية الأبعاد (2D Pre-processing): باستخدام شبكات ترميم ثنائية الأبعاد متقدمة (مثل Retinexformer و Zero-DCE و DarkIR والنماذج الانتشارية/Diffusion models) لتوليد صور شبه نظيفة أو مرشحات محسنة.
إعادة البناء ثلاثي الأبعاد (3D Reconstruction): تغذية هذه الصور المحسنة في مسارات عمل 3D Gaussian Splatting (3DGS) أو NeRF.
- الابتكار: تستخدم العديد من الفرق استراتيجيات التجميع (Ensemble strategies) (مثل GenSmoke-GS و IC-GS) حيث يتم تدريب وتوسيط نماذج ترميم متعددة أو فروع ثلاثية الأبعاد لتقليل التباين والهلوسة.

ب. المعلومات الفيزيائية وتوليد الحقيقة الأرضية الزائفة (Pseudo-GT)

لتجنب الإفراط في التخصيص (overfitting) للنماذج الثنائية الضوضائية، تدمج عدة طرق نماذج فيزيائية:

نماذج التشتت الجوي: تُستخدم في Smoke-GS و SDG-GS لنمذجة انتقال الدخان ( $T$ ) وضوء الهواء ( $A$ ) بشكل صريح، مما يسمح لـ 3DGS بتعلم إشعاع المشهد "النظيف" ( $J$ ) عن طريق عكس معادلة التدهور.
توليد الحقيقة الأرضية الزائفة (Pseudo-GT Generation): تقوم طرق مثل IDEAL و AdaTone-GS بتوليد حقيقة أرضية زائفة باستخدام مقدرات العمق (Depth-Anything) أو منحنيات النغمة التحليلية، ثم تستخدم أجهزة فك المظهر (Appearance Decoders) (MLP) لامتصاص العيوب المعتمدة على الرؤية، مما يمنع الضجيج ثنائي الأبعاد من الانغراس في الهندسة ثلاثية الأبعاد.

ج. البنى متعددة الفروع وتقسيم الترددات

تستخدم CISP-GS و NAKA-GS أطر عمل متعددة الفروع حيث تتعامل الفروع المختلفة مع جوانب محددة (مثل التحسين التحليلي مقابل التحسين العميق أو فصل الترددات).
تقسيم التردد (Frequency Splitting): يسمح فصل المكونات منخفضة التردد (البنية/اللون) وعالية التردد (الملمس) للنماذج بالحفاظ على الاتساق الهندسي مع حقن تفاصيل حادة من المحسنات العميقة.

د. التحسين المشترك (End-to-End)

تحاول بعض النهج، مثل DarkIR-GS و LLE-GS، إجراء تدريب شامل (End-to-end) حيث يقوم مُصيّر (renderer) الـ 3DGS بإرجاع التدرجات (back-propagating gradients) إلى وحدة الترميم ثنائية الأبعاد، مما يضمن تحسين عملية الترميم خصيصاً لمهمة إعادة البناء ثلاثية الأبعاد بدلاً من المقاييس الثنائية العامة.

4. النتائج

تسلط النتائج الكمية (الجدول 1) الضوء على التقدم الكبير مقارنة بالنماذج المرجعية (baselines):

المسار 1 (الإضاءة المنخفضة):
- الفائز: حقق FuME-GS (DimV) أعلى PSNR (23.38) و SSIM (0.80).
- رؤية رئيسية: استخدمت الطريقة الفائزة دمجاً متعدد المراحل لنماذج تحسين متعددة (Retinexformer، Zero-DCE، إل_خ) مدمجة مع تهيئة 3DGS موجهة بالدمج.
- المركز الثاني: حقق CISP-GS (22.78 PSNR) باستخدام إطار عمل متعدد الفروع مع إشراف ISP.
المسار 2 (الدخان):
- الفائز: حقق GenSmoke-GS (PLBBL) أعلى PSNR (20.21) و SSIM (0.73).
- رؤية رئيسية: جمعت هذه الطريقة بين ConvIR-UDPNet للترميم الأولي، و DCP لإزالة الضباب، ونموذج لغوي كبير متعدد الوسائط (MLLM) للتحسين الهيكلي لمنع الانجراف الهندسي، متبوعاً بتجميع 3DGS-MCMC.
- المركز الثاني: قدمت Smoke-GS (18.67 PSNR) "وحدة وسيط دخان" (Smoke Medium Module) خاصة لنمذجة التشتت المعتمد على الرؤية.

ملاحظة عامة: تفوقت الطرق الأعلى أداءً باستمرار على النماذج المرجعية البسيطة من خلال دمج تجميع النماذج المتعددة، القيود القائمة على الفيزياء، و استراتيجيات التهيئة القوية (مثل استخدام VGGT أو COLMAP مع عمليات التقليم المحددة).

5. الأهمية والتأثير

معايرة المتانة في العالم الحقيقي: ترسي الورقة RealX3D كمعيار حاسم لتقييم إعادة البناء ثلاثي الأبعاد في الظروف غير المثالية، متجاوزة بذلك مجموعات البيانات الاصطناعية أو النظيفة.
مبادئ التصميم: تحدد الورقة أن الاستراتيجيات الأكثر فعالية للظروف القاسية ليست حلولاً أحادية النموذج، بل هي مسارات عمل هجينة تجمع بين:
1. أولويات الترميم ثنائية الأبعاد القوية.
2. نمذجة التدهور القائمة على الفيزياء.
3. أساليب التجميع للحد من الهلوسة.
4. الفصل الصريح بين الهندسة (البنية) والمظهر (الإضاءة/اللون).
التطبيقات العملية: تفيد هذه التطورات مباشرة في القيادة الذاتية (سيناريوهات الليل/الدخان)، والملاحة الروبوتية في البيئات الخطرة، والواقع المعزز في ظروف الإضاءة غير المنضبطة.
تقدم المجتمع العلمي: مع تقديم 33 فريقاً ناجحاً لبنى هندسية مبتكرة، يظهر التحدي نضجاً سريعاً للتقنيات المتعلقة بالتعامل مع تدهور المشاهد ثلاثية الأبعاد، مما يضع معياراً جديداً للأبحاث المستقبلية في الرؤية ثلاثية الأبعاد القوية.