💻 computer science

ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination

يقدم ReLi3D مساراً موحداً ومتكاملاً يستفيد من قيود متعددة الرؤى واستراتيجية تنبؤ مبتكرة ثنائية المسار لإعادة بناء الهندسة ثلاثية الأبعاد الكاملة، والمواد المتغيرة مكانياً، وإضاءة البيئة في آن واحد من صور متفرقة في أقل من ثانية واحدة، مما يتيح التوليد الفوري للأصول ثلاثية الأبعاد القابلة لإعادة الإضاءة.

المؤلفون الأصليون: Jan-Niklas Dihlmann, Mark Boss, Simon Donne, Andreas Engelhardt, Hendrik P. A. Lensch, Varun Jampani

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jan-Niklas Dihlmann, Mark Boss, Simon Donne, Andreas Engelhardt, Hendrik P. A. Lensch, Varun Jampani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك بضع صور لسيارة لعبة موضوعة على مكتبك. تريد تحويل هذه الصور المسطحة إلى نموذج ثلاثي الأبعاد يمكنك تدويره حول جهاز الكمبيوتر الخاص بك. ولكن هنا تكمن العقبة، فأنت لا تريد مجرد هيكل بلاستيكي رمادي؛ بل تريد أن تبدو السيارة وكأنها تمتلك طلاءً معدنيًا حقيقيًا، وإطارات مطاطية، ونوافذ زجاجية. وعلاوة على ذلك، تريد أن تكون قادرًا على تحريك "الشمس" في غرفتك الرقمية ومشاهدة الظلال والانعكاسات وهي تتغير بشكل واقعي.

لفترة طويلة، كان القيام بذلك يشبه محاولة حل لغز ضخم حيث نصف القطع مفقودة. كان عليك بناء الشكل، وتخمين المواد، وفهم الإضاءة كثلاث مهام منفصلة وبطيئة ومعقدة.

إليك ReLi3D. فكر فيه كأنه "ماسح ضوئي سحري ثلاثي الأبعاد" يقوم بالوظائف الثلاث معًا في آن واحد، في أقل من ثانية.

إليك كيف يعمل، مقسمًا باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: ارتباك "الظل مقابل الطلاء"

تخيل أنك تنظر إلى بقعة داكنة على جدار. هل هذه البقعة داكنة لأن الجدار مطلي باللون الأسود، أم لأن مصباحًا مطفأً يلقي بظله؟

الطرق القديمة (الذكاء الاصطناعي أحادي الرؤية) تنظر إلى صورة واحدة فقط وتخمن. وغالبًا ما ترتبك. قد تعتقد أن سيارة معدنية لامعة هي في الواقع سيارة بلاستيكية داكنة وغير لامعة لأن الإضاءة في الصورة كانت خافتة. تُسمى هذه "مشكلة سيئة التحديد" (ill-posed problem) — حيث توجد احتمالات كثيرة جدًا، والذكاء الاصطناعي يختار الخيار الخاطئ.
حل ReLi3D: إنه ينظر إلى صور متعددة ملتقطة من زوايا مختلفة. إذا رأيت نفس البقعة على السيارة من الأمام، ومن الجانب، ومن الأعلى، وبدت لامعة في جميعها، سيعرف الذكاء الاصطناعي: "آها! هذا معدن لامع، وليس مجرد ظل". من خلال دمج جميع وجهات النظر، فإنه يحل اللغز فورًا.

2. السر الخفي: "دماغ المسارين"

يمتلك ReLi3D بنية دماغية خاصة تقسم العمل إلى مسارين متوازيين، مثل طاهٍ لديه يدان:

اليد الأولى (النحات): يبني هذا المسار الشكل (الشبكة/mesh) ويحدد مما يتكون الجسم (الطلاء، الخشونة، المعدن). إنه ينشئ نموذجًا ثلاثي الأبعاد بمواد "متغيرة مكانيًا"، مما يعني أن غطاء المحرك يمكن أن يكون معدنًا لامعًا بينما الإطارات مطاط غير لامع.
اليد الثانية (محقق الإضاءة): ينظر هذا المسار إلى الخلفية والانعكسات على الجسم ليعرف من أين يأتي الضوء. إنه يعيد بناء "السماء" أو إضاءة الغرفة بالكامل (المعروفة باسم بيئة HDR) التي كانت موجودة في الصورة الأصلية.

هاتان اليدان تتحدثان مع بعضهما البعض باستمرار. إذا اعتقد "النحات" أن جزءًا ما لامع، فإن "محقق الإضاءة" يتحقق مما إذا كان الانعكاس يتوافق مع مصدر الضوء. إذا اختلفا، فإنهما يعدلان حتى يصبح كل شيء منطقيًا من الناحية الفيزيائية.

3. التدريب: التعلم من "الزائف" و"الحقيقي"

لتعليم هذا الذكاء الاصطناعي، لم يستخدم الباحثون الصور الحقيقية فحسب، بل استخدموا "نظامًا غذائيًا مختلطًا":

البيانات الاصطناعية (الفصل الدراسي): استخدموا عوالم ثلاثية الأبعاد مُنشأة بالحاسوب حيث يعرفون "الحقيقة المطلقة" (على سبيل المثال: "هذا طلاء أحمر بنسبة 100%، مضاء بشمس زرقاء"). هذا علم الذكاء الاصطناعي قواعد الفيزياء.
البيانات الحقيقية (العالم الحقيقي): بعد ذلك، قاموا بتغذيته بصور حقيقية فوضوية من الإنترنت. ولأن الذكاء الاصطناعي تعلم بالفعل قواعد الفيزياء في "الفصل الدراسي"، فقد استطاع الآن فهم الصور الحقيقية الفوضوية دون أن يرتبك.

4. النتيجة: سحر فوري قابل لإعادة الإضاءة

الجزء الأروع؟ بمجرد أن يبني ReLi3D النموذج، يصبح قابلًا لإعادة الإضاءة.

قبلًا: إذا كنت تريد رؤية سيارتك ثلاثية الأبعاد في وقت الغروب، فسيتعين عليك إعادة رندرة (rendering) الشيء بأكله، وهو ما يستغرق دقائق أو ساعات.
مع ReLi3D: نظرًا لأنه فصل بين "الجسم" و"الضوء"، يمكنك تغيير الإضاءة فورًا. يمكنك تحويل يوم مشمس إلى ليلة ممطرة، وستظل انعكاسات المعدن في السيارة تتوافق مع ضوء القمر الجديد بشكل صحيح، وستتحرك الظلال فورًا.

الملخص

ReLi3D هو مثل فنان ثلاثي الأبعاد فائق السرعة والذكاء، ينظر إلى بضع صور، ويكتشف بالضبط مما يتكون الجسم ومن أين يأتي الضوء، ثم يسلمك نموذجًا ثلاثي الأبعاد واقعيًا تمامًا في 0.3 ثانية. إنه يحل ارتباك "الطلاء الداكن" مقابل "الظلال" من خلال النظر إلى الجسم من جميع جوانبه في وقت واحد، مما يسم يسمح لك بإنشاء أصول ثلاثية الأبعاد تبدو حقيقية ويمكن إضاءتها بأي طريقة تريدها، وبشكل فوري.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ReLi3D: إعادة بناء ثلاثية الأبعاد متعددة المناظير قابلة لإعادة الإضاءة مع فصل الإضاءة".

1. بيان المشكلة

يتطلب إعادة بناء الأصول ثلاثية الأبعاد الجاهزة للإنتاج من الصور عادةً مسارات منفصلة ومكلفة حاسوبياً لتقدير الهندسة، والمواد، واستعادة الإضاءة. تواجه الأساليب الحالية قيوداً كبيرة:

غموض المنظور الواحد: تعتمد معظم الطرق على مدخلات ذات منظور واحد، مما يجعل مشكلة "الرندرة العكسية" (inverse rendering) غير محددة جوهرياً. فالمظهر ثنائي الأبعاد نفسه يمكن أن ينتج عن مجموعات لا حصر لها من انعكاس السطح (المادة) والإضاءة، مما يؤدي إلى تنبؤات غير موثوقة للمواد وقدرات ضعيفة على إعادة الإضاءة.
نقص التباين المكاني: غالباً ما تتنبأ نماذج إعادة البناء الضخمة (LRMs) الحالية بخصائص مادية عالمية فقط (مثل قيمة خشونة واحدة لكل كائن) بدلاً من خرائط PBR (الرندرة القائمة على الفيزياء) المتغيرة مكانياً.
الأعباء الحسابية: تحقق الأساليب التوليدية القائمة على الانتشار (diffusion) دقة عالية ولكنها تعاني من أوقات استدلال طويلة (دقائق إلى ساعات) ومشكلات الهلوسة. أما أساليب الرندرة العكسية القائمة على التحسين (optimization) فتتطلب بيانات متعددة المناظير كثيفة وأوقات تقارب طويلة.

الهدف: إنشاء نظام موحد يعمل بنظام التغذية الأمامية (feed-forward) لإعادة بناء هندسة ثلاثية الأبعاد كاملة، ومواد PBR متغيرة مكانياً، وإضاءة بيئية HDR متماسكة من صور متعددة المناظر قليلة، في أقل من ثانية واحدة، مع فصل خصائص المادة عن تأثيرات الإضاءة بفعالية.

2. المنهجية

يقدم ReLi3D مساراً موحداً متكاملاً يستفيد من قيود تعدد المناظر لحل مشكلة فصل المادة عن الإضاءة. تتكون البنية من ثلاثة مكونات أساسية:

أ. دمج الميزات عبر المناظر (Transformer)

المدخلات: أي عدد من الصور ذات الوضعيات والأقنعة المحددة $\{(I_i, M_i, C_i)\}$ .
الآلية: يقوم "محول شرطي مشترك" (cross-conditioning transformer) باستيعاب هذه المناظر، حيث يحدد "منظوراً بطلاً" (hero view) كتدفق استعلام (query stream)، ويستخدم مجموعة من الرموز الكامنة القابلة للتعلم الممزوجة مع الرمونات المسقطة من جميع المناظر الأخرى (تدفق الذاكرة - memory stream).
المخرجات: يخلق هذا الدمج تمثيل "ثلاثي المستويات" (triplane) موحداً ( $T \in \mathbb{R}^{3 \times 40 \times 384 \times 384}$ ) يكون متسقاً عبر جميع وجهات النظر، ويعمل كفضاء كامن مشترك لكلا مساري إعادة البناء.

ب. استراتيجية التنبؤ ثنائية المسار

يتم فك تشفير ميزات الـ triplane الموحدة عبر مسارين متوازيين:

مسار الهندسة والمظهر:
- يتنبأ بهيكل الشبكة (mesh) ومعاملات BRDF المتغيرة مكانياً (اللون الأساسي Albedo، الخشونة Roughness، المعدنية Metallic، ونتوء النورمال Normal Bump) مباشرة من الـ triplane.
  ستستخدم تقنية Flexicubes لاستخراج شبكة عالية الجودة وفك الالتفاف (UV unwrapping) سريع للقوام (texturing).
مسار الإضاءة:
- يتنبأ بخريطة البيئة HDR باستخدام رمز كامن من نوع RENI++ (تمثيل مدمج ومتساوي التباين الدوراني).
- التشغيل ثنائي الوضع: يستخدم هذا المسار رموزاً مدركة للأقنعة (mask-aware tokens). أثناء التدريب، يستخدم قناع الخلفية العشوائي (stochastic background masking). إذا كانت بكسلات الخلفية مرئية، فإنه يتعلم الإضاءة مباشرة؛ وإذا كانت محجوبة، يجب عليه استنتاج الإضاءة من انعكاسات الكائن والظلال. هذا يجبر الشبكة على تعلم إشارات إضاءة قوية من المصادر غير المباشرة.

ج. التدريب المنفصل عبر MC+MIS

المُصيّر القابل للتفاضل (Differentiable Renderer): يتم ربط المسارين معاً باستخدام مُصيّر مونت كارلو (MC) قابل للتفاضل مع أخذ عينات الأهمية المتعددة (MIS).
الاتساق الفيزيائي: يفرض المُصيّر أن المواد المتنبأ بها ( $f_r$ ) وإضاءة البيئة ( $L_{env}$ ) يجب أن تفسر الصور المرصودة فيزيائياً من خلال معادلات انتقال الضوء.
التدريب المختلط النطاقات: يتم تدريب النموذج على مزيج من:
- بيانات PBR اصطناعية (مع إشراف كامل للحقيقة الأرضية).
- بيانات RGB اصطناعية فقط.
- لقطات واقعية (UCO3D) باستخدام الإشراف الذاتي في مجال الصورة.
  هذا البروتوكول يسد الفجوة بين النطاقات، مما يسمح للنموذج بالتعميم على السيناريوهات الواقعية دون انهيار الإشراف.

3. المساهمات الرئيسية

أول مسار موحد يعمل بنظام التغذية الأمامية: يعد ReLi3D أول طريقة تعيد بناء الهندسة، ومواد PBR المتغيرة مكانياً، وإضاءة HDR بشكل مشترك في تمريرة واحدة (<0.3 ثانية).
فصل المادة عبر تعدد المناظر: يثبت أن قيود تعدد المناظر هي الآلية الأساسية لحل غموض المادة والإضاءة، متفوقاً بشكل كبير على أساليب المنظور الواحد.
بنية مبتكرة: الجمع بين محول دمج الميزات (cross-conditioning transformer) واستراتيجية التنبؤ ثنائية المسار (فصل الهيكل/المظهر عن البيئة) يتيح توليد أصول قابلة لإعادة الإضاءة بشكل قوي.
بروتوكول تدريب مختلط النطاقات: استراتيجية تدريب تجمع بين الإشراف الاصطناعي لـ PBR وبيانات RGB الواقعية عبر رندرة MC+MIS، مما يتيح التعميم على لقطات واقعية غير منقحة.

4. النتائج التجريبية

قيم المؤلفون ReLi3D على مجموعات بيانات خارج التوزيع (Google Scanned Objects, Stanford ORB, Polyhaven) مقابل أحدث الأساليب (SF3D, SPAR3D, 3DTopia-XL, Hunyuan3D).

السرعة: يعمل ReLi3D بسرعة ~0.3 ثانية لكل عملية إعادة بناء، وهو ما يعادل 100 ضعف سرعة طرق الانتشار التوليدية مثل Hunyuan3D (التي تستغيد حوالي 40-70 ثانية).
جودة المادة:
- يحقق 25.00 dB PSNR لإعادة بناء اللون الأساسي Albedo (مقابل 18.42 dB لـ SF3D).
- يتفوق بشكل ملحوظ على النماذج المرجعية في التنبؤ بخرائط الخشونة والمعدنية المتغيرة مكانياً.
دقة إعادة الإضاءة: عند إعادة رندرة الكائنات في بيئات HDR جديدة، يحقق ReLi3D أعلى درجات PSNR و SSIM، مما يؤكد أن تفكيك المادة دقيق فيزيائياً ويتعمم جيداً على الإضاءة الجديدة.
فوائد تعدد المناظر: يتناسب الأداء طردياً مع عدد المناظر المدخلة. على سبيل المثال، زيادة المناظر من 1 إلى 4 يحسن F-score@0.5 بنسبة 27% ويقلل مسافة Chamfer (CD) بشكل كبير، مع الحفاظ على نفس سرعة الاستدلال.
القوة في العالم الحقيقي: في مجموعة بيانات Stanford ORB الصعبة (لقطات واقعية مع ضبابية الحركة وأقنعة غير مثالية)، يتفوق ReLi3D على جميع النماذج المرجعية في الهندسة، جودة الصورة، والتنبؤ بالمادة.

5. الأهمية والتأثير

القابلية للتطبيق الصناعي: من خلال تقليل وقت إعادة البناء من دقائق/ساعات إلى أجزاء من الثانية مع الحفاظ على جودة PBR، يتيح ReLi3D رقمنة الأصول ثلاثية الأبعاد في الوقت الفعلي للواقع المعزز/الافتراضي (AR/VR)، والروبوتات، والوسائط التفاعلية.
التقدم العلمي: ينقل النموذج من الرندرة العكسية القائمة على التحسين إلى التعلم بنظام التغذية الأمامية للأصول القابلة لإعادة الإضاءة، ويثبت أن قيود تعدد المناظر يمكنها حل مشكلة غموض المادة والإضاءة بفعالية.
المصدر المفتوح: أصدر المؤلفون الكود، والأوزان، وسكريبتات توليد البيانات، مما يعزز إمكانية التكرار ومزيد من الأبحاث في أنظمة الرؤية المدركة للثلاثي الأبعاد.

القيود: يتقيد الأسلوب بدقة الـ triplane (مما يحد من تفاصيل الملمس الدقيقة) ويمكن أن يواجه صعوبة في ظروف الإضاءة القصوى (مثل مصادر الضوء النقطية القوية المتعددة) أو الأجسام الشفافة، حيث يظل نطاق إعادة البناء الحالي محدوداً بالنماذج الشبكية (mesh-based).