ملخص تقني: PIXLRelight

تعريف المشكلة

يهدف إعادة الإضاءة من صورة واحدة (Single-image relighting) إلى تعديل إضاءة صورة فوتوغرافية لتتطابق مع ظروف إضاءة مستهدفة يحددها المستخدم. وبينما توفر محركات الرندرة القائمة على الفيزياء (PBR) (مثل Blender وUnreal Engine) تحكماً دقيقاً في نوع الضوء، وموقعه، ولونه، وكثافته، فإن تطبيق هذا التحكم على الصور "الواقعية" (in-the-wild) يعد أمراً صعباً للغاية بسبب تحدي استعادة الهندسة، والمواد، وانتقال الضوء من صورة واحدة فقط.

تعاني النهج الحالية من ثلاث عيوب رئيسية:

1. التحكم المحدود: الطرق التي تعتمد على خرائط بيئة HDR، أو النصوص، أو الصور المرجعية، تواجه صعوبة في التعبير عن الإضاءة متعددة المصادر والموضعية مكانياً، وهو أمر شائع في المشاهد الداخلية.
2. تراكم الأخطاء: المسارات التي تتبع نهج "الاستنتاج ثم الرندرة الأمامية" (Inverse-then-forward)، والتي تقوم بتقدير الـ G-buffers ثم إعادة رندرتها، غالباً ما تفشل في ترميز المعالم الضرورية (مثل الشفافية، وتشتت الضوء تحت السطحي)، مما يؤدي إلى تراكم الأخطاء عبر المراحل.
3. التكلفة الحسابية: النهج التي تجمع بين الـ PBR والرندرة العصبية (مثل Careaga وAksoy [5]) غالباً ما تتطلب عمليات تحسين (optimization) مكلفة لكل صورة باستخدام الرندرة القابلة للاشتقاق لتناسب بيئات الإضاءة ثلاثية الأبعاد، مما يحد من تنوع بيانات التدريب وسرعة الاستنتاج.

المنهجية

يقترح المؤلفون PIXLRelight، وهو نهج يعتمد على المحولات (transformer-based) يعمل بنظام التغذية الأمامية (feed-forward)، يربط بين قابلية التحكم في الـ PBR وبين التصنيع الصوري المتعلم من خلال واجهة تكييف جوهري (intrinsic conditioning) مشتركة. الفكرة الجوهرية هي فصل ماهية الإضاءة المستهدفة عن كيفية تطبيقها على صورة فوتوغرافية حقيقية.

1. واجهة التكييف الجوهري (Intrinsic Conditioning Interface)

تستخدم الطريقة نموذج تكوين صورة جوهري حيث يتم تحليل الصورة $I$ إلى:
$$I = A \odot S + R$$
حيث $A$ هو الانعكاس المنتشر (diffuse albedo)، و $S$ هو التظليل المنتشر (diffuse shading)، و $R$ هو المتبقي غير المنتشر (اللمعان الطيفي، الشفافية، إلخ).

يتم تمثيل حالة الإضاءة المستهدفة ليس بصورة RGB، بل عبر دمج القنوات لخرائط الجوهر المستهدفة: $C_T = [A_T; S_T; R_T]$. هذه الواجهة ثابتة عبر كل من التدريب والاستنتاج:

• التدريب: يتم استخراج $C_T$ من صور حقيقية مقترنة متعددة الإضاءة باستخدام نموذج تحليل جوهري مجمد (Marigold-IID-Lighting [20]).
• الاستنتاج: يتم توليد $C_T$ عبر تتبع مسار (path-tracing) لإعادة بناء ثلاثي الأبعاد تقريبي للمشهد المدخل تحت ظروف أضواء PBR محددة من قبل المستخدم. والأهم من ذلك، أن النموذج لا يرى أبمة صورة الـ RGB المندرجة، بل يرى فقط الـ buffers الجوهرية، والتي تحمل معالم دقيقة للإضاءة المطلوبة مع امتصاص عيوب إعادة البناء ثلاثي الأبعاد الأساسي.

2. البنية (Architecture)

PIXLRelight هو محول (transformer) يعمل بنظام التغذية الأمامية مصمم للتنبؤ الكثيف:

• المشفرات غير المتماثلة (Asymmetric Encoders): يتم ترميز الصورة المصدر ($I_S$)، التي تهيمن عليها التفاصيل عالية التردد، بواسطة Vision Transformer (ViT). أما حزمة الجوهر ($C_T$)، التي تهيمن عليها الهياكل الأكثر سلاسة والأقل تردداً، فيتم ترميزها بواسطة ConvNeXt.
• الدمج (Fusion): يتم دمج رموز المصدر والتكييف لكل موقع مكاني عبر MLP صغير قبل دخولها إلى جذع المحول المشترك.
• رأس التعديل (Modulation Head): بدلاً من استرجاع صورة الـ RGB المستهدفة مباشرة، يتنبأ الشبكة بتعديل تقريبي (affine modulation) لكل بكسل للصورة المصدر. يتم حساب المخرج كـ $\hat{I}_T = \text{clip}((1 + g) \odot I_S + b, 0, 1)$، حيث $g$ (الربح/gain) و $b$ (الانحياز/bias) هما خرائط متعلمة. تم ضبط الشبكة لتبدأ بهوية (identity) حيث $g=0, b=0$، لتتعلم فقط التحول المتبقي للإضاءة. هذا يحافظ على التفاصيل الواقعية للمصدر من خلال التصميم.

3. استراتيجية التدريب والاستنتاج

• التدريب: يتم تدريب النموذج من البداية للنهاية (end-to-end) على مجموعات بيانات الصور المقترنة متعددة الإضاءة (MIIW, BigTime, VIDIT) باستخدام خسائر ضوئية وإدراكية. لا يتطلب الأمر خط أنابيب رندرة عكسي-أمامي أو تحسين لكل صورة. لمحاكاة عيوب وقت الاستنتاج، يطبق خط تدريب التغييرات العشوائية (stochastic corruption augmentations) على التكييف الجوهري $C_T$.
• الاستنتاج:
  1. تقدير العمق المتري (Depth Anything 3) والمواد (Marigold-IID-Appearance) من الصورة المصدر.
  2. إنشاء شبكة منسوجة (textured mesh) واستيرادها إلى Blender.
  3. تأليف الإضاءة المطلوبة باستخدام أضواء PBR عشوائية.
  4. رندرة المشهد باستخدام Cycles لاستخراج الـ buffers الجوهرية المستهدفة ($A_T, S_T, R_T$).
  5. تغذية الصورة المصدر والـ buffers الجوهرية في PIXLRelight لتوليد الصورة المعاد إضاءتها في تمريرة أمامية واحدة.

المساهمات الرئيسية

1. واجهة التكييف الجوهري: آلية تكييف موحدة تستخدم تحليل المظهر الجوهري (albedo, shading, residual) والتي تعمل كجسر بين الصور الفوتوغرافية الحقيقية ورندرة الـ PBR.
2. استراتيجية التدريب المباشر: نهج تدريب من البداية للنهاية على صور مقترنة متعددة الإضاءة يلغي الحاجة إلى خطوط أنابيب الرندرة العكسية-الأمامية أو التحسين لكل صورة.
3. نموذج PIXLRelight: محول يعمل بنظام التغذية الأمامية يحقق جودة رندرة (state-of-the-art) مع زمن استنتاج يقل عن 0.1 ثانية، مما يتيح تأليف الإضاءة بشكل تفاعلي.

النتائج

الأداء الكمي

عند التقييم على مجموعة اختبار MIT Multi-Illumination Images in the Wild (MIIW)، يتفوق PIXLRelight بشكل كبير على النماذج المرجعية الحالية (DiffusionRenderer, UniRelight, RGBX, Ouroboros, V-RGBX):

• PSNR: بلغ 29.18 dB (مقابل 19.38 dB لأفضل نموذج تالٍ، Ouroboros).
• SSIM: بلغ 0.893 (مقابل 0.763).
• LPIPS: بلغ 0.195 (مقابل 0.438).
• السرعة: 0.09 ثانية لكل صورة، وهو أسرع بعشر أضعاف على الأقل من جميع النماذج المرجعية (حيث أسرع نموذج تالٍ هو 0.62 ثانية).

الأداء النوعي

• قابلية التحكم: في التجارب التي استخدمت إضاءة مؤلفة عبر تتبع المسار (Blender)، نجح PIXLRelight في نقل تأثيرات الإضاءة المعقدة (مثل ظلال الإضاءة الجانبية، التوهجات الداخلية الدافئة، وأضواء التركيز) مع الحفاظ على التفاصيل الفوتوغرافية للصورة المصدر.
• المتانة: على عكس النماذج المرجعية التي قد تبتعد عن المصدر أو تفشل في تمثيل المصادر القريبة، يحافظ PIXLRelite على دقة الهوية. كما أنه متين تجاه أخطاء الهندسة والمواد التقريبية المتأصلة في إعادة البناء ثلاثي الأبعاد من صورة واحدة، لأن المصدر (RGB) والجوهر المستهدف يتم معالجتهما عبر فروع منفصلة.

الأهمية والادعاءات

يزعم البحث أن PIXLRelight ينجح في جلب التحكم الفيزيائي في الإضاءة الخاص برسوميات الحاسوب إلى الصور الفوتوغرافية الواقعية. ومن خلال فصل تحديد الإضاءة المستهدفة عن تطبيقها، تتيح الطريقة التحكم في الإضاءة بأسلوب PBR دون العبء الحسابي للتحسين لكل صورة. ويؤكد المؤلفون أن هذا النهج يحقق جودة رائدة مع العمل في أقل من عُشر الثانية، مما يجعل تأليف الإضاءة التفاعلي على الصور الحقيقية أمراً ممكناً. وتعتمد الطريقة على افتراض أن التحليل الجوهري يوفر جسراً كافياً بين النطاقات الحقيقية والاصطناعية، مما يسمح للنموذج باستيعاب عيوب إعادة البناء مع نقل معالم الإضاءة بدقة.