GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers

إليك ملخص تقني مفصل لورقة البحث بعنوان "GeoRelight: تعلم إعادة الإضاءة وإعادة البناء الهندسي المشترك باستخدام محولات الانتشار متعددة الوسائط المرنة".

1. بيان المشكلة

تعد عملية إعادة إضاءة شخص من صورة أحادية (monocular) واحدة مسألة أساسية ولكنها غير محددة جيداً (ill-posed problem) في مجال الرؤية الحاسوبية والرسومات. فالصورة ثنائية الأبعاد الواحدة هي إسقاط غامض لثلاثة عوامل متشابكة:

1. الهندسة ثلاثية الأبعاد (3D Geometry): شكل الموضوع.
2. المظهر الجوهري (Intrinsic Appearance): اللون الأساسي (albedo) وخصائص المادة.
3. الإضاءة (Illumination): ظروف إضاءة المشهد.

محددات الطرق الحالية:

• "المترجمون" من طرف إلى طرف (End-to-End Translators): النماذج التي تنقل البكسلات مباشرة إلى بكسلات أخرى غالباً ما تفتقر إلى المعقولية الفيزيائية لأنها لا تنمذج الهندسة بشكل صريح، مما يؤدي إلى الفشل في توليد ظلال أو لمعان واقعي يتوافق مع الشكل ثلاثي الأبعاد.
• خطوط المعالجة المتسلسلة (Sequential Pipelines): الطرق التي تقوم أولاً بتقدير الخصائص الجوهرية (مثل الـ albedo والـ normals) ثم تقوم برسم الصورة تعاني من تراكم الأخطاء. فالأخطاء في تقدير الهندسة الأولية تُطبع في "الذاكرة الوسيطة" (intermediate buffers) ولا يمكن تصحيحها بواسطة مرحلة الرندر (rendering) اللاحقة.
• ندرة البيانات: يصعب للغاية الحصول على بيانات عالية الجودة من العالم الحقيقي تحتوي على هندسة ثلاثية الأبعاد دقيقة وتسمبات (labels) للخصائص الجوهرية، بينما تفتقر البيانات الاصطناعية غالباً إلى الواقعية الفوتوغرافية.

2. المنهجية: GeoRelight

يقترح المؤلفون GeoRelight، وهو إطار عمل توليدي موحد يحل مشكلتي إعادة الإضاءة وإعادة البناء ثلاثي الأبعاد بشكل مشترك بدلاً من كونهما متسلسلين. الفلسفة الجوهرية هي أن الهندسة الدقيقة تساعد في إعادة الإضاءة (من أجل الظلال)، كما أن إشارات التظليل (shading cues) تساعد في تقدير الهندسة (الشكل من التظليل - shape-from-shading).

أ. البنية: محول انتشار متعدد الوسائط مرن (Flexible Multi-Modal Diffusion Transformer - DiT)

يعتمد إطار العمل على محول انتشار كامن للفيديو (Video Latent Diffusion Transformer - DiT).

• الوسائط كزمن (Modality-as-Time): أعاد المؤلفون توظيف البعد الزمني ($T$) لمحول الفيديو ليصبح بعداً للوسائط ($M$). يسمح هذا للنموذج بتكديس وسائط مستهدفة مختلفة (Albedo، Normals، Geometry، Segmentation، Relit Image) ومعالجتها بالتوازي كما لو كانت إطارات فيديو.
• التكييف (Conditioning):
  • الشرط العالمي (Global Condition): يتم دمج كامن (latent) الصورة المدخلة مع جميع الوسائط للحفاظ على الهوية والملمس.
  • شرط الإضاءة (Illumination Condition): يتم تفكيك خرائط البيئة ذات النطاق الديناميكي العالي (HDR) إلى ثلاثة تمثيلات ذات نطاق ديناميكي منخفض (LDR) (Reinhard tonemapped، وlog-intensity، وdirectional) وتشفيرها في كامن إضاءة، يُدمج فقط مع هدف الصورة المعاد إضاءتها.
  • مفتاح تبديل الوسائط ($c_{switch}$): يشير قناع ثنائي ما إذا كانت وسيطة معينة هي شرط مدخل "واضح" (ليُستخدم كإرشاد) أو هدف "مشوش" (ليتم توليده). وهذا يتيح استدلالاً مرناً (على سبيل المثال، توليد صور معاد إضاءتها بناءً على معرفة الـ normals، أو العكس).

ب. المساهمة التقنية الرئيسية: العمق المتماثل (Isotropic NDC-Orthographic Depth - iNOD)

يتمثل التحدي الرئيسي في تمثيل الهندسة ثلاثية الأبعاد بطريقة تتوافق مع المشفرات التلقائية (VAEs) ثنائية الأبعاد سابقة التدريب المستخدمة في الانتشار الكامن.

• المشكلة: تصبح خرائط النقاط القياسية مشوشة بعد ضغط الـ VAE. كما تتطلب خرائط العمق القياسية تطبيعاً غير متماثل (anisotropic normalization) (تغيير المقياس للمحور Z فقط)، مما يشوه الأشكال ثلاثية الأبعاد ويتطلب معرفة الثوابت الداخلية للكاميرا (camera intrinsics) لاستعادتها.
• الحل (iNOD):
  1. إلغاء الإسقاط (Unproject): تحويل العمق المتري إلى سحابة نقاط ثلاثية الأبعاد.
  2. التطبيع المتماثل (Isotropic Normalization): تغيير مقياس الهندسة ثلاثية الأبعاد بالكامل (X وY وZ) لتناسب صندوق حدود (bounding box) يتراوح بين $[-1, 1]$ بناءً على أطول حافة لها. هذا يحافظ على نسبة العرض إلى الارتفاع والهندسة النسبية دون تشويه.
     ما. الإسقاط المتعامد (Orthographic Projection): إسقاط النقاط ثلاثية الأبعاد الموحدة على مستوى XY، باستخدام قيمة Z كقيمة للبكسل.
  3. التمدد (Dilation): يتم تطبيق تمدد مورفولوجي على المقدمة لمنع عيوب الحدود الناتجة عن ضغط الـ VAE.
• الفائدة: يعتبر iNOD تمثيلاً ثنائي الأبعاد صديقاً للـ VAE وخالياً من التشوه، ولا يتطلب معرفة الثوابت الداخلية للكاميرا أثناء الاستدلال.

ج. التدريب الاستراتيجي للبيانات المختلطة

لسد الفجوة بين الدقة الاصطناعية والواقعية الفوتوغرافية للعالم الحقيقي، استخدم المؤلفون استراتيجية تدريب مكونة من مرحلتين:

1. المرحلة الأولى (التدريب المسبق الاصطناعي): التدريب على مجموعة بيانات اصطناعية ضخمة (8,000 هوية) لتعلم الفصل الأساسي بين الهندسة، والـ albedo، والإضاءة.
2. المرحلة الثانية (التدريب اللاحق المختلط):
   • التوسيم التلقائي (Auto-Labeling): يُستخدم نموذج المرحلة الأولى لتوليد خصائص جوهرية (pseudo-ground-truth) مثل (albedo، normals، iNOD) لمجموعات بيانات العالم الحقيقي (Light Stage "Dome" و"In-the-Wild" data).
   • التدريب المخصص للمهام: يتم تدريب النموذج على مجموعة بيانات هجينة باستخدام أوضاع مختلفة:
     • الوضع الاصطناعي/Dome: توليد مشترك كامل (الوضع الافتراضي/الرندر) لتعلم العلاقات الفيزيائية.
     • الوضع في الطبيعة (In-the-Wild - ITW): وضع "الخصائص الجوهرية $\leftarrow$ إعادة الإضاءة". يُعطى النموذج الخصائص الجوهرية الموسومة تلقائياً كشرط، وتكون مهمته هي توليد الصورة الواقعية المعاد إضاءتها. هذا يعلم النموذج كيفية تخليق المظهر الواقعي من بيانات العالم الحقيقي دون الحاجة إلى أزواج (ground-truth) من الصور المعاد إضاءتها.

3. المساهمات الرئيسية

1. إطار عمل موحد: أول إطار عمل يولد الصور المعاد إضاءتها، واللون الجوهري، والأسطح الطبيعية (normals)، والهندسة ثلاثية الأبعاد بشكل مشترك في تمريرة واحدة عبر محول DiT متعدد الوسائط.
2. تمثيل iNOD: تمثيل عمق مبتكر وخالٍ من التشوه، قوي تجاه ضغط الـ VAE، ويلغي الحاجة إلى الثوابت الداخلية للكاميرا أثناء الاستدلال.
3. تدريب استراتيجي: منهجية تجمع بين البيانات الاصطناعية (للدقة الهندسية) وبيانات العالم الحقيقي الموسومة تلقائياً (للواقعية الفوتوغرافية) للتغلب على ندرة البيانات.

4. النتائج

قيم المؤلفون GeoRelight على بيانات اصطناعية، والتقاطات Light Stage، ومجموعة بيانات HumanOLAT، مقارنة بأفضل الطرق الحالية (SoTA) مثل NeuralGaffer وIC-Light وDiffusionRenderer وVGGT.

• أداء إعادة الإضاءة: حقق GeoRelight نتائج رائدة (SoTA) عبر جميع المقاييس (PSches, SSIM, LPIPS, RMSE). فهو ينتج ظلالاً ولمعاناً منطقية فيزيائياً وتتوافق مع الشكل ثلاثي الأبعاد للموضوع، متفوقاً على النماذج الأخرى التي غالباً ما تعاني من العيوب أو التعرض الخاطئ للإضاءة.
• إعادة البناء ثلاثي الأبعاد: يتفوق النموذج على مقدرات الهندسة المتخصصة (VGGT, MoGe2) في مسافة Chamfer وF-Score. فهو يلتقط التفاصيل الدقيقة (التجاعيد، الشعر، طيات الملابس) التي تفقدها أو تشوهها الطرق الأخرى.
• تقدير الخصائص الجوهرية: حقق أداءً رائعاً (SoTA) في تقدير الـ albedo والـ normals، مع انخفاض ملحوظ في الخطأ الزاوي وRMSE مقارنة بالطرق الموجودة.
• دراسات الاستئصال (Ablation Studies):
  • النمذجة المشتركة: أدى حذف توليد الهندسة إلى انخفاض كبير في جودة إعادة الإضاءة (فقدان الظلال/التجاعيد).
  • الشكل من التظليل (Shape-from-Shading): أدى توفير الصور المعاد إضاءتها كشروط إلى تحسين دقة خرائط الـ normals المولدة بشكل كبير، مما يثبت التآزر بين المهام.
  • بيانات العالم الحقيقي (ITW): أدى تضمين بيانات ITW إلى تصحيح "الانحياز المظلم" (dark bias) الذي لوحظ في النماذج المدربة فقط على بيانات اصطناعية أو Light Stage، مما نتج عنه إضاءة طبيعية ومتوازنة.

5. الأهمية والأثر

• تآزر المهام: توضح الورقة أن إعادة الإضاءة وإعادة بناء الهندسة هما مهمتان متعاونتان. إن حلهما بشكل مشترك يمنع تراكم الأخطاء ويستفيد من الإشارات المتبادلة (التظليل $\leftarrow$ الشكل، الشكل $\leftarrow$ التظليل).
• القابلية للتطبيق العملي: من خلال إلغاء الحاجة إلى الثوابت الداخلية للكاميرا وتمكين التوليد عالي الدقة من صورة واحدة، يفتح GeoRelight آفاقاً لتطبيقات في الواقع الافتراضي، وإنتاج الأفلام، والتحرير الإبداعي.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أنه على الرغم من كونه نموذجاً للصورة الواحدة حالياً، إلا أن بنيته مبنية على محول فيديو DiT، مما يجعله قابلاً للتوسع طبيعياً نحو إعادة إضاءة الفيديو مع الحفاظ على الاتساق الزمني. كما أن المخرجات المفككة تعمل كأساس لتوليد شخصيات (avatars) متسقة ثلاثية الأبعاد.

باخت-صار، يمثل GeoRelight تحولاً جذرياً من خطوط المعالجة المتسلسلة إلى النمذجة التوليدية المشتركة، محققاً اتساقاً فيزيائياً وفائدة بصرية فائقة من خلال توحيد تقدير الهندسة والمظهر ضمن إطار انتشار مرن.