DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DiffusionHarmonizer: سد الفجوة بين إعادة البناء العصبي والمحاكاة الواقعية باستخدام معزز الانتشار عبر الإنترنت (Online Diffusion Enhancer)."

1. بيان المشكلة

تُستخدم تقنيات إعادة البناء العصبي (مثل NeRF و3D Gaussian Splatting) بشكل متزايد لإنشاء بيئات محاكاة واقعية وقابلة للتوسع للقيادة الذاتية والروبوتات. ومع ذلك، تعاني هذه الأساليب من محدوديتين جوهريتين تعيقان استخدامها في المحاكة عالية الدقة:

1. عيوب الرؤية من زوايا جديدة (Novel-View Artifacts): عند التصوير من وجهات نظر تختلف بشكل كبير عن بيانات التدريب (الرؤى الشحيحة أو المسارات المستنتجة)، تنتج هذه الأساليب هندسة مشوهة، ومناطق مفقودة، وظلالاً شبحية، وتفاصيل ضبابية.
2. عدم اتساق إدراج الكائنات (Object Insertion Inconsistencies): عندما يتم إدراج كائنات ديناميكية (سيارات، مشاة) في مشاهد مُعاد بناؤها (سواء من لقطات منفصلة أو أصول اصطناعية)، فإن هذه المركبات غالباً ما تظهر تباينات في النغمة، ونقصاً في الظلال، وعدم تطابق في الإضاءة، مما يكسر الواقعية الفيزيائية.

تفشل الحلول الحالية في معالجة هاتين المشكلتين في آن واحد في بيئة "عبر الإنترنت" (Online):

• النماذج التوليدية القائمة على الفيديو: توفر تماسكاً زمنياً ولكنها مكلفة حاسوبياً للغاية للمحاكاة في الوقت الفلي (على سبيل المثال، لا يمكن تشغيلها على وحدة معالجة رسومات واحدة).
• النماذج القائمة على الصور: سريعة ولكنها تفتقر إلى الاتساق الزمني، مما يؤدي إلى الوميض (flickering)، وغالباً ما تفشل في توليد ظلال منطقية فيزيائياً أو تصحيح هندسة إعادة البناء دون اختلاق محتوى جديد.

2. المنهجية

يقترح المؤلفون DiffusionHarmonizer، وهو إطار عمل تعزيز توليدي "عبر الإنترنت" يحول عمليات إعادة البناء العصبية المعرضة للعيوب إلى محاكاة واقعية ومتماسكة زمنياً.

أ. بنية النموذج: معزز أحادي الخطوة مشروط زمنياً

الابتكار الجوهري هو تحويل نموذج انتشار للصور متعدد الخطوات إلى معزز أحادي الخطوة وحتمي مناسب للاستنتاج عبر الإنترنت.

• البنية: تعتمد على نموذج انتشار كامن (Lative Diffusion Model) حيث يتم الإبقاء على مشفر/فك تشفير VAE ثابتاً، ويتم ضبط الجزء الخلفي للانتشار $F_\theta$ فقط.
• آلية الخطوة الواحدة: على عكس الانتشار القياسي الذي يعمل على تقليل الضجيج عبر خطوات عديدة، يأخذ هذا النموذج مدخلاً كامناً نظيفاً $E_\eta(I_t)$ مباشرة، دون حقن ضجيج. وتكون قيمة الخطوة الزمنية والاشتراط النصي ثابتة عند قيم "فارغة" (null). وهذا يخلق خريطة مباشرة من المدخل إلى المخرج المعزز.
• الاشتراط الزمني: لضمان الاستقرار عبر إطارات الفيديو، يقبل الجزء الخلفي سياقاً من الإطارات المعززة السابقة ($K=4$). يتم تشفير الإطار الحالي والإطارات السابقة وتغذيتها في الشبكة مع طبقات انتباه مكانية وزمنية متداخلة.

ب. مسار تنقيح البيانات

بما أن البيانات المقترنة عالية الجودة (التي تعاني من العيوب مقابل الحقيقة الأرضية) نادرة في العالم الحقيقي، صمم المؤلفون مسار تنقيح بيانات اصطناعية قابلاً للتوسع يتكون من خمسة مكونات:

1. تصحيح عيوب الرؤية من زوايا جديدة: توليد عمليات رندر متدهورة باستخدام إعادة بناء شحيحة، وإعادة بناء دورية، ومقارنة مرجعية، ونقص في الملاءمة (بناءً على DIFIX3D+) لإنشاء أزواج لغرض إزالة العيوب.
2. تعديل معالجة الصور (ISP Modification): محاكاة عدم تطابق المظهر عن طريق تغيير معلمات معالجة الصور (مثل رسم الخرائط النغمية، التعرض الضوئي، توازن اللون الأبيض) عشوائياً على الكائنات الأمامية لتعليم النموذج التناغم بين المقدمة والخلفية.
3. إعادة الإضاءة (Relighting): استخدام نموذج إعادة إضاءة توليدي لإنشاء مدخلات تكون فيها إضاءة الكائن المحلي غير متسقة مع المشهد العالمي، لتعليم النموذج حل تباينات الإضاءة.
4. محاكاة الظل القائم على الفيزياء (PBR Shadow Simulation): توليد ظلال مسقطة تحت خرائط بيئة ومصادر ضوء متنوعة لتوفير إشراف صريح على مستوى البكسل لتوليد الظلال.
5. إعادة إدراج الأصول (Asset Re-Insertion): إعادة إدراج الكائنات الديناميكية المُعاد بناؤها في خلفيات ثابتة بدون ظلال لإنشاء مركبات تفتقر إلى التناغم الصحيح، مما يعمل كإشراف لتوليد الظلال ودمج المظهر.

ج. استراتيجية التدريب

• خسارة الإدراك متعددة المقاييس (Multi-Scale Perceptual Loss): لمنع عيوب "النمط المربعي" (checkerboard) عالية التردد الناتجة عن عدم التطابق بين التدريب متعدد الخطوات والاستنتاج أحادي الخطوة، قدم المؤلفون خسارة إدراك متعددة المقاييس. تأخذ هذه الخسارة عينات من قطع مربعة عشوائية بأحجام متفاوتة لاستقرار السلوك عالي التردد.
• خسارة التشويه الزمني (Temporal Warping Loss): تستخدم التدفق البصري (RAFT) لعمل تشويه (warp) للإطار المعزز السابق إلى الإطار الحالي، مما يفرض الاتساق في البكسلات المرئية لتقليل الوميض.
• التدريب المختلط: يتم تدريب النموذج مسبقاً على أزواج الصور، ثم يتم ضبطه بدقة باستخدام دفعات مختلطة من البيانات الزمنية (الفيديو) وغير الزمنية (الصور) لمنع الاعتماد المفرط على الإشارات الزمنية وضمان المتانة.

3. المساهمات الرئيسية

1. معزز انتشار عبر الإنترنت: بنية مبتكرة تحول نموذج انتشار متعدد الخطوات إلى معزز أحادي الخطوة ومشروط زمنياً، مما يسمح بالاستنتاج في الوقت الفعلي على وحدة معالجة رسومات واحدة (H100) مع الحفاظ على التماسك الزمني.
2. مسار بيانات شامل: استراتيجية قابلة للتوسع لتخليق أزواج تدريب متنوعة تستهدف تحديداً عيوب إعادة البناء، وعدم تطابق الـ ISP، وتناقضات الإضاءة، والظلال المفقودة.
3. حل موحد: أول طريقة تعالج معاً عيوب إعادة البناء من زوايا رؤية جديدة، والتناغم بين المقدمة والخلفية، وتوليد الظلال المنطقية فيزيائياً في إطار عمل واحد.
4. تقنيات التثبيت: تقديم خسارة الإدراك متعددة المقاييس وخسارة التشويه الزمني للتخفيف من العيوب المتأصلة في تحويل نماذج الانتشار متعددة الخطوات إلى نماذج أحادية الخطوة.

4. النتائج التجريبية

تم تقييم الطريقة في سيناريوهات القيادة الذاتية (داخل النطاق وخارجه) ومقارنتها مع نماذج تحرير الصور/الفيديو العامة (SDEdit, InstructPix2Pix, Wan-Video V2V) وطرق التناغم المتخصصة (Ke et al., VHTT).

• الجودة الإدراكية: فضل المقيمون البشريون نموذج DiffusionHarmonizer بنسبة 84.28% على ثاني أفضل طريقة. كما حقق درجات متفوقة في مقاييس FID و FVD.
• الدقة الهيكلية: يحافظ النموذج على هندسة المشهد بشكل أفضل بكثير من نماذج التحرير التي غالباً ما تخلق محتوى غير متسق أو تعدل المناطق المعاد بناؤها جيداً (مقاس بـ DINO-Struct-Dist).
• الاتساق الزمني: يضاهي النموذج التماسك الزمني لنماذج الفيديو الحديثة (مثل WAN V2V) مع تسجيل درجة وميض زمني قدرها 0.9827، متفوقاً بفارق كبير على نماذج تحرير الصور التي تعاني من الارتجاج بين الإطارات.
• الظلال والإضاءة: على عكس النماذج المرجعية التي تفشل في توليد ظلال منطقية فيزيائياً، يقوم DiffusionHarmonizer بتوليد ظلال مسقطة واقعية وتناغم الإضاءة.
• الكفاءة: يعمل النموذج بسرعة 212 مللي ثانية لكل إطار (1024x576) على وحدة معالجة رسومات H100 واحدة. وهذا أسرع بمقدار 1.8 مرة من نماذج تحرير الصور و 10 أضعاف أسرع من نماذج تحرير الفيديو، مما يجعله صالحاً للمحاكاة عبر الإنترنت.
• المقاييس الكمية: في مجموعات البيانات الاختبارية التي تحتوي على حقيقة أرضية (Relighting, PBR Shadow, ISP)، حقق النموذج قيم PSNR و SSIM أعلى بكثير وقيم LPIPS أقل مقار جميع النماذج المرجعية.

5. الأهمية

يجسر DiffusionHarmonizer الفجوة بين إعادة البناء العصبي (الذي يوفر بنية ثلاثية الأبعاد قابلة للتوسع) والمحاكاة الواقعية (التي تتطلب دقة فيزيائية واستقراراً زمنياً). ومن خلال تمكين توليد محاكاة عالية الدقة، خالية من العيوب، ومتسقة زمنياً في الوقت الفعلي، فإنه يقدم حلاً عملياً لـ:

• القيادة الذاتية: توليد بيانات تدريب متنوعة وواقعية، ومحاكيات حلقة مغلقة (closed-loop) دون تكلفة جمع البيانات من العالم الحقيقي.
• الروبوتات: توفير بيئات محاكاة قوية لتدريب السياسات في سيناريوهات معقدة وديناميكية.
• الإنتاج: تقديم مسار قابل للتوسع لإنشاء التوائم الرقمية وإنشاء المحتوى حيث تكون الواقعية الفيزيائية (الظلال، الإضاءة) أمراً بالغ الأهمية.

يُظهر هذا العمل أن البيانات الاصطناعية المنسقة بعناية والتعديلات الهيكلية المستهدفة يمكن أن تطلق العنان لإمكانات النماذج التوليدية لمهام المحاكاة الواقعية في الوقت الفعلي.