3D Multi-View Stylization with Pose-Free Correspondences Matching for Robust 3D Geometry Preservation

إليك ملخص تقني مفصل لرسالة الماجستير بعنوان "النمطية ثلاثية الأبعاد متعددة المشاهد باستخدام مطابقة الارتباطات الخالية من الوضعيات لضمان الحفاظ القوي على الهندسة ثلاثية الأبعاد" للباحثة شيرشا بوس.

1. بيان المشكلة

تعالج الرسالة تحدي نقل الأسلوب الفني (Artistic Style Transfer) على الالتقاطات متعددة المشاهد للمشاهد ثلاثية الأبعاد. وبينما يعد نقل الأسلوب أمراً راسخاً للصور ومقاطع الفيديو أحادية المشهد، فإن تطبيقه على مجموعات البيانات متعددة المشاهد غير المرتبة (على سبيل المثال، لإعادة البناء ثلاثي الأبعاد، أو نظام SLAM، أو الواقع المعزز/الافتراضي) يؤدي إلى إخفاقات حرجة:

• الآثار المعتمدة على المشهد (View-Dependent Artifacts): تسبب النمطية المستقلة لكل مشهد ظواهر مثل "سباحة الأنسجة" (Texture Swimming)، وانحناء الحواف، وعدم اتساق التظليل عبر وجهات النظر المختلفة.
• تدهور الهندسة (Geometric Degradation): تؤدي هذه الآثار إلى كسر الارتباطات عبر المشاهد (النقاط الرئيسية والواصفات) المطلوبة لأنظمة "الاستعادة من الحركة بالصور" (SfM) وأنظمة "التوطين ورسم الخرائط المتزامن" (SLAM).
• عدم استقرار العمق (Depth Instability): تغير النمطية التباين المحلي والتظليل، مما يربك تقديرات العمق أحادية العدسة ويؤدي إلى إعادة بناء ثلاثية الأبعاد غير متسقة.
• الاعتماد على الوضعيات (Dependency on Poses): تتطلب الأساليب الحالية المدركة للبعد الثالث (3D-aware) غالباً وضعيات كاميرا دقيقة وإعادة بناء صريح ثلاثي الأبعاد (مثل NeRF أو Gaussian Splatting) كمتطلبات مسبقة، مما يجعلها هشة في السيناريوهات ذات المشاهد الشحيحة أو معاملات الكاميرا غير المعروفة.

الهدف: تطوير إطار عمل للنمطية متعددة المشاهد خالٍ من الوضعيات (Pose-Free) ينتج مخرجات ذات نمط بصري مع الحفاظ صراحةً على الإشارات الهندسية (الارتباطات والعمق) الضرورية للمهام ثلاثية الأبعاد اللاحقة.

2. المنهجية

يستخدم النهج المقترح شبكة نمطية (Stylizer) خفيفة الوزن، تعمل بنظام التغذية الأمامية (Feed-forward) وتُدرب لكل مشهد على حدة باستخدام دالة هدف مركبة. لا يتطلب النظام وضعيات الكاميرا أو تمثيلاً صريحًا ثلاثي الأبعاد أثناء التدريب.

أ. بنية الشبكة (Network Architecture)

تقوم شبكة النمطية $g_\theta$ برسم خريطة من المشهد المدخل $I_i$ والمرجع الأسلوبي $S$ إلى مخرج نمطي $\hat{I}_i$. تم تقييم بنيتين:

1. الشبكة العصبية التلافيفية المتبقية (Residual CNN): شبكة مدمجة من الكتل المتبقية، تعمل كخط أساس يشجع على رسم خرائط قريبة من الهوية (Near-identity mapping) للحفاظ على الهندسة الخشنة.
2. شبكة U-Net الشرطية (Conditional U-Net): بنية مشفر-فك تشفير (Encoder-Decoder) مع وصلات تخطي (Skip connections) للحفاظ بشكل أفضل على التفاصيل عالية التردد (الحواف والزوايا). في حالة تعدد الأساليب، تستخدم التطبيع المثالي الشرطي (Conditional Instance Normalization - CIN) لتعديل الميزات بناءً على معرف الأسلوب (Style ID).

ب. دوال الخسارة (Loss Functions)

تجمع دالة الهدف للتدريب بين نقل الأسلوب الإدراكي وقيود هندسية مبتكرة:

1. خسائر الإدراك (الأسلوب والمحتوى):

   • خسارة المحتوى ($L_{content}$): تستخدم مشفراً (VGG-19) مجمدًا لمطابقة الميزات العميقة بين المدخل والمخرج، للحفاظ على التخطيط الدلالي.
   • خسارة الأسلوب ($L_{style}$): خسارة مستوحاة من AdaIN تقوم بمطابقة المتوسط وتباين إحصائيات الميزات بين المخرج وصورة المرجع الأسلوبي.

2. خسارة الهندسة القائمة على الارتباط ($L_{SG}$):

   • الآلية: تستخدم SuperPoint (لاكتشاف النقاط الرئيسية) و SuperGlue (للمطابقة) لفرض الاتساق عبر المشاهد.
   • العملية: يتم نمطية "مشهد مرجعي" (Anchor view) مستقر. تقوم SuperGlue بمطابقة النقاط الرئيسية بين هذا المشهد المرجعي المنمط والمشاهد الأصلية (غير النمطية) المخزنة للمشهد.
   • القيد: تعاقب الخسارة الانحراف في الواصفات (Descriptors) بين النقاط الرئيسية المتطابقة. إذا قامت النمطية بتشويه البنية المحلية (مثل ثني حافة)، تفشل مطابقة الواصف، وتزدัง الخسارة. هذا يجبر الشبكة على الحفاظ على البنى المحلية القابلة للتكرار دون الحاجة إلى وضعيات الكاميرا.

3. خسارة الحفاظ على العمق ($L_{Depth}$):

   • الآلية: تستخدم مقدّر عمق أحادي العدسة (MiDaS/DPT) مجمدًا.
   • العملية: تقارن خريطة العمق الموحدة للمخرج النمطي مقابل خريطة عمق مرجعية مشتقة من الصورة الأصلية.
   • محاذاة النطاق (Domain Alignment): لمنع نموذج العمق من الفشل بسبب انزياح توزيع الألوان (Out-of-Domain shift)، تقوم خطوة نقل ألوان عالمية بمحاذاة إحصائيات مجموعة بيانات المدخلات مع صورة الأسلوب قبل استنتاج العمق.
   • القيد: تعاقب الانحرافات في بنية العمق المتوقعة، مما يضمن الاتساق الحجمي العالمي.

ج. استراتيجية التحسين (Optimization Strategy)

• التحمية + جدولة التدرج (Warmup + Ramp Scheduling): يتم ضبط الخسائر الهندسية ($L_{SG}$ و $L_{Depth}$) لتكون صفراً في البداية. يتم رفع قيمها تدريجياً خلال أول 600 تكرار. هذا يمنع الشبكة من الانهيار نحو حل "هندسي فقط" (تجاهل الأسلوب) أو الفشل في التقارب بسبب ارتباطات غير مستقرة في بداية التدريب.
• التوسع متعدد الأساليب: تم توسيع الإطار للتعامل مع أساليب متعددة في نموذج واحد باستخدام CIN، مما يسمح للشبكة بتعلم تمثيل مشترك يحافظ على الهندسة مع تعديل المظهر عبر أكواد الأسلوب.

3. المساهمات الرئيسية

1. التنظيم الهندسي الخالي من الوضعيات: تقديم خسارة قائمة على SuperPoint/SuperGlue تفرض اتساق الواصفات عبر المشاهد دون الحاجة إلى المعاملات الداخلية/الخارجية للكاميرا أو إعادة بناء ثلاثية الأبعاد صريح.
2. النمطية المدركة للعمق: خسارة حفظ العمق مع خطوة عملية لمحاذاة النطاق لضمان بقاء مقدمات العمق أحادية العدسة صالحة بعد النمطية.
3. بروتوكول تقييم قائم على SLAM: مقياس تقييم مبتكر يقوم بتشغيل DROID-SLAM على المتواليات النمطية لقياس خطأ المسار (ATE/RTE) والاتساق الهيكلي ثلاثي الأبعاد (Chamfer Distance) كمياً، متجاوزاً بذلك المقايكات القياسية على مستوى الصورة.
4. التعميم متعدد الأساليب الشرطي: إثبات أن شبكة U-Net شرطية واحدة يمكنها التعميم على مشاهد غير مرئية وأساليب متعددة مع الحفاظ على الاستقرار الهندسي.

4. النتائج والتقييم

تم تقييم الطريقة على مجموعتي بيانات Tanks and Temples و Mip-NeRF 360، مقارنة بالنموذج المرجعي MuVieCAST.

• المقاييس الكمية:

  • اتساق SLAM: تفوقت الطريقة المقترحة بشكل كبير على MuVieCAST في الاتساق ثلاثي الأبعاد.
    • خطأ المسار المطلق (ATE): انخفض بنسبة تصل إلى 93% (على سبيل المثال في مشهد Francis).
    • مسافة تشامفر (الهندسة ثلاثية الأبعاد): انخفضت بنسبة 47-91% عبر مختلف المشاهد، مما يشير إلى أن سحب النقاط المعاد بناؤها من الصور النمطية كانت أقرب بكلاً إلى الهندسة الأصلية.
  • المقايسات الثابتة: بينما أظهرت الطريقة أحياناً مقايضة طفيفة في مسافة المدرج التكراري للألوان (CHD) مقارنة بالنماذج المرجعية، إلا أنها حققت باستمرار تفوقاً في مسافة هيكل DINO (DSD)، مما يثبت حفظاً أفضل للحواف والتخطيط الهيكلي.

• التحليل النوعي:

  • أظهرت النتائج البصرية أن الطريقة المقترحة قضت على ظواهر "سباحة الأنسجة" وانحناء الحواف الشائعة في النماذج المرجعية لكل مشهد.
  • قدمت نسخة Residual CNN النتائج الأكثر تحفظاً واستقراراً هندسياً، بينما قدمت نسخة U-Net تعبيراً أسلوبياً أغنى مع مخاطر هندسية أعلى (لكنها تحت السيطرة).
  • دراسات الاستئصال (Ablation Studies): أكدت أن كل من $L_{SG}$ و $L_{Depth}$ ضروريان. فلو استخدمت $L_{Depth}$ وحدها، قد تؤدي إلى أنماط لونية سيئة (حلول منحطة)، بينما حسنت $L_{SG}$ وحدها البنية المحلية. ومعاً، قدمتا الأكثر قوة في الاتساق ثلاثي الأبعاد.

• الترجمة إلى مجالات واقعية: نجحت الطريقة في نقل أنماط الطقس/المواسم الواقعية (مثل الممطر، الثلجي، الخريفي) إلى المشاهد مع الحفاظ على الهندسة المعمارية، مما يثبت فائدتها لما وراء الرسم الفني.

5. الأهمية

تقدم هذه الرسالة مساهمة كبيرة في مجال الرؤية الحاسوبية ثلاثية الأبعاد والذكاء الاصطناعي التوليدي من خلال سد الفجوة بين نقل الأسلوب الفني و القابلية الهندسية للاستخدام.

• الأثر العملي: تتيح إنشاء مجموعات بيانات ثلاثية الأبعاد نمطية تظل قابلة للاستخدام في مجالات الروبوتات، والواقع المعزز/الافتراضي، والملاحة الذاتية، حيث يمكن للنمطية القياسية أن تكسر مسارات التتبع وإعادة البناء.
• التحول المنهجي: تنتقل من العمليات الثقيلة المعتمدة على الوضعيات (مثل Neef/3DGS) نحو نهج يعتمد على مساحة الصورة ويتعلم ضمنياً الاتساق ثلاثي الأبعاد من خلال الارتباط والعمق.
• معيار التقييم: تضع بروتوكولاً صارماً لتقييم النمطية ليس فقط من حيث "كيف تبدو"، بل من حيث "مدى جودة عملها" للمهام ثلاثية الأبعاد اللاحقة، باستخدام خطأ مسار SLAM كمعيار أساسي.

باخت Hamilton، يثبت العمل أنه من خلال التنظيم الصريح لـ استقرار الارتباط و اتساق العمق، يمكن توليد صور متعددة المشاهد ذات نمط فني دون التضحية بالنزاهة الهندسية المطلوبة لإعادة البناء ثلاثي الأبعاد القوي.