ملخص تقني: محاذاة الكامن المتكافئ عبر مطابقة التدفق تحت التناظر المجموعي

بيان المشكلة

تتناول الورقة البحثية قيداً حرجاً في تعلم التمثيل المتكافئ (ERL) للنماذج التوليدية المدركة للهندسة وتخليق المناظر الجديدة (NVS). بينما يهدف تعلم التمثيل المتكافئ (ERL) إلى بناء مساحات كامنة تعمل فيها عمليات المجموعات (مثل الدورانات في $SO(2)$ أو $SO(3)$) بشكل تحليلي ومتوقع، حدد المؤلفون ظاهرة تسمى عدم محاذاة الكامن (latent misalignment).

في الممارسة العملية، حتى عندما يتم تدريب المشفر $\Phi$ باستخدام أهداف التكافؤ، فإن التمثيل الكامن المحول تحليلياً $\rho(g)\Phi(x)$ (حيث $\rho(g)$ هو تمثيل المجموعة المعروف) غالباً ما يبتعد عن الكامن المشفر تجريبياً للصورة المحولة $\Phi(g \circ x)$. ينشأ هذا التفاوت من:

1. التحسين غير الكامل: يفشل المشفر في تعلم رسم خرائط متكافئ تماماً بسبب تعقيد ضغط محتوى الكائن وهياكل التناظر معاً.
2. التجزئة (Aliasing): تُدخل البنى القياسية (مثل الشبكات العصبية الالتفافية CNNs والمحولات Transformers) تجزئة عبر أخذ العينات المنفصلة والمرشحات غير المحدودة النطاق، مما يسبب أخطاء تكافؤ مستمرة.
3. الأهداف متعددة الأنماط: قد تقوم المشفرات غير المثالية برسم خرائط لمدخلات متميزة إلى نفس الكامن، مما يخلق توزيع أهداف متعدد الأنماط لا يمكن للخرائط الحتمية (نقطة إلى نقطة) حلها.

تتراكم عدم المحاذاة هذه تحت التحويلات، مما يؤدي إلى تدهور الاتساق الهندسي والدقة البصرية لتخليق المناظر الجديدة.

المنهجية: التدفق الكامن المتبقي (RLF)

لتصحيح عدم المحاذاة هذه دون التخلي عن الأولويات القائمة على نظرية المجموعات، اقترح المؤلفون التدفق الكامن المتبقي (RLF)، وهو إطار عمل يعتمد على مطابقة التدفق (Flow Matching).

المفهوم الجوهري

بدلاً من معاملة الكامن المحول تحليلياً $\rho(g)\Phi(x)$ كحقيقة أرضية نهائية، يعامل المؤلفون هذا الكامن كـ تقريب من الدرجة الأولى. حيث يتعلمون تدفقاً مستمراً (ديفيمورفيزم يعتمد على الزمن) يقوم بنقل هذا الكامن التقريبي إلى الكامن المستهدف الصحيح تجريبياً $\Phi(g \circ x)$.

صياغة المشكلة

تتم صياغة المهمة كمسألة نقل توزيع شرطي:

• المصدر ($z_0$): الكامن المحول تحليلياً، $z_0 = \rho(g)\Phi(x)$.
• الهدف ($z_1$): الكامن المشفر الحقيقي للصورة المحولة، $z_1 = \Phi(g \circ x)$.
• القيد: على عكس مطابقة التدفق القياسية التي تنقل توزيعات مستقلة، يجب على RLF نقل $z_0$ إلى $z_1$ المقترن به تحديداً والمستمد من نفس الكائن $(x, g)$. وهذا يتطلب نمذجة التوزيع المشترك الشرطي $\pi_{0,1}(z_0, z_1 | x, g)$ بدلاً من الهوامش المستقلة.

إجراء التدريب

تتبع الطريقة مسار تدريب مكون من ثلاث مراحل:

1. تدريب المشفر التلقائي الأساسي: يتم تدريب مشفر $\Phi$ ومفكك شفرة $\Psi$ باستخدام خسارة ERL القياسية (المعادلة 2) لتقليل أخطاء التكافؤ وإعادة البناء.
2. تدريب RLF: يتم تجميد المشفر. يتم تدريب نموذج تدفق لتعلم حقل السرعة $v_\theta$ الذي ينقل $z_0$ إلى $z_1$. تهدف الدالة إلى تقليل الفرق بين السرعة المتعلمة والحقل السريع الشرطي (الاستيفاء الخطي بين $z_0$ و $z_1$):
   $$\mathcal{L}_{RLF}(\theta) = \mathbb{E}_{x, g, t, z_t} [\|v_\theta(z_t, t) - (z_1 - z_0)\|_2^2]$$
   يسمح هذا للنموذج بالتعامل مع الطبيعة متعددة الأنماط لتوزيع الهدف الناتجة عن المشفرات غير المثالية.
3. ضبط مفكك الشفرة (Decoder Fine-tuning): يتم ضبط مفكك الشفرة $\Psi$ بدقة على الكوامن المصححة بالتدفق للتكيف مع توزيع الكامن المزاح، مما يضمن إعادة بناء عالية الجودة.

تختلف بنية نموذج التدفق حسب المجموعة: بنية تعتمد على المحولات (Transformer) لـ $SO(2)$ وبنية تعتمد على U-Net لـ $SO(3)$ (بالاستفادة من هيكل الشبكة المربعة لكتل مصفوفة Wigner D).

المساهمات الرئيسية

1. تحديد عدم محاذاة الكامن: حددت الورقة رسمياً وحللت التفاوت بين الكوامن المدورة تحليلياً والكوامن المشفرة تجريبياً في ERL، موضحة كيف يقوض ذلك الاتساق الهندسي.
2. إطار عمل التدفق الكامن المتبقي: اقترح المؤلفون آلية تصحيح كامنة مبتكرة باستخدام مطابقة التدفق. بخلاف التطبيقات القياسية التي تنقل الضجيج إلى البيانات، يقوم RLF بنقل التقريبات القائمة على نظرية المجموعات إلى الأهداف التجريبية، مما يحافظ على بنية المجموعة مع تصحيح عيوب المشفر.
3. التحقق التجريبي: تم التحقق من الطريقة عبر مجموعات بيانات متعددة ذات تناظرات $SO(2)$ و $SO(3)$، مما أظهر انخفاضاً كبيراً في خطأ الكامن وتحسناً في جودة تخليق المناظر الجديدة.

النتائج التجريبية

قيم المؤلفون طريقة RLF على ست مجموعات بيانات، بما في ذلك مجموعات اصطناعية (ABO-Material, ModelNet10-SO(3), ComplexBRDFs) ومجموعات صور حقيقية (RotatedMNIST, SmallNORB).

• تخليق المناظر الجديدة (NVS): تفوقت RLF باستمرار على النماذج المرجعية (بما في ذلك NFT و Spatial-VAE و LGA) في كل من الإعدادات داخل التوزيع (in-distribution) و خارج التوزيع (OOD).
• المقاييس:
  • خطأ الكامن: انخفاض كبير في مسافة $L_2$ بين الكوامن المتوقعة والحقيقية.
  • خطأ الزاوية: انخفاض جوهري في انحراف زوايا الدوران المتوقعة عن الحقيقة، خاصة لمهام $SO(3)$.
  • الدقة البصرية: تحسن في مقاييس PSNR و LPIPS، مع نتائج نوعية تظهر حفظاً أفضل للخلفية والتفاصيل الدقيقة أثناء الدوران مقارنة بالنماذج المرجعية، والتي أظهرت غالباً تشوهات أو عيوباً.
• التعميم: أظهرت الطريقة متانة عبر زوايا دوران مختلفة وكائنات غير مرئية، مما يؤكد أن تصحيح التدفق يعمم العلاقة المتكافئة بفعالية.

الأهمية والادعاءات

تدعي الورقة أن التدفق الكامن المتبقي يوفر حلاً عملياً لمشكلة "عدم محاذاة الكامن" التي تعاني منها نماذج التكافؤ الحالية. من خلال معاملة فعل المجموعة كتقريب من الدرجة الأولى وتعلم تصحيح متبقي، تقوم الطريقة بـ:

• استعادة الاتساق: تفرض أن مساحة الكامن تلتزم بتناظر المجموعة الأساسي بشكل أكثر دقة مما يفعل تدريب ERL وحده.
• تعزيز الدقة: تحسن مباشرة جودة تخليق المناظر الجديدة، خاصة في سيناريوهات الدوران خارج المستوى (out-of-plane) التي تتطلب استدلالاً هندسياً ومعالجة للاحتجاب.
• الحفاظ على البنية: تحتفظ بقابلية التفسير والضمانات النظرية لتناظرات المجموعات (مثل مصفوفات Wigner D) مع تصحيح القيود العملية للبنى العصبية.

يشير المؤلفون إلى أنه بينما تحسن طريقة RLF المحاذاة بشكل كبير، فإن جودة الصورة النهائية تظل محدودة بقدرة مفكك الشفرة. وقد حددوا توسيع الإطار ليشمل تحويلات أكثر عمومية (مثل $SE(3)$، والحركة المفصلية) وتطوير استراتيجيات تدريب مستقرة وشاملة (end-to-end) كتوجهات مستقبلية هامة.