Symmetry Matters: Auditing and Symmetrizing 3D Generative Models

ملخص تقني: التماثل أمر جوهري: تدقيق وتماثل النماذج التوليدية ثلاثية الأبعاد

بيان المشكلة
يُعد التماثل خاصية هندسية أساسية منتشرة في الكائنات الطبيعية والاصطناعية، حيث يعمل كإشارة حاسمة للإدراك البشري وقيد هيكلي في مهام الرؤية الحاسوبية. وعلى الرغم من انتشار التماثل الانعكاسي في مجموعات البيانات ثلاثية الأبعاد واسعة الاستخدام مثل ShapeNet، إلا أن المعايير المرجعية القياسية للنماذج التوليدية ثلاثية الأبعاد (التي تقيم مقاييس مثل Coverage و1-NNA وCD وEMD) نادراً ما تختبر ما إذا كان هذا المبدأ المسبق قد تم الحفاظ عليه في المخرجات المولدة. ويفترض المؤلفون أن النماذج الحالية قد تحقق درجات تنافسية في المقاييس القياسية مع الفشل في الحفاظ على الاتساق الهيكلي، وتحديداً التماثل الانعكاسي. يتمثل السؤال البحثي الجوهري في ما إذا كانت النماذج التوليدية ثلاثية الأبعاد الحالية تحافظ على التماثل الموجود في بيانات التدريب الخاصة بها، وإذا لم يكن الأمر كذلك، فهل ينبع هذا الفشل من عيوب البيانات، أم ضجيج أخذ العينات، أم من العملية التوليدية نفسها.

المنهجية
يستخدم البحث نهجاً متعدد المراحل لتدقيق وتشخيص ومعالجة إخفاقات التماثل في توليد السحب النقطية غير المشروطة:

1. تدقيق وقياس التماثل:

• قدم المؤلفون درجة التماثل المعيارية القائمة على مسافة تشامفر (NSCD). يقيس هذا المقياس التماثل الانعكاسي عن طريق حساب مسافة تشامفر (CD) بين الكائن وانعكاسه عبر المستوى $x=0$، مع معايرة النتيجة بالنسبة لمربع قطر صندوق الإحاطة الخاص بالكائن لضمان عدم التأثر بالمقياس (scale invariance).
• قاموا بتدقيق ثمانية نماذج توليدية ثلاثية الأبعاد ممثلة (بما في ذلك DPM، وPVD، وLION، وDiT-3D، وXCube، وSLIDE 3D، ومتغيرات SPVD) المدربة على ShapeNet.

2. التحقق من مجموعة البيانات الخاضعة للرقابة:

• لتحديد ما إذا كانت فجوة التماثل موروثة من البيانات، أنشأ المؤلفون مجموعة بيانات للأجسام المرآتية (mirrored-objects dataset). يتضمن ذلك أخذ أجسام من ShapeNet، ودمجها مع انعكاساتها، وإعادة أخذ العينات لإنشاء توزيع متماثل صراحةً.
• تم إعادة تدريب النماذج على هذه المجموعة المرآتية لملاحظة ما إذا كان وجود مبدأ تماثل أقوى في البيانات يترجم إلى حفظ أفضل للتماثل في عملية التوليد.

3. فحص التفسير الآلي (Mechanistic Interpretability):

• طبق المؤلفون تقنيات التفسير الآلي لتشخيص أين يحدث كسر التماثل داخل المسار البرمجي.
• على مستوى أخذ العينات (Sampling Level): بالنسبة لنماذج الانتشار (diffusion-based models)، اختبروا ما إذا كان عكس الضجيج الغاوسي الأولي يؤدي إلى شكل نهائي معكوس. قاموا بقياس NSCD بين التوليد الناتج عن الضجيج الأصلي والتوليد الناتج عن الضجيح المعكوس.
• على مستوى الفضاء الكامن (Latent Level): بالنسبة للنماذج التي تحتوي على مشفرات (مثل LION)، قاموا بقياس المسافة الإقليدية المعيارية بين الرموز الكامنة (latent codes) لكائن وانعكاسه. تشير المسافة الكبيرة إلى أن المشفر لا يعامل المدخلات المتماثلة كمدخلات متكافئة.

4. التدخل القائم على البيانات:

• بدلاً من تعديل البنى الهيكلية أو دوال الخسارة، اقترح المؤلفون استراتيجية تدريب "أنصاف الأجسام" (half-objects training strategy).
• التدريب: يتم تقسيم الأجسام على طول مستوى التماثل ($x=0$)، ويُستخدم النصف الأيمن فقط ($x \ge 0$) للتدريب.
• أخذ العينات: يتم عكس أنصاف الأجسام المولدة عبر المستوى $x=0$ ودمجها لإعادة بناء الأشكال الكاملة. تم إدخال آلية إزاحة ديناميكية لمنع الانهيار الهندسي عند الحدود.

النتائج الرئيسية

• فجوة التماثل: تظهر النماذج الحالية ذات الأداء العالي فجوة "تماثل" ثابتة. حتى عندما تشير المقاييس القياسية (1-NNA، COV) إلى أداء تنافسي، فإن قيمة NSCD للعينات المولدة تكون أعلى بكثير (أي أسوأ) من توزيع ShapeNet الأصلي.
• البيانات مقابل العملية: لم تؤدِ إعادة تدريب النماذج على المجموعة المرآتية المتماثلة صراحةً إلى القضاء على الفجوة. وفي كثير من الحالات، أنتجت النماذج المدربة على البيانات المرآتية أخطاء تماثل أعلى من بيانات التدريب الأصلية، مما يشير إلى أن الفشل ناتج عن العملية التوليدية المتعلمة، وليس مجرد نتاج للبيانات.
• النتائج الآلية:
  • أخذ العينات: لا يؤدي عكس الضجيج المدخل باستمرار إلى إنتاج شكل معكوس، مما يشير إلى أن عملية إزالة الضجيج (denoising) ليست مدركة للتماثل.
  • الفضاء الكامن: تقوم المشفرات بتمثيل الأجسام المتماثلة في تمثيلات كامنة متباعدة، مما يعني فشلها في ترميز مبدأ التماثل بشكل متماسك.
• فعالية التدخل: أدى نهج تدريب "أنصاف الأجسام" إلى تحسين التماثل بشكل كبير عبر جميع الهياكل المختبرة. حققت النماذج الناتجة (المشار إليها بـ '-S') قيم NSCD أقل بكثير (غالباً أفضل من حقيقة ShapeNet الأصلية) مع الحفاظ على أداء تنافسي في المقاييس التوزيعية القياسية (1-NNA، COV، CD، EMD).
• محدودية المرآتية اللاحقة (Post-hoc Mirroring): أظهرت دراسة الاستبعاد (ablation study) أن مجرد تقسيم ومرآتية الأجسام المولدة (لاحقاً) غالباً ما يضاعف الأخطاء الهندسية المحلية (مثل الأجزاء المفقودة أو التشوهات)، بينما يتعلم التدريب على أنصاف الأجسام توزيعاً قوياً للهياكل الجزئية.

الأهمية والادعاءات
يزعم البحث أن التماثل الانعكاسي هو مبدأ مسبق قوي في البيانات ثلاثية الأبعاد يتم تجاهله حالياً في بروتوكولات التقييم القياسية. ويجادل المؤلفون بأن:

1. فجوة التقييم: المعايير المرجعية القياسية غير كافية لتقييم المبادئ الهيكلية المسبقة؛ ومن الضروري وجود بروتوكول تقييم يراعي التماثل جنباً إلى جنب مع مقاييس مثل 1-NNA وCOV.
2. الفشل التوليدي: غياب التماثل في الأشكال المولدة ليس مجرد أثر ناتج عن البيانات، بل هو فشل للعملية التوليدية المتعلمة في ترميز الاتساق الهيكلي.
3. العلاج البسيط: التدخل القائم على البيانات (التدريب على أنصاف الأجسام) هو طريقة بسيطة وغير مرتبطة بالبنية المعمارية لفرض التماثل، مما ينتج أشكالاً متسقة هندسياً ومعقولة بصرياً دون التضحية بالتنوع التوزيعي.
4. الرؤية الآلية: يوضح العمل فائدة التفسير الآلي في التوليد ثلاثي الأبعاد، حيث يكشف أن كسر التماثل يظهر بوضوح في كل من ديناميكيات أخذ العينات وتنظيم الفضاء الكامن.

يخلص المؤلفون إلى أن النماذج التوليدية ثلاثية الأبعاد المستقبلية يجب أن تدمج التماثل صراحةً كمبدأ تصميمي، سواء من خلال استراتيجيات التدريب أو القيود الهيكلية، لضمان السلامة الفيزيائية والدلالية للكائنات المولدة.