Pose-Aware Diffusion for 3D Generation

إليك ملخص تقني مفصل لورقة البحث "Pose-Aware Diffusion for 3D Generation" (PAD).

1. بيان المشكلة

تعالج الورقة عقبة حرجة في توليد الأجسام ثلاثية الأبعاد من صورة واحدة: عدم المحاذاة المكانية وغموض الوضعية (Pose Ambiguity).

• نموذج "النمط المعياري ثم التدوير" (Canonical-Then-Rotate Paradigm): تقوم معظم الطرق الحالية الرائدة (SOTA) بتوليد الأجسام ثلاثية الأبعاد في فضاء إحداثيات "معياري" (canonical) موحد (اتجاه ثابت)، ثم تحاول تدوير الجسم ليتناسب مع وضعية الصورة المدخلة.
• القيود:
  1. عدم التطابق المكاني: يؤدي الفصل بين عملية التوليد وتقدير الوضعية إلى كسر الرابط المباشر بين التفاصيل الدقيقة للصورة المدخلة والهندسة المولدة. وحتى مع التدوير الصحيح، غالبًا ما يفشل الشكل في المحاذاة بدقة بكسلية مع المدخلات.
  2. غموض الوضعية: الأجسام ذات الخصائص المتماثلة غالبًا ما تؤدي إلى أخطاء في التحويل (مثل التدويرات المعكوسة) أثناء خطوة تقدير الوضعية اللاحقة.
  3. تكوين المشهد: إعادة بناء المشاهد التي تحتوي على أجسام متعددة أمر صعب، لأن محاذاة الأجسام المعيارية المولدة بشكل مستقل لتكوين مشهد متماسك يتطلب عمليات تحسين معقدة وعرضة للخطأ.

2. المنهجية: الانتشار المدرك للوضعية (Pose-Aware Diffusion - PAD)

يقترح PAD إطار عمل متكامل (End-to-End) يولد الهندسة ثلاثية الأبعاد مباشرة داخل فضاء الملاحظة (Observation Space) (نظام الإحداثيات الخاص بالصورة المدخلة)، مما يلغي الحاجة إلى الافتراضات المعيارية أو تسجيل الوضعية اللاحق.

المكونات الأساسية:

1. توليد فضاء الملاحظة:

   • بدلاً من توليد شبكة (Mesh) معيارية $M$ وتطبيق تحويل $T$، يقوم PAD بنمذجة الخريطة المباشرة $p(\hat{M}|I)$، حيث $\hat{M}$ هي الشبكة النهائية المتوافقة مع الوضعية و $I$ هي الصورة المدخلة.
   • يضمن هذا أن الهندسة المولدة مرتبطة جوهريًا بزاوية رؤية المدخلات.

2. الاشتراط بنقاط الكوامن (الابتكار الرئيسي):

   • إسقاط عكسي (Unprojection): يستخرج مقدر عمق متري (مثل MoGe) خريطة عمق من الصورة المدخلة، والتي يتم إسقاطها عكسيًا إلى سحابة نقاط جزئية ($P_{partial}$) تمثل السطح المرئي.
   • ترميز الكوامن ثلاثي الأبعاد: يتم ترميز هذه السحابة الجزئية إلى متجه كامن هندسي مدمج ($z_{geo}$) باستخدام بنية VecSet VAE (بنية غير حساسة للترتيب/Permutation-invariant).
   • الدمج (Concatenation): على عكس الطرق التي تستخدم ميزات الصور ثنائية الأبعاد عبر الانتباه المتقاطع (Cross-attention)، يقوم PAD بدمج $z_{geo}$ مباشرة مع توكنات الكوامن الانتشارية ($z_t$) على طول البعد التسلسلي.
   • الأثر: يعمل هذا بمثابة "مرساة هندسية"، مما يجبر نموذج الانتشار على تخيل الهندسة المفقودة (الأجزاء المحجوبة) للخارج من السطح المرئي المعروف، مما يضمن محاذاة مكانية صارمة.

3. استراتيجية التدريب والاستقرار:

   • التهيئة (Initialization): يتم تهيئة النموذج من Hunyuan3D-2.1، وهو نموذج انتشار ثلاثي الأبعاد ضخم مدرب مسبقًا.
   • تنقية البيانات: يتم تنقية مجموعة بيانات التدريب (Objaverse, 3D-Front) عن طريق رندر (Rendering) الأجسام من زوايا رؤية محددة وتدوير الشبكات الأصلية (Ground-truth meshes) صراحةً لتتطابق تمامًا مع تلك الرؤى.
   • تعزيز ضجيج العمق: لمنع النموذج من الإفراط في التكيف (Overfitting) مع العمق المثالي للفشل عند مواجهة تقديرات عمق حقيقية مشوشة، تقوم عملية التدريب باستبدال العمق الأصلي عشوائيًا بعمق مقدر وحقن الضجيج في السحب النقطية الجزئية. هذا يجبر النموذج على تخيل الهندسة المفقودة بمتانة عالية.

4. توليد المشاهد التركيبية:

   • يمتد PAD طبيعيًا لتوليد المشاهد. من خلال تقسيم صورة المشهد إلى أجسام فردية، واستخراج سحب نقطية جزئية لكل منها، وتوليدها بشكل مستقل في إطار الكاميرا العالمي، يتم تكوين مشهد ثلاثي الأبعاد متماسك عبر عملية اتحاد (Union) بسيطة.
   • يتجاوز هذا الحاجة إلى التحسين المشترك لعدة زوايا رؤية أو تسجيل الوضعية لكل نموذج على حدة.

3. المساهمات الرئيسية

1. إطار عمل مدرك للوضعية ومتكامل (End-to-End): يعد PAD أول إطار عمل انتشار يولد أصولًا ثلاثية الأبعاد مباشرة في فضاء الملاحظة، مما يقضي جذريًا على غموض الوضعية وعدم التطابق المكاني.
2. الاشتراط المباشر بالكوامن ثلاثية الأبعاد: يقدم آلية مبتكرة لحقن السحب النقطية الجزئية المسقطة عكسيًا في فضاء الكوامن الانتشارية، مما يفرض قيودًا مكانية صارمة لا تستطيع ميزات الصور ثنائية الأبعاد توفيرها.
3. المتانة تجاه المقدمات غير الكاملة: من خلال تعزيز ضجيج العمق، يتعلم النموذج التعامل مع السحب النقطية الجزئية كإرشادات هيكلية خشنة، مما يحافظ على دقة عالية حتى مع مدخلات العمق المشوشة.
4. القابلية للتوسع إلى المشاهد: يثبت أن توليد الأجسام المتوافقة مع الوضعية يمكن دمجه بسلاسة في مشاهد ثلاثية الأبعاد معقدة دون الحاجة إلى تحسين إضافي للمحاذاة.

4. النتائج التجريبية

قام المؤلفون بتقييم PAD على Google Scanned Objects (GSO) لتوليد الأجسام الفردية وعلى 3D-FUTURE لتوليد المشاهد التركيبية.

• الأداء الكمي:

  • توليد الأجسام المتوافقة مع الوضعية: يتفوق PAD على النماذج المرجعية (Baselines) مثل (DreamGaussian, InstantMesh, MIDI, SceneGen, SAM-3D) في جميع المقاييس.
    • مسافة تشامفر (Chamfer Distance - CD): أقل خطأ (48.76 مقابل 56.77 لأفضل نموذج تالٍ).
    • درجة F-Score: أعلى درجة (0.204)، مما يشير إلى تفاصيل هندسية ومحاذاة أفضل.
    • التشابه بين الصورة والثلاثي الأبعاد: أعلى الدرجات في اختبارات Uni3D و ULIP.
  • توليد المشاهد التركيبية: يحقق PAD أفضل CD (56.24) وأعلى F-Score (0.212)، متفوقًا بشكل كبير على SceneGen و SAM-3D.

• التحليل النوعي:

  • غالبًا ما تنتج النماذج المرجعية أجسامًا عائمة، أو تدويرات معكوسة، أو تشوهات هندسية (مثل عدم محاذاة SAM-3D، أو الهلوسة المفرطة في MIDI).
  • يحافظ PAD على التفاصيل المعقدة، ويحافظ على الوضعيات الدقيقة، ويتعامل مع الحجب بفعالية، مما ينتج شبكات (Meshes) محكمة الإغلاق تتوافق تمامًا مع الصورة المدخلة.

5. الأهمية والأثر

• تحول في النموذج (Paradigm Shift): ينقل PAD المجال بعيدًا عن سير العمل "النمطي ثم التدوير" الذي يتسم بالخطأ بطبيعته، نحو نموذج توليد مباشر في "فضاء الملاحظة".
• التطبيقات العملية: من خلال ضمان المحاذاة المكانية الدقيقة، يمكن تطبيق PAD فورًا في المهام التي تتطلب دقة فيزيائية، مثل المحاكاة الروبوتية، الواقع الافتراضي، والألعاب، حيث يجب أن تتناسب الأصول المولدة بسلاسة مع البيئات ثلاثية الأبعاد الموجودة.
• الذكاء التركيبي: تمثل القدرة على توليد مشاهد متعددة الأجسام متماسكة من صورة واحدة خطوة كبيرة نحو الأتمتة في إنشاء المحتوى ثلاثي الأبعاد.

القيود: لا تزال دقة الطريقة تعتمد على جودة مقدر العمق أحادي العدسة وأقنعة التجزئة ثنائية الأبعاد المستخدمة. المناطق المحجوبة بشدة قد تظل تمثل غموضًا هيكليًا.