ملخص تقني: ShapeGaussian

بيان المشكلة

لا يزال إعادة بناء المشاهد البشرية رباعية الأبعاد (4D) عالية الدقة والواقعية من فيديوهات أحادية العدسة (monocular) عفوية يمثل تحديًا كبيرًا في الرؤية الحاسوبية. تواجه الأساليب الحالية ثنائية في الأداء والمتانة:

1. طرق Gaussian Splatting العامة (مثل 4DGS): تفتقر هذه الأساليب إلى الأولويات البصرية القوية. فعند تطبيقها على الفيديوهات أحادية العدسة ذات الحركة البشرية السريعة، تعاني في التقاط الديناميكيات عالية التشوه بسبب الطبيعة غير المقيدة لمسألة التحسين وندرة المؤشرات متعددة المشاهد. يؤدي هذا غالبًا إلى هندسة غير دقيقة وتوليد صور ضعيف للمشاهد الجديدة.
2. الأساليب القائمة على النماذج (مثل HUGS وGART): تعتمد هذه الأساليب على نماذج بشرية بارامترية مثل SMPL لتوفير أولويات شكل قوية. وبينما يمكنها إنتاج نتائج واقعية، إلا أنها شديدة التأثر بالأخطاء في تقدير الوضعية البشرية (pose estimation). ويؤدي عدم دقة تقدير الوضعية إلى ظهور عيوب غير واقعية، خاصة في السيناريوهات المعقدة التي تتضمن ملابس فضفاضة، أو شعرًا، أو حجبًا جزئيًا، مما يحد من قابليتها للتطبيق في مهام إعادة البناء عالية الدقة.

هناك حاجة لمنهجية تحقق كلاً من إعادة البناء عالي الدقة والمتانة دون الاعتماد على نماذج بشرية صلبة قد لا تتناسب تمامًا مع أشخاص أو حركات محددة.

المنهجية

يقترح المؤلفون ShapeGaussian، وهو مسار عمل يتكون من خطوتين وخالٍ من النماذج (template-free) لإعادة بناء البشر رباعي الأبعاد، يستفيد من الأولويات البصرية القائمة على البيانات.

1. الأولويات القائمة على البيانات والتهيئة

بدلًا من الاعتماد على SMPL، تستخدم الطريقة نماذج رؤية أساسية مدربة مسبقًا لاستخراج معلومات غنية ثنائية ونصف الأبعاد (2.5D):

• الأقنعة الدلالية (Semantic Masks): لتقسيم العناصر البشرية.
• خرائط العمق (Depth Maps): مزيج من خريطة عمق أحادية العدسة عامة وخريطة عمق خاصة بالبشر.
• خرائط UV البشرية: تُستخدم لإنشاء ارتباطات كثيفة ثنائية الأبعاد (على سبيل المثال، عبر DensePose) للتتبع.

التهيئة المدركة للشكل (Shape-Aware Initialization):
لمعالجة صعوبة الحصول على نقاط صالحة من عملية "البنية من الحركة" (SfM) من الفيديوهات أحادية العدسة العفوية ذات الحركة الكبيرة، قدم المؤلفون مخطط تهيئة مدرك للشكل:

• محاذاة العمق: يقومون بمحاذاة خريطة عمق عامة مع خريطة عمق خاصة بالبشر باستخدام نقاط SfM متفرقة وخوارزمية RANSAC لإنشاء خريطة عمق متسقة ومحاذية ($D^*$).
• توليد Gaussian متفرق: يتم رفع النقاط ثنائية الأبعاد إلى ثلاثية الأبعاد باستخدام خريطة العمق المحاذية. ويتم تحديد الدورات الأولية عبر محاذاة Procrustes المتعامدة عبر الإطارات.
• تهيئة حقل التشوه: يتم تهيئة حقل التشوه باستخدام ارتباطات ثلاثية الأبعاد متفرقة وعالية الدقة مستمدة من العمق المحاذي، مما يقلل من فقدان التشوه لمحاذاة الحقل مع النقاط ثلاثية الأبعاد قبل التحسين المشترك.

2. نموذج التشوه مع إطارات مرجعية متعددة

على عكس الأعمال السابقة التي تستخدم إطارًا مرجعيًا أحاديًا، يستخدم ShapeGaussian إطارات مرجعية متعددة ($t_1, \dots, t_B$) للتعامل مع عدم ظهور الـ Gaussians في أي إطار منفرد.

• يتنبأ حقل التشوه $F_\theta$ بالإزاحات للموقع ($\delta x$)، والدوران ($\delta r$)، والمقياس ($\delta s$) بناءً على ترميز الوقت والترميز الموضعي.
• الحالة المشوهة النهائية لـ Gaussian عند الزمن $t$ هي مجموع مرجح لحالاته في الإطارات المرجعية $B$، حيث تكون الأوزان متعلمة. يسمح هذا للنموذج بتتبع الـ Gaussians حتى لو كانت محجوبة في بعض الإطارات المرجعية.

3. التحسين

تقوم الطريقة بتحسين شبكة التشوه والـ 3D Gaussians بشكل مشترك عبر جميع الإطارات.

• دالة الفقد (Loss Function): تتكون الخسارة الإجمالية من خسارة اللون ($L_{color}$)، وخسارة D-SSIM ($L_{D-SSIM}$)، وخسارة العمق ($L_{depth}$) التي تقارن العمق المُصوّر بالسابقة المحاذية، وخسارة الصلابة ($L_{rigid}$).
• التحكم في الكثافة متعدد الإطارات: يتم تطبيق التحكم التكيفي في الكثافة (استنساخ/تقسيم الـ Gaussians) بشكل متسق عبر جميع الإطارات المرجعية للحفاظ على الاتساق الهندسي.
• استراتيجية الإحماء (Warm-up): يتم تطبيق خسارة "التجميد" في الدورات الأولى لمنع الإشراف القوي من تدمير الأولويات الهندسية التي تم تأسيسها أثناء التهيئة.

المساهمات الرئيسية

1. إعادة بناء عالية الدقة خالية من النماذج (Template-Free): تستفيد الطريقة من الأولويات البصرية ثنائية الأبعاد لإعادة بناء مشاهد متمحورة حول البشر من فيديوهات أحادية العدسة، مما يخفف بفعالية من العيوب الناتجة عن أخطاء تقدير الوضعية المتأصلة في الطرق القائمة على النماذج الصريحة.
2. إطارات مرجعية متعددة: يستخدم المؤلفون إطارات مرجعية متعددة لحل مشكلة النقاط المفتاحية ثنائية الأبعاد غير المرئية بطريقة خالية من النماذج، مما يحسن بشكل كبير دقة التشوه للحركات عالية التشوه.
3. التهيئة المدركة للشكل: مخطط تهيئة مبتكر يجمع بين خرائط العمق العامة والخاصة بالبشر مع نقاط SfM لتوفير أساس هندسي قوي، متجاوزًا قيود SfM المتفرقة في السيناريوهات الديناميكية أحادية العدسة.
4. أداء متفوق: تُظهر التجارب المكثفة أن ShapeGaussian يتفوق على طرق Gaussian العامة والطرق القائمة على النماذج في دقة إعادة البناء، والجودة البصرية، والمتانة.

النتائج

تم تقييم الطريقة على مجموعتي بيانات NeuMan و ZJU Mocap.

• الأداء الكمي: على مجموعة بيانات NeuMan، حققت ShapeGaussian نتائج هي الأفضل في فئتها (state-of-the-art)، متفوقة على طرق مثل 4DGS و Deformable-GS و HUGS و Shape-of-Motion في مقاييس PSNR و SSIM و LPIPS. على سبيل المثال، في تسلسل "Seattle"، حققت PSNR قدره 27.68 مقارنة بـ 25.94 لـ HUGS و 21.03 لـ 4DGS.
• الأداء النوعي: تُظهر المقارنات البصرية أن ShapeGaussian تنتج أشكالًا بشرية أكثر دقة وعيوبًا أقل مقارنة بالطرق القائمة على النماذج (التي تعاني من أخطاء تقدير الوضعية) والطرق العامة (التي تفشل في التقاط الهندسة). تنجح الطريقة في تتبع النقاط المفتاحية الكثيفة وتحافظ على الاستقرار حيث تبتعد طرق البيانات الأخرى (مثل Shape-of-Motion).
• دراسات الاستئصال (Ablation Studies): أدى إزالة المكونات الرئيسية — وتحديدًا خريطة العمق الخاصة بالبشر فقط (HDM)، أو الإطارات المرجعية المتعددة (MF)، أو تهيئة حقل التشوه (DFI) — إلى انخفاض كبير في الأداء، مما يؤكد ضرورة كل مكون.

الأهمية والادعاءات

يزعم البحث أن ShapeGaussian تمثل خطوة مهمة للأمام في إعادة بناء البشر رباعي الأبعاد من خلال النجاح في سد الفجوة بين مرونة الطرق الخالية من النماذج ومتانة الطرق القائمة على الأولويات. ومن خلال دمج الأولويات البصرية بفعالية واستخدام استراتيجية الإطارات المرجعية المتعددة، تحقق الطريقة إعادة بناء عالية الدقة وواقعية من فيديوهات أحادية العدسة عفوية دون قيود النماذج البارامترية.

يشير المؤلفون إلى أنه بينما تعد الطريقة متينة تجاه الحركات المعقدة، فإنها تعتمد حاليًا على أولويات دلالية خارجية ومعلمات كاميرا دقيقة. علاوة على ذلك، وعلى عكس الطرق القائمة على النماذج، فهي لا تدعم حاليًا توليد وضعيات بشرية جديدة (أي أنها تعيد بناء الحركة المرصودة بدلاً من تحريك وضعية جديدة). ورغم هذه القيود، يقدم النهج حلاً أكثر طبيعية وقابلية للتكيف لإعادة بناء المشاهد الديناميكية في إعدادات العالم الحقيقي ذات الكاميرا الواحدة.