Motion-Aware Animatable Gaussian Avatars Deblurring

إليك ملخص تقني مفصل لورقة البحث "MAD-Avatar: Motion-Aware Animatable Gaussian Avatars Deblurring".

1. بيان المشكلة (Problem Statement)

يعد إنشاء نماذج بشرية ثلاثية الأبعاد (Avatars) عالية الجودة وقابلة للتحريك من فيديوهات متعددة الزوايا مهمة بالغة الأهمية في الرؤية الحاسوبية، ويتم تحقيق ذلك عادةً باستخدام "النقاط الغاوسية ثلاثية الأبعاد" (3D Gaussian Splatting - 3DGS) مدمجة مع نموذج (SMPL). ومع ذلك، تعتمد الطرق الحالية بشكل كبير على صور مدخلة حادة وعالية الجودة.

في السيناريوهات الواقعية، يكون تغبيش الحركة (Motion Blur) أمراً لا مفر منه بسبب سرعات حركة الإنسان غير المتوقعة وأوقات تعريض الكاميرا. يفرض تغبيش الحركة تحديين حرجين لإعادة البناء ثلاثي الأبعاد:

1. الغموض الهيكلي (Structural Ambiguity): تسبب الإطارات المغبشة نماذج 3DGS تعلم تمثيلات ثلاثية الأبعاد مشوهة لأن التغبيش يحجب التفاصيل الهيكلية والأنسجة.
2. أخطاء تقدير المعلمات (Parameter Estimation Errors): يؤدي التغبيش إلى تقدير غير دقيق لمعلمات نموذج SMPL (الوضعية والشكل)، وهي ضرورية لتحريك النموذج (Avatar).

غالباً ما تحاول الحلول الحالية اتباع نهج ذي مرحلتين: أولاً تطبيق إزالة التغبيش ثنائية الأبعاد (2D deblurring) على الفيديو، ثم تدريب النموذج ثلاثي الأبعاد. يفشل هذا النهج لأن إزالة التغبش ثنائية الأبعاد تفتقر إلى الاتساق في المشهد ثلاثي الأبعاد، مما يؤدي إلى ظهور عيوب (artifacts) عبر وجهات النظر المختلفة، ويفشل في حل الغموض المتأصل في اتجاه الحركة.

2. المنهجية (Methodology)

تقترح الورقة إطار عمل MAD-Avatar، وهو إطار مبتكر يعيد بناء نماذج غاوسية ثلاثية الأبعاد حادة وقابلة للتحريك مباشرة من فيديوهات مغبشة، وذلك عبر التحسين المشترك لتمثيل الـ Avatar ومعلمات الحركة ضمن نموذج فيزيائي لتشكيل التغبيش مدرك للبعد الثالث (3D-aware physics-based blur formation model).

أ. نموذج تشكيل التغبيش المدرك للبعد الثالث (3D-Aware Blur Formation Model)

بدلاً من معاملة التغبيش كمشكلة معالجة صور ثنائية الأبعاد، قام المؤلفون بنمذجته كعملية تكامل لصور حادة افتراضية عبر زمن تعريض الكاميرا ($\tau$).

• الصياغة: يتم نمذجة الصورة المغبشة الملتقطة $I_B$ كمتوسط لـ $T$ من الصور الحادة الافتراضية عند خطوات زمنية منفصلة ضمن فترة التعريض.
• التكامل مع 3DGS: يستخدم النموذج مجموعة من النقاط الغاوسية الأساسية $\{G_k\}$ ويقوم بتشويهها في فضاء الملاحظة عند كل خطوة زمنية $t$ باستخدام معلمات SMPL (الوضعية $\Theta_t$، الشكل $\beta_t$، وأوزان المزج $B_t$).
• التخليق (Synthesis): يتم تخليق الصورة المغبشة النهائية عن طريق رسم (rasterizing) النقاط الغاوسية المشوهة عند كل خطوة زمنية وحساب متوسطها. وهذا يسمح بحساب الخسارة (loss) مباشرة مقابل الإطار المغبش المرصود.

ب. نموذج حركة الإنسان ثلاثي الأبعاد (3D Human Motion Model)

لحل غموض اتجاه الحركة (مثل التمييز بين الحركة من اليسار إلى اليمين مقابل من اليمين إلى اليسار والتي تنتج تغبيشاً متشابهاً)، قدم المؤلفون نموذج حركة متخصصاً:

1. نموذج الوضع التسلسلي الصلب لما دون الإطار (Sub-frame Rigid Sequential Pose Model):
   • يستخدم استكمال B-spline (صياغة De Boor–Cox) لتقدير دورات المفاصل المستمرة ($\Theta_t$) بين الإطارات، مما يضمن مسارات حركة سلسة.
   • تشويه الوضع (Pose Deformation): تتنبأ وحدة تعتمد على الشبكات العصبية الالتفافية (CNN) باسم ($G_{disp}$) بإزاحات الوضع الدقيقة ($\Delta \Theta_t$) لالتقاط تغيرات الحركة غير الصلبة عالية التردد التي لا تستطيع الـ B-splines وحدها نمذجتها.
2. تنظيم الحركة بين الإطارات (Inter-frame Motion Regularization):
   • لمنع الغموض الاتجاهي (حيث قد يقلب النموذج اتجاه الحركة)، تمت إضافة حد تنظيمي ($L_{reg}$). يعمل هذا الحد على تقليل المسافة الجيوديسية (Geodesic distance) بين الوضع النهائي لفترة التعريض الحالية والوضع الأولي للفترة التالية، مما يضمن الاتساق الزمني.
3. تحسين الشكل وأوزان الجلد (Shape and Skin Weight Optimization):
   • يتم تحسين معلمات شكل SMPL ($\beta$) وأوزان مزج الجلد الخطية (LBS) بشكل مشترك. تتنبأ شبكة CNN بإزاحات لأوزان LBS لتنقية كيفية تشوه النقاط الغاوسية ثلاثية الأبعاد مع الهيكل العظمي.

ج. مسار التحسين (Optimization Pipeline)

يقوم النظام بعملية تحسين شاملة (end-to-end):

1. تهيئة معلمات SMPL من تقدير أولي تقريبي (مثل EasyMocap).
2. تقدير الحركة لما دون الإطار باستخدام B-spline + نموذج التشوه.
3. تشويه النقاط الغالية (3DGS) الأساسية وفقاً للحركة المقدرة.
4. رندرة (Rendering) صور حادة افتراضية، وتوسيطها لمحاكاة التغبيش، وحساب خسارة $L_1$ مقابل المدخلات المغبشة الحقيقية.
5. تحديث 3DGS، ومعلمات الحركة، والشكل/الأوزان في آن واحد.

3. المساهمات الرئيسية (Key Contributions)

1. أول نموذج Avatar مباشر لإزالة التغبيش: يقدم أول طريقة لإعادة بناء نماذج بشرية غاوسية ثلاثية الأبعاد حادة وقابلة للتحريك مباشرة من فيديوهات مغبشة دون الحاجة لمرحلة إزالة تغبيش ثنائية الأبعاد منفصلة.
2. فيزياء التغبيش المدركة للبعد الثالث: توسيع صياغة التغبيش التقليدية ثنائية الأبعاد إلى نموذج مدرك للبعد الثالث يأخذ في الاعتبار صراحةً حركة الإنسان وتكامل الضوء عبر الزمن داخل مسار رندرة النقاط الغاوسية ثلاثية الأبعاد.
3. حل الغموض: اقتراح نموذج حركة مدرك للبعد الثالث يجمع بين استكمال B-spline، وشبكات تشويه الوضع، والتنظيم بين الإطارات لحل حالات الغموض المتأصلة في تغبيش الحركة.
4. مقاييس مرجعية جديدة (New Benchmarks):
   • مجموعة بيانات اصطناعية: تم إنشاؤها بناءً على ZJU-MoCap مع محاكاة لتغبيش الحركة.
   • مجموعة بيانات واقعية: تم التقاطها باستخدام نظام كاميرات هجين بزاوية 360 درجة (4 كاميرات مغبشة + 8 كاميرات حادة) لتوفير الحقيقة الأرضية (ground truth) للتقييم.
   • عرض تجريبي للهواتف المحمولة: تم استعراض العمل على فيديو أحادي من iPhone 16 Pro.

4. النتائج التجريبية (Experimental Results)

تم تقييم الطريقة على كل من مجموعات البيانات الاصطناعية والواقعية، ومقارنتها مع أحدث الطرق (SOTA) لإزالة التغبيش ثنائية الأبعاد (مثل ShiftNet, RVRT, VRT, BSST) متبوعة بتدريب 3DGS، وكذلك التدريب المباشر لـ 3DGS على البيانات المغبشة.

• الأداء الكمي:
  • في المجموعة الاصطناعية، حقق MAD-Avatar قيمة 25.55 PSNR، و 0.829 SSIM، و 0.1476 LPIPS، متفوقاً بشكل كبير على أفضل خط أساس (23.08 PSNER).
  • في المجموعة الواقعية، حقق 27.01 PSNR، و 0.827 SSIM، و 0.1668 LPIPS، مقارنة بـ ~25.6 PSNR لخط الأساس.
• التحسينات النوعية:
  • نجحت الطريقة في استعادة التفاصيل الدقيقة (مثل أنسجة الملابس، وملامح الوجه) والقضاء على عيوب التغبيش المتبقية الشائعة في النهج المكون من مرحلتين.
  • تنتج نتائج متسقة عبر وجهات نظر متعددة، بينما تؤدي إزالة التغبيش ثنائية الأبعاد غالباً إلى عيوب تفتقر للاتساق بين وجهات النظر.
• دراسات الاستئصال (Ablation Studies):
  • أدى حذف استكمال B-spline أو تشويه الوضع إلى انخفاض كبير في الأداء، مما أكد ضرورة نمذجة الحركة المستمرة لما دون الإطار.
  • كان التنظيم بين الإطارات ($L_{reg}$) حاسماً لتصحيح اتجاه الحركة في الخطوات الزمنية غير المنتصفية.
  • النموذج قوي تجاه التقديرات الأولية غير الدقيقة لـ SMPH وتجاه شدة التغبيش المتغيرة ($K_{blur}$).

5. الأهمية (Significance)

تسد هذه الورقة فجوة حرجة في إعادة البناء البشري ثلاثي الأبعاد من خلال تمكين إنشاء نماذج (avatars) عالية الدقة من فيديوهات واقعية غير مقيدة حيث يسود تغبيش الحركة.

• الأثر العملي: تلغي الحاجة إلى إعدادات كاميرات باهظة الثمن، أو عالية السرعة، أو متزامنة بدقة، مما يجعل إنشاء نماذج بشرية ثلاثية الأبعاد عالية الجودة ممكناً باستخدام كاميرات استهلاكية عادية (بما في ذلك الهواتف الذكية).
• التقدم النظري: تثبت أن نمذجة التكوين الفيزيائي للتغبيش في الفضاء ثلاثي الأبعاد يتفوق على معاملة التغبيش كمشكلة استعادة صور ثنائية الأبعاد، خاصة للأجسام الديناميكية والمفصلية.
• التطبيقات المستقبلية: تتيح هذه التقنية تطبيقات أكثر قوة للواقع المعزز/الافتراضي (AR/VR)، وإنشاء البشر الرقميين للألعاب، وصناعة المحتوى الآلي من لقطات الفيديو العادية.

لقد أطلق المؤلفون الكود المصدري ومجموعات البيانات لتسهيل المزيد من الأبحاث في إعادة البناء ثلاثي الأبعاد المدرك للتغبيش.