Multi-View Face and Gesture Animation with Dynamic Gaussians
تقدم هذه الورقة MVFGA، وهو مسار عمل متعدد الرؤى يجمع بين النمذجة المنفصلة للوجه واليدين مع شبكة بارامترية للجزء العلوي من الجسم وتقنية التقطيع الغاوسي ثلاثي الأبعاد (3D Gaussian splatting) لإنشاء صور رمزية (avatters) واقعية للغاية وعالية الدقة للجزء العلوي من الجسم مع تعبيرات وجه وإيماءات يد دقيقة، مصحوبة بإصدار مجموعة بيانات MVFGA-MoCap.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء توأم رقمي لشخص حقيقي من أجل لعبة فيديو أو اجتماع افتراضي. في عالم رسومات الحاسوب، يشبه هذا محاولة إنشاء دمية تبدو تمامًا كإنسان، ولكنها تتحرك وتتحدث بشكل طبيعي تمامًا مثله. لفترة طويلة، عانى العلماء من مشكلة معقدة: كيف تجعل وجهًا رقميًا يبتسم بمشاعر حقيقية بينما يقوم في الوقت نفسه بتحريك اليدين للتلويح والإشارة بدقة مثالية؟ إذا ركزت كثيرًا على الوجه، ستبدو اليدان ككتل صلبة. وإذا ركزت على الجسم بأككامل، فغالبًا ما يبدو الوجه كقناع أملس خالٍ من التعبيرات. يأتي هذا البحث من مجال رسوم متحركة الحاسوب، وهو فرع من العلوم المخصص لتعليم الحواسيب كيفية إنشاء صور متحركة. وهو يبني على فكرتين رئيسيتين: "النماذج البارامترية"، والتي تشبه الهياكل العظمية الرقمية المرنة التي يمكن مطها والتواءها لتناسب شكل الشخص، و"التشتت الغاوسي ثلاثي الأبعاد" (3D Gaussian Splatting)، وهي تقنية حديثة تلون المشهد بملايين النقاط ثلاثية الأبعاد الصغيرة والضبابية بدلاً من استخدام المثلثات المسطحة التقليدية. الهدف هو إنشاء صور رمزية (أفاتار) لا تبدو واقعية في الصورة فحسب، بل تشعرك بأنها حية عندما تتحرك، متجنبة "الوادي غير المريح" (uncanny valley) — ذلك الشعور المخيف الذي ينتابك عندما يبدو الشيء بشريًا تقريبًا ولكنه "غير مضبوط" قليلاً.
قرر الباحثون وراء هذه الدراسة، علي رضا جوانماردي وفريقه، معالجة هذه المشكلة عبر بناء نظام جديد يسم يسمونه MVFGA (تحريك الوجه والإيماءات متعدد الرؤية مع الغاوسيات الديناميكية). فكر في نهجهم كأنه طاهٍ ماهر يتوقف عن محاولة طهي وجبة كاملة في قدر واحد ضخم، وبدلاً من ذلك يقوم بتحضير المكونات بشكل منفصل قبل دمجها ببراعة. فبدلاً من محاولة نمذجة جسم الإنسان بأكمله ككتلة واحدة فوضوية، قاموا ببناء دمية "للجزء العلوي من الجسم". لقد أخذوا نموذج جسم رقمي قياسي وقاموا باستئصاله جراحيًا عند الساقين، محتفظين فقط بالجذع والرأس والذراعين. ثم فعلوا شيئًا ذكيًا: قاموا بإرفاق "لوحتَي تحكم" متخصصتين بهذه الدمية. إحدى اللوحتين مخصصة بالكامل للوجه (باستخدام نظام يسمى FLAME)، والأخرى مخصصة بالكامل لليدين (باست using نظام MANO). وهذا يسمح للحاسوب بتعديل تعبيرات الوجه وحركات الأصابع بشكل مستقل، مما يضمن أن الابتسامة لا تشوه الأصابع بالخطأ، وأن حركة اليد لا تشوه العينين.
بمجرد أن أصبح لديهم هذا الهيكل المرن جاهزًا، لم يتوقفوا عند مجرد الإطار السلكي. لقد غطوا الدمية بطبقة من "الغاوسيات ثلاثية الأبعاد". تخيل أخذ حفنة من السحب الصغيرة المتوهجة والضبابية ولصقها جميعًا على سطح الدمية. هذه السحب ليست مجرد زينة؛ فهي تحمل لون وملمس بشرة الشخص وشعره وملابسه. وعندما تتحرك الدمية، تتمدد هذه السحب وتنكمش معها، مما يخلق صورة فائقة الواقعية وعالية الدقة تبدو وكأنها صورة فوتوغرافية وليست رسومًا كرتونية. ولتعليم الحاسوب كيفية القيام بذلك، لم يستخدم الفريق كاميرا واحدة فقط. بل أنشأوا استوديو به 17 كاميرا مرتبة في دائرة حول الشخص. قاموا بتصوير 15 شخصًا مختلفًا يؤدون حركات متنوعة، من صنع وجوه مضحكة إلى القيام بإيماءات يدوية معقدة وإجراء محادثات حرة وانسيابية. خلق هذا مجموعة بيانات ضخمة، أطلقوا عليها اسم MVFGA-MoCap، والتي عملت كساحة تدريب حيث يمكن للحاسوب تعلم كيفية تصرف الضوء والظل على إنسان متحرك من كل الزوايا الممكنة.
كانت نتائج تجاربهم مبهرة للغاية. فعندما اختبروا نظامهم الجديد مقابل طرق أخرى رائدة، أنتج نظام MVFGA صورًا أكثر حدة وواقعية باستمرار. على سبيل المثال، عند قياس مدى قرب الصورة التي أنشأها الحاسوب من الصورة الحقيقية، كان معدل الخطأ (L1) لديهم يبلغ 4.06 فقط، وهو أقل بكثير من أفضل طريقة تالية، والتي سجلت خطأً قدره 9.59. ومن حيث التشابه البصري (SSIM)، سجلوا 0.938، متفوقين على المنافسين. لكن السحر الحقيقي حدث في التفاصيل. فبينما حولت الطرق الأخرى الأيدي غالبًا إلى كتل ضبابية أو فقدت الشكل المحدد للأصابع عندما تتقاطع فوق بعضها البعض، حافظ MVFGA على تميز ودقة الأصابع. كما وجدوا أن الصور الرمزية الخاصة بهم يمكن توجيهها بواسطة فيديو بسيط لشخص يتحدث، وسيقوم النظام بإعادة إنتاج تعبيرات الوجه وإيماءات اليد بدقة على التوأم الرقمي، حتى من زوايا الكاميرا التي لم ترها الكاميرات فعليًا.
ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس عصا سحرية تحل كل شيء. فلا يزال نظامهم يعتمد على ذلك "الهيكل" الأساسي، مما يعني أنه لا يمكنه بسهولة التعامل مع أشياء مثل رفرفة قميص الشخص بقوة في الرياح أو سقوط قبعة، لأن هذه "حركات ثانوية" لا يتتبعها النموذج بشكل صريح. وأيضًا، نظرًا لأنهم دربوا النظام في الغالب على وجهات النظر الأمامية، فإنه يعاني قليلاً إذا حاولت النظر إلى الصورة الرمزية من الخلف، لأن مجموعة البيانات لم تلتقط معلومات كافية من الخلف. وبالرغم من هذه القيود، يشير البحث إلى أنه من خلال فصل الوجه واليدين ثم تغليفهما بسحابة من النقاط ثلاثية الأبعاد، فقد وجدوا طريقة لجعل البشر الرقميين أقرب بكثير إلى أن يكونوا واقعيين حقًا، مما يمهد الطريق لتجارب واقع افتراضي أكثر انغماسًا وأدوات تواصل رقمي أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.