Face Anything: 4D Face Reconstruction from Any Image Sequence
تقدم هذه الورقة "Face Anything"، وهي طريقة موحدة تعتمد على المحولات ذات التغذية الأمامية (feed-forward transformer) تحقق أداءً هو الأفضل في حالته في إعادة بناء وتتبع الوجه رباعي الأبعاد من أي تسلسل صور عبر التنبؤ بإحداثيات الوجه المعيارية لحل الغموض الهندسي وضمان الاتساق الزمني.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء فيلم ثلاثي الأبعاد متحرك ومثالي لوجه شخص ما بمجرد مشاهدة فيديو له وهو يتحدث. هذا أمر صعب للغاية لأن الوجوه معقدة: فهي تنكمش، وتتمدد، وتلتوي عندما يبتسم الشخص أو يعبس، كما قد تتغير زاوية الكاميرا.
حاولت معظم الطرق القديمة حل هذه المشكلة عن طريق تخمين كيفية حركة كل بكسل من إطار إلى الإطار التالي. الأمر يشبه محاولة تتبع قطرة ماء محددة في نهر هائج؛ إنه أمر فوضوي، مربك، وغالباً ما يؤدي إلى أخطاء.
"Face Anything" هي طريقة جديدة وأكثر ذكاءً للقيام بذلك. إليك كيف تعمل، مشروحة ببساطة:
١. تشبيه "جواز السفر العالمي"
بدلاً من تتبع كيفية "حركة" البكسل من الإطار (أ) إلى الإطار (ب)، تطرح هذه الطة الجديدة سؤالاً مختلفاً: "أين ينتمي هذا البكسل في بطاقة هوية الوجه؟"
فكر في وجه الإنسان مثل الكرة الأرضية. مهما أدرت رأسك أو قمت بتعبيرات وجه مضحكة، يظل أنفك دائماً في المركز، وعيناك دائماً فوقه.
- الطريقة القديمة: محاولة حساب المسار الدقيق الذي يسلكه البكسل أثناء طيرانه عبر الشاشة.
- الطريقة الجديدة (Face Anything): تخصيص "رقم جواز سفر" لكل بكسل (إحداثيات كانونيكية - Canonical Coordinate). يخبر هذا الجواز الكمبيوتر: "أنا البكسل الموجود على الخد الأيسف، على بُعد ٢ ملم من الأنف".
ولأن هذا "الجواز" يعتمد على بنية الوجه وليس على رؤية الكاميرا، فإنه يظل ثابتاً حتى لو أدار الشخص رأسه أو ابتسم بشكل عريض.
٢. "المخطط الرئيسي"
يبني النظام مخططاً رئيسياً (يسمى الفضاء الكانوني - Canonical Space).
- تخيل نموذجاً من الصلصال لوجه لا يتحرك أبداً.
- عندما تلتقط صورة لشخص حقيقي، يدرك الذكاء الاصطناعي فوراً: "حسناً، هذه الصورة هي مجرد نسخة مشوهة من ذلك المخطط الرئيسي".
- يقوم بربط كل بكسل في صورتك بمكانه في المخطط الرئيسي.
بمجرد ربط كل شيء بهذا المخطط الرئيسي، يصبح توصيل النقاط بين اللحظات الزمنية المختلفة أمراً سهلاً. لست بحاجة لتخمين أين ذهب البكسل؛ ما عليك سوى النظر إلى رقم جواز سفره. إذا كان الجواز يقول "الحاجب الأيسر"، فأنت تعرف بالضبط أين يوجد هذا البكسل في الإطار التالي أيضاً.
٣. نموذج "السكين السويسري"
يقدم البحث نموذج ذكاء اصطناعي واحد (مثل "السكين السويسري") يقوم بثلاث وظائف في آن واحد بنظرة واحدة سريعة:
١. العمق: يكتشف مدى بُعد الوجه (الشكل ثلاثي الأبعاد).
٢. التتبع: يتبع كل نقطة على الوجه بمرور الوقت.
٣. الربط: يخصص تلك "أرقام جوازات السفر" (الإحداثيات الكانونيكية).
ولأن النموذج يفعل كل هذا معاً، فإن النتائج تكون أكثر اتساقاً. فالشكل ثلاثي الأبعاد لا يهتز، والتتبع لا يضيع عندما يلتفت الشخص برأسه.
٤. لماذا يعد هذا أمراً مهماً؟
- السرعة: الأمر يشبه الانتقال من قيادة سيارة وسط الزحام (الطرق القديمة) إلى استخدام جهاز انتقال آني (هذه الطريقة). إنها أسرع بنحو ٣ مرات وأكثر دقة.
- الاستقرار: في الفيديوهات القديمة، تبدو الوجوه ثلاثية الأبعاد وكأنها "تهتز" أو تذوب. هذه الطريقة تجعل الوجه متماسكاً ومستقراً، مثل تمثال عالي الجودة يتحدث فحسب.
- اسم "Face Anything": هو تلاعب بالاسم الشهير لنموذج "Depth Anything". تماماً كما يمكن لهذا النموذج تخمين العمق لأي شيء في صورة ما، يمكن لهذا النموذج إعادة بناء وتتبع أي وجه، بغض النظر عن التعبيرات الجامحة أو الإضاءة.
العقبة (القيود)
النظام متخصص. إنه خبير في الوجوه.
- إذا وجهت الكاميرا نحو وجه وميكروفون، فسوف يتتبع الوجه بدقة، لكنه قد يرتبك بسبب الميكروفون لأن الميكروفون ليس لديه "جواز سفر وجه".
- هو يعتمد على تعلم شكل الوجوه من ملايين الأمثلة، لذا فهو يواجه صعوبة مع الأشياء التي ليست وجوهاً.