Learning a Delighting Prior for Facial Appearance Capture in the Wild
تقترح هذه الورقة مساراً مبتكراً لالتقاط مظهر الوجه في الظروف الطبيعية يستفيد من نموذج مسبق لشبكة إزالة الإضاءة (delighting network) مدرب، معزز بآلية تعديل مجموعات البيانات الكامنة (Dataset Latent Modulation) لتوحيد بيانات التدريب غير المتجانسة، مما يتيح تقدير الانعكاسية بجودة عالية من مقاطع الفيديو العفوية وإنشاء مجموعة بيانات NeRSemble-Scan واسعة النطاق ومفتوحة المصدر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد إنشاء توأم رقمي مثالي لوجه شخص ما، بحيث يبدو واقعيًا بما يكفي لاستخدامه في الأفلام أو ألعاب الفيديو. عادةً، للحصول على هذا المستوى من الجودة، تحتاج إلى وضع الشخص في استوديو ضخم ومكلف مليء بمئات الأضواء التي يمكن تشغيلها وإطفاؤها بشكل فردي. هذا يشبه محاولة خبز كعكة مثالية باستخدام فرن صناعي احترافي.
تقدم هذه الورقة البحثية طريقة جديدة، تُسمى OpenDelight، تتيح لك الحصول على نفس النتيجة عالية الجودة باستخدام مجرد فيديو من هاتف ذكي عادي تم تصويره في بيئة فوضوية وغير متوقعة (مثل حديقة أو غرفة معيشة). الأمر يشبه خبز كعكة ذات جودة احترافية باستخدام فرن مطبخ عادي ووصفة جديدة ذكية.
إليك كيف فعلوا ذلك، مقسمًا إلى مفاهيم بسيطة:
1. المشكلة: "الظل" في الصورة
عندما تلتقط صورة لشخص ما في الخارج، فإن الشمس أو أضواء الشوارع تخلق ظلالاً وبقعًا ساطعة على وجهه. إذا كنت تريد وضع هذا الوجه في لعبة فيديو، يحتاج محرك اللعبة إلى معرفة كيف يبدو الجلد فعليًا دون تلك الظلال. يُسمى هذا "فك الارتباط" (disentangling) بين الجلد والضوء.
حاولت الطرق القديمة حساب ذلك رياضيًا، لكن الأمر يشبه محاولة تخمين مكونات الحساء بمجرد تذوقه مرة واحدة؛ حيث ترتبك الرياضيات بسبب الإضاءة المعقدة وغالبًا ما تترك "ظلالًا مدمجة" (artifacts) تبدو خاطئة.
2. الحل: "دماغ إزالة الإضاءة" الخارق
بدلاً من إجراء عمليات حسابية معقدة على كل صورة، قام المؤلفون بتدريب ذكاء اصطناعي خاص (شبكة عصبية) ليعمل كـ "أولوية إزالة الإضاءة" (Delighting Prior). فكر في هذا الذكاء الاصطناعي كشيف ماهر تذوق آلاف أنواع الحساء ويعرف بالضبط كيف يجب أن تكون المكونات، بغض النظر عن كيفية تقديم الحساء.
- الهدف: عندما تغذيه بصورة ذات إضاءة فوضوية، يقوم فورًا بـ "تقشير" الظلال والبقع الساطعة ليكشف عن ملمس الجلد النقي والصافي تحتها.
- النتيجة: يمكن بعد ذلك استخدام هذا الملمس النظيف لإعادة إضاءة الوجه بأي طريقة تريدها (على سبيل المثال، جعله يبدو وكأنه تحت ضوء غروب الشمس أو ضوء استوديو) دون أن تقف الظلال الأصلية في الطريق.
3. السر: مزج نوعين من البيانات
تدريب هذا الذكاء الاصطناعي أمر صعب لأنك تحتاج إلى نوعين مختلفين تمامًا من البيانات، وهما لا يتوافقان عادةً بشكل جيد:
- النوع (أ) (واقعي ولكن ضبابي): صور ملتقطة في استوديو حقيقي مع ضوء واحد في كل مرة. تبدو واقعية جدًا ولكنها ضبابية قليلاً لأن الكاميرا تحركت قليلًا بين اللقطات.
- النوع (ب) (حاد ولكن زائف): صور ناتجة عن حواسيب من مسوحات ثلاثية الأبعاد. هي حادة ومثالية رياضيًا، لكنها تبدو "بلاستيكية" بعض الشيء ولا تطابق جلد البشر الحقيقي تمامًا.
إذا قمت بخلطهما معًا فقط، سيصاب الذكاء الاصطناعي بالارتباك وينتج نتيجة متوسطة.
الابتكار: "تعديل بيانات المصدر الكامن" (DLM)
ابتكر المؤلفون حيلة تسمى Dataset Latent Modulation (DLM). تخيل أن الذكاء الاصطناعي هو طالب، وأن مجموعتي البيانات هما مدرسان مختلفان.
- المعلم (أ) (البيانات الحقيقية) يعلم الطالب كيفية التعامل مع الفوضى في العالم الحقيقي.
- المعلم (ب) (البيانات الزائفة) يعلم الطالب كيف يكون دقيقًا وحادًا.
عادةً، يرتبك الطالب إذا تغير المعلمون في منتصف الدرس. لكن المؤلفين أعطوا الذكاء الاصطناعي "بطاقات هوية" خاصة (تسمى الرموز المدركة للمصدر أو source-aware tokens).
- عندما يرى الذكاء الاصطناعي صورة من المعلم (أ)، فإنه يرتدي "بطاقة الهوية الحقيقية".
- عندما يرى صورة من المعلم (ب)، فإنه يرتدي "بطاقة الهوية الحادة".
هذا يسمح للذكاء الاصطناعي بتعلم أفضل الدروس من كلا المعلمين دون ارتباك. فهو يتعلم "قواعد الجلد" من البيانات الحادة، ويتعلم كيفية التعامل مع "ضجيج العالم الحقيقي" من البيانات الحقيقية.
4. النتيجة: من فيديو هاتف إلى سحر السينما
بمجرد تدريب "دماغ إزالة الإضاءة" هذا، تصبح العملية برمتها بسيطة:
- التسجيل: تقوم بتصوير شخص يتحرك باستخدام هاتف ذكي لمدة 30 ثانية تقريبًا.
- التنظيف: يقوم الذكاء الاصطناعي فورًا بإزالة جميع الظلال والإضاءة الغريبة من الفيديو.
- إعادة البناء: يجمع النظام الصور النظيفة لبناء نموذج ثلاثي الأبعاد للوجه.
- التصدير: يمكنك أخذ هذا النموذج إلى محركات الألعاب (مثل Blender) وإضاءته كما تشاء.
تزعم الورقة البحثية أن هذه الطريقة تلقائية بالكامل. على عكس الطرق السابقة التي كانت تتطلب من البشر إصلاح الأخطاء يدويًا أو الرسم فوق العيوب، يقوم هذا النظام بكل شيء بنفسه.
5. العطاء: مجموعة بيانات "NeRSemble-Scan"
لأن هذه الطريقة تعمل بشكل جيد، استخدمها المؤلفون لتحويل مجموعة موجودة من فيديوهات الوجوه (تسمى NeRSemble) إلى مكتبة ضخمة من المسوحات ثلاثية الأبعاد للوجه بدقة 4K عالية الجودة. إنهم يطلقون هذه المكتبة (NeRSemble-Scan) وأكوادهم البرمجية للجمهور مجانًا.
باختدصار: لقد بنوا ذكاءً اصطناعيًا ذكيًا يعرف كيفية تجريد الإضاءة السيئة من صور الهاتف للكشف عن جلد مثالي، باستخدام حيلة ذكية للتعلم من كل من البيانات الحقيقية والبيانات المولدة بالحاسوب. وهذا يجعل إنشاء البشر الرقميين الواقعيين سهلاً مثل التقاط فيديو "سيلفي".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.