Generating 3D models from sketches of human faces using a combined approach of Convolutional Neural Networks, Procedural Modeling, and Contour Mapping
تقدم هذه الورقة طريقة مبتكرة لتوليد نماذج وجوه ثلاثية الأبعاد من الرسومات التخطيطية عبر الجمع بين الشبكات العصبية الالتفافية المدربة على اكتشاف تعبيرات الوجه عبر وحدات الحركة، ونموذج ثلاثي الأبعاد بارامتري (Valley Girl) لتطبيق تلك التعبيرات، وحلزونات الأفعى النشطة لمحاذاة النموذج الناتج مع خطوط الرسم التخطيطي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك رسمًا تخطيطيًا بسيطًا مرسومًا يدويًا لوجه مضحك على ورقة. الآن، تخيل أنك تريد تحويل هذا الرسم المسطح إلى شخصية ثلاثية الأبعاد حقيقية يمكنك تدويرها، وإضاءتها، وحتى تحريكها. هذه هي المشكلة التي حلتها نانسي إسكندر في رسالة الماجستير الخاصة بها.
حلّها يشبه خط تجميع مكون من ثلاث خطوات يجمع بين قدرة الحاسوب الذهنية، ومرونة الدمية الرقمية، ونظام "المغناطيس" الذكي. إليك كيف يعمل ذلك، مقسمًا إلى مصطلحات بسيطة:
الخطوة 1: "محقق الحالة المزاجية" (الشبكات العصبية التلافيفية)
أولاً، يحتاج الحاسوب إلى فهم ما يحاول الرسم قوله. هل الشخص مبتسم؟ هل هو عابس؟ هل يضيق عينيه؟
- التشبيه: فكر في هذا الأمر كأنك محقق يحاول تخمين مزاج مشتبه به بمجرد النظر إلى رسم تخطيطي تقريبي.
- كيف يعمل: علمت المؤلفة الحاسوب (باستخدام نوع من الذكاء الاصطناعي يسمى الشبكة العصبية التلافيفية) للتعرف على حركات عضلية محددة، تُعرف باسم "وحدات الحركة" (مثل رفع الحاجب أو تجعد الأنف).
- السر الخفي: بدلاً من استخدام صور حقيقية لأشخاص، أنشأت المؤلفة مكتبة ضخمة تضم أكثر من 21,000 وجه وهمي وما يقابلها من رسومات تخطيطية. استخدمت دمية رقمية (تسمى "فالي جيرل" - Valley Girl) لجعل آلاف الوجوه المختلفة بشكل عشوائي، ثم التقطت صورًا لها، وحولت تلك الصور إلى رسومات تخطيطية. هذا "المعسكر التدريبي" علم الذكاء الاصطناعي كيفية تمييز الفرق بين الوجه "السعيد" والوجه "الساخر"، حتى عندما تكون مجرد خطوط على الورق.
الخطوة 2: "الدمية الرقمية" (النمذجة الإجرائية)
بمجرد أن يعرف الذكاء الاصطناعي الحالة المزاجية (على سبيل المثال: "هذا الرسم يظهر تعبير السخرية")، فإنه يحتاج إلى بناء وجه ثلاثي الأبعاد يتناسب مع تلك الحالة.
- التشبيه: تخيل دمية متحركة عالية التقنية أو نموذجًا من الطين متصل به خيوط غير مرئية عند كل عضلة.
- كيف يعمل: يأخذ النظام الدمية الرقمية "فالي جيرل" ويشد الخيوط غير المرئية بناءً على ما اكتشفه الذكاء الاصطناعي في الخطوة 1. إذا رأى الذكها الاصطناعي "سخرية"، يتم سحب الشفة العليا للدمية للأعلى. إذا رأى "تضييقًا للعين"، تصبح العينان أصغر.
- النتيجة: الآن لديك وجه ثلاثي الأبعاد لديه "التعبير الصحيح"، لكنه لا يزال يبدو كشخص عادي ومتوسط. إنه لا يبدو تمامًا مثل الشخص المحدد في الرسم بعد.
الخطوة 3: "الخياط المغناطيسي" (منحنيات الثعبان النشطة)
هذه هي الخطوة النهائية حيث يتم تشكيل الدمية ثلاثية الأبعاد العامة لتبدو تمامًا مثل الرسم التخطيطي.
- التشبيه: تخيل وضع شريط مطاطي مرن ومغناطيسي (يسمى "الثعبان") فوق وجه الدمية ثلاثية الأبعاد. ثم تضع الرسم التخططي الأصلي فوقه. يشعر الشريط المطاطي بجذب مغناطيسي نحو الخطوط الداكنة للرسم. يتمدد، وينكمش، ويلتوي حتى ينطبق تمامًا على خطوط الرسم.
- كيف يعمل: يرسم الحاسوب "ثعابين" غير مرئية على طول خطوط الرسم التخطيطي. تمت برمجة هذه الثعابين لتكون منجذبة إلى حواف النموذج ثلاثي الأبعاد. إنها تسحب سطح النموذج ثلاثي الأبعاد حتى تتطابق حدود النموذج مع حدود الرسم التخطيطي.
- النتيجة: أصبح النموذج ثلاثي الأبعاد الآن مشوهًا ومُشكلًا ليتطابق مع الميزات الفريدة للرسم التخطيطي (مثل أنف أعرض أو خط فك محدد) مع الحفاظ على التعبير الذي اكتشفه الذكاء الاصطناعي سابقًا.
المنتج النهائي
النتيجة النهائية هي نموذج ثلاثي الأبعاد واقعي يمكن تدويره، وإضاءته، واستخدامه في الألعاب أو الأفلام. أظهرت المؤلفة أن هذه الطريقة تعمل على كل من الرسومات التخطيطية المولدة بواسطة الكمبيوتر والرسومات المرسومة يدويًا.
ما تقول الورقة البحثية إنه يمكنه فعله:
- مساعدة فناني الـ 3D المحترفين على إنشاء نماذج أولية سريعة لتصاميم الشخصيات.
- السماح للمبتدئين أو المطورين المستقلين بصنع رؤوس ثلاثية الأبعاد دون معرفة البرامج المعقدة.
- السماح لرسامي التخطيط برؤية رسوماتهم تدب فيها الحياة كصور رندر ثلاثية الأبعاد للتحقق من دقتها.
- السماح للأطفال برؤية رسوماتهم البسيطة تتحول إلى شخصيات ثلاثية الأبعاد.
ما تعترف به الورقة البحثية أنه لا يستطيع فعله بعد:
- لا يمكنه إنشاء ميزات جديدة ليست موجودة في النموذج ثلاثي الأبعاد الأصلي (على سبيل المثال، إذا رسمت عينًا ثالثة، فلن يعرف النظام كيفية تنمية عين ثالثة على الدمية).
- يعتمد على المستخدم لضبط محاذاة الرسم التخطيطي مع النموذج أولاً؛ إذا كانت النسب مختلفة تمامًا (مثل فم ضخم على ذقن صغير)، فقد ترتبك "الثعابين المغناطيسية".
باختصار، تقدم الورقة طريقة ذكية لتحويل رسم خطي ثنائي الأبعاد إلى شخصية ثلاثية الأبعاد عن طريق تخمين الشعور أولاً، ثم بناء دمية مطابقة، ثم استخدام "مغانط ذكية" لمد تلك الدمية حتى تناسب الرسم التخطيطي تمامًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.