Skullptor: High Fidelity 3D Head Reconstruction in Seconds with Multi-View Normal Prediction
يسد "سكالبتور" (Skullptor) الفجوة بين إعادة البناء الفعالة من صورة واحدة وبين التصوير المساحي متعدد الرؤى عالي الدقة، وذلك عبر الجمع بين نموذج للتنبؤ بالأسطح الطبيعية يعتمد على الانتباه عبر الرؤى وبين تحسين التصيير العكسي، لتحقيق إعادة بناء ثلاثية الأبعاد مفصلة للرأس في ثوانٍ معدودة مع تقليل المتطلبات المتعلقة بالكاميرا والحوسبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد إنشاء توأم رقمي ثلاثي الأبعاد، فائق الواقعية ومثالي لرأس شخص ما، لاستخدامه في لعبة فيديو أو فيلم سينمائي.
الطريقة القديمة (مشكلة "الاستوديو الضخم"):
تقليديًا، للحصول على هذا المستوى من التفاصيل، كنت بحاجة إلى استوديو ضخم مليء بـ 50 إلى 200 كاميرا تلتقط الصور جميعها في وقت واحد. الأمر يشبه بناء قبة عملاقة من الكاميرات حول الشخص. يستغرق معالجة البيانات ساعات، ويكلف ثروة طائلة، وإذا كان الشخص يمتلك لحية أو بشرة لامعة، فإن أجهزة الكمبيوتر ترتبك وعليك إصلاح الفوضى يدويًا.
طريقة "الذكاء الاصطناكي السحري" (مشكلة "لعبة التخمين"):
مؤخرًا، ظهرت أدوات ذكاء اصطناعي جديدة يمكنها تخمين شكل الرأس ثلاثي الأبعاد من صورة واحدة فقط. إنها سريعة وسهلة، لكنها تشبه فنانًا موهوبًا لم يقابل الشخص قط. قد يخمن الشكل العام بشكل جيد، لكنه يفتقد التفاصيل الدقيقة المحددة مثل نمط التجاعيد الدقيق، أو ملمس المسام، أو الطريقة التي تنطوي بها بشرة شخص معين. إنهم "يهلوسون" بوجه عام بدلاً من التقاط الوجه الحقيقي.
حل "سكالبتور - Skullptor" (أفضل ما في العالمين):
يقدم هذا البحث طريقة تُسمى Skullptor، وهي تعمل مثل محقق ذكي للغاية يجمع بين سرعة "المُخمّن" ودقة "المساح". يمكنها بناء رأس ثلاثي الأبعاد عالي الدقة من بضع صور فقط (كما قلي من 3 إلى 10 صور) في حوالي 30 ثانية.
إليك كيف يعمل، مقسمًا إلى خطوتين بسيطتين:
الخطوة 1: "الاجتماع المصغر" (التنبؤ بالمتجهات المتعددة - Multi-View Normal Prediction)
تخيل أنك تحاول وصف شكل صخرة متعرجة لصديقك. إذا نظرت إليها من زاوية واحدة فقط، فقد تفوتك نتوءات على الجانب.
- المشكلة: نماذج الذكاء الاصطناعي القديمة تنظر إلى كل صورة على حدة. قد تقول إحداها: "هذه الصورة تبدو كأنها نتوء"، بينما تقول صورة أخرى: "لا، هذه بقعة مسطحة". إنهما يتناقضان.
- حل Skullptor: يستخدم Skullptor تقنية "الاجتماع المصغر" الخاصة. يأخذ جميع الصور التي لديك ويجبر الذكاء الاصطناعي على النظر إليها معًا. يسأل: "إذا كانت هذه الصورة تظهر نتوءًا هنا، وتلك الصورة تظهر ظلًا هناك، فكيف يبدو السطح فعليًا؟".
- النتيجة: ينشئ خريطة مثالية لـ "ميل" السطح (تسمى المتجهات - normals) تكون متسقة عبر جميع الزوايا. إنه يشبه امتلاك فريق من الفنانين يتحدثون مع بعضهم البعض ليتفقوا على مكان كل تجعيدة وكل طية بدقة، بدلاً من أن يخمن كل منهم بمفرده.
الخطوة 2: "إزميل النحات" (تحسين التصوير العكسي - Inverse Rendering Optimization)
الآن بعد أن أصبح لدى الذكاء الاصطناعي خريطة مثالية للميول، يحتاج إلى بناء الشكل ثلاثي الأبعاد الفعلي.
- العملية: تخيل نحاتًا يبدأ بكرة ملساء مستديرة من الطين (كرة). لديه "خريطة الميل" من الخطوة الأولى في يده. يبدأ بنحت الطين، ويتحقق باستمرار من عمله مقابل الخريطة.
- السحر: نظرًا لأن الخريطة دقيقة للغاية، يمكن للنحات نحت تفاصيل دقيقة للغاية—مثل الخطوط الصغيرة حول العينين أو ملمس الجلد—بسرعة كبيرة. يقوم الكمبيوتر بذلك رياضيًا، حيث يعدل الشكل ثلاثي الأبعاد حتى يتطابق تمامًا مع "خريطة الميل" من كل زاوية كاميرا في آن واحد.
لماذا يعد هذا أمرًا بالغ الأهمية؟
- السرعة: كان الأمر يستغرق ساعات أو أيامًا؛ الآن يستغرق 30 ثانية.
- البساة: لا تحتاج إلى ملعب من الكاميرات. يمكنك القيام بذلك باستخدام بضعة هواتف أو كاميرات موضوعة في غرفة المعيشة.
- التفاصيل: إنه يلتقط "روح" الوجه—التجاعيد المحددة وطيات الجلد التي تجعل الشخص يبدو وكأنه هو نفسه، وليس مجرد نموذج ثلاثي الأبعاد عام.
باختًاصر:
Skullptor يشبه التقاط بضع لقطات سريعة لشخص ما، ثم جعل فريق فائق الذكاء يتفق فورًا على الشكل الدقيق لوجهه، ثم استخدام إزميل رقمي لنحت تمثال مثالي عالي الدقة في طرفة عين. إنه يسد الفجوة بين "السريع ولكن الضبابي" و"البطيء ولكن المثالي"، مما يعطينا أفضل ما في العالمين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.