SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

تخيل أنك تحاول بناء عالم افتراضي للعبة فيديو أو تجربة واقع افتراضي. تريد إظهار شخصية أو كائن من أي زاوية، وليس فقط من الأمام. لفترة طويلة، كانت الحواسيب تشبه الرسامين المسطحين؛ كان بإمكانها أخذ صورة لوجه وتحويلها إلى رسم كرتوني، لكنها لم تكن تدرك حقًا أن الوجه له عمق، أو أن الأنف يبرز للخارج، أو أن الأذنين تقعان على الجانبين. إذا حاولت تدوير الصورة جانبًا، ستقوم الحاسوب بمجرد مط الصورة، مما يجعل الوجه يبدو مثل فطيرة ذائبة. ولإصلاح ذلك، يعمل العلماء على "التوليد المدرك للبعد الثالث" (3D-aware generation). هذا هو فن تعليم الحواسيب أن الأشياء توجد في فضاء ثلاثي الأبعاد، بحجم وبنية، بحيث يمكنها إنشاء مشاهد جديدة تبدو حقيقية وتظل متسقة. الأدوات التي يستخدمونها تشبه الطين الرقمي (تقنية NeRFs، التي تبني الأشكال ثلاثية الأبعاد من الضوء والظلال) والفنانين الرقميين (شبكات GANs، التي ترسم الأنسجة الواقعية على هذه الأشكال). السؤال الكبير هو: كيف نجعل هذه العملية أسرع، وأكثر دقة، وقادرة على التعامل مع أنواع مختلفة من الأشياء دون الحاجة إلى مكتبة ضخمة من الصور لكل شيء نريد إنشاءه؟

هنا يأتي دور دراسة جديدة تسمى "SemPix3D". يقترح الباحثان، سوفيك بانديوبادياي وتامال بال، نهجًا "هجينًا" ذكيًا يجمع بين تقنيتين مختلفتين لحل مشكلة توليد الصور ثلاثية الأبعاد من مجرد بضعة أدلة. فكر في طريقتهم كخط تجميع مكون من خطوتين. أولاً، يستخدمون نظامًا يسمى "حقل الإشعاع العصبي" (NeRF) ليعمل بمثابة "باني الهيكل العظمي". هذا الجزء من النظام لا يهتم بالألوان أو درجات لون البشرة؛ بدلاً من ذلك، يتعلم الشكل والنية الصافية لكائن ما، مثل المانيكان. إنه يأخذ بضع صور ويستنتج أين توجد الحواف، وأين يقع الأنف، ومدى عمق العينين، مما ينشئ خريطة لشكل الكائن ثلاثي الأبعاد.

بمجرد بناء هذا "الهيكل العظمي"، يبدأ الجزء الثاني من الآلة في العمل: "الشبكة التنافسية التوليدية" (GAN). إذا كان الـ NeRF هو الهيكل العظمي، فإن الـ GAN هو خبير المكياج ومصمم الأزياء. فهو يأخذ خريطة الشكل التي أنشأها الجزء الأول ويرسم عليها صورة ملونة عالية الجودة وواقعية. السحر هنا هو أن الـ GAN "مشروط"، مما يعني أنه يرسم فقط ما يناسب الشكل الذي أُعطي له. هذا يسمح للنظام بتوليد صورة واقعية للغاية لوجه أو كرسي من زاوية جديدة، حتى لو لم يسبق له رؤية تلك الزاوية تحديدًا. اختبر الباحثون ذلك على شيئين مختلفين تمامًا: أشكال ثلاثية الأبعاد اصطناعية (مثل الكراسي والسيارات المولدة بالحاسوب) ووجوه بشرية من مجموعة بيانات ضخمة تسمى CelebMaskHQ.

تشير النتائج إلى أن هذا الفريق المكون من خطوتين يعمل بشكل أفضل من الطرق السابقة التي حاولت القيام بكل شيء في وقت واحد. في محاكاتهم، أظهر نموذج SemPix3D تحسنًا في كيفية تنوع الصور المولدة ومدى قربها من الصور الحقيقية. وتحديدًا، في مجموعة البيانات للأشكال الاصطناعية، شهدوا تحسنًا بنسبة 15% في درجة جودة تسمى FID وتحسنًا بنسبة 5% في درجة أخرى تسمى KID مقارنة بطريقة تسمى Pix2Pix3D. وعندما اختبروا الوجوه البشرية، تفوق النموذج بنحو 10% من حيث التنوع وأظهر تحسنًا بنسبة 2% في KID مقارنة بالنماذج الموجودة. وجد المؤلفون أنه من خلال فصل مهمة "فهم الشكل" عن مهمة "رسم اللون"، تمكنوا من إنشاء مشاهد ثلاثية الأبعاد أكثر اتساقًا ودقة مع دورات تدريبية أقل. كما لاحظوا أن هذا النهج يقلل من الحاجة إلى كميات هائلة من البيانات لكل كائن على حدة، حيث يتعلم جزء "الهيكل العظمي" الشكل العام لفئة ما (مثل "جميع الوجوه البشرية") ويقوم "الرسام" فقط بإضافة التفاصيل المحددة. ورغم أن الورقة البحثية لا تدعي أن هذه المشكلة قد حُلّت تمامًا لجميع مجالات العلم، إلا أن عمليات المحاكاة تشير إلى أن هذه الاستراتيجية الهجينة هي خطوة واعدة نحو جعل تجارب الواقع الافتراضي والواقع المعزز تبدو أكثر واقعية وانغماسًا.