Agent-Driven Multi-View Facial Prior Learning for Identity-Preserving Pose-Guided Generation
تقترح الورقة البحثية إطار عمل ADF-Pose، وهو إطار عمل مدفوع بالوكيل يتميز بمستخرج أولوية الهوية ومحول هوية متعدد الوسائط للحفاظ بفعالية على هوية الوجه والتفاصيل الدقيقة في توليد صور الأشخاص الموجهة بالوضعية، لا سيما في ظل تغيرات الوضعية الكبيرة حيث تعاني الطرق الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التقاط صورة لصديق، ولكن بدلاً من أن تطلب منه تحريك رأسه، أنت تطلب من الكمبيوتر أن يتخيل كيف سيكون شكله إذا كان يواجه اتجاهاً مختلفاً. الهدف هو إنشاء صورة جديدة تبدو تماماً مثل ذلك الشخص، مع الحفاظ على وجهه الفريد، وشكل فكه، وملمس بشرته، مع وضعه في وضعية جديدة. هذا هو تحدي توليد الصور الموجه بالوضعية. لسنوات، أصبحت أجهزة الكمبيوتر جيدة جداً في تحريك جسم الشخص، وتغيير ذراعيه وساقيه ليتناسب مع وقفة جديدة. ومع ذلك، عندما يحاول الكمبيوتر تدوير الرأس، غالباً ما تبدو النتيجة خاطئة. قد يفقد الوجه شكله المحدد، أو قد تتباعد العينان، أو قد تبدو البشرة كقناع بلاستيكي ناعم. يعاني الكمبيوتر لأنه عادة ما ينظر إلى الشخص بأكره كصورة واحدة كبيرة، متجاهلاً التفاصيل الصغيرة والحاسمة التي تجعل الوجه فريداً حقاً، خاصة عندما يكون ذلك الوجه ملتفتاً بعيداً عن الكاميرا.
لقد طور فريق من الباحثين نهجاً جديداً لحل هذه المشكلة، حيث ابتكروا نظاماً يتعامل مع الوجه بمستوى من العناية لم يحصل عليه من قبل. فبدلاً من الاعتماد على تخمين واحد ضبابي لما قد يبدو عليه الوجه من زاوية جديدة، يقوم نظامهم ببناء نموذج ذهني مفصل لوجه الشخص من زوايا متعددة. إنهم يسمون طريقتهم ADF-Pose. تعمل هذه الطريقة أولاً عبر عزل الوجه في الصورة الأصلية، ثم استخدام مساعد ذكي ومؤتمت لتخيل الجوانب المفقودة من الوجه. إذا كان الشخص في الصورة ينظر قليلاً إلى اليسار، فإن النظام لا يكتفي بتخمين كيف يبدو الجانب الأيمن فحسب؛ بل يبني نسخة منطقية ومحققة من ذلك الجانب، ويتحقق من عمله لضمان أن الأنف والفم وخط الفك لا يزالون ينتمون إلى نفس الشخص. هذه العملية تنشئ مجموعة من "الأوليات الوجهية" (facial priors)، وهي في الأساس مخططات موثقة لوجه الشخص من الأمام واليسار واليمين.
بمجرد أن تصبح هذه المخططات جاهزة، يدمج النظام هذه المعلومات مع وصف مكتوب لملامح الوجه. ثم يغذي هذه المعلومات المدمجة في مولد صور قوي، وهو نوع من أنواع الذكاء الاصطناعي المعروف بقدرته على إنشاء صور واقعية من الصفر. يستخدم المولد هذه المخططات التفصيلية والأوصاف في كل خطوة من خطوات عملية الرسم، بدءاً من المسودة الأولية الخشنة وصولاً إلى الضبط الدقيق لملمس البشرة. يضمن هذا بقاء هوية الشخص ثابتة في مكانها، مما يمنع الوجه من الانجراف أو تغير الشكل أثناء حركة الجسم. اختبر الباحثون هذه الطريقة على مجموعات كبيرة من صور الموضة وصور الشوارع، وقارنوا نتائجهم بأفضل التقنيات الموجودة. ووجدوا أن نظامهم كان أفضل بكما بشكل ملحوظ في الحفاظ على مظهر الشخص كما هو، حتى عندما كان الرأس ملتفتاً بحدة إلى الجانب.
أظهرت النتائج تحسناً واضحاً في مدى قدرة النظام على الحفاظ على هوية الشخص. ففي الاختبارات باستخدام مجموعة بيانات لصور الموضة، حققت الطريقة الجديدة درجة 0.312 للتشابه الوجهي، وهي قفزة ملحوظة عن أفضل درجة سابقة بلغت 0.275. كما أنتجت صوراً ذات تفاصيل أكثر حدة، مما قلل من ضبابية أنسجة الوجه بنسبة 7.4 بالمائة تقريباً مقارنة بالبديل الرائد. وعند النظر إلى الصور جنباً إلى جنب، يكون الفرق صارخاً. فالطرق القديمة غالباً ما كانت تنتج وجوهاً تبدو معقولة ولكنها عامة، مع ملامح ناعمة أو نسب غير دقيقة تماماً. أما النظام الجديد، فقد حافظ على التضاريس المحددة للفك، والمسافات الدقيقة بين العينين، والخطوط الدقيقة حول الفم، حتى عندما تم تدوير الشخص إلى وضعية جانبية. نجح النظام في الحفاظ على هذه التفاصيل دون التضحية بواقعية بقية الجسم، مما جعل الملابس والوضعية تبدو طبيعية.
قام الباحثون أيضاً بتفكيك نظامهم لفهم أي الأجزاء كانت تقوم بالعمل الأكبر. ووجدوا أن الخطوة التي يبني فيها النظام ويتحقق من المشاهد المفقودة للوجه هي الخطوة الأكثر أهمية؛ فبدون هذه الخطوة، سيفقد الوجه شكله الفريد. الجزء الثاني الأكثر أهمية كان الطريقة التي يدمج بها النظام المخططات البصرية مع الأوصاف المكتوبة، مما يضمن فهم الكمبيوتر ليس فقط لشكل الوجه، بل لكيفية ارتباط ملامحه ببعضها البعض. وأخيراً، فإن طريقة تغذية هذه المعلومات في مولد الصور في كل مرحلة من مراحل العملية ضمنت عدم ضياع تفاصيل الهوية مع زيادة وضوح الصورة. ورغم أن النظام ليس مثالياً ويمكن أن يواجه صعوبات إذا كان الوجه الأصلي محجوباً بشكل كبير أو صغيراً جداً بحيث يصعب رؤيته بوضوح، إلا أنه يمثل خطوة كبيرة للأمام. إنه يتجاوز مجرد تحريك البكسلات، لينتقل إلى فهم وحفظ الهندسة المعقدة والفريدة لوجه الإنسان، مما يسمح لأجهزة الكمبيوتر بتوليد وضعيات جديدة تبدو حقاً كأنها الشخص الذي من المفترض أن تمثله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.