Face inpainting with Identity Preserving Latent Diffusion Models
تقترح هذه الورقة البحثية ID-ControlNet، وهو إطار عمل لترميم الوجوه يحافظ على الهوية ومبني على نماذج الانتشار الكامنة، يستخدم تضمينات الهوية الوجهية واستراتيجية فقد ثلاثي متخصصة لإعادة بناء المناطق المحجوبة مع الحفاظ على دقة عالية للهوية دون الحاجة إلى عملية ضبط دقيق مكلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صورة عائلية عزيزة، لكن أحدهم رسم فوق وجه أحد الأشخاص بقلم تحديد أسود كبير. ترميم الوجوه (Face inpainting) هو الفن الرقمي المتمثل في مسح ذلك التحديد ورسم وجه جديد مكانه بحيث تبدو الصورة كاملة مرة أخرى.
الجزء الصعب؟ إذا طلبت من الكمبيوتر فقط أن "يملأ الفراغ"، فقد يرسم وجهاً عاماً يبدو جميلاً ولكن لا يشبه الشخص الأصلي. الأمر يشبه أن تطلب من رسام إعادة رسم بورتريه لصديقك، لكنه لا يعرف سوى كيف يبدو "أي وجه". النتيجة ستكون غريباً، وليس صديقك.
تقدم هذه الورقة البحثية أداة جديدة تسمى ID-ControlNet لحل هذه المشكلة. وإليك كيف تعمل، مشروحة ببساء:
المشكلة: الرسام "العام"
أدوات الذكاء الاصطناعي القياسية (تسمى نماذج الانتشار - Diffusion Models) هي فنانون مذهلون. يمكنهم ملء الأجزاء المفقودة من الصورة ببراعة تجعلك لا تلاحظ الفرق. ومع ذلك، فهم يفتقرون إلى "ذاكرة" حول هوية الشخص. فعندما يملؤون جزءاً مفقوداً مثل الأنف أو العينين، فإنهم يميلون إلى التخمين بناءً على "متوسط" الوجوه. وإذا كان الجزء المفقود حيوياً للهوية (مثل العينين)، فقد يغير الذكاء الاصطناعي هوية الشخص بالكامل عن غير قصد.
الحل: "نظام تحديد الهوية عبر GPS"
لقد بنى المؤلفون ID-ControlNet، والذي يعمل مثل نظام تحديد المواقع (GPS) للفنان الآلي.
- الفنان: يستخدمون فناناً قوياً من الذكاء الاصطناعي مدرباً مسبقاً (يعتمد على Stable Diffusion) وهو بارع بالفعل في رسم الوجوه الواقعية. هم لا يعيدون تدريب هذا الفنان؛ بل يكتفون بإعطائه مجموعة جديدة من التعليمات.
- نظام الـ GPS: يقومون بإرفاق "كاشف هوية" خاص (نظام التعرف على الوجوه) بالفنان. قبل أن يبدأ الفنان بالرسم، يلقي هذا الكاشف نظرة على الأجزاء غير المغطاة من الوجه (مثل الذقن أو الجبهة) ويقوم بإنشاء "بطاقة هوية رقمية" (تشفير - embedding) تقول: "هذا هو الشخص (س)".
- الموجه: بينما يقوم الذكاء الاصطناعي برسم الأجزاء المفقودة، يتم تغذية العملية باستمرار بـ "بطاقة الهوية" هذه. الأمر يشبه وجود مشرف صارم يهمس في أذن الفنان: "تذكر، هذا هو الشخص (س)! تأكد من أن العينين تشبهان عيني الشخص (س)!"
السر الخفي: التدريب دون إعادة التدريب
عادةً، لتعليم ذكاء اصطناعي التعرف على شخص معين، عليك قضاء ساعات في "الضبط الدقيق" (fine-tuning) باستخدام مئات الصور لذلك الشخص. وهذا أمر بطيء ومكلف.
ID-ControlNet مختلف؛ فهو يتعلم قاعدة عامة: "كيف أستخدم بطاقة هوية لتوجيه عملية الرسم؟" وبمجرد تعلم هذه القاعدة، يمكنه تطبيقها على أي شخص فوراً، دون الحاجة إلى إعادة التدريب لكل شخص جديد. الأمر يشبه تعلم قواعد لعبة ما لمرة واحدة، بدلاً من حفظ كتاب قواعد جديد لكل لاعب على حدة.
الاختبار الجديد: اختبار "العين"
لإثبات نجاح طريقتهم، أدرك المؤلفون أن الاختبارات القياسية لم تكن صعبة بما يكفي. لذا أنشأوا مجموعة بيانات جديدة تسمى E-Mask.
- المنطق: وجدوا أنه إذا أخفيت فم الشخص، فمن الصعب معرفة هويته. ولكن إذا أخفيت عينيه، فمن الصعب جداً التعرف عليه.
- التجربة: قاموا بتغطية العينين فقط في آلاف الصور وطلبوا من الذكاء الاصطناዊ ملأهما.
- النتيجة: واجهت أدوات الذكاء الاصطناعي القياسية صعوبة في الحفاظ على الهوية عندما كانت العينان مخفيتين. ومع ذلك، نجح ID-ControlNet في "تذكر" هوية الشخص ورسم العينين لتطابق الأصل، رغم أنه لم يسبق له رؤية هذا الشخص المحدد من قبل.
الحكم النهائي
تظهر الورقة البحثية أن ID-ControlNet هو ترقية "خفيفة الوزن". فهو لا يبطئ عملية الرسم ولا يتطلب قدرات حوسبة هائلة.
- الجودة البصرية: تبدو الصور واقعية تماماً كما كانت من قبل.
- الهوية: الشخص الموجود في الصورة النهائية يشبه بالفعل الشخص الموجود في الصورة الأصلية، حتى عندما تكون أجزاء كبيرة من وجهه مفقودة.
باختصار، أعطى المؤلفون فناناً آلياً موهوباً للغاية ولكنه نساي، شارة هوية دائمة، مما سمح له بإعادة إنشاء الوجوه المفقودة بالهوية الصحيحة، بشكل فوري ودون الحاجة لدراسة الموضوع أولاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.