PortraitDirector: A Hierarchical Disentanglement Framework for Controllable and Real-time Facial Reenactment
يُعد PortraitDirector إطار عمل جديدًا لإعادة تجسيد الوجه في الوقت الفعلي، يحقق دقة عالية وتحكمًا دقيق التفاصيل من خلال تفكيك حركة الوجه إلى طبقات مكانية ودلالية هرمية لغرض الفصل وإعادة التكوين، مع استخدام تقنيات التحسين لتقديم أداء بسرعة 20 إطارًا في الثانية على وحدة معالجة رسومات واحدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد جعل صورة صديقك تنبض بالحياة. تريد منه أن يتحدث، ويطرف بعينيه، ويلتفت برأسه، وحتى يغير حالته المزاجية، كل ذلك مع الحفاظ على مظهره تماماً كما هو في الحقيقة.
لفترة طويلة، عانى الباحثون في مجال الذكاء الاصطناوي من "مشكلة غولديلوكس" (الموازنة المثالية) في هذا المجال:
- نهج "الكل أو لا شيء": بعض الأساليب تجعل الوجه يتحرك بشكل طبيعي للغاية، لكن لا يمكنك التحكم فيما يفعله. إذا أردت منه أن يبتسم مع الحفاظ على ثبات رأسه، فقد يجعل الذكاء الاصطناعي الوجه بأكمله يلتوي بشكل غريب. الأمر يشبه محاولة إخراج مسرحية حيث يرتجل الممثلون كل شيء؛ يبدو المشهد واقعياً، لكن لا يمكنك إعطاء تعليمات محددة.
- نهج "الدمية الجامدة": تسمح الأساليب الأخرى بالتحكم في أجزاء معينة (مثل الفم فقط)، لكن النتيجة غالباً ما تبدو متصلبة، آلية، أو مليئة بالتشوهات. الأمر يشبه دمية الماريونيت حيث الخيوط مشدودة جداً؛ الحركة دقيقة، لكنها تفتقر إلى الحياة.
PortraitDirector هو الحل الجديد الذي يتيح لك أخيراً الحصول على كل ما تطمح إليه. إنه يشبه محرك الدمى عالي التقنية الذي يمكنه التحكم في كل جزء من أجزاء الوجه بشكل مستقل، ومع ذلك يجعله يبدو طبيعياً تماماً.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. استراتيجية "التفكيك" (تفكيك الوجه)
تنظر معظم نماذج الذكاء الاصطناعي إلى الوجه ككتلة واحدة ضخمة وفوضوية من الحركة. إذا ابتسم الشخص، يعتقد الذكاء الاصطناعي أن الوجه بأكمله يتحرك.
PortraitDirector مختلف. فهو يعامل الوجه مثل السكين السويسري متعدد الاستخدامات. بدلاً من أداة واحدة كبيرة، يقوم بتفكيك الوجه إلى أدوات متميزة ومتخصصة:
- الرأس: أين ينظر؟ هل يلتفت؟
- العينان: هل يطرف بالعين؟ أين اتجاه النظر؟
- الفم: هل يتحدث أم يبتسم؟
- العاطفة: هل الشخص سعيد، حزين، أم غاضب؟
يأخذ النظام الفيديو الذي تريد نسخه (فيديو التوجيه) ويقوم بتفكيكه إلى هذه الطبقات المنفصلة. الأمر يشبه أخذ أغنية معقدة وفصل الطبول، والباص، والآلات الصوتية في مسارات مختلفة لتتمكن من مزجها بشكل مثالي.
2. "فلتر العاطفة" (السر الخفي)
هذا هو الجزء الصعب: عادةً، إذا كان الشخص في الفيديو يبتسم، فإن وجهه بالكامل يتغير شكله. إذا حاولت نسخ حركة الفم فقط على صورة صديقك، فقد يبدأ وجه الصديق بالابتسام تلقائياً، حتى لو كنت تريده أن يبدو جاداً.
يمتلك PortraitDirector "فلتر عاطفة" خاصاً (تخيله مثل المنخل أو المصفاة).
- يأخذ حركة الفم أو العينين ويمررها عبر هذا الفلتر.
- يقوم الفلتر بـ تصفية "النكهة العاطفية" (الابتسامة أو العبوس) ويترك فقط الحركة الميكانيكية الصرفة (شكل فتح الشفتين).
- ثم يأخذ "مسار عاطفة" منفصلاً من الفيديو ويضيفه مرة أخرى في النهاية.
القياس التشبيهي: فكر في الأمر كطبخ الحساء.
- الطريقة القديمة: تقوم بغلي الخضروات والتوابل معاً. إذا أردت تغيير مستوى التوابل لاحقاً، فلن تستطيع؛ لأن النكهة أصبحت ملتصقة بالخضروات بالفعل.
- طريقة PortraitDirector: أنت تطبخ الخضروات (حركة الفم) سادة. وتحتفظ بالتوابل (العاطفة) في وعاء منفصل. عندما تقدم الحساء، يمكنك تحديد كمية التوابل التي ستضيفها بالضبط إلى الخضروات السادة. يمكنك الحصول على "فم مبتسم" مع "وجه جاد"، أو "فم يتحدث" مع "وجه حزين".
3. "إعادة التجميع" (وضع الأجزاء معاً)
بمجرد أن يمتلك النظام حركة الرأس الصرفة، وحركة العين الصرفة، وحركة الفم الصرفة، والعاطفة الصرفة، فإنه يعمل مثل مايسترو بارع. يقوم بجمع كل هذه المسارات المنفصلة معاً لإنشاء فيديو واحد عالي الجودة.
ولأن النظام بنى الفيديو من هذه الأجزاء النظيفة والمنفصلة، فإن النتيجة تكون:
- دقة عالية: يبدو واقعياً للغاية (واقعي التصوير).
- تحكم دقيق: يمكنك جعل العينين تنظران لليسار بينما يتحدث الفم، دون أن يرتبك بقية الوجه.
4. "دفعة السرعة" (سحر الوقت الفعلي)
عادة ما تتطلب كل هذه الحسابات المعقدة حاسوباً فائق القدرة ووقتاً طويلاً. لكن PortraitDirector مميز لأنه تم تحسينه ليعمل في الوقت الفعلي (20 إطاراً في الثانية) على جهاز كمبيوتر ألعاب واحد قوي.
إنه يستخدم حِيلاً مثل:
- التقطير (Distillation): تعليم الذكاء الاصطناعي كيفية اتخاذ "طرق مختصرة" حتى لا يضطر للتفكير في كل تفصيل من الصفر.
- مفكك شفرات خفيف الوزن (Lightweight Decoder): استخدام نسخة أصغر وأسرع من المحرك الذي يرسم الصورة النهائية، حتى لا تضطر للانتظار طويلاً لتحميل الفيديو.
لماذا يهم هذا؟
هذه التكنولوجيا تعتبر نقطة تحول لـ:
- صناع الأفلام: يمكنك تغيير تعبيرات الممثل في مرحلة ما بعد الإنتاج دون الحاجة لإعادة تصوير المشهد.
- الصور الرمزية الافتراضية (Avatars): يمكن لتوأمك الرقمي أن يتحدث ويتفاعل تماماً كما تريد، دون أن يبدو كروبوت جامد.
- الترفيه التفاعلي: تخيل شخصيات في ألعاب الفيديو يمكنها التفاعل مع صوتك ووجهك في الوقت الفعلي، وتبدو واقعية للغاية.
باخت de خلاصة: يتوقف PortraitDirector عن معاملة الوجه كعقدة واحدة متشابكة. بدلاً من ذلك، يقوم بفك العقدة، وتنظيم الخيوط حسب اللون والطول، ثم ينسجها مجدداً لتصبح لوحة منسوجة مثالية وقابلة للتحكم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.