Durian: Dual Reference Image-Guided Portrait Animation with Attribute Transfer
تُعد Durian طريقة مبتكرة لتحريك الصور الشخصية تتيح نقل سمات الهوية عبر صورة مرجعية واحدة أو أكثر من خلال توظيف استراتيجية تدريب إعادة بناء ذاتي باستخدام شبكة مرجعية مزدوجة (Dual ReferenceNet) وقناع تكميلي للتعلم من بيانات الفيديو غير المزدوجة، مما يحقق أداءً هو الأفضل في فئته مع دعم تكوين السمات المتعددة والتدخل السلس.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صورة لنفسك، لكنك تشعر بالملل من مظهرك الحالي. تود تجربة قبعة جديدة رائعة، أو استبدال شعرك بتسريحة "أفرو" جامحة، أو إضافة نظارات شمسية أنيقة—كل ذلك بينما تتحدث، وتتسم، وتحرك رأسك بشكل طبيعي.
عادةً، يكون القيام بذلك كابوساً للحواسيب. لتعليم الكمبيوتر كيفية فعل ذلك، ستحتاج عادةً إلى آلاف الصور لنفس الشخص وهو يرتدي كل التشكيلات الممكنة من القبعات والنظارات وتسريحات الشعر—وهذا أمر مستحيل الجمع.
إليك Durian (طريقة الذكاء الاصطناعي الجديدة من جامعة سيول الوطنية). فكر في Durian كأنه محرر فيديو ذكي للغاية وخارق للعادة يمكنه تعلم تغيير مظهرك دون الحاجة أبداً إلى صورة "قبل وبعد" لنفس الشخص.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. المشكلة: "قطعة اللغز المفقودة"
عادةً، يتعلم الذكاء الاصطناعي من خلال النظر إلى الأزواج: "هذا هو الشخص (أ) بشعر قصير، وهذا هو الشخص (أ) بشعر طويل". إنه يتعلم تبديل الشعر. لكننا لا نملك ملايين الفيديوهات لنفس الشخص وهو يغير شعره كل يوم.
حل Durian: بدلاً من انتظار الأزواج المثالية، يتعلم Durian من خلال لعبة "إعادة البناء الذاتي" باستخدام فيديوهات عشوائية لأشخاص يتحدثون.
- يأخذ إطارين عشوائيين من نفس الفيديو لشخص ما.
- يعامل أحد الإطارين كـ "هدف" (وجه الشخص).
- ويعامل الإطار الآخر كـ "مرجع" (الشعر الجديد أو النظارات).
- يحاول إعادة بناء الفيديو، مجبراً نفسه على اكتشاف: "كيف آخذ الشعر من الإطار (ب) وأضعه على الوجه في الإطار (أ)، مع الحفاظ على شكل الوجه كما في الإطار (أ)؟"
الأمر يشبه تعلم طبخ طبق جديد عبر تذوق حسائين مختلفين وتخمين الوصفة، بدلاً من وجود كتاب الوصفات أمامك مباشرة.
2. السر الخفي: مطبخ "المرجع المزدوج"
معظم نماذج الذكاء الاصطناعي لديها عقل واحد ينظر إلى الوجه وعقل آخر ينظر إلى الشعر الجديد. أما Durian، فيمتلك Dual ReferenceNet، وهو يشبه مطبخاً به طباخين متخصصين:
- طباخ الهوية (PRNet): هذا الطباخ ينظر فقط إلى الوجه ويقول: "يجب أن أبقي العينين والأنف والابتسامة كما هي تماماً".
- طباخ السمات (ARNet): هذا الطباخ ينظر فقط إلى الشعر الجديد أو النظارات ويقول: "يجب أن أنسخ هذا النمط بدقة".
يعمل هذان الطباخان بشكل منفصل، لكنهما يتواصلان باستمرار من خلال آلية "الانتباه المكاني" (Spatial Attention). فكر في هذا كأنه مؤشر ليزر عالي التقنية. يخبر الليزر الذكاء الاصطناعي بالضبط أين يجب أن يوضع الشعر الجديد وأين يجب أن تستقر النظارات، مما يضمن عدم لصق الشعر فوق العينين عن طريق الخطأ!
3. خدعة التدريب: "القناع" و"التمديد"
للتأكد من أن الذكاء الاصطناعي لن يصبح كسولاً (مثل مجرد نسخ الوجه بالكامل من المرجع)، يستخدم Durian الأقنعة (Masks).
- يقوم بتغطية الشعر في الصورة المرجعية بحيث يرى الذكاء الاصطناعي الشعر فقط.
- ويقوم بتغطية الشعر في الصورة المستهدفة بحيث يجب على الذكاء الاصطناعي توليد شعر جديد هناك.
لكن الجزء الذكي هنا هو: توسيع القناع (Mask Expansion).
تخيل أنك تعلم طفلاً كيف يرسم قبعة. إذا أظهرت له فقط قبعة صغيرة وضيقة، فقد يواجه صعوبة إذا طلبت منه رسم قبعة كبيرة متدلية لاحقاً. يقوم Durian بـ "تمديد" أقنعة التدريب اصطناعياً. إنه يعلم الذكاء الاصطناعي أن "القبعة" ليست مجرد شكل محدد؛ بل يمكن أن تكون كبيرة، أو صغيرة، أو مائلة، أو مزاحة. هذا يجعل الذكاء الاصطناعي قوياً (Robust)، بمعنى أنه لن يتعطل إذا كانت النظارات الجديدة مائلة قليلاً أو إذا كان الشعر الجديد أكثر جموحاً من المرجع.
4. السحر في النهاية: المزج والمطابقة
لأن Durian ذكي جداً، فهو لا يقوم بشيء واحد فقط في كل مرة.
- تأثير "السموذي" (Interpolation): يمكنك أن تطلب من Durian دمج تسريحتين للشعر. يمكنه إنشاء فيديو يتحول فيه شعرك ببطء من قصة "بوب" قصيرة إلى ذيل حصان طويل، إطاراً تلو الآخر.
- "الوجبة المشتركة" (Multi-Attribute): يمكنك إعطاؤه صورة لقبعة، وصورة لنظارات، وصورة للحية. يستطيع Durian دمج الثلاثة معاً في فيديو واحد فوراً. هو يعرف أن القبعة توضع فوق الشعر وأن النظارات توضع على الأنف، ويتعامل مع تداخل العناصر بشكل مثالي.
لماذا يعد هذا أمراً مهماً؟
قبل Durian، إذا كنت تريد تجربة تسريحة شعر جديدة في فيديو، كنت بحاجة إلى ماسح ضوئي ثلاثي الأبعاد، أو تطبيق مخصص، أو قالب جاهز يبدو جامداً ومزيفاً.
Durian هو ساحر الـ "Zero-Shot".
- Zero-Shot (بدون تدريب مسبق): لا يحتاج إلى إعادة التدريب لكل شخص جديد أو كائن جديد.
- In-the-Wild (في الواقع الحر): يعمل مع الصور والفيديوهات العشوائية التي تجدها على الإنترنت.
- One-Pass (بخطوة واحدة): يقوم بعملية التبديل والتحريك في خطوة واحدة، مثل تعويذة سحرية واحدة، بدلاً من عملية طويلة ومعقدة.
باختاً: Durian هو أول ذكاء اصطناعي يمكنه النظر إلى صورة لتسريحة شعر رائعة لشخص غريب وفيديو لك، ثم يقوم بسلاسة بتعديل الفيديو الخاص بك ليكون لديك تلك التسريحة، بينما تتحدث وتتحرك، دون الحاجة أبداً إلى مجموعة بيانات توضح تغييرك لشعرك. إنه مثل امتلاك مصفف شعر شخصي يمكنه تجربة أي مظهر من أي صورة فوراً، مباشرة على وجهك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.