High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning

إليك ملخص تقني مفصل لورقة البحث بعنوان "تبديل الوجوه عبر الانتشار عالي الدقة مع التكييف الوجهي المقيد بالهوية" (High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning).

1. بيان المشكلة

يهدف تبديل الوجوه إلى نقل هوية وجه المصدر إلى وجه الهدف مع الحفاظ على سمات الهدف (الوضعية، التعبير، الإضاءة). وبينما كانت شبكات الخصومة التوليدية (GANs) هي المعيار السائد، إلا أنها تعاني من جودة صور محدودة وانهيار النمط (mode collapse). توفر نماذج الانتشار (Diffusion models) قدرات توليدية فائقة ولكنها تواجه تحديين محددين في عملية تبديل الوجوه:

• صراع الهوية والسمات (Identity-Attribute Conflict): غالبًا ما تعمل الحفاظ على الهوية ومواءمة السمات بشكل متعارض أثناء التدريب. فدفع النموذج لمطابقة هوية المصدر يمكن أن يؤدي إلى تدهور تعبير/وضعية الهدف، والعكس صحيح.
• فشل التكييف المشترك (Joint Conditioning Failure): غالبًا ما تقوم الطرق القائمة على الانتشار بحقن شروط الهوية والسمات في آن واحد ضمن مخطط تدريب أحادي المرحلة. يؤدي هذا إلى تدريب غير مثالي، حيث يكافح النموذج لموازنة التدرجات المتعارضة، مما ينتج عنه تشوهات، أو تسرب للهوية، أو وجوه مشوهة.

2. المنهجية

يقترح المؤلفون إطار عمل جديد يسمى "التكييف الوجهي المقيد بالهوية" (Identity-Constrained Facial Conditioning)، والذي يفصل حقن الهوية والسمات ويستخدم استراتيجية تدريب متعددة المراحل.

أ. حقن الشروط الوجهية المفكك (Decoupled Facial Condition Injection)

لمنع تسرب الشروط والتداخل، قدم المؤلفون آلية حقن ثنائية المسار:

• فك الارتباط على مستوى البيانات (Data-Wise Decoupling): بدلاً من استخدام نسخ معززة من نفس الصورة (مما يخاطر بتسرب السمات إلى إشارة الهوية)، يستخدمون صوراً مقترنة لنفس الهوية ولكن بسمات مختلفة.
• استخراج الميزات ثنائي المسار:
  • مسار الهوية ($c_{id}$): يتم استخراجه من وجه المصدر باستخدام مُعرف ArcFace مدرب مسبقاً وDINOv2 (للتفاصيل البصرية الدقيقة مثل نسيج الجلد). يتم دمج هذه الميزات عبر آليات الانتباه (attention mechanisms).
  • مسار السمات ($c_{attr}$): يتم استخراجه من وجه الهدف باستخدام مشفر الميزات الخاص بـ SimSwap (وهو طريقة قائمة على GAN)، لالتقاط التعبير، والوضعية، والدلالات المكانية.
• الدمج (Fusion): يتم دمج ميزات الهوية والسمات باستخدام طبقة انتباه حيث يقوم تمثيل الهوية (identity embedding) بالاستعلام عن تمثيل السمات (attribute embedding). يتحكم عامل دمج ($\lambda_{fuse}$) في التوازن، مما يسمح للنموذج بإعطاء الأولوية للهوية في البداية.

ب. مخطط التدريب متعدد المراحل

ينقسم عملية التدريب إلى ثلاث مراحل متميزة لحل صراع الهوية والسمات:

1. المرحلة الأولى: الضبط الموجه نحو الهوية (Identity-Oriented Tuning)

   • الهدف: تكييف نموذج الانتشار (text-to-image) المدرب مسبقاً مع مهمة تبديل الوجوه وتضييق مساحة الحل لتكون المخرجات متسقة مع هوية المصدر.
   • الطريقة: يتم ضبط النموذج بدقة باستخدام شروط الهوية فقط ($\lambda_{fuse} = 0$). يتم الحفاظ على الخلفية عبر قناع ترميم (inpainting mask)، بينما يتم توليد المقدمة بناءً على هوية المصدر فقط.

2. المرحلة الثانية: ضبط السمات المقيد بالهوية (Identity-Constrained Attribute Tuning)

   • الهدف: مواءمة الوجه المولد مع سمات الهدف (التعبير، الوضعية) دون نسيان الهوية.
   • الطريقة: يتم حقن شروط السمات ($\lambda_{fuse} = 1$). ولمنع "النسيان الكارثي" للهوية:
     • يتم تصفير تهيئة أوزان المخرج (zero-initialized) لطبقة الانتباه في وحدة الدمج (بداية باردة للسمات).
     • يتم تقليل عامل التعزيز المكاني للهوية ($\lambda_{id}$) (إلى 0.2) لإضعاف قيد الهوية قليلاً، مما يسمح للنموذج بتعلم مواءمة السمات.

3. المرحلة الثالثة: صقل الهوية بعد التدريب (Post-Training Identity Refinement)

   • الهدف: تعزيز الدقة وتشابه الهوية دون المساس بجودة العينات.
   • الطريقة: على عكس الطرق السابقة التي تضيف فقدان الهوية (ID loss) مباشرة إلى فقدان تنبؤ الضجيج في الانتشار (مما يضعف حد ELBO ويقلل الجودة)، تعامل هذه المرحلة عملية أخذ عينات DDIM المكونة من 50 خطوة كنموذج توليدي متتالي كامل النهاية (end-to-end).
   • دالة الفقد (Loss Function): يتم تطبيق دالة فقد مشتركة من فقد GAN (خصومي) وفقد الهوية (ID loss). ولإدارة تكاليف الذاكرة، يتم حساب التدرجات فقط على خطوات ($k$) مختارة عشوائياً من مسار DDIM.

3. المساهمات الرئيسية

1. حقن الشروط المفكك: استراتيجية مبتكرة تستخدم بيانات مقترنة واستخراج ميزات ثنائي المسار لفصل إشارات الهوية والسمات، مما يمنع التسرب والصراع.
2. مخطط التكييف المقيد بالهوية: مسار تدريب متعدد المراحل يعطي الأولووة للحفاظ على الهوية أولاً، ثم الضبط الدقيق لمواءمة السمات، مما يحل مشكلة صراع التدرجات بفعالية.
3. أداء رائد (State-of-the-Art): يحقق النموذج المقترح معايير جديدة في كل من المقاييس النوعية والكمية، متفوقاً على الطرق الحالية القائمة على GAN والانتشار.

4. النتائج التجريبية

تم تقييم النموذج على مجموعة بيانات FFHQ مقابل نماذج مرجعية قوية (SimSwap, InfoSwap, E4S, DiffFace, DiffSwap, REFace).

• المقاييس الكمية:
  • FID (مسافة فريديه-إنسربشن): حقق 3.61، متفوقاً بشكل كبير على جميع المنافسين (أفضل منافس كان 4.26 لـ InfoSwap). يشير هذا إلى جودة عينات وواقعية فائقة.
  • استرجاع الهوية (ID Retrieval): حقق 97.90% (Top-1) و 99.70% (Top-5)، مما يظهر أعلى دقة في الحفاظ على الهوية.
  • الوضعية/التعبير: ظل تنافسياً، حيث طابق أفضل درجات الطرق القائمة على GAN (مثل SimSwap) في اتساق التعبير.
• النتائج النوعية:
  • تظهر الوجوه المولدة أنسجة جلد وإضاءة طبيعية، مستفيدة من قدرات النموذج التأسيسي المدرب مسبقاً.
  • يتعامل بنجاح مع حالات خارج التوزيع (out-of-distribution)، مثل اللوحات الفنية والصور الفنية، مع الحفاظ على تناغم النسيج.
• التقييم البشري:
  • في دراسة مستخدمين، حصلت الطريقة المقترحة على أعلى الأصوات لـ الدقة (Fidelity) (57.1%) و اتساق السمات (Attribute Consistency) (33.2%)، وثاني أعلى الأصوات لـ الحفاظ على الهوية (31.6%)، مما يثبت توازناً فائقاً بين جميع العوامل.

5. الأهمية

تعالج هذه الورقة حداً جوهرياً في تبديل الوجوه القائم على الانتشار: عدم القدرة على التحسين المشترك لشروط الهوية والسمات المتعارضة. من خلال فك هذه الشروط واستخدام نهج تدريب مرحلي، يثبت المؤلفون أن نماذج الانتشار يمكن أن تتفوق على GANs في مهام تبديل الوجوه.

تمتد أهمية هذا العمل إلى ما وراء تبديل الوجوه؛ إذ يوفر إطار التكييف متعدد المراحل والمقيد بالهوية حلاً قابلاً للتعميم لمهام التوليد الشرطي الأخرى حيث يجب موازنة قيود متعددة ومتعارضة محتملة (مثل الأسلوب مقابل المحتوى). إنه يضع معياراً جديداً للجيل من الصور عالية الدقة والقابلة للتحكم.