SteerFace: Debiasing Synthetic Face Generation via Adaptive Residue Perturbation

ملخص تقني: SteerFace

بيان المشكلة

تتناول الورقة البحثية قصوراً حرجاً في استخدام بيانات الوجوه الاصطناعية لتدريب نماذج التعرف على الوجوه (FR). فبينما تنجح الأساليب الحديثة القائمة على الانتشار (diffusion-based methods) في توليد صور واقعية ذات التزام قوي بالهوية وتنوع في البيانات، إلا أنها تظهر فجوة أداء كبيرة عند تطبيقها على مهام التعرف على الوجوه في العالم الحقيقي مقارنة بالنماذج المدربة على بيانات حقيقية.

حدد المؤلفون السبب الجذري وهو النزعة البصرية (visual tendency): وهو انحياز لم يتم استكشافه مسبقاً، حيث تظهر مجموعات البيانات الاصطناعية انتشاراً غير واقعي لسمات بصرية محددة (مثل: نغمة اللون، التعبير، الملمس). ينشأ هذا الانحياز لأن نماذج الانتشار يتم تكييفها بناءً على تضمينات الهوية (identity embeddings) المستخرجة من نماذج التعرف على الوجوه الجاهزة. هذه التضمينات، رغم كونها تمييزية، إلا أنها متشابكة مع إشارات بصرية متبقية (residual visual cues) متزامنة من الصور المصدر. وأثناء التدريب، يمتص المولد (generator) هذه البقايا بشكل غير مقصود كجزء من دلالات الهوية. ونتيجة لذلك، يتعلم المولد اقتراناً منحازاً بين الهوية وإشارات بصرية محددة، مما يؤدي إلى إزاحة في التوزيع تعيق تعميم التعرف على الوجوه في المهام اللاحقة.

المنهجية: SteerFace

للتخفيف من حدة هذا الانحياز، تقترح الورقة SteerFace، وهو إطار عمل للتدريب يعمل على تشويش (perturbing) تضمينات الهوية لمنع المولد من استغلال الإشارات البصرية المتبقية مع الحفاظ على معلومات الهوية.

1. تشويش الرواسب الهندسية (Geometric Residue Perturbation)

تتضمن الآلية الأساسية توجيه تضمينات الهوية هندسياً نحو اتجاهات متعامدة عشوائية على الكرة التضمينية (embedding hypersphere).

• الأساس النظري: تُنمذج تضمينات الهوية ($c$) كتركيبة من مكون هوية نقي ($c_v$) ومصطلح متبقٍ ($r$) يحتوي على إشارات بصرية ($c = \text{norm}(c_v + r)$). يستغل المولد $r$ كطريق مختصر لإعادة البناء.
• استراتيجية التشويش: لكسر هذا الاعتماد، تقوم الطريقة بتدوير التضمين $c$ نحو متجه متعامد عشوائي $c^\perp$ بزاوية $\theta$. التضمين المشوش هو $\hat{c} = \cos(\theta)c + \sin(\theta)c^\perp$.
• الأثر: يحول هذا الإجراء المكون المتبقي المحدد والقابل للاستغلال $r$ إلى مكون يشبه الضوضاء يتغير في كل خطوة تدريب. نظرياً، يعمل هذا كمنظم (regularizer) يعاقب اعتماد المولد على المكونات غير المتعلقة بالهوية. ومن الأهمية بمكان أنه بما أن التشويش متعامد مع اتجاه الهوية، فإن بنية الهوية الأساسية (المشفرة بواسطة الاتجاه الزاوي) تظل محفوظة، ويتم فقط تغيير حجمها بواسطة $\cos(\theta)$.

2. التخصيص التكيفي للشدة (Adaptive Intensity Allocation)

إدراكاً منها أن شدة التشويش الثابتة (على سبيل المثال، أخذ عينات $\theta$ من توزيع منتظم $U(0, 1)$) ليست مثالية إحصائياً ولا تراعي طبيعة العينة، قدم المؤلفون استراتيجية تكيفية:

• البارامترية: يتم تحديد شدة التشويش $\alpha$ (حيث $\theta = \frac{\pi}{2}\alpha$) عبر محول (adapter) من نوع MLP خفيف الوزن يخصص درجة تفضيل لكل تضمين.
• التحسين: يتم تعلم التخصيص لموازنة هدفين:
  1. الحفاظ على الهوية: الحفاظ على تشابه كافٍ مع توزيع الهوية الأصلي (يتم تنظيمه عبر هدف اتساق ضد $U(0, 1)$).
  2. قوة التنظيم: تشجيع توزيع يحقق قيمة متوقعة أعلى لـ $\sin^2(\theta)$ لتعظيم تأثير إزالة الانحياز.
• النتيجة: يتعلم النظام تخصيص تشويش أقوى للعينات التي تكون فيها الإشارات المتبقية أكثر قدرة على التنبؤ (غالباً العينات عالية الجودة ذات التفاصيل الغنية)، مع الحفاظ على التوازن الإحصائي العام.

المساهمات الرئيسية

1. تحديد النزعة البصرية: تثبت الورقة أن النزعة البصرية تمثل تحدياً رئيسياً ومتميزاً في بيانات الوجوه الاصطناعية للتعرف على الوجوه، وهي منفصلة عن الالتزام بالهوية وتنوع البيانات. وتوضح أن البيانات الاصطناعية يمكن أن تكون متنوعة ومع ذلك تظهر انحيازاً في التوزيع بسبب الإشارات البصرية المتشابكة في تضمينات الهوية.
2. إطار عمل SteerFace: مخطط تدريب بسيط وفعال يقوم بتشويش تضمينات الهوية عبر الدوران الكروي. وهو يعمل كمنظم يحافظ على الهوية ويفصل بفعالية بين الهوية والإشارات البصرية المتبقية.
3. استراتيجية التشويش التكيفية: نهج لتعلم شدة تشويش مدركة للعينة تعمل على تحسين المقايضة بين الحفاظ على الهوية وتخفيف الانحياز، متفوقة بذلك على التوزيعات المنتظمة الاستدلالية.
4. التحقق التجريبي: تجارب واسعة النطاق تثبت أن SteerFace يقلل الفجوة بين التوزيع الاصطناعي والحقيقي ويحقق أداءً فائقاً في مهام التعرف على الوجوه اللاحقة مقارنة بالطرق الرائدة (SOTA).

النتائج التجريبية

قيم المؤلفون SteerFace باستخدام نموذج انتشار كامن (LDM) تم تدريبه على مجموعة بيانات CASIA-WebFace، حيث تم توليد مجموعات بيانات اصطناعية بحجم 0.5 مليون و1.2 مليون صورة. استُخدمت هذه البيانات لتدريب نموذج IR-50 للتعرف على الوجوه، وتم تقييمه على خمسة معايير (LFW, CFP-FP, AgeDB, CPLFW, CALFW).

• الأداء اللاحق: تفوق SteerFace على جميع الطرق الـ 14 المقارنة (بما في ذلك الأساليب القائمة على GAN والأساليب القائمة على الانتشار مثل IDiff-Face وArc2Face وMorphFace).
  • عند مقياس 0.5 مليون، حقق متوسط دقة قدره 93.72%، متجاوزاً أفضل طريقة (UIFace) بنسبة 0.45%.
  • عند مقياس 1.2 مليون، حقق 94.37%، متجاوزاً أفضل طريقة (MorphFace) بنسبة 0.20%.
  • والجدير بالذكر أن SteerFace عند مقياس 0.5 مليون تفوق على معظم الطرق الرائدة عند مقياس 1.2 مليون، مما يشير إلى كفاءة عالية في استخدام البيانات.
• تخفيف النزعة البصرية: باستخدام رندرة 3DMM لوجوه متوسط المجموعة، أظهر SteerFace أقل متوسط خطأ تربيعي (MSE) بالنسبة للحقيقة الأرضية الواقعية (1.02) مقارنة بالطرق الرائدة (التي تراوحت بين 5.63 و59.97)، مما يؤكد تقليل انحياز التوزيع.
• تحليل المقايضة: حقق SteerFace توازناً فائقاً في مساحة "الالتزام بالهوية مقابل تنوع البيانات"، حيث وقع بالقرب من جبهة باريتو (Pareto frontier) حيث تفضل الطرق الأخرى عادةً أحد المعيارين على حساب الآخر.
• القدرة على التعميم: تعمم الطريقة بشكل جيد عبر مجموعات تدريب مختلفة (FFHQ, MS1M) ومسارات توليد مختلفة (UIFace)، متفوقة باستمرار على النماذج المرجعية وطرق التشويش أثناء الاستدلال مثل IDPerturb.

الأهمية والادعاءات

تدعي الورقة أن SteerFace يعالج خللاً جوهرياً في توليد البيانات الاصطناعية الحالية للتعرف على الوجوه: وهو الامتصاص غير المقصود للانحيازات البصرية في دلالات الهوية. ومن خلال معاملة الإشارات البصرية المتبقية كضوضاء يجب تنظيمها بدلاً من سمات يجب تعلمها، يجعل SteerFace توزيع البيانات الاصطناعية أكثر توافقاً مع البيانات الحقيقية.

يؤكد المؤلفون أن نهجهم متميز عن "حذف السياق" (context dropout) (الذي يقمع الدلالات بشكل عشوائي) وعن "التشويش أثناء الاستدلال" (الذي لا يمكنه تصحيح انحياز وقت التدريب). ويؤكدون أن SteerFace يوفر حلاً بسيطاً وفعالاً وقابلاً للتعميم يحسن من فائدة البيانات الاصطناعية لتدريب التعرف على الوجوه المتوافق قانونياً، مما قد يقلل الاعتماد على مجموعات البيانات الحقيقية المثيرة للجدل أخلاقياً. ويشير العمل إلى أن مقاييس جودة البيانات الاصطناعية في المستقبل يجب أن تأخذ في الاعتبار النزعة البصرية، وليس فقط الهوية والتنوع.