Are Face Embeddings Compatible Across Deep Neural Network Models?

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل التضمينات الوجهية متوافقة عبر نماذج الشبكات العصبية العميقة المختلفة؟" من إعداد روباب، وتونج، وروس.

1. بيان المشكلة

أدى التقدم السريع في الشبكات العصبية العميقة (DNNs) إلى ظهور نموذجين متميزين في التعرف على الوجوه:

1. النماذج المتخصصة في المجال: التي يتم تدريبها حصرياً على بيانات الوجه باستخدام أهداف تعلم متري (مثل ArcFace وAdaFace) لتحسين التمييز بين الهويات.
2. النماذج التأسيسية (Foundation Models): التي يتم تدريبها مسبقاً على مهام رؤية عامة أو رؤية-لغوية واسعة (مثل CLIP وBLIP-2 وDINOv2) ويتم تقييمها للتعرف على الوجوه عبر التعلم الصفري (zero-shot) أو الضبط الدقيق (fine-tuning).

السؤال الجوهري: هل تقوم هذه النماذج، المدربة على مجموعات بيانات مختلفة، وببنى معمارية ووظائف خسارة مختلفة، بترميز الهوية الوجهية بطرق غير متوافقة جوهرياً؟

• الافتراض المسبق: أشارت الأعمال السابقة إلى أن النماذج المدربة بشكل مستقل تنتج تضمينات غير متوافقة متبادلاً، وهي خاصية تُعتٌبر أحياناً ميزة أمنية (إمكانية إلغاء القوالب الضمنية).
• الفرضية: يبحث المؤلفون فيما إذا كان عدم التوافق هذا ناتجاً عن تمثيلات مختلفة جوهرياً أم أنه مجرد عدم محاذاة لأنظمة الإحداثيات ضمن بنية هندسية مشتركة. ويفترضون أن التحويلات التآلفية (affine transformations) البسيطة قد تكون كافية لمحاذاة هذه المساحات.

2. المنهجية

البيانات والنماذج

• النماذج التي تم تقييمها:
  • النماذج المتخصصة في الوجه: ArcFace، AdaFace، MagFace، KPRPE.
  • النماذج التأسيسية: CLIP، ALIGN، DINOv2، SAM، BLIP-2، LLaVA، Kosmos-2، InternVL3، Florence-2، وViT القياسي.
• مجموعات البيانات:
  • CFP: أزواج (أمامي-جانبي) للتحكم في الوضعية.
  • LFW: صور غير مقيدة "في الواقع".
  • WebFace (CASIA-WebFace): مجموعة بيانات ضخمة ومتنوعة (تم أخذ عينات منها للتجارب).

إطار المحاذاة

يعامل المؤلفون التضمينات الوجهية كـ "سحب نقاط" (point clouds) ويحاولون تعلم خريطة $\phi: \mathbb{R}^{d_a} \to \mathbb{R}^{d_b}$ بين فضاء التضمين للنموذج (أ) والنموذج (ب).

• المعالجة المسبقة: يتم تطبيع التضمينات باستخدام $\ell_2$، وتوسيطها باستخدام إحصائيات مجموعة التدريب، وحشوها بالأصفار (zero-padding) إلى بُعد مشترك $D = \max(d_a, d_b)$.
• طرق المحاذاة: تم اختبار ثلاث تحويلات خطية منخفضة السعة:
  1. محاذاة بروكروست (Procrustes Alignment): تجد مصفوفة دوران متعامدة $W$ (تحافظ على الزوايا/المسافات) عبر استخدام تفكيك القيم المفردة (SVD).
  2. الانحدار الخطي غير المقيد: يجد خريطة خطية عامة $W$ (تسمح بالقياس والقص/shearing) عبر طريقة المربعات الصغرى.
  3. انحدار ريدج (Ridge Regression): انحدار خطي مع تنظيم $\ell_2$ لمنع الإفراط في التخصيص (overfitting) عند محدودية البيانات.

مهام التقييم

• تحديد الهوية الوجهية (Face Identification): دقة التصنيف في المرتبة-$k$ (Rank-$k$ accuracy) ومتوسط الدقة المتوسطة (mAP) في سياق الاسترجاع 1:N.
• التحقق من الهوية الوجهية (Face Verification): المساحة تحت المنحنى (AUC)، معدل الخطأ المتساوي (EER)، ومعدل المطابقة الحقيقي عند معدل خطأ مطابقة حقيقي بنسبة 1% (TMR@1%FMR) في سياق المطابقة 1:1.
• الإعدادات: كل من الإعدادات "داخل المجموعة" (التدريب والاختبار على نفس المجموعة) و"عبر المجموعات" (التدريب على واحدة والاختبار على أخرى) لضمان التعميم.

3. النتائج الرئيسية

أ. التحسن الهائل في الأداء

بدون المحاذاة، يكون الاسترجاع عبر النماذج قريباً من العشوائية (دقة المرتبة-1 أقل من 3% لمعظم الأزواج). بعد تطبيق المحاذاة الخطية:

• النماذج المتخصصة في الوجه: حققت محاذاة شبه مثالية.
  • دقة المرتبة-1: تحسنت من 0.5% إلى **97–99%** عبر CFP وLFW وWebFace.
  • التحقق: ارتفع الـ AUC من 0.50 إلى **0.96**؛ وانخفض الـ EER من 50% إلى **9%**.
• النماذج التأسيسية: أظهرت توافقاً ملحوظاً ولكنه أقل قليلاً.
  • دقة المرتبة-1: تحسنت من <3% إلى ~72% (المتوسط) وتصل إلى 98% لأزواج محددة (مثل BLIP-2 $\to$ LLaVA).
  • التحقق: تحسن الـ AUC إلى ~0.89، رغم أن الأداء ظل أقل من النماذج المتخصصة في الوجه، مما يشير إلى فجوة في قوة التمييز عند عتبات الأمان العالية.

ب. التعميم والمتانة

• النقل عبر مجموعات البيانات: تعممت المحاذات التي تم تعلمها على مجموعة بيانات واحدة (مثل CFP) بفعالية على مجموعات أخرى (مثل LFW)، وإن كان ذلك مع انخفاض في الأداء بسبب تغير النطاق (domain shift). أظهرت النماذج المتخصصة في الوجه ثباتاً قوياً بشكل خاص تجاه تغير النطاق.
• كفاءة البيانات: ظلت طرق "بروكروست" و"انحدار ريدج" قوية حتى مع استخدام 10% فقط من بيانات التدريب، بينما تطلب "الانحدار الخطي غير المقيد" بيانات أكثر لتجنب الإفراط في التخصيص، لكنه قدم أفضل أداء في النهاية مع توفر بيانات كافية.

ج. الرؤى الهيكلية

• التسلسل الهرمي للنماذج: كشف التجميع الهرمي لمصفوفات المحاذاة عن عائلات نماذج مستقرة. تجمعت النماذج التباينية/متعددة الوسائط (CLIP، BLIP-2، LLaVA) بشكل وثيق، بينما انفصلت نماذج التجزئة (SAM) مبكراً. يشير هذا إلى تقارب تمثيلي يعتمد على أهداف التدريب بدلاً من البنية المعمارية فقط.
• عدم التماثل الاتجاهي: المحاذاة ليست دائماً متماثلة. فعملية رسم الخرائط من $A \to B$ غالباً ما تعطي نتائج مختلفة عن $B \to A$. ويُعزى ذلك إلى "الجودة الهندسية" للفضاء المستهدف؛ فالنماذج المدربة صراحةً على الفصل بين الهويات (النماذج المتخصصة في الوجه) تشكل فضاءات مستهدفة أفضل من تلك المدربة على التجزئة أو الرؤية العامة.

4. التفسير النظري

يقترح المؤلفون تفسيراً قائماً على تعلم المتشعبات (Manifold Learning):

• تتعلم الشبكات العصبية العميقة المختلفة تضمينات تقع تقريباً على نفس المتشعب الهوياتي (identity manifold) منخفض الأبعاد في الفضاء الدلالي.
• وبينما تؤدي إجراءات التدريب إلى بارامترات (أنظمة إحداثيات) مختلفة لهذا المتشعب، فإن الهندسة الجوهرية تظل مشتركة.
• ولأن المعايير القياسية تأخذ عينات من منطقة محدودة من هذا المتشعب، يمكن تقريب الهندسة المحلية باستخدام الفضاء المماسي (tangent space).
• لذلك، يكفي استخدام تحويل خطي بسيط ليعمل كتغيير للإحداثيات بين الفضاءات المماسية لنماذج مختلفة، مما يؤدي لمحاذاتها دون الحاجة إلى خرائط معقدة غير خطية.

5. الأهمية والآثار

الآثار الإيجابية

• التوافق التشغيلي: يمكن للأنظمة التي تستخدم نماذج DNN مختلفة أن تعمل معاً دون الحاجة لإعادة تسجيل المستخدمين.
• تصميم المجموعات (Ensemble Design): يمكن دمج النماذج غير المتجانسة بفعالية من خلال محاذاة تضميناتها.
• استبدال النماذج: يمكن استبدال الأنظمة المملوكة (Proprietary) ببدائل مفتوحة المصدر (أو العكس) عن طريق تعلم مصفوفة محاذاة بسيطة.

الآثار السلبية (الأمنية)

• تحدي إمكانية إلغاء القوالب: يفترض أحد الافتراضات الأساسية في الأمن البيومتري أن التضمينات من أنظمة مختلفة غير متوافقة، مما يوفر "إمكانية إلغاء ضمنية" (إذا تم اختراق قاعدة بيانات واحدة، يمكن للمستخدم الانتقال إلى نظام مختلف).
• الثغرة الأمنية: تثبت هذه الورقة أن المهاجم الذي لديه وصول إلى تضمينات من نظامين مختلفين يمكنه تقدير المحاذاة الخطية والمطابقة بين القوالب عبر الأنظمة، مما يجعل "إمكانية الإلغاء" هشة.

الخاتمة

تخلص الورقة إلى أن التضمينات الوجهية عبر بنيات DNN متنوعة هي متوافقة هندسياً. الاختلافات بين النماذج تعود أساساً إلى بارامترات الإحداثيات وليس إلى تباعد هيكلي جوهري. تكفي الخرائط الخطية البسيطة لسد هذه الفجوات، مما يسمح بالتعرف عالي الدقة عبر النماذج، ولكن هذا يكشف أيضاً عن ثغرات في استراتيجيات حماية القوالب البيومترية الحالية.