Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

ملخص تقني: تعزيز عملية إزالة دمج الوجو من صورة واحدة باستخدام النماذج اللغوية الكبيرة متعددة الوسائط

بيان المشكلة
تواجه أنظمة التعرف على الوجوه ثغرة أمنية حرجة تجاه هجمات الدمج (morphing attacks)، حيث يتم إنشاء صورة مركبة لتتطابق في آن واحد مع هويات متعددة، مما يسهل عمليات تزوير الهوية والوصول غير المصرح به. وبينما يمكن لطرق كشف هجمات الدمج (MAD) الحالية تحديد ما إذا كانت الصورة مدمجة أم لا، إلا أنها تفشل عموماً في استعادة الوجوه الأصلية أو الهويات المكونة لها، مما يحد من فائدتها الجنائية. تعالج هذه الورقة تحدي إزالة دمج الوجه من صورة واحدة دون مرجع (single-image reference-free facial demorphing): وهي مهمة تفكيك صورة مدمجة واحدة إلى وجهين أصليين مكونين لها دون الوصول إلى صورة مرجعية موثوقة. وتعد هذه مشكلة عكسية غير محددة جيداً (ill-posed inverse problem)، حيث يمكن نظرياً لعدد لا نهائي من أزواج الوجوه أن تولد نفس الصورة المدمجة، خاصة عندما يتم إنشاء الدمج باستخدام نماذج توليدية متقدمة (مثل StyleGAN أو نماذج الانتشار/diffusion models) التي تدمج سمات الهوية في الفضاءات الكامنة (latent spaces).

المنهجية
يقترح المؤلفون إطار عمل مبتكر يعيد صياغة عملية إزالة دمج الوجه كـ مشكلة توليد شرطي مزدوج موجه دلالياً (semantically-guided coupled conditional generation problem). ويتمثل جوهر هذا النهج في نموذج انتشار احتمالي لإزالة الضجيج المزدوج (Coupled DDPM) يعمل مباشرة في نطاق RGB، معزز بـ نماذج لغوية كبيرة متعددة الوسائط (MLLMs) للتكييف الدلالي.

1. عملية الانتشار المزدوج (Coupled Diffusion Process): على عكس الطرق السابقة التي تعيد بناء الوجوه بشكل مستقل أو تعمل في فضاءات كامنة مضغوطة، يعامل هذا الأسلوب الوجهين المكونين ككيان مزدوج $(i_1, i_2)$. تقوم عملية الانتشار الأمامي بإضافة الضجيج إلى الفضاء المشترك ذي الـ 6 قنوات (صورتان بكل منهما 3 قنوات) في وقت واحد. وهذا يفرض اعتماداً متبادلاً بين المخرجات، مما يضمن أن عملية إزالة الضجيع العكسية تولد كلا الوجهين معاً، وبالتالي تحافظ على العلاقة المتأصلة التي أنشأت عملية الدمج وتمنع الحلول المتدهورة (مثل إنتاج الصورة المدمجة مرتين).
2. التكييف الموجه بواسطة MLLM: بدلاً من الاعتماد على توليد النصوص أو الميزات البصرية الخام وحدها، تستخرج الطريقة تمثيلات الحالة الخفية (hidden state representations) من طبقات المحولات (transformer layers) المتوسطة لنموذج MLLM مدرب مسبقاً (تحديداً Qwen3-VL و LLaVA-1.6). تلتقط هذه التضمينات الاستدلال الدلالي عالي المستوى حول سمات الوجه، وإشارات الهوية، والخصائص الهيكلية.
   • يتم إسقاط تضمينات MLLM وحقنها في شبكة الـ UNet الخاصة بالانتشار عبر آليات الانتباه المتقاطع (cross-attention mechanisms).
   • والأهم من ذلك، يتجاوز هذا الأسلوب الدورة الخاسرة المتمثلة في توليد النص ثم إعادة ترميزه؛ إذ يستخدم مباشرة قدرات الاستدلال متعدد الوسائط الداخلية لـ MLLM لتوجيه شبكة إزالة الضجيج.
3. العمل في نطاق RGB: يعمل نموذج الانتشار مباشرة على بيانات البكسل (بدقة 256×256) بدلاً من الفضاءات الكامنة. يتكون المدخل لشبكة إزالة الضجيج في كل خطوة من الصورة المدمجة الأصلية المضاف إليها الضجيج (إجمالي 9 قنوات)، مما يسمح للشبكة بالانتباه إلى التفاصيل الإدراكية الدقيقة (الشعر، الخلفية، الأنسجة) التي غالباً ما تُفقد في التمثيلات الكامنة.

المساهمات الرئيسية

• إطار عمل بدون مرجع مدفوع بالأوامر (Prompt-Driven): قدم المؤلفون نظاماً لإزالة الدمج بدون مرجع يستفيد من نماذج MLLM لحقن الاستدلال الدلالي عالي المستوى في عملية إعادة البناء.
  * التوليد الشرطي المزدوج: صاغوا مشكلة الدمج كمهمة توليد مشتركة، مما يتيح إعادة بناء هويتين متمايزتين في آن واحد من صورة مدمجة واحدة مع الحفاظ على الاتساق.
• استراتيجية التكييف المبتكرة: تم تقديم استراتيجية جديدة تستخدم حالات الـ MLLM الخفية كإشارات تكييف، مما يجمع بين التوجيه الدلالي وتكييف الـ RGB المباشر.
• تحليل الاستئصال الشامل (Ablation Analysis): توفر الدراسة تحليلاً واسع النطاق لتأثير أعماق تضمين MLLM (الطبقات الأولية، المتوسطة، والأخيرة)، وتفوق طريقة نطاق RGB على طرق نطاق الفضاء الكامن، وفوائد تضمينات MLLM الكاملة مقابل ميزات ViT الخام.

النتائج
تم تقييم الطريقة المقترحة على عدة معايير تغطي تقنيات الدمج القائمة على المعالم (AMSL, OpenCV, FaceMorph, WebMorph) والتقنيات القائمة على التعلم (StyleGAN, MorDiff).

• استعادة الهوية: في حالات الدمج القائمة على المعالم، تحقق الطريقة دقة استعادة (RA) تتجا-وز 96% عند معدل خطأ مطابقة (FMR) صارم قدره 0.1% باستخدام أدوات مطابقة ArcFace و AdaFace.
• الدمج التوليدي: في حالات دمج StyleGAN الصعبة، تتفوق الطريقة بشكل كبير على النماذج المرجعية الحالية. على سبيل المثال، تحقق 9.13% RA عند 0.1% FMR (باستخدام ArcFace)، وهو تحسن كبير عن الطرق السابقة القائمة على GAN (مثل lc-GAN التي حققت 2.12%).
• دقة الصورة: تظهر الطالة جودة إدراكية فائقة، مع مكاسب في PSNR تترا-وح 6 إلى 9 ديسيبل عن الطرق الموجودة في مجموعات البيانات المختلفة.
• أداء الاسترجاع: في مهام الاسترجاع مع معرض كبير من المشتتات، تحقق الطريقة 94.67% mAP@1، متفوقة على جميع الأساليب المنافسة، لا سيما في دمج StyleGAN حيث تحسن mAP@1 بأكثر من 8% مقارنة بأفضل طريقة تالية.

الأهمية والادعاءات
تدعي الورقة أن أهميتها الرئيسية تكمن في نقل نموذج إزالة الدمج من مجرد التحسين القائم على البكسل أو الفضاء الكامن إلى التوليد الموجه دلالياً. ومن خلال الاستفادة من قدرات الاستدلال لنماذج MLLM، يمكن للطريقة فك تشابك الهويات التي تكون متشابكة بشدة في عمليات الدمج التوليدية الحديثة.

ويؤكد المؤلفون أن:

1. طبقات MLLM المتوسطة تشفر التمثيلات الأكثر تمييزاً للهوية، حيث توازن بين التفاصيل الهيكلية والتجريد الدلالي.
2. إزالة الدمج في نطاق RGB هي بطبيعتها متفوقة على نهج الفضاء الكامن لهذه المهمة، لأنها تحافظ على الإشارات المكانية الدقيقة الضرورية لاستعادة الهوية.
3. التكييف المباشر بالحالة الخفية أكثر فعالية من التكييف القائم على النصوص، لأنه يتجنب اختناقات المعلومات ويحتفظ بالإشارات البصرية الدقيقة.

تخلص الدراسة إلى أن دمج دلالات النماذج التأسيسية مع إعادة البناء التوليدي يقدم حلاً قوياً للأمن البيومتري، لا سيما في السيناريوهات الجنائية حيث لا تتوفر صور مرجعية. ويقر المؤلفون بأن تحديات لا تزال قائمة في التعامل مع عمليات الدمج التوليدية شديدة التشابك وتقليل التكلفة الحسابية لتكييف MLLM، لكن النتائج تضع معياراً جديداً (State-of-the-art) لإزالة دمج الوجه بدون مرجع.