ملخص تقني: IConFace

بيان المشكلة

تعد عملية استعادة الوجوه العمياء (BFR) مشكلة سيئة التحديد للغاية (ill-posed problem)، لا سيما في حالات التدهور الشديد حيث تُفقد التفاصيل الحرجة للهوية والسمات الوجهية المحلية. وبينما تعمل النماذج التوليدية الحديثة (مثل الانتشار، ورموز الكود، والمحولات) على تحسين الواقعية الإدراكية، إلا أنها تواجه صعوبة في الحفاظ على اتساق الهوية دون وجود أدلة صريحة. تحاول طرق الاستعادة القائمة على المراجع حل هذه المشكلة باستخدام صور ذات نفس الهوية لتوفير الأدلة المفقودة للهوية. ومع ذلك، تواجه الطرق الحالية مقايضة حرجة: فالمراجع لا تشفر الهوية فحسب، بل تشفر أيضًا الوضعية (pose)، والتعبير، والإضاءة، والعمر، والمكياج. وغالبًا ما يؤدي نقل هذه الميزات مباشرة إلى "الاهتمام المفرط" (over-attention)، حيث يتبنى الوجه المستعاد المظهر المحدد للمرجع (مثل الوضعية أو التعبير) بدلاً من الحفاظ على البينة التي تفرضها الصورة المتدهورة. علاوة على ذلك، يجب أن تتعامل الأنظمة العملية مع سيناريوهات تكون فيها المراجع غائبة، أو مشوشة، أو محدودة، ومع ذلك تفشل العديد من النماذج القائمة على المراجع في التراجع بسلاسة نحو استعادة قوية بدون مرجع.

المنهجية: IConFace

يقترح المؤلفون IConFace، وهو إطار عمل موحد يدعم كلاً من الاستعادة القائمة على المرجع والاستعادة بدون مرجع ضمن نموذج واحد (checkpoint). الابتكار الجوهري هو التكييف غير المتماثل بين الهوية والبنية (Identity–Structure Asymmetric Conditioning)، والذي يعامل الصور المتدهورة والصور المرجعية بشكل مختلف بناءً على أدوارهما.

1. تصميم التكييف غير المتماثل (Asymmetric Conditioning Design)

يعتمد الإطار على هيكل هجين من نوع FLUX.2-kleile-base-4B concat. تقوم السلسلة الرئيسية بدمج (concatenate) رموز المشهد المشوش، ورموز الصورة المتدهورة، ورموز المرجع الاختيارية ($x_{in} = [x_{scene}; x_{deg}; x_{ref}]$). يتم تنفيذ عدم التماثل من خلال مسارين متميزين:

• مسار الهوية العالمية (دور المرجع):

  • لا تُعامل المراجع كمدخلات مكانية محلية، بل يتم تقطيرها لتصبح مرساة هوية عالمية (global identity anchor).
  • باستخدام مشفر AdaFace مجمد، يتم فصل التضمينات الخام ($z_r$) إلى اتجاه الهوية ($e_r$) والموثوقية/المعيار ($q_r$).
  • يتم تجميع المراجع المتعددة عبر "softmax" الموزون بالمعيار ($w_r$) لإنتاج مرساة هوية فعالة واحدة ($e_{id}$).
  • يتم إسقاط هذه المرساة في الفضاء الخفي للنموذط الأساسي (backbone) لتوليد فروق التعديل ($\Delta$) لكتل الصور. ومن الأهمية بمكان أن هذا التعديل هو خاص بالصورة فقط؛ حيث تظل تدفقات النصوص دون تغيير، مما يضمن أن المراجع تتحكم في الهوية عالميًا دون أن تعمل كفرع لنقل البنية المحلية.
  • الحالة الاحتياطية (Fallback): في حال غياب المراجع، يستخدم المسار تضمين AdaFace المعياري للصورة المتدهورة نفسها كمرساة تكييف ذاتي ضعيفة.

• مسار البنية المتدهورة (دور المدخل):

  • تُعامل الصورة المتدهرة على أنها مرساة البنية المكانية، كونها الملاحظة الوحيدة المتوافقة مكانيًا مع الهدف.
  • المتبقي منخفض الرتبة (Low-Rank Residual): يتم تغيير حجم رموز الصورة المتدهرة وحقنها كمتبقي مدخل منخفض الرتبة لتعزيز بنية المشهد.
  • ذاكرة المسارين (Two-Route Memory): يتم ضغط الانتباه الكامل للصورة المتدهورة في ميزانية ذاكرة ثابتة باستخدام مجمّعين (poolers) مستقطبين متعلمين:
    • المسار الأساسي (Base Route): يجمع $x_{deg}$ للحفاظ على التخطيط العام والإضاءة.
    • مسار التفاصيل (Detail Route): يجمع المتبقيات عالية التردد ($x_{deg} - \text{smooth}(x_{deg})$) للتأكيد على السمات الوجهية المحلية.
  • يسمح هذا لكل كتلة بقراءة كل من البنية الخشنة والتفاصيل الدقيقة دون استبدال مسار الدمج (concatenation) الرئيسي.

2. هدف التدريب (Training Objective)

يتم تدريب النموذج في الفضاء الكامن باستخدام هدف مطابقة التدفق (flow-matching objective).

• خسارة الاستعادة (Restoration Loss): تعمل على استرجاع حقل التدفق ($L_{fm}$).
• خسارة الهوية ($L_{id}$): بالنسبة للعينات القائمة على المرجع، يتم حساب خسارة تشابه جيب التمام بين الصورة المستعادة ومرساة المرجع.
  • تم تقديم مصطلح تثبيت (stabilizer term) ($L_{hard}$) للمراجع غير المثالية، ويكون موزونًا بالاتساق بين المرجع والهدف النظيف.
  • يتم وزن خسارة الهوية بمعامل سيجما ($\omega(\sigma)$)، مما يقلل من وزن خطوات الضجيج العالي بدلاً من تخطيها تمامًا.
• وضع "بدون مرجع" (No-Reference Mode): تكون خسارة الهوية صفرًا عند غياب المراجع، بالاعتماد فقط على خسارة مطابقة التدفق والتكييف الذاتي الضعيف من الصورة المتدهورة.

المساهمات الرئيسية

1. صياغة موحدة اختيارية للمراجع: يدعم نموذج واحد (checkpoint) كلاً من الاستعادة القائمة على المرجع والاستعادة بدون مرجع من خلال التكييف غير المتماثل، مما يلغي الحاجة إلى نماذج منفصلة.
2. التكييف غير المتماثل بين الهوية والبنية: تصميم مبتكر حيث يتم ضغط المراجع إلى متحكم هوية عالمي (تعديل AdaFace)، بينما يتم تعزيز المدخل المتدهر كمرساة بنية مكانية عبر المتبقيات منخفضة الرتبة وذاكرة المسارين.
3. مسارات خفيفة الوزن: يضمن استخدام تعديل AdaFace الموزون بالمعيار والانتباه المتبقي منخفض الرتبة دمج الهوية والبنية بكفاءة دون عبء حسابي ثقيل.
4. القوة في حالة غياب المراجع: يتراجع النموذج طبيعيًا إلى الاستعادة المعتمدة على الصورة المتدهرة فقط عند غياب المراجع، مما يحافظ على جودة إدراكية قوية.

النتائج التجريبية

قام المؤلفون بتقييم IConFace على أربعة معايير اختبارية قائمة على المرجع (CelebA-Test-Ref, FFHQ-Ref Moderate, FFHQ-Ref Severe, CelebHQRef100) وخمسة معايير اختبارية بدون مرجع (LFW, CelebChild, WebPhoto, Wider-Test, CelebA-Test).

• الأداء القائم على المرجع: حقق IConFace أداءً هو الأفضل في حالته (SOTA) في مقاييس Ref-ArcFace و Ref-AdaFace عبر جميع المعايير. ومن الملاحظ أنه في تقسيمات التدهور الشديد (FFHQ-Ref Severe و CelebHQRef100)، أظهر مكاسب كبيرة (على سبيل المثال، +0.104 في Ref-AdaFace على FFHQ-Ref Severe مقارنة بأفضل خط أساس). كما حافظ على أداء رفيع المستوى في المقاييس الإدراكية (MUSIQ, CLIP-IQA, MANIQA)، مما يثبت أن استعادة الهوية لم تأتِ على حساب الدقة البصرية.
• الأداء بدون مرجع: في غياب المراجع، احتل IConFace المركز الأول في مقاييس MUSIQ و CLIP-IQA و MANIQA عبر جميع مجموعات البيانات التي لا تعتمد على المرجع، مما يثبت أن التدريب القائم على المرجع لم يؤدِ إلى التخصص المفرط للنموذج.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن مسار الهوية العالمية كان المحرك الرئيسي لمحاذاة المرجع، بينما وفر مسار البنية المتدهورة مكاسب متسقة في استقرار بنية المخرجات. وقد تفوق الذاكرة ذات المسارين (الأساسي + التفاصيل) على المتغيرات ذات المسار الواحد، مما يؤكد صحة الفصل بين التخطيط العام والتفاصيل المحلية.

الأهمية والادعاءات

يزعم البحث أن IConFace يعالج بنجاح مشكلة "الاستخدام المفرط لمظهر المرجع" من خلال الفصل الصريح بين التحكم في الهوية والبنية المكانية. ومن خلال تعيين دور هوية عالمي للمراجع ودور الحفاظ على البنية للمدخل المتدهر، يستعيد النموذج تفاصيل متسقة مع الهوية (مثل تباعد العينين، ملمس الجلد، الشامات) مع الالتزام الصارم بوضعية وتعبير المدخل المتدهر.

يؤكد المؤلفون أن هذا النهج مفيد بشكل خاص تحت التدهور الشديد، حيث تفتقر الصورة المتدهرة إلى أدلة كافية للهوية، ولكن المرجع يوفرها دون فرض الحالة الوجهية. تسمح الطبيعة الموحدة للنموذج بأن يعمل كحل قوي لكل من تحسين الصور الشخصية (حيث تتوفر المراجع) والاستعادة العمياء العامة (حيث لا تتوفر)، مما يسد الفجوة بين نماذج الاستعادة القائمة على المرجع والنماذج التي لا تعتمد عليها.