ملخص تقني: HDRFace

بيان المشكلة

تظل عملية استعادة الوجوه تحت ظروف التدهور المعقدة (مثل الضبابية، والضجيج، وتقليل العينات، وضغط JPEG) مشكلة عكسية سيئة التحديد بسبب الفقدان الشديد في المعلومات. وبينما أصبحت نماذج الانتشار (Diffusion Models) نموذجاً مهيمناً لهذه المهمة عبر الاستفادة من المسبقات التوليدية القوية، فإن الطرق الحالية تعتمد عادةً على تكييف التوليد بناءً على المدخلات منخفضة الجودة (LQ) فقط. إن هذا الاعتماد على الصور منخفضة الجودة وحدها يجعل من الصعب استعادة التفاصيل الحرجة للهوية والتفاصيل الدقيقة، حيث تكون العديد من ملامح الوجه متضررة بشكل لا رجعة فيه أو ضبابية بشدة في المدخلات. ونتيجة لذلك، غالباً ما تعاني الصور المعاد بناؤها من عدم اتساق الهوية وضعف الواقعية الإدراكية.

المنهجية

يقترح المؤلفون HDRFace، وهو إطار عمل لاستعادة الوجوه مشروط بتمثيل عالي الأبعاد. الفلسفة الجوهرية هي حقن مسبقات غنية دلالياً ودقيقة في تدفق التوليد المشروط دون تعديل الهيكل التوليدي الأساسي. يتكون خط العمل من ثلاث مراحل رئيسية:

1. الاستعادة الوسيطة واستخراج الميزات

بدلاً من الاعتماد مباشرة على المدخلات منخفضة الجودة (LQ) للتوجيه، يستخدم الإطار أولاً مستعيداً جاهزاً (off-the-shelf restorer) لإنشاء استعادة وسيطة ذات بنية موثوقة ($I_{mid}$).

• استخراج الميزات المزدوج: يتم استخدام مشفر ميزات عالي الأبعاد مدرب مسبقاً، وهو DINOv3، لاستخراج تمثيلات وجهية دقيقة من مصدرين:
  • المدخلات الأصلية منخفضة الجودة ($I_{LR}$)، ويُرمز لها بـ $\mathbf{F}_{lr}$.
  • نتيجة الاستعادة الوسيطة ($I_{mid}$)، ويُرمز لها بـ $\mathbf{F}_{face}$.
• الأدوار المتكاملة: يُتوقع من ميزات الـ LQ توفير القيود الهيكلية، بينما توفر الميزات الوسيطة تفاصيل دقيقة وغنية دلالياً.

2. آلية الدمج التكيفي الواعي بالبنية والتفاصيل (SDFM)

لدمج هذه الميزات متعددة المصادر بفعالية، قدم المؤلفون SDFM، وهو وحدة مستقلة عن الهيكل (architecture-independent) تدمج $\mathbf{F}_{lr}$ و $\mathbf{F}_{face}$ بشكل تكيفي.

• نمذجة التباين: تقوم الوحدة بحساب الفرق المطلق بين تسلسلات الميزات المعيرة لتوصيف الفجوة صراحةً بين الإشارات الهيكلية والتفاصيل الدقيقة.
• البوابة التكيفية: تتعلم SDFM أوزان الدمج من خلال منظورين:
  • البوابة على مستوى القنوات ($\alpha_c$): مشتقة من الإحصائيات المجمعة عالمياً لميزات الوجه، وميزات LR، والتباين بينهما.
  • البوابة على مستوى الرمز ($\alpha_t$): مشتقة من الميزات المجمعة على مستوى الرمز لالتقاط الأهمية المحلية.
• الدمج: التمثيل المدمج النهائي ($\mathbf{F}_{fused}$) هو مزيج مرجح يركز على القيود العالمية أثناء نمذجة البنية ويعزز توجيه التمثيل أثناء تخليق التفاصيل، مما يوازن بين الاتساق الهيكلي ودقة التفاصيل.

3. التوليد المشروط

يتم حقن التمثيل عالي الأبعاد المدمج في الفرع المشروط للنموذج التوليدي، ليحل محل أو يعزز التضمينات النصية التقليدية.

• الاستقلالية عن الهيكل الأساسي: تم التحقق من صحة الإطار على بنيتين توليديتين مختلفتين:
  • SD V2.1-base: بنية U-Net لتقليل الضجيء بالانتشار.
  • Qwen-Image: بنية DiT (محول الانتشار) تعتمد على التدفق المستقيم (Rectified Flow).
• استراتيجية التدريب: يتم تدريب النماذج كنظم استعادة بخطوة واحدة. تجمع دالة الهدف للتدريب بين خسائر إعادة البناء، والإدراك، والهوية (ArcFace)، وخسارة GAN. بالنسبة لـ SD V2.1-base، يعمل كامن الـ LQ كمدخل مشوش عند خطوة زمنية ثابتة؛ أما بالنسبة لـ Qwen-Image، فيتم استخدام عملية اضطراب ضجيج خطية (Rectified Flow).

المساهمات الرئيسية

1. التكييف بالتمثيل عالي الأبعاد: يقترح البحث إطار عمل يحقن ميزات DINOv3 الدلالية في الفرع المشروط للنماذج التوليدية. يوفر هذا مسبقات تتجاوز المعلومات المحدودة في مدخلات الـ LQ، مما يخفف من طبيعة مشكلة الاستعادة كمسألة عكسية سيئة التحديد.
2. وحدة SDFM: تصميم آلية دمج مستقلة عن الهيكل توازن تكيفياً بين الاتساق الهيكلي (من مدخلات LQ) ودقة التفاصيل (من النتائج الوسيطة) دون تغيير الهيكل التوليدي الأساسي.
3. التعميم والمتانة: أظهرت الطريقة مكاسب مستقرة ومتسقة في الأداء عبر بنيات توليدية مختلفة (U-Net و DiT) وآليات توليد متنوعة، مما يسلط الضوء على قدرة قوية على التعميم عبر البنى المختلفة.

النتائج التجريبية

أُجريت التجارب على مجموعات بيانات اصطناعية (CelebA-Test) وواقعية (LFW-Test, CelebChild)، مع مقارنة HDRFace بالنماذج المرجعية غير الانتشارية، ونماذج الانتشار متعددة الخطوات، ونماذج الانتشار ذات الخطوة الواحدة (مثل CodeFormer، و OSDFace، و PGDiff).

• الأداء الكمي: يتفوق HDRFace باستمرار على الطرق الرائدة في مختلف المقاييس.
  • الجودة الإدراكية: يحقق درجات متفوقة في مقاييس LPIPS و DISTS و TOPIQ.
  • اتساق الهوية: يُظهر زوايا أقل في تضمين ArcFace (Deg.) ومسافات أقل في معالم الوجه (LMD)، مما يشير إلى حفظ أفضل لهوية الوجه.
  • جودة الصورة: يُظهر تحسناً في مقاييس جودة الصورة (IQA) التي لا تعتمد على المرجع مثل Q-Align و LIQE.
• النتائج النوعية: تُظهر المقارنات البصرية أن HDRFace يستعيد التفاصيل الدقيقة (مثل لمعان مستحضرات التجميل، وأشكال حدقة العين، وأنسجة الشعر، والأقراط) بدقة أكبر من الطرق المنافسة، مع نتائج أقرب إلى الحقيقة الأرضية (Ground Truth).
• دراسات الاستئصال (Ablation Studies):
  • SDFM: أدى حذف SDFM أو استخدام ميزات النص/DINO فقط إلى انخفاض في الأداء، مما يؤكد ضرورة الدمج التكيفي.
  • تكوين المدخلات: استخدام كل من SR (الوسيط) ومدخلات LR يعطي نتائج أفضل من استخدام أي منهما بمفرده، مما يؤكد الطبيعة التكاملية للميزات.
  • اختيار النموذج: وفرت نماذج DINOv3-L (Large) و Qwen-Image أفضل أداء مقارنة بالنسخ الأصغر أو نماذج التوجيه الأخرى مثل CodeFormer.

الأهمية والادعاءات

يدعي البحث أن HDRFace يقدم حلاً قوياً لاستعادة الوجه تحت ظروف التدهور الشديد عبر تحويل نموذج التكييف من المدخلات منخفضة الجودة إلى التمثيلات البصرية عالية الأبعاد.

• ما وراء المطالبات النصية: يرى المؤلفون أن المطالبات النصية غير مناسبة لاستعادة الوجه لأن التفاصيل الخاصة بالهوية والتفاصيل الدقيقة يصعب وصفها لغوياً ولا يمكن استنتاجها بشكل موثوق من مدخلات الـ LQ. التمثيلات البصرية عالية الأبعاد تشفر هذه التفاصيل بشكل أكثر مباشرة.
• المقايضة: بينما تفرض الطريقة عبئاً حسابياً إضافياً بسبب المستعيد الوسيط واستخراج الميزات، يؤكد المؤلفون أن هذه المقايضة (الجودة مقابل السرعة) تستحق العناء للمهام الحرجة للهوية. كما أن آلية الاستدلال بخطوة واحدة لا تزال تحافظ على زمن استجابة تنافسي مقارنة بنماذج الانتشار متعددة الخطوات.
• القيود: يقر المؤلفون بتواضع بأن الطريقة تعتمد على موثوقية الاستعادة الوسيطة. في حالات التدهور الشديد للغاية حيث تُفقد الإشارات الحرجة للهوية تماماً، قد تظل الطريقة تنتج تفاصيل متخيلة أو انحرافات هيكلية، لأن المشكلة تظل في جوهرها مسألة عكسية سيئة التحديد. ويقترحون أن العمل المستقبلي يمكن أن يتضمن الاختيار من بين عدة نتائج وسيطة مرشحة لتحسين المتانة.