Causal Disentanglement for Full-Reference Image Quality Assessment

إليك ملخص تقني مفصل لورقة البحث بعنوان "التفكيك السببي لتقييم جودة الصور بمرجع كامل" (Causal Disentanglement for Full-Reference Image Quality Assessment).

1. بيان المشكلة

يهدف تقييم جودة الصور بمرجع كامل (FR-IQA) إلى التنبؤ بالجودة الإدراكية لصورة مشوهة ($I_d$) من خلال مقارنتها بصورة مرجعية سليمة ($I_r$). تعتمد طرق التعلم العميق الحالية لـ FR-IQA عادةً على مقارنة الميزات الزوجية (حساب المسافات بين خرائط الميزات لـ $I_r$ و $I_d$). ومع ذلك، تواجه هذه النهج قيوداً كبيرة:

• ندرة البيانات: تتطلب النماذج التي تعتمد على التدريب كميات ضخمة من تعليقات متوسط الرأي (MOS) الذاتية، والتي يصعب الحصول عليها وتكلفتها عالية، خاصة في المجالات غير القياسية (مثل المجال الطبي، أو تحت الماء، أو الأشعة تحت الحمراء).
• انزياح النطاق (Domain Shift): تفشل الطرق التي لا تعتمد على التدريب (التي تستخدم نماذج مدربة مسبقاً مثل VGG أو EfficientNet) غالباً في المجالات المتخصصة لأنها تعتمد على ميزات محسنة للصور الطبيعية، مما يؤدي إلى ضعف التعميم.
• الافتقار إلى النمذجة السببية: تتجاهل الطرق الحالية غالباً حقيقة أن التشويه ليس مجرد فرق بسيط، حيث تتجاهل تأثير القناع البصري (VME)، حيث تعتمد رؤية التشويه بشكل كبير على محتوى الصورة الأساسي (على سبيل المثال، يكون الضجيج أكثر وضوحاً في المناطق الناعمة منه في المناطق ذات الأنسجة/التكستشر).

تقترح الورقة تحولاً في النموذج: بدلاً من مقارنة الميزات، يجب صياغة FR-IQA كمسألة تفكيك سببي (Causal Disentanglement) تعمل صراحةً على نمذجة كيفية تأثير محتوى الصورة على إدراك التشويه.

2. المنهجية

يعتمد الإطار المقترح على الاستدلال السببي (Causal Inference) وتعلم التمثيل المفكك (Decoupled Representation Learning). وهو يعمل عبر ثلاث مراحل رئيسية: ما قبل التدريب، الضبط الدقيق (اختياري)، والتنبؤ.

أ. صياغة النموذج السببي الهيكلي (SCM)

يعرّف المؤلفون عملية توليد الصورة المشوهة باستخدام SCM:

• المتغيرات: $C$ (محتوى الصورة)، $D$ (التشويه)، و $I_d$ (الصورة المشوهة).
• مسار التوليد: $C \to I_d \leftarrow D$. الصورة المشوهة هي مزيج من المحتوى السليم والتشويه المطبق.
• الرؤية الجوهرية: بينما يكون $C$ و $D$ مستقلين في عملية التوليد، فإن الإدراك البشري ليس كذلك. بسبب تأثير القناع البصري، يقوم المحتوى ($C$) بتعديل ظهور التشويه ($D$). لذلك، الهدف هو تعلم ميزة تشويه متأثرة بالمحتوى ($\dot{D}$) بدلاً من مجرد التشويه الخام.

ب. التفكيك عبر التدخل (Intervention)

لفصل المحتوى عن التشويه دون الحاجة إلى تسميات (Labels)، يستخدم المؤلفون مشفر تلقائي يعتمد على التدخل (Intervention-based Autoencoder):

1. المشفر (Encoder): يستخرج تمثيلاً كامناً $Z$ من الصورة المشوهة $I_d$.
2. التدخل (Intervention): يتم تقسيم الفضاء الكامن إلى أجزاء متعلقة بالمحتة ($Z_{1:k}$) وأجزاء متعلقة بالتشويه ($Z_{k+1:n}$). يتم استبدال جزء المحتوى بميزات المحتوى الفعلي $C$ المستخرجة من الصورة المرجعية $I_r$.
3. إعادة البناء (Reconstruction): يحاول فك التشفيد (Decoder) إعادة بناء $I_d$ باستخدام المتجه الكامن المتدخل $(C, Z_{k+1:n})$.
4. الهدف: من خلال تقليل خطأ إعادة البناء، يُجبر النموذج على ترميز جميع معلومات التشويه في $Z_{k+1:n}$، مما يؤدي فعلياً إلى تفكيك التشويه عن المحتوى بطريقة غير خاضعة للإشراف.

ج. تعلم التمثيل السببي (نمذجة القناع)

لمحاكاة تأثير القناع البصري، تم إدخال طبقة سببية (Causal Layer):

• يتم فرض رابط سببي موجه $C \to D$، يمثل أن المحتوى يعدل من ظهور التشويه.
• يتعلم النموذج دالة تعديل $V(h(C), D)$، حيث $h(C)$ هو تمثيل المحتوى.
• ينتج عن ذلك ميزة التشويه المتأثرة بالمحتوى النهائية $\dot{D} = V(h(C), D) + D$. تلتقط هذه الميزة كيف يجعل محتوى الصورة المحدد التشويه أكثر أو أقل إدراكاً.

د. استراتيجيات التنبؤ بالدرجة

يدعم الإطار ثلاثة أوضاع للتنبؤ:

1. الانحدار الخاضع للإشراف (Supervised Regression): عندما تتوفر تسميات MOS، يقوم رأس الانحدار برسم خريطة لـ $\dot{D}$ إلى الدرجة.
2. التعلم بلقطات قليلة (Few-Shot Learning): يتم تدريب رأس انحدار خفيف الوزن على مجموعة فرعية صغيرة من البيانات الموسومة.
3. التعلم بدون تسميات (Zero-Shot/Label-Free): عندما لا توجد تسميات، يفترض المؤلفون أن التباين ذو الصلة بالجودة في $\dot{D}$ يقع على متشعب منخفض الأبعاد (Low-dimensional Manifold). يستخدمون تقنية UMAP (تقريب وإسقاط المتشعبات المنتظمة) لبرجلة ميزات $\dot{D}$ عالية الأبعاد إلى مساحة أحادية البعد. يعمل الإحداثي الناتج كترتيب نسبي للجودة، مع الحفاظ على بنية الجوار المحلي للجودة الإدراكية.

3. المساهمات الرئيسية

1. نموذج جديد: اقتراح إطار عمل للتفكيك السببي لـ FR-IQA، والانتقال من مقارنة الميزات الزوجية التقليدية إلى نمذجة التفاعل السببي بين المحتوى والتشويه.
2. دمج القناع البصري: نمذجة تأثير القناع البصري صراحةً عبر طبقة سببية ($C \to D$)، مما يسمح للشبكة بتعلم ظهور التشويه المعتمد على المحتوى.
3. القدرة على التكيف بدون تسميات: تقديم آلية تنبؤ "صفرية" (Zero-shot) باستخدام تعلم المتشعبات (UMAP)، مما يمكن النموذج من ترتيب جودة الصور دون أي ملاحظات MOS ذاتية.
4. التعميم عبر النطاقات: إظبات أداء متفوق في النطاقات غير القياسية (تحت الماء، الطبية، النيوترونات، الأشعة تحت الحمراء) حيث تكون البيانات الموسومة نادرة، متفوقاً على الطرق الحالية التي لا تعتمد على التدريب والتي تعاني من انزياح النطاق.

4. النتائج التجريبية

تم تقييم الطريقة على 10 مجموعات بيانات، بما في ذلك المعايير القياسية (LIVE, TID2013, CSIQ, KADID, PIPAL) والنطاقات غير القياسية (الأشعة تحت الحمراء، النيوترونات، الشاشة، الطبية).

• المعايير القياسية: حققت الطرح أداءً تنافسياً للغاية (PLCC/SRCC) عبر الإعدادات الخاضعة للإشراف بالكامل، واللقطات القليلة، والإعدادات الخالية من التسميات، وغالباً ما طابقت أو تجاوزت النماذج الحالية (SOTA) مثل DISTS و TOPIQ.
• النطاقات غير القياسية: في تجارب النطاق المتقاطع (مثل التصوير الطبي والنيوتروني)، تفوقت الطريقة المقترحة بشكل كبير على النماذج المرجعية (Baselines) التي لا تعتمد على التدريب (مثل DeepJSD و DeepCausal). وبينما انخفض أداء النماذج المرجعية بسبب انزياح النطاق، حافظت الطريقة المقترحة على دقة عالية من خلال الاستفاف من التدريب المسبق الخاص بكل سيناريو دون الحاجة إلى بيانات IQA موسومة.
• دراسات الاستئصال (Ablation Studies):
  • دوال الخسارة: كان الجمع بين خسائر MSE و Perceptual (VGG) و Adversarial (GAN) أمراً حاسماً لالتقاط التشويهات في الترددات المنخفضة والعالية.
  • الطبقة السببية: أدى إزالة الطبقة السببية ($C \to D$) أو عكس اتجاهها ($D \to C$) إلى انخفاض كبير في الأداء، مما يؤكد أهمية نمذجة القناع المعتمد على المحتوى.
  • الإسقاط: تفوقت تقنية UMAP على تقنيات تقليل الأبعاد الأخرى (PCA, t-SNE) في الترتيب بدون تسميات (Zero-shot).

5. الأهمية

تعالج هذه الدراسة عقبة حرجة في تقييم جودة الصور: الاعتماد على التعليقات البشرية الذاتية والمكلفة. من خلال إعادة صياغة FR-IQA كمسألة تفكيك سببي، أنشأ المؤلفون نموذجاً:

• يتعمم بشكل أفضل: يتكيف مع نطاقات الصور الجديدة (مثل التصوير الطبي) من خلال التدريب المسبق على تشوهات اصطناعية خاصة بهذا النطاق، دون الحاجة إلى درجات جودة موسومة.
• يحاكي الرؤية البشرية: يدمج صراحةً تأثير القناع البصري، مما يؤدي إلى تنبؤات تتماشى بشكل وثيق مع الإدراك البشري مقارنة بمقاييس مسافة الميزات البسيطة.
• يسمح بالنشر العملي: تجعل القدرات "صفرية التسمية" (Zero-shot) و"اللقطات القليلة" (Few-shot) هذا النموذج قابلاً للتطبيق في المجالات الناشئة حيث يكون جمع مجموعات بيانات IQA واسعة النطاق أمراً مستحيلاً حالياً.

باخت استخلاصاً، تقدم الورقة إطار عمل قوياً ومبنياً على أسس نظرية يجسّر الفجوة بين استخراج الميزات بالتعلم العميق وآليات الإدراك البصري البشري، مما يوفر حلاً قابلاً للتوسع لتقييم جودة الصور في البيئات التي تفتقر إلى البيانات.