ReflexSplit: Single Image Reflection Separation via Layer Fusion-Separation

إليك ملخص تقني مفصل لورقة البحث بعنوان "ReflexSplit: فصل الانعكاس في صورة واحدة عبر دمج وفصل الطبقات".

1. بيان المشكلة

يهدف فصل الانعكاس في صورة واحدة (SIRS) إلى فك تشابك صورة مختلطة $I$ إلى طبقة إرسال $T$ (المشهد الخلفي) وطبقة انعكاس $R$ (الانعكاس غير المرغوب فيه).

• التحدي الجوهري: تعاني الطرق الحالية غالبًا من الارتباك بين الإرسال والانعكاس، لا سيما في طبقات فك التشفير العميقة. يحدث هذا بسبب آليات الدمج الضمنية وعدم كفاية التنسيق متعدد المقاييس، مما يؤدي إلى تشابك الميزات من الطبقتين.
• قصور الأعمال السابقة:
  • النماذج الخطية: تفشل النماذج المبكرة ($I = T + R$) في التقاط عدم التماثل بين الطبقات.
  • النماذج غير الخطية: بينما تستخدم الطرق الحديثة دوال غير خطية قابلة للتعلم ($I = T + R + \Phi(T, R)$)، إلا أنها تفتقر غالبًا إلى آليات صريحة لفصل الطبقات أثناء عملية فك التشفير.
  • مشكلات الشبكات العميقة: غالبًا ما يؤدي زيادة عمق الشبكة إلى فقدان المعلومات وتشابك الميزات، حيث تجد الشبكة صعوبة في التمييز بين الهياكل المشتركة والتفاصيل الخاصة بكل طبقة، مما ينتج عنه عيوب مثل الحدود الضبابية أو بقايا الانعكاسات.

2. المنهجية: ReflexSplit

ReflexSplit هو إطار عمل ثنائي المسار مصمم للتبديل صراحةً بين الدمج (لاستخراج الهيكل المشترك) والفصل (لفك تشابك الطبقات النوعية). ويتكون من ثلاثة مكونات أساسية:

أ. استخراج الميزات ثنائي المسار

لالتقاط تمثيلات متكاملة، يستخدم المشفر مسارين متوازيين:

1. كتلة مستخرج الميزات العالمية (GFEB): وهي عبارة عن Swin Transformer مدرب مسبقًا لاستخراج الأولويات الدلالية ($P_\ell$) بمقاييس متعددة.
2. كتلة مستخرج الميزات المحلية (LFEB): وهي عبارة عن CNN تعتمد على MuGI لالتقاط تفاصيل الأنسجة الدقيقة ($E_\ell$) عند مستويات دقة هرمية.
   يمنع هذا التصميم تشابك الميزات الشائع في المشفرات أحادية المسار.

ب. الدمج المبوّب عبر المقاييس (CrGF)

يقع CrGF عند مستويات فك التشفير $\{4, 3, 2\}$، وهو يعالج عدم استقرار التدرج وتدهور الميزات من خلال تجميع الميزات من مصادر غير متجانسة (الأولويات الدلالية، تفاصيل الأنسجة، وسياق فك التشفير) بشكل تكيفي.

• الآلية: يستخدم بوابات ثنائية الاتجاه لموازنة ميزات المستوى الحالي مع السياق من الطبقات الأعمق.
• العملية: يقوم بحساب مسار رئيسي ($F_{main}$) ومسار مساعد ($F_{aux}$) باستخدام دوال البوابة ($G_1, G_2$) لاختيار القنوات المتكاملة، يليه دمج موزون.
• الهدف: تثبيت تدفق التدرج والحفاظ على الاتساق الهرمي، مما يمنع الارتباك التدريجي بين ميزات الإرسال والانعكاس.

ج. كتلة دمج وفصل الطبقات (LFSB)

هذا هو الابتكار الجوهري لفك التشابك الصريح. تقوم LFSB بالتبديل بين عمليتين:

1. الدمج المبكر (الإسقاط ثنائي الاتجاه): محاذاة المساحات الدلالية لمساري الإرس والإنعكاس عبر الإسقاط المتقاطع بين المسارات ($W_t, W_r$). يسمح هذا للمسارات بمشاركة المعلومات المتكاملة قبل الفصل.
2. الانتباه ثنائي الأبعاد التفاضلي: مستوحى من "Differential Transformer"، تقوم هذه الوحدة بإجراء طرح متقاطع بين المسارات لتثبيط التداخل.
   • تقوم بحساب خرائط الانتباه الذاتي (SA) والانتباه المتقاطع (CA) لكلا المسارين.
   • المعامل التفاضلي: بدلاً من التجميع البسيط، تطبق:
     $$A^t_{diff} = (A^t_{SA} + A^t_{CA}) - \sigma(\lambda_\ell)(A^r_{SA} + A^r_{CA})$$
     $$A^r_{diff} = (A^r_{SA} + A^r_{CA}) - \sigma(\lambda_\ell)(A^t_{SA} + A^t_{CA})$$
   • هنا، $\lambda_\ell$ هو معامل قابل للتعلم يتحكم في قوة التثبيط. هذا يجبر الشبكة صراحةً على طرح ميزات الطبقة "الأخرى"، مما يضمن تمثيلات متميزة.

د. استراتيجية التدريب المنهجي (Curriculum Training)

لمنع الفصل التفاضلي من زعزعة استقرار التدريب المبكر (عندما تكون الميزات ضعيفة البنية)، استخدم المؤلفون نهج التعلم المنهجي:

• التهيئة المعتمدة على العمق: تبدأ الطبقات العميقة (العالمية) بأوزان فصل أقوى ($\lambda \to 0.8$)، بينما تبدأ الطبقات الضحلة (المحلية) بأوزان أضعف ($\lambda \to 0.2$).
• الإحماء لكل حقبة (Epoch-Wise Warmup): تزداد قوة الفصل العالمية $\lambda_{diff}$ خطيًا من 0.1 إلى 1.0 خلال أول 30 حقبة تدريبية.
• الأثر: تتعلم الشبكة أولاً إعادة بناء الهياكل المشتركة والأشكال الكلية، ثم تركز تدريجيًا على فك تشابك الطبقات النوعية.

3. المساهمات الرئيسية

1. إطار عمل صريح لدمج وفصل الطبقات: نموذج يتبادل بين الدمج (للتحلل المشترك) والفصل التفاضلي (لفك التشابك)، مما يمنع بفعالية الارتباك بين الإرسال والانعكاس عبر هرمية الشبكة.
2. الدمج المبوّب عبر المقاييس (CrGF) والانتباه التفاضلي: يضمن CrGF الاتساق متعدد المقاييس، بينما تستخدم LFSB طرح الانتباه المتقاطع بين المسارات لفك تشابك الطبقات صراحةً، وهي آلية غير موجودة في طرق SIRS السابقة.
3. التدريب المنهجي: جدول تدريب مبتكر يعمل على استقرار تعلم الفصل التفاضلي، مما يسمح للنموذج بالتعامل مع الخلط غير الخطي المعقد دون انهيار الميزات.

4. النتائج التجريبية

تم تقييم الطريقة على معايير اصطناعية (Real20, Nature, SIR2 subsets) وعلى مجموعات بيانات من العالم الحقيقي (OpenRR-1K).

• الأداء الكمي:
  • يحقق ReflexSplit نتائج الأفضل في فئته (SOTA) عبر معظم المقاييس.
  • في معيار العالم الحقيقي OpenRR-1K، حقق أعلى قيمة لـ SSIM (0.9372) وأقل قيمة لـ LPIPS (0.1087)، مما يشير إلى جودة إدراكية وتماسك هيكلي متفوق مقارنة بالمنافسين مثل RDNet وDSIT وDSRNet.
  • يتفوق على RDNet في 63% من صور الاختبار في مجموعة بيانات OpenRR-1K.
• الأداء النوعي:
  • تُظهر المقارنات البصرية أن ReflexSplit يزيل الانعكاسات بفعالية مع الحفاظ على الأنسجة الدقيقة، والحدود الحادة، ودقة الألوان.
  • غالبًا ما تظهر الطرق المنافسة بقايا انعكاسات، أو تنعيماً مفرطاً، أو تشوهاً في الألوان، خاصة في السيناريوهات الصعبة مثل اللمعان الطيفي القوي أو المشاهد الغامضة (مثل لوحة تم تحديدها خطأً على أنها انعكاس).
• دراسات الاستئصال (Ablation Studies):
  • يؤدي إزالة CrGF إلى فشل كارثي في اتساق الميزات.
  • تؤدي إزالة LFSB (تحديدًا المعامل التفاضلي) إلى حدوث ارتباك شديد بين الإرسان والانعكاس (تنخفض قيمة PSNR بشكل كبير).
  • تحقق استراتيجية التدريب المنهجي الكاملة تقاربًا أفضل من الجدولة ذات القوة الثابتة أو أحادية المرحلة.

5. الأهمية

يعالج ReflexSplit قصورًا جوهريًا في فصل الانعكاس في الصورة الواحدة: وهو التشابك التدريجي للميزات في الشبكات العميقة. من خلال تقديم آلية صريحة للتبديل بين مشاركة المعلومات (الدمج) وتثبيط التداخل (الفصل التفاضلي)، فإنه يحقق تعميماً قويًا في سيناريوهات الخلط غير الخطية المعقدة. يضمن دمج التعلم المنهجي أن تتعلم الشبكة فصل الطبقات دون التضحو بإعادة بناء الهياكل المشتركة، مما يضع معيارًا جديدًا لكل من مهام إزالة الانعكاس الاصطناعية وفي العالم الحقيقي. الكود متاح علنًا، مما يسهل المزيد من الأبحاث في هذا المجال.