💻 computer science

Single Image Reflection Removal with Patch Reflectance Prior

تقترح هذه الورقة نهجاً جديداً لإزالة الانعكاس من الصور المنفردة يستفيد من مُسبق عام لشدة الانعكاس، يتم تعلمه عبر شبكة استخراج مُسبق الانعكاس (RPEN) ودمجه في شبكة إزالة الانعكاس القائمة على المُسبق (PRRN) باستخدام بنية "ترانسفورمر يو-نت" (transformer U-Net)، لتحقيق أداء رائد في الاختبارات المعيارية للواقع الحقيقي.

المؤلفون الأصليون: Dongshen Han, Heechan Yoon, Hyukmin Kwon, Hyun-Cheol Kim, Hyon-Gon Choo, Seungkyu Lee, Chaoning Zhang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dongshen Han, Heechan Yoon, Hyukmin Kwon, Hyun-Cheol Kim, Hyon-Gon Choo, Seungkyu Lee, Chaoning Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التقاط صورة لمنظر طبيعي جميل من خلال نافذة. لسوء الحظ، النافذة متسخة، وانعكاس غرفتك (وربما مصباح أو شخص ما) يظهر فوق المشهد الخاري. النتيجة هي صورة فوضوية ومربكة حيث لا يمكنك التمييز بين ما هو حقيقي وما هو مجرد انعكاس. هذه هي المشكلة التي تعالجها الورقة البحثية: إزالة الانعكاس من صورة واحدة (Single Image Reflection Removal - SIRR).

إليك شرح مبسط لكيفية حل المؤلفين لهذه المشكلة، باستخدام تشبيهات من الحياة اليومية.

المشكلة: "النافذة الفوضوية"

عادةً، تحاول الحواسيب إصلاح هذا الأمر عن طريق تخمين قواعد محددة. على سبيل المثال، قد يفترضون أن "الانعكاسات تكون دائماً ضبابية"، أو "الانعكاسات تبدو دائماً كالأشباح".

العيب: في العالم الحقيقي، لا تكون الانعكاسات دائماً ضبابية أو شبحية. أحياناً تكون الانعكاسات حادة وواضحة. عندما يعتمد الكمبيوتر على قاعدة محددة (مثل "يجب أن تكون ضبابية")، فإنه يفشل عندما يرى انعكاساً حاداً. الأمر يشبه محاولة العثور على مفتاح مفقود بالبحث تحت المصباح فقط؛ إذا كان المفتاح تحت الأريكة، فلن تجده.

الحل: طريقة جديدة لقياس "الفوضى"

بدلاً من التخمين حول شكل الانعكاس (ضبابي، شبحي، إلخ)، قرر المؤلفون قياس مدى قوة الانعكاس في أجزاء مختلفة من الصورة. ويسمون هذا "أولوية شدة الانعكاس" (Reflection Intensity Prior).

تخيل الصورة ليس كصورة واحدة كبيرة، بل كـ بيتزا مقطعة إلى 49 قطعة صغيرة (patches).

الطريقة القديمة: محاولة تخمين نكهة البيتزا بأكملها دفعة واحدة.
الطريقة الجديدة: تذوق كل قطعة صغيرة على حدة. بعض القطع قد تكون بنسبة 90% انعكاساً (معظمها انعكاس غرفتك)، بينما قطع أخرى قد تكون بنسبة 90% نفاذية (معظمها المنظر الخارجي).

الآلة ذات الخطوتين

بنى المؤلفون نظاماً يتكون من جزأين، يعملان معاً مثل فريق تحقيق:

1. المحقق: شبكة استخراج أولوية الانعكاس (RPEN)

هذا هو "عين" العملية.

ماذا يفعل: ينظر إلى صورة النافذة الفوضوية ويحلل كل قطعة من قطع البيت الـ 49 الـ 49. ويسأل: "ما مقدار الانعكاس في هذه القطعة؟"
كيف يتعلم: تم تدريبه على مكتبة ضخمة من الصور لفهم كيف تبدو الصورة "الطبيعية". عندما يرى قطعة تبدو "غريبة" أو "مزدحمة" مقارنة بالصور الطبيعية، فإنه يصنفها على أنها تحتوي على انعكاس قوي.
المخرج: يقوم بإنشاء خريطة (خريطة حرارية) توضح بالضبط أين يكون الانعكاس قوياً وأين يكون ضعيفاً.

2. المنظف: شبكة إزالة الانعكاس القائمة على الأولوية (PRRN)

هذا هو "اليد" التي تقوم بالتنظيف.

ماذا يفعل: يأخذ الصورة الفوضوية و الخريطة من المحقق.
كيف يعمل: بدلاً من فرك الصورة بأكملها بشكل عشوائي، فإنه يستخدم الخريطة ليكون ذكياً. إذا قالت الخريطة: "هذه القطعة عبارة عن 90% انعكاس"، يقوم المنظف بإزالة الانعكاس بقوة. وإذا قالت الخريطة: "هذه القطعة هي في الغالب المنظر الخارجي"، فإنه يتركها كما هي.
البنية الهيكلية: استخدموا "Transformer U-Net"، وهو اسم تقني لهيكل تنظيف ذكي وفعال بارع جداً في ربط أجزاء مختلفة من الصورة (مثل كيفية ربط الـ Transformer للكلمات في الجملة).

لماذا يعمل هذا بشكل أفضل؟

اختبر المؤلفون نظامهم على صور من العالم الحقيقي (وليس فقط صوراً مولدة حاسوبياً).

اختبار الانعكاس "الحاد": تفشل العديد من الطرق القديمة عندما يكون الانعكاس حاداً وواضحاً (مثل المرآة). ولأن المؤلفين لم يفترضوا أن الانعكاس ضبابي، فقد تعامل نظامهم مع الانعكاسات الحادة بشكل مثالي.
ميزة "القطع" (Patch): من خلال تقسيم الصورة إلى قطع صغيرة، أدرك النظام أن الانعكاسات ليست موحدة. قد يكون الانعكاس قوياً في الزاوية العلوية اليسرى وضعيفاً في الزاوية السفلية اليمنى. التعامل مع الصورة ككتلة واحدة كبيرة يضيع هذه التفاصيل.

النتائج

عندما اختبروا نظامهم مقابل أفضل الطرق الموجودة:

أنتج صوراً أكثر وضوحاً وحدة.
عمل بشكل أفضل في السيناريوهات الصعبة حيث تكون الانعكاسات قوية أو حادة.
حقق "أفضل مستوى تقني حالي" (State-of-the-Art) (أعلى درجة ممكنة) في الاختبارات القياسية.

الملخص

تخيل أنك تحاول الاستماع إلى صديق يتحدث في غرفة صاخبة.

الطرق القديمة حاولت تصفية كل الضجيج، بافتراض أن الضجيج هو طنين محدد. إذا كان الضجيج عبارة عن صرخة، فإن الفلتر سيفشل.
هذه الطريقة الجديدة تضع ميكروفوناً في أجزاء مختلفة من الغرفة. فهي تحدد بالضبط من أين يأتي الصراخ (أي "شدة الانعكاس") وتقوم بكتم تلك البقاع المحددة فقط، مما يترك صوت صديقك واضحاً في كل مكان آخر.

تدعي الورقة البحثية أن هذا النهج أكثر مرونة ودقة لأنه يركز على مدى قوة الانعكاس في مناطق محددة، بدلاً من التخمين حول نوع الانعكاس.

ملخص تقني: إزالة الانعكاس من صورة واحدة باستخدام أولوية انعكاس الرقعة

بيان المشكلة
تهدف عملية إزالة الانعكاس من صورة واحدة (SIRR) إلى استعادة صورة النقل النظيفة ( $T$ ) من صورة مدخلة واحدة ( $I$ ) حيث يتم دمج مشهد مع انعكاس ( $R$ ). يتم صياغة ذلك كـ $I = g(T) + f(R)$ ، حيث تمثل $g(\cdot)$ و $f(\cdot)$ تدهورات متنوعة مثل الضبابية، وامتصاص الضوء، والانكسار، وتأثيرات عمق المجال. تعتبر هذه المهمة غير محددة جيداً (ill-posed) بسبب المتغيرات المجهولة والافتقار إلى الحقيقة الأرضية (ground truth) في السيناريوهات الواقعية.

تعتمد الطرق الحالية غالباً على افتراضات أولية محددة (مثل ندرة تدرج الصورة، أو إشارات الشبحية "ghosting"، أو النعومة النسبية) لفصل الطبقات. ومع ذلك، فإن هذه الافتراضات تفشل تكراراً في البيئات الواقعية المعقدة حيث تختلف خصائص الانعكاس بشكل كبير (على سبيل المثال: الانعكاسات الحادة مقابل الضبابية، تباين مسافات الأجسام، والإضاءة الطبيعية). كما أدى ندرة البيانات الواقعية إلى الاعتماد المفرط على مجموعات البيانات الاصطناعية، مما جعل النماذج تفتقر إلى المتانة عند تطبيقها على مشاهد واقعية متنوعة وغير منظمة.

المنهجية
يقترح المؤلفون إطار عمل يتجنب الافتراضات الأولية الصاردة والمحددة لصالح أولوية شدة الانعكاس (Reflection Intensity Prior) العامة. تُعرف هذه الأولوية قوة ظاهرة الانعكاس في منطقة محلية بدلاً من افتراض نوع محدد من التدهور (مثل الضبابية أو الشبحية). يتكون إطار العمل من مكونين رئيسيين:

تعريف أولوية شدة الانعكاس:
بدلاً من النسبة القياسية للانعكاس إلى النقل (والتي قد تعطي قيماً لانهائية عند الانعكاسات القوية)، أعاد المؤلفون تعريف شدة الانعكاس كدرجة معيارية تتراوح بين 0 و 1:
$\text{ReflectionIntensity} = \frac{\text{Mean}(R)}{\text{Mean}(R) + \text{Mean}(T)}$
يتم حساب هذا المقياس لكل رقعة إقليمية (regional patch) لمراعاة الطبيعة غير الموحدة للانعكاسات في الصور المتراكبة.
شبكة استخراج أولوية الانعكاس (RPEN):
تم تصميم RPEN لتقدير أولوية شدة الانعكاس لكل رقعة من الصورة المدخلة.

البنية: تستخدم هيكل ResNext101 مدرب مسبقاً على ImageNet لفهم الصور المنتظمة غير المنعكسة.
التدريب: تم ضبط الشبكة بدقة (fine-tuning) باستخدام مجموعة بيانات تتكون من صور اصطناعية (تم إنشاؤها عن طريق دمج انعكاسات من CEILNet مع صور PASCAL VOC) وصور واقعية من مجموعة بيانات CDR.
التحسين: يُستخدم نهج متتالي باستخدام تجميع الهرم المكاني ذو الفتحات المتسعة (ASPP) على الميزات عالية المستوى لالتقاط العلاقات العالمية بين الرقع وتحسين تقدير الشدة لكل رقعة من الـ 49 رقعة ( $7 \times 7$ ).

شبكة إزالة الانعكاس القائمة على الأولوية (PRRN):
تستخدم PRRN أولوية شدة الانعكاس المقدرة لإزالة الانعكاس بشكل تكيفي.

البنية: تعتمد على هيكل Transformer U-Net بسيط، المعروف بنجاحه في مهام ترميم الصور.
تضمين الأولوية: يتم تشفير أولوية شدة الانعكاس لكل رقعة في ميزات باستخدام آلية تضمين جيبية (مشابهة لترميز الموضع في المحولات/transformers).
المعالجة التكيفية: يتم حقن ميزات الأولوية المشفرة في الشبكة عبر طبقات التآلف المعتمدة على الميزات (FWA) داخل كتل ResBlocks. يقوم هذا بتوجيه الشبكة للتركيز على مناطق الانعكاس وإزالة مناطق الضجيج بشكل تكيفي حسب المنطقة أثناء عمليات رفع وتخفيض العينات (upsampling and downsampling).

المساهمات الرئيسية

أولوية شدة الانعكاس العامة: قدمت الورقة تعريفاً لأولوية الانعكاس خالياً من الافتراضات المحددة حول أنواع الانعكاس (مثل الضبابية أو الشبحية)، مع التركيز بدلاً من ذلك على القوة المحلية لظاهرة الانعكاس.
إطار عمل RPEN و PRRN: اقترح المؤلفون خط معالجة مكون من مرحلتين حيث تستخرج RPEN أولويات شدة الانعكاس الإقليمية، وتستخدم PRRN هذه الأولويات ضمن بنية Transformer U-Net للقيام بعملية الإزالة.
التحليل القائم على الرقع (Patch-Based Analysis): أظهرت الدراسة أن تقسيم الصور إلى رقع يسمح بتعلم أولويات انعكاس غير موحدة، وهو أمر بالغ الأهمية للتعامل مع السيناريوهات الواقعية المتنوعة.
إنشاء مجموعة البيانات: تم إنشاء مجموعة بيانات لأولوية شدة الانعكاس لتدريب وحدة RPEN.

النتائج التجريبية
تم تقييم الطريقة على مجموعة بيانات CDR (المصنفة، المتنوعة، والواقعية)، بالإضافة إلى Real20 و SIR2 و Nature.

الأداء: حقق نموذج PRRN+RPEN المقترح دقة الحالة الراهنة (SOTA) في معظم الاختبارات. في اختبار مجموعة CDR، حقق نسبة PSNR بلغت 24.31 (مقابل 22.04 لأفضل نموذج سابق YTMT-UCS) ومعامل SSIM بلغ 0.815.
المتانة: أظهرت الطراف أداءً استثنائياً في فئة SRST (انعكاس حاد، نقل حاد)، حيث تفشل العديد من الطرق القائمة على الأولويات بسبب نقص الإشارات المحددة مثل الشبحية. كما أدت أداءً جيداً في سيناريوهات BRST (انعكاس ضبابي) وسيناريوهات الانعكاس القوي.
دراسات الاستئصال (Ablation Studies):
- دقة الرقعة: أظهرت التجارب أنه بينما يعد تدريب RPEN برقع أصغر (دقة أعلى) أمراً أكثر صعوبة، فإن استخدام أولويات أكثر دقة كمدخل لـ PRPR يحسن دقة الإزالة بشكل كبير.
- تأثير RPEN: أدت إضافة وحدة RPEN إلى PRRN إلى زيادة قدرها 0.87 dB في PSNR. أكد التحليل البصري باستخدام LayerCAM أن RPEN توجه الشبكة للتركيز على مناطق الانعكاس الفعلية، بينما تميل PRRN بدون RPEN إلى التركيز على المناطق غير المنعكسة.

الأهمية والادعاءات
تزعم الورقة أن أهميتها الأساسية تكمن في معالجة قيود طرق SIRR الحالية التي تعتمد على افتراضات أولية محددة وغالباً ما تكون هشة. من خلال تعريف أولوية عامة لشدة الانعكاس وتعلمها عبر RPEN، يحقق النهج المقترح متانة في السيناريوهات الواقعية المتنوعة حيث تكون خصائص الانعكاس غير متوقعة. يشير المؤلفون إلى أنه بينما يحقق نهجهم دقة SOTA، فإن دقة التنبؤ بأولوية شدة الانعكاس في حالات معينة يمكن تحسينها مستقبلاً من خلال تصميمات RPEN متعددة الدقة. يؤكد العمل أن إزالة الانعكاس التكيفية مع المنطقة، الموجهة بأولويات شدة متعلمة بدلاً من الافتراضات الثابتة، تعد خطوة حاسمة نحو الأمام لترميم الصور في العالم الحقيقي.