← أحدث الأبحاث
💻 computer science

Pixel Ignores, Superpixel Sees: Adverse Weather Image Restoration via Semantic-Center SSM

تقترح هذه الورقة نموذج SSR، وهو نموذج فضاء الحالة الموجه بالمركز الدلالي الذي يعمل على تحسين استعادة الصور في الظروف الجوية السيئة من خلال استبدال المسح المتسلسل للبكسلات التقليدي بآلية مسح انتقائية موجهة بالبكسلات الفائقة وآلية بوابات على مستوى المنطقة للتعامل بشكل أفضل مع التدهورات غير المنتظمة مكانياً.

المؤلفون الأصليون: Dayu Li, Shihao Zhou, Leizhi Shu, Jin Wu, Chi Man Vong, Jufeng Yang

نُشر 2026-08-04
📖 6 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Dayu Li, Shihao Zhou, Leizhi Shu, Jin Wu, Chi Man Vong, Jufeng Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تنظيف نافذة موحلة لترى الحديقة بالخارج. إذا قمت بمجرد مسح الزجاج بحركة عشوائية ذهابًا وإيابًا، فقد تنقل الأوساخ من بقعة متسخة إلى بقعة نظيفة، مما يجعل الرؤية بأكملها ضبابية. هذا هو التحدي الذي تواجهه الحواسيب عند محاولة إصلاح الصور التي أفسدتها الأحوال الجوية السيئة مثل المطر الغزير، أو الضباب الكثيف، أو الثلج. لفترة طويلة، كانت الحواسيب تنظر إلى هذه الصور بقعة بقعة (أو "بكسل" واحد في كل مرة)، متحركة في نمط صارم يشبه الشبكة، مثل آلة قص العشب وهي تمر فوق حديقة. المشكلة هي أن الطقలు السيئ لا يسقط في شبكات مرتبة؛ فقد تغطي قطرة مطر جناح طائر بينما تترك السماء صافية. عندما ينتقل "جزاز العشب" الخاص بالحاسوب من الطائر إلى السماء، فإنه يخلط بالخطأ المعلومات "الممطرة" مع المعلومات "الصافية"، مما يربك الحاسوب ويترك الصورة لا تزال فوضوية.

لحل هذه المشكلة، يبني العلماء "روبوتات تنظيف" أكثر ذكاءً باستخدام نوع من الذكاء الاصطناعي يسمى "نموذج فضاء الحالة" (State Space Model - SSM). فكر في الـ SSM كأنه روبوت يتذكر ما رآه قبل لحظة ليفهم ما يراه الآن. ومع ذلك، كانت الطريقة القديمة لإخبار هذا الروبوت بكيفية النظر إلى الصورة (استراتيجية المسح) جامدة للغاية؛ فهي لم تكن تهتم بماهية الصورة فعلياً، بل كانت تتبع مساراً محدداً مسبقاً فقط. يقدم هذا البحث روبوتاً جديداً يسمى SSR يغير القواعد. فبدلاً من اتباع شبكة عمياء، يستخدم SSR "خريطة البكسلات الفائقة" (superpixel map) لتجميع الصورة إلى قطع طبيعية ومتماسكة، مثل أحجية (puzzle) حيث تُحفظ جميع قطع الطائر معاً، وجميع قطع السماء معاً. يتيح ذلك للروبوت تنظيف الطائر دون لطخ السماء، والعكس صحيح.

المشكلة: "جزاز العشب" مقابل "الأحجية"

يجادل مؤلفو هذا البحث بأن الطريقة القديمة لإصلاح الصور المتضررة من الطقس تشبه محاولة حل أحجية صور مقطوعة (jigsaw puzzle) وأنت ترتدي قفازات معصوبة العينين. قد تشعر بالحواف، لكنك لا تعرف أي قطعة تنتمي للكلب وأيها تنتمي للشجرة. الطرق الموجودة، بما في ذلك بعض الطرق المتقدمة جداً، غالباً ما تعامل الصورة كخط طويل ومسطح من البكسلات. فهي تمسح من اليسار إلى اليمين، ومن الأعلى إلى الأسفل، أو في أنماط متعرجة معقدة (مثل منحنى هيلبرت).

ويشير البحث إلى عيب رئيسي في هذا النهج: التدهورات ليست موحدة. فالعاصفة لا تفسد الصورة بشكل متساوٍ؛ فقد يكون جزء منها مغطى بالثلج، بينما يكون جزء آخر صافياً. عندما يمسح الحاسوب في خط مستقيم، فإنه غالباً ما يعبر الحدود بين منطقة "متسخة" ومنطقة "نظيفة". يحاول التعلم من كليهما في وقت واحد، فيخلط بين "الضجيج" (الثلج) و"الإشارة" (الشجرة). والنتيجة؟ يتعلم الحاسوب سمات غير تمييزية؛ حيث يصاب بالارتباك ولا يستطيع التمييز بين غصن شجرة حقيقي وبين ندفة ثلج عليه.

الحل: دليل "البكسلات الفائقة" (Superpixel)

يقترح الفريق نموذجاً جديداً يسمى SSR (نموذج فضاء الحالة الموجه بالمركز الدلالي للترميم). الفكرة الجوهرية هي التوقف عن المسح بكسل تلو الآخر، والبدء في المسح "منطقة تلو أخرى".

إليك كيف يفعلون ذلك، باستخدام حيلتين رئيسيتين:

1. المسح الانتقائي الموجه بالبكسلات الفائقة (S3M)
بدلاً من الشبكة الجامدة، يقوم SSR أولاً بتقسيم الصورة إلى "بكسلات فائقة" (superpixels). تخيل أخذ صورة ورسم خطوط حول كل جسم أو نسيج متميز—تجميع كل بكسلات السماء الزرقاء معاً، وكل بكسلات العشب الأخضر معاً، وكل بكسلات قطرات المطر معاً. هذه المجموعات "متماسكة إدراكياً"، مما يعني أنها منطقية للعين البشرية.
بمجرد تقسيم الصورة إلى هذه القطع الطبيعية، يتم توجيه "جزاز العشب" الخاص بالحاسوب (آلية المسح) للبقاء داخل الخطوط. فهو يعالج جميع البكسلات في مجموعة "السماء" معاً، ثم ينتقل إلى مجموعة "العشب". إنه لا يقفز أبداً من بقعة ممطرة إلى بقعة صافية في منتصف "فكرة" واحدة. هذا يضمن أن الحاسوب يتعلم سمات المطر دون أن "يتعلم" بالخطأ سمات السماء الصافية، مما يمنع لطخ المعلومات.

2. آلية البوابة على مستوى المنطقة (RGM)
حتى داخل مجموعة واحدة (مثل بقعة ثلج)، قد تكون بعض البكسلات "شاذة" أو غريبة بشكل استثنائي. للتعامل مع هذا، يستخدم SSR نظام "بوابة" (gating). فكر في هذا كأنه حارس أمن عند ملهى ليلي يتحقق من الهوية لكل شخص في قسم كبار الشخصيات (VIP). لكل مجموعة بكسلات فائقة، يحسب الحاسوب "المزاج" المتوسط (الإحصائيات) للبكسلات. إذا كان أحد البكسلات يتصرف بغرابة (بكسل تدهور شاذ)، فإن البواب (آلية البوابة) يخفض صوته أو يغير سلوكه قبل معالجته. هذا يعاير عملية التنظيف لتلك المنطقة المحددة، مما يضمن أن الأجزاء الغريبة والفوضوية لا تفسد عملية تنظيف المجموعة بأكملها.

ما وجدوه

اختبر المؤلفون نموذج SSR الجديد على ستة معايير اختبار مختلفة، وهي مجموعات قياسية من الصور المستخدمة لتقييم مدى جودة برامج إزالة تأثير الطقس. تضمنت هذه الصور صوراً اصطناعية (مطر وثلج مولد بواسطة الحاسوب) وصوراً حقيقية التقطت في ظروف جوية سيئة.

  • الأداء: تفوق نموذج SSR على جميع النماذج الرائدة الأخرى تقريباً. وفي اختبار صعب للغاية يسمى مجموعة البيانات "الخارجية" (Outdoor) (والذي يحتوي على مزيج من المطر والضباب)، حقق SSR درجة قدرها 33.22 ديسيبل (مقياس لجودة الصورة)، متفوقاً على ثاني أفضل نموذج بفارق كبير قدره 1.06 ديسيبل. في عالم ترميم الصور، تعتبر الفجوة حتى بمقدار 0.5 ديسيبل كبيرة جداً؛ أما 1.06 ديسيبل فهي قفزة هائلة.
  • الكفاءة: لم يكن النموذج أفضل فحًسب، بل كان أيضاً أخف وزناً. يمتلك النموذج 7.05 مليون معلمة فقط (حجم "دماغ" الذكاء الاصطناعي). وهذا أصغر بكماً من النماذج الرائدة الأخرى، والتي تمتلك بعضها أكثر من 30 مليوناً أو حتى 80 مليون معلمة. كما تطلب قوة حوسبة أقل (54.27 G FLOPs) مقارنة بالنماذج الثقيلة مثل Restormer (141.00 G FLOPs).
  • النتائج الواقعية: عند اختباره على صور حقيقية دون وجود نسخة "مثالية" للمقارنة معها، أنتج SSR أيضاً صوراً صنفها البشر على أنها ذات جودة أعلى وأكثر جمالاً من الطرق الأخرى.

العقبة والمستقبل

الورقة البحثية واضحة جداً بشأن ما يعمل وما لا يعمل. فهم يجادلون صراحةً ضد فكرة أن مسارات المسح المحددة مسبقاً والجامدة (مثل الشبكات القياسية أو منحنيات هيلبرت) هي الأفضل للتعامل مع الطقس المعقد. لقد أثبتوا أن تجاهل "معنى" الصورة (المحتوى الدلالي) يؤدي إلى نتائج أسوأ.

ومع ذلك، كان المؤلفون صادقين أيضاً بشأن القيود. تعتمد طريقتهم بشكل كبير على عمل "تجميع البكسلات الفائقة" بشكل صحيح. إذا كان الطقس سيئاً للغاية (مثل عاصفة ثلجية تعمي الأبصار) بحيث لا يستطيع الحاسوب حتى تحديد أين ينتهي جسم وآخر، فقد ترتبك خريطة البكسلات الفائقة. في تلك الحالات القصوى، قد يعاني النموذج لأن "دليله" قد تعطل.

بالإضافة إلى ذلك، بينما تقول الرياضيات إن النموذج سريع (تعقيد خطي)، إلا أن السرعة الفعلية على شريحة الحاسوب حالياً أبطأ قليلاً من بعض النماذج القديمة المحسنة للغاية. وذلك لأن الطريقة "الديناميكية" التي يتحرك بها SSR حول الصورة (القفز بين مجموعات بكسلات فائقة مختلفة) هي أصعب على أجهزة الحاسوب الحالية للتعامل معها بكفاءة مقارنة بمسح الخط المستقيم البسيط. يقترح المؤلفون أن العمل المستقبلي سيركز على بناء شرائح حاسوبية خاصة لجعل هذه الحركة الذكية والقفز سريعاً مثل المسح القديم الجامد.

الخلاصة

بب terms بسيطة، يقول هذا البحث: "توقفوا عن تنظيف الصور مثل مكنسة روبوت تصطدم بالجدر walls فقط. ابدأوا بالتنظيف مثل إنسان يفهم الغرفة". من خلال تجميع البكسلات في قطع طبيعية وذات معنى، وتنظيف كل مجموعة على حدة، يقوم نموذج SSR الجديد بإصلاح الصور المتضررة من الطقس بشكل أفضل، وأسرع، وبقدر أقل من قوة الحوسبة مقارنة بالطرق السابقة. إنه تحول من "التسلسل البكسلي" (نقطة تلو الأخرى) إلى "التوجيه الدلالي" (قطع ذات معنى في كل مرة)، مما يثبت أنه أحياناً، أفضل طريقة للرؤية بوضوح هي أن تفهم ما تنظر إليه.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →