TDiR: Transformer based Diffusion for Image Restoration Tasks
تقدم هذه الورقة البحثية نموذج TDiR، وهو نموذج انتشار قائم على المحولات (transformer) يتفوق على 18 تقنية من أحدث التقنيات في خمس معايلات في مجالات تحسين الصور تحت الماء، وإزالة الضجيج، وإزالة المطر، مما يعمل بفعالية على استعادة جودة الصور المتدهورة للمهام اللاحقة.
المؤلفون الأصليون:Abbas Anwar, Ibrahim Radwan, Ali Arshad Nasir, Mudassir Masood, Saeed Anwar
تخيل أنك تحاول النظر إلى لوحة فنية جميلة، لكن أحدهم رش عليها ضباباً، أو لطخها بالطين، أو غطاها بطبقة سميكة من المطر. في عالم الحواسيب، يُسمى هذا "تدهور الصورة" (image degradation). عندما تلتقط الكاميرا صورة في كهف مظلم، أو تحت الماء، أو أثناء عاصفة، غالباً ما تكون الصورة الناتجة ضبابية، أو مشوشة، أو ذات ألوان خاطئة. هذا ليس مجرد إزعاج للمصورين فحسب؛ بل هو مشكلة كبيرة للروبوتات، والسيارات ذاتية القيادة، والأطباء الذين يحتاجون إلى الرؤية بوضوح لاتخاذ القرارات. لسنوات طويلة، حاولت الحواسيب إصلاح هذه الصور باستخدام نماذج "تمييزية" (discriminative). فكر في هذه النماذج كمعلم فن صارم ينظر إلى لوحة طينية ويحاول تخمين ما كان عليها في الأصل بدقة، متبعاً مساراً واحداً وجامداً نحو الإجابة. لكن الفوضى في العالم الحقيقي نادراً ما تكون بهذه البساطة؛ فأحياناً، يمكن إصلاح بقعة ضبابية بطرق عديدة، والتخمين الواحد الجامد غالباً ما يخطئ الهدف.
هنا يأتي دور نهج أكثر إبداعاً يسمى "نماذج الانتشار" (diffusion models). إذا كان النهج القديم يمثل المعلم الصارم، فإن نموذج الانتشار يشبه النحات الذي يعمل بالطين. فبدلاً من تخمين الشكل النهائي فوراً، يبدأ النحات بكتلة من الضجيج العشوائي (مثل كومة فوضوية من غبار الطين) ثم يقوم ببطء، خطوة بخوة، بإزالة الضجيج ليكشف عن الصورة المخفية تحتها. تقدم هذه الورقة البحثية أداة جديدة تسمى TDiR (الانتشار القائم على المحولات لترميم الصور). وهي تجمع بين قوة "النحت" خطوة بخطوة لنماذج الانتشار وبين بنية "المحول" (Transformer)—وهو نوع من عقول الحاسوب المتفوقة جداً في فهم كيفية ارتباط الأجزاء المختلفة من الصورة ببعضها البعض، تماماً كما نفهم جملة من خلال النظر في كيفية اتصال الكلمات ببعضها. أراد المؤلفون معرفة ما إذا كان هذا الجمع يمكنه إصلاح ثلاثة أنواع فوضوية جداً من الصور: الصور الملتقطة تحت الماء (التي غالباً ما تكون خضراء وضبابية)، والصور المغطاة بالمطر، والصور المليئة بالضجيج الساكن (static noise).
قام الباحثون ببناء TDiR عبر أخذ شبكة ذكية موجودة تسمى PromptIR ومنحها ترقية "مشروطة بالضجيج" (noise-conditioned). لقد أضافوا مسار فك تشفير خاص يخبر الحاسوب: "مهلاً، نحن في هذه الخطوة المحددة من عملية التنظيف، ومستوى الضجيج هو كذا". وهذا يسمح للنموذج بتعديل استراتيجيته أثناء العمل. اختبروا هذا النظام الجديد على خمسة معايير قياسية مختلفة، مقارنين إياه بـ 18 تقنية أخرى من الطراز الرفيع. كانت النتائج مبهرة؛ ففي فئة التصوير تحت الماء، حقق TDiR درجة 22.90 ديسيبل في مقياس PSNR (وهو مقياس لمدى قرب الصورة المستعادة من الأصل) و 0.8724 في مقياس SSIM (وهو مقياس للتشابه الهيكلي)، متفوقاً على أقرب منافس له، وهو MetaUE، بمقدار 0.89 ديسيبل و0.011 نقطة في SSIM. أما بالنسبة لإزالة المطر، فقد سجل 37.43 ديسيبل في مجموعة بيانات Rain100L، متفوقاً بفارق ضئيل على نموذج تم إعادة تدريبه خصيصاً لهذه المهمة (PromptIR*) بمقدار 0.40 ديسيبل.
ومع ذلك، فإن الورقة البحثية حذرة في عدم وصف هذا بأنه مشكلة تم حلها بشكل مثالي. فقد وجد المؤلفون أنه بينما يعد TDiR نموذجاً "عاماً" يمكنه التعامل مع الضجيج والمطر ومشكلات تحت الماء في آن واحد، فإنه لا يتفوق دائماً على النماذج "المتخصصة" التي تؤدي وظيفة واحدة فقط. في الواقع، بالنسبة لإزالة الضجيج عند مستويات الضجيج المنخفضة، كان النموذج المدرب حصرياً على تلك المهمة يؤدي بشكل أفضل. كما لاحظوا ميزة غريبة محددة: نظراً لأن النموذج يعالج الصور في قطع صغيرة (مثل الفسيفساء)، فإنه يترك أحيالاً آثار "الكتل" (blocking artifacts) باهتة عند الحواف حيث تلتقي القطع، مما قد يخفض الدرجات التقنية قليلاً حتى لو بدت الصورة رائعة للعين البشرية. علاوة على ذلك، فإن العملية أبطأ وأكثر استهلاكاً للحوسبة من الطرق القديمة لأنها تتطلب خطوات عديدة "لنحت" الصورة وإعادتها للحياة.
في النهاية، تشير الدراسة إلى أن دمج نماذج الانتشار مع المحولات (Transformers) هو وسيلة قوية لترميم الصور المتدهورة، وغالباً ما تنتج نتائج تبدو أكثر طبيعية وتتعامل مع الفوضى المعقدة ومتعددة الطبقات بشكل أفضل من الطرق القديمة. كما تشير إلى أنه بالنسبة لمهام مثل الاستكشاف تحت الماء أو القيادة الذاتية، حيث لا تكون الإجابة "الصحيحة" واضة دائماً، فإن هذا النهج المرن والتدريجي يقدم ترقية كبيرة في الجودة البصرية، حتى لو جاء ذلك بتكلفة أعلى في قدرة الحوسبة وبعض المقايضات التقنية الطفيفة.
ملخص تقني: TDiR (الانتشار القائم على المحولات لترميم الصور)
بيان المشكلة
يعد ترميم الصور تحديًا حاسمًا في الرؤية الحاسوبية، حيث يهدف إلى استعادة الصور الأصلية النظيفة من النسخ المتدهورة المتأثرة بالضجيج، والضبابية، والتشوهات اللونية، وتشتت الضوء. تؤدي هذه التدهورات إلى إضعاف فائدة الصور بشكل كبير في مهام الرؤية عالية المستوى مثل اكتشاف الأشياء، ورسم الخرائط، والتصنيف. وبينما أظهرت الأساليب غير التوليدية نجاحًا في مهام الرؤية عالية المستوى، إلا أنها غالبًا ما تعاني مع التوزيعات المعقدة ومتعددة الأنماط الموجودة في مهام الرؤية منخفضة المستوى مثل إعادة البناء تحت الماء، وإزالة الضجيج، وإزالة المطر. وتحديدًا، تقدم الصور تحت الماء تحديات فريدة بسبب تشتت الضوء، والامتصاص، والتحولات اللونية التي تختلف باختلاف الظروف البيئية، مما يتطلب غالبًا نماذج قادرة على التنقل عبر حالات تدهور متعددة محتملة بدلاً من رسم خريطة من مدخل متدهور واحد إلى مخرج نظيف واحد.
المنهجية
يقترح البحث TDiR، وهو نموذج انتشار شرطي قائم على المحولات (Transformer) مصمم لمعالجة مهام متعددة لترميم الصور ضمن إطار عمل موحد.
البنية: جوهر TDiR هو بنية U-Net القائمة على المحولات، والمكيفة من هيكل PromptIR. يستخدم PromptIR وحدات التلقين (prompt modules) للتكيف مع مستويات التدهور المختلفة دون الحاجة إلى نماذج متميزة لكل مهمة.
عملية الانتشار: يعمل النموذج ضمن إطار عمل انتشار يتكون من عملية انتشار أمامي (إضافة ضجيج غاوسي تدريجيًا) ومرحلة إزالة ضوضاء عكسية.
العملية الأمامية: يتم إضافة ضجيج غاوسي إلى الصورة المدخلة y0 عبر T من التكرارات حتى تشبه الضجيج الخالص.
العملية العكسية: تتعلم شبكة إزالة الضوضاء عكس هذه العملية، بالانتقال من التوزيع الغاوسي عائدة إلى التوزيع التجريبي لمجموعة البيانات.
التعديل الهيكلي الرئيسي: قدم المؤلفون تعديلًا خفيف الوزن حيث تقوم مسارات فك الترميز (decoder pathway) المخصصة بدمج المدخل المتدهور مع تضمين خطوة زمن الانتشار (diffusion timestep embedding). يسمح هذا للشبكة بتكييف عملية الترميم الخاصة بها بناءً على مستوى الضجيج المحدد الذي تم إدخاله خلال المرور الأمامي.
استراتيجية التدريب: لمعالجة الطبيعة الشرهة للبيانات التي تتطلبها المحولات، استخدم المؤلفون مشفرًا مدربًا مسبقًا (مجمدًا) كبنية أساسية. يتم تحسين معاملات فك الترميز فقط أثناء التدريب. يتم تدريب النموذج على مجموعة بيانات مشتركة تغطي ثلاث مهام: تعزيز الصور تحت الماء، وإزالة الضجيج، وإزالة المطر. تقلل دالة الهدف من خسارة L1 بين الضجيج المتوقع والضجيج الفعلي المضاف إلى الصورة.
الاستدلال: تتضمن عملية الترميم إجراءً تكراريًا لإزالة الضوضاء، مما يتطلب تمريرات أمامية متعددة لكل صورة.
المساهمات الرئيسية
نموذج انتشار شرطي موحد: اقتراح TDiR، الذي يحول بنية PromptIR المدربة مسبقًا إلى مزيل ضجيج مشروط بالضجيج، مما يتيح التطبيق عبر مهام ترميم متنوعة (تحت الماء، إزالة الضجيج، إزالة المطر) دون الحاجة لتبديل النماذج الخاصة بكل مهمة.
تضمين خطوة زمنية خفيف الوزن: تقديم مسار فك ترميز يدمج المدخل المتدهور مع تضمينات خطوة زمن الانتشار، مما يسمح للنموذج بالتكيف ديناميكيًا مع استراتيجية الترميم بناءً على مستوى الضجيج.
تقييم شامل: تقييم صارم لـ TDiR عبر ثلاث مهام مختلفة باستخدام خمس مجموعات بيانات مرجعية (UIEB, Test-60, BSD68, Rain100L, إلخ) وأربعة مقاييس تقييم (PSNR, SSIM, UCIQE, UIQM). تقارن الدراسة TDiR مقابل 18 تقنية من أحدث التقنيات المتاحة.
التحليل النوعي: فحص عملية الترميم القائمة على الانتشار مقارنة بالشبكات التمييزية البحتة، مع تسليط الضوء على المزايا في التعامل مع التدهورات متعددة الأنماط مع الإقرار بالقيود مثل عيوب الرقع المتبقية (residual patch-based artifacts).
النتائج التجريبية
يشير البحث إلى أن TDiR يتفوق على الطرق الحالية الأكثر تقدمًا عبر المهام التي تم تقييمها:
تعزيز الصور تحت الماء: في مجموعة بيانات UIEB، حقق TDiR أعلى درجات المرجع الكامل بـ 22.90 dB PSNR و 0.8724 SSIM، متفوقًا على أقرب منافس (MetaUE) بمقدار 0.89 dB و 0.011 SSIM، على التوالي. وفي المجموعة الفرعية No-reference Test-60، حقق درجة UIQM بلغت 2.73، متفوقًا بشكل كبير على الطرق الأخرى. تظهر النتائج النوعية دقة لونية فائقة وتثبيطًا للتحولات اللونية الخضراء مقارنة بـ PromptIR والنماذج المرجعية الأخرى.
إزالة الضجيج من الصور: في مجموعة بيانات BSD68، تفوق TDiR على جميع الطرق المرجعية (بما في ذلك النماذج المتخصصة في مهمة واحدة) عبر مستويات الضجيج σ=15,25,50. ومن الملاحظ أنه عند σ=50، تفوق TDiR على نموذج PromptIR المتخصص. وبينما انخفضت قيمة SSIM قليلاً عند مستويات الضجيج العالية بسبب عيوب الرقع، إلا أن النموذج أنتج نتائج أكثر نظافة من الناحية الإدراكية مع وجود آثار حبيبية أقل في المناطق المنتظمة.
إزالة المطر من الصور: في مجموعة بيانات Rain100L، حقق TDiR PSNR قدره 37.43، متفوقًا على نموذج PromptIR* المعاد تدريبه بمقدار 0.40 dB، ومتجاوزًا بشكل كبير طرقًا أخرى مثل AirNet و MPRNet. أكد التحليل النوعي الإزالة الكاملة لخطوط المطر في المناطق المنتظمة (السماء، الرمال) وحفاظًا أفضل على الأنسجة الدقيقة مقارنة بالمنافسين.
الأهمية والادعاءات
يدعي البحث أن الجمع بين نماذج الانتشار والمحولات يقدم حلاً قويًا لترميم الصور، لا سيما في السيناريوهات التي تنطوي على تدهورات معقدة ومتعددة الأنماط. يؤكد المؤلفون أن نماذج الانتشار تتفوق في التنقل عبر التوزيعات المتنوعة للصور المتدهورة، مما يتيح ترميماً أكثر دقة يعكس التباين في العالم الحقيقي، وهو أمر مفيد بشكل خاص للتصوير تحت الماء حيث تتباين الإضاءة والوضوح بشكل كبير.
ومع ذلك، يحافظ البحث على نبرة متواضعة فيما يتعلق بحدوده، حيث يقر بما يلي:
التكلفة الحسابية: الطبيعة التكرارية للانتشار تجعل TDiR أكثر تكلفة بكثير في الاستدلال من النماذج التمييزية ذات المرور الواحد، مما قد يحد من التطبيقات في الوقت الفعلي.
العيوب (Artifacts): يمكن أن تؤدي المعالجة القائمة على الرقع (patch-wise processing) للمحول لفك الترميز إلى عيوب في حدود التجميع (stitching boundaries)، مما قد يقلل بشكل طفيف من درجات PSNR/SSIM مقارنة بالجودة الإدراكية.
مقايضات التعميم: بينما يعد النموذج الموحد متعدد الاستخدامات، فإنه يتراجع باستمرار مقارنة بالنماذج المتخصصة في مهمة واحدة في سيناريوهات معينة (مثل المشاهد تحت الماء منخفضة العمق ذات الخلفيات المسطحة)، مما يشير إلى وجود مقايضة بين تعدد الاستخدامات ودقة الذروة.
الاعتماد على العمق: يعتمد النموذج على إشارات متعلقة بالعمق للترميم الفعال تحت الماء، والتي قد تغيب في بعض المشاهد الصعبة.
يخلص المؤلفون إلى أنه بينما يظهر TDiR تحسينات كبيرة في جودة الصورة عبر مهام متعددة، فإن العمل المستقبلي يمكن أن يعالج حدوده من خلال تقنيات مثل الاستدلال بالرقع المتداخلة (overlapping-patch inference)، أو التقطير (distillation) لتقليل خطوات الانتشار، أو الضبط الدقيق المشروط بالمهمة.