💻 computer science

RASR: Retrieval-Augmented Super Resolution for Practical Reference-based Image Restoration

تقدم هذه الورقة البحثية نموذج RASR، وهو نموذج عملي لرفع دقة الصور القائم على المراجع، والذي يسترجع تلقائياً صوراً عالية الدقة ذات صلة دلالية من قاعدة بيانات لتعزيز المدخلات منخفضة الجودة، مدعوماً بمعيار RASR-Flickr30 الجديد ونموذج RASRNet الأساسي الذي يجمع بين الاسترجاع الدلالي والتوليد القائم على الانتشار لسد الفجوة بين البحث الأكاديمي والقابلية للتطبيق في العالم الحقيقي.

المؤلفون الأصليون: Jiaqi Yan, Shuning Xu, Xiangyu Chen, Dell Zhang, Jiantao Zhou, Jie Tang, Gangshan Wu, Jie Liu

نُشر 2026-05-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaqi Yan, Shuning Xu, Xiangyu Chen, Dell Zhang, Jiantao Zhou, Jie Tang, Gangshan Wu, Jie Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة ضبابية ومبكسلة لقطة التقطتها في حديقة الحيوان، وتريد جعلها حادة وواضحة مرة أخرى.

الطريقة القديمة (لعبة التخمين):
عادةً ما تحاول برامج الكمبيوتر إصلاح هذا عن طريق تخمين ماهية التفاصيل المفقودة التي قد تبدو عليها. إنها تشبه فناناً يحاول رسم نمر بناءً على رسم تخطيطي ضبابي فقط. أحياناً يصيبون الهدف، لكنهم غالباً ما "يهلوسون" بالتفاصيل—فيرسمون خطوطاً حيث يجب أن تكون بقعاً، أو يجعلون الفراء يبدو كالبلاستيك. يُسمى هذا الدقة الفائقة للصورة الواحدة (SISR).

الطريقة الأفضل (دليل المرجع):
هناك نهج أكثر ذكاءً وهو الدقة الفائقة القائمة على المرجع (RefSR). بدلاً من التخمين، ينظر الكمبيوتر إلى صورة مثالية وعالية الجودة لقطة مشابهة وينسخ تفاصيل تلك الصورة ويضعها على صورتك الضبابية. الأمر يشبه امتلاك صورة مرجعية مثالية بجانب رسمك التخطيطي لتقوم بالشف فوقها.

المشكلة:
العقبة في "الطريقة الأفضل" هي أنها تتطلب منك عادةً البحث يدوياً عن صورة مرجعية مثالية وتزاوجها مع صورتك الضبابية. في العالم الحقيقي، نادراً ما تتوفر لديك صورة مرجعية مثالية مختارة مسبقاً في جيبك عندما تلتقط صورة. إذا كنت في متحف أو حديقة حيوان، فلن يكون لديك صورة عالية الجودة محددة مسبقاً لهذا الحيوان تحديداً وجاهزة للاستخدام. وهذا ما يجعل "الطريقة الأفضل" صعبة الاستخدام في الحياة الواقعية.

الحل الجديد: RASR (أمين المكتبة الذكي)
يقدم هذا البحث نظاماً جديداً يسمى RASR (الدقة الفائقة المعززة بالاسترجاع). فكر في RASR كأنه أمين مكتبة فائق الذكاء.

المكتبة: تخيل مكتبة ضخمة مليئة بآلاف الصور عالية الجودة للحيوانات والأعمال الفنية والمناظر الطبيعية، منظمة حسب الفئة.
الطلب: تدخل ومعك صورتك الضبابية لحيوان قضاعة ضبابي.
الاسترجاع: بدلاً من بحثك أنت، يقوم أمين المكتبة (النظام) بمسح المكتبة فورياً، ليجد أكثر صورة عالية الجودة تشبه حيوان القضاعة ويحضرها لك.
الترميم: يستخدم النظام تلك الصورة المرجعية المثالية لإصلاح صورتك الضبابية، مما يضيف ملمس الفراء الحقيقي والتفاصيل الحادة التي كانت مفقودة.

كيف اختبروه:
لإثبات نجاح ذلك، بنى المؤلفون "مكتبة اختبار" جديدة تسمى RASR-Flickr30. تحتوي هذه المكتبة على صور لـ 30 نوعاً مختلفاً من الحيوانات. وبالنسبة لكل صورة اختبار ضبابية، كان على النظام العثور على الصورة المرجعية المناسبة من قاعدة بيانات تحتوي على حوالي 100 صورة عالية الجودة لكل نوع، بدلاً من إعطائه زوجاً متوافقاً مسبقاً.

لقد أنشأوا أداة محددة تسمى RASRNet للقيام بذلك، وهي تتكون من جزأين رئيسيين:

الباحث: "مسترجع بصري" ينظر إلى صورتك الضبابية ويجد أفضل صورة مرجعية مطابقة في قاعدة البيانات بناءً على ما هو عليه الشيء (معناه)، وليس فقط عبر مطابقة قطع صغيرة من البكسلات.
الفنان: "مولد انتشار" (نوع من أنواع فن الذكاء الاصطناعي) يأخذ صورتك الضبابية وصورة المرجع التي تم العثور عليها ويمزجهما معاً لإنشاء نتيجة حادة وواقعية.

النتائج:
عندما اختبروا RASRNet مقابل الطرق الأخرى:

أنتجت صوراً أكثر حدة وأنسجة أكثر واقعية (مثل الفراء والريش) من طرق "التخمين".
كانت أفضل في إصلاح الصور التي تعاني من مشاكل حقيقية (مثل الضوضاء أو الإضاءة السيئة) من طرق "المرجع" القديمة التي كانت تعتمد على التزاوج اليدوي.
باختصار، نجحت في سد الفجوة بين فكرة أكاديمية رائعة (استخدام الصور المرجعية) وأداة عملية يمكنك استخدامها بالفعل في الحياة الواقعية.

باخت مختصر:
RASR يشبه إعطاء فنان ترميم صور عصا سحرية تجد فوراً الصورة المرجعية المثالية من قاعدة بيانات ضخمة، لكي يتمكن من إصلاح صورك الضبابية بتفاصيل حقيقية ودقيقة بدلاً من مجرد اختراع تفاصيل مزيفة.

ملخص تقني: RASR: التعلية الفائقة المعززة بالاسترجاع لإعادة بناء الصور القائم على المراجع العملي

1. بيان المشكلة

تهدف عملية التعلية الفائقة للصورة الواحدة (SISR) إلى إعادة بناء صور عالية الدقة (HR) من مدخلات منخفضة الدقة (LR). وبينما أدت التطورات الأخيرة في الشبكات العصبية الالتفافية (CNNs)، والمحولات (Transformers)، ونماذج الانتشار (Diffusion Models) إلى تحسين الجودة الإدراكية، إلا أن عملية SISR لا تزال مشكلة غير محددة جيداً (ill-posed problem). فهي غالباً ما تعاني في ابتكار الأنسجة دقيقة التفاصيل، خاصة في المناطق ذات المحتوى المعقد أو الغامض.

تعالج تقنية التعلية الفائقة القائمة على المراجع (RefSR) هذه المشكلة من خلال الاستفادة من صور مرجعية مساعدة عالية الجودة تشترك في الخصائص الدلالية أو الهيكلية مع المدخل المنخفض الدقة (LR) لنقل أنسجة واقعية. ومع ذلك، تعاني أساليب RefSR الحالية من قصور حرج: وهي اعتمادها على أزواج صور (هدف-مرجع) مُعدة يدوياً. هذا الافتراض يقيد بشدة القدرة على التوسع والتطبيق في العالم الحقيقي، حيث نادراً ما يمتلك المستخدمون مراجع متطابقة تماماً وقت الاستنتاج. ويظل تحدي الحصول بكفاءة على صور مرجعية مناسبة في سيناريوهات العالم المفتوح مجالاً لم يُستكشف بعد.

2. المنهجية: RASR و RASRNet

لسد الفجوة بين البحث الأكاديمي والنشر العملي، يقترح المؤلفون التعلية الفائقة المعززة بالاسترجاع (RASR)، وهو نموذج يسترجع تلقائياً صوراً عالية الدقة ذات صلة دلالية من قاعدة بيانات مرجعية بناءً على مدخل LR فقط.

أ. صياغة المهمة

تُعرف مهمة RASR بالمعادلة: $RASR(I_{LR}) = G(I_{LR}, I_{REF}) = G(I_{LR}, R(DB, I_{LR}))، حيث:

$DB$ هي قاعدة بيانات مُعدة مسبقاً من الصور المرجعية عالية الجودة.
$R$ هو مسترجع يختار $I_{REF}$ الأكثر صلة دلالياً بناءً على $I_{LR}$ .
$G$ هي دالة توليد تعيد بناء المخرج عالي الدقة (HR) بناءً على كلا المدخلين.

ب. بنية الشبكة (RASRNet)

تدمج البنية الأساسية المقترحة، RASRNet، وحدتين رئيسيتين:

مسترجع مراجع الصور الواقعية (RIRR):
- على عكس الطرق القائمة على الأنسجة التي تفشل مع الصور المنخفضة الدقة المتدهورة، يستخدم RIRR الاسترجاع القائم على الدلالات.
- يستخدم مشفرات رؤية DINOv2 لاستخراج التضمينات (embeddings) من الصور المرجعية.
- يتم إجراء الاسترجاع عبر مطابقة تشابه جيب التمام (cosine similarity) لتحديد المرجع الأكثر تشابهاً لمدخل LR معين.
التعلية الفائقة بالانتشار المرجعي (RefDSR):
- هذا هو المولد (plug-and-play) المبني على هيكل انتشار SISR مدرب مسبقاً (مثل StableSR).
- استراتيجية التجميد (Freezing Strategy): يتم تجميد معاملات مشفر ومفكك الـ VAE الأصلي ( $E$ , $D$ ) والـ UNet ( $F$ ) للحفاظ على القدرات التوليدية.
- تكامل ControlNet: تم إدخال فرع ControlNet قابل للتدريب ( $F^{REF}_\theta$ ). وهو يستخدم وحدات LoRA وطبقات التلافيف الصفرية (zero-convolution layers) في كتل الـ DownBlocks.
- حقن الميزات: يتم تشفير الصورة المرجعية $I_{REF}$ بواسطة مشفر VAE مجمد ( $E^{REF}$ ) إلى تمثيل كامن $z_{REF}$ . ويتم تغذية هذا التمثيل في فرع ControlNet.
- الدمج الشرطي: يتم حقن ميزات المرجع فقط في كتل فك التشفير الثلاث الأولى من الـ UNet. ويتم تطبيق الانتباه المتقاطع (cross-attention) القائم على النص حصرياً في كتلة فك التشفير النهائية. يضمن هذا التصميم تركيز المراحل المبكرة على إعادة البناء الهيكلي تحت التوجيه الدلالي، بينما تقوم المرحلة النهائية بتحسين الدقة العالمية والأسلوب عبر التوجيه النصي.
- أهداف التدريب: يتم تدريب النموذج باستخدام مجموع مرجح من خسارة MSE، وخسارة LPIPS الإدراكية، وخسارة GAN (مع مُميز يعتمد على هيكل DINO ثابت)، وخسارة Gram ( $L_{Gram}$ ) لتعزيز واقعية الأنسجة.

ج. مجموعة البيانات: RASR-Flickr30

قدم المؤلفون RASR-Flickr30، وهو أول معيار مصمم لـ RASR.

المصدر: صور تم جمعها من موقع Flickr.com.
التركيز: 30 نوعاً من الحيوانات، تم اختيارها لتنوعها واتساقها داخل النوع الواحد.
الهيكل: توفر مجموعة البيانات لكل نوع 40 صورة للتدريب، و5 صور للاختبار، وحوالي 100 صورة مرجعية لدعم الاسترجاع الديناميكي في العالم المفت️. وهذا يتناقض مع مجموعات البيانات السابقة التي تعتمد على أزواج هدف-مرجع ثابتة.

3. النتائج التجريبية

أُجريت التجارب على مجموعة اختبار RASR-Flickr30 ومجموعة بيانات WR-SR، لمقارنة RASRNet مع أساليب SISR القائمة على GAN، وأساليب RefSR، وأساليب الانتشار (diffusion) المتطورة.

الأداء الكمي

تفوق RAS-Net باستمرار على نماذج SISR الأساسية وأساليب RefSR الأخرى في مجموعة اختبار RASR-Flickr30:

الدقة (Fidelity): حقق تحسناً قدره +0.38 dB في PSNR و +0.0063 في SSIM مقارنة بـ OSEDiff.
الجودة الإدراكية: أظهر انخفاضات كبيرة في مقاييس الخطأ الإدراكي: -0.0131 LPIPS، و -0.0172 DISTS، و -8.76 FID.
مقايلات عدم وجود مرجع (No-Reference Metrics): حسن NIQE بمقدار -0.0870 وحقق مكاسب في MUSIQ (+0.98) و CLIPIQA (+0.0134).
المقارنة مع RefSR: أظهرت أساليب RefSR السابقة (مثل C2-Matching و DATSR) أداءً أدنى على الصور ذات التدهور الواقعي مقارنة بنماذج SISR القائمة على GAN. أثبتت RASNet، من خلال اعتمادها على بنية الانتشار، أنها أكثر قوة تجاه التدهور المعقد حيث تفشل شبكات مطابقة الرقع (patch-matching) التقليدية.

الملاحظات النوعية

تشير المقارنات البصرية (مثل أمثلة القندس والطاووس) إلى أنه بينما تعاني طرق الانتشار الأخرى (StableSR, DiffBIR, PASD) من إزالة الضوضاء، أو الدقة الهيكلية، أو نعومة الأنسجة، فإن RASNet تنجح في إعادة بناء أنسجة أغنى (مثل الفراء والريش) وملامح وجه أكثر واقعية، مما يؤدي إلى عمليات إعادة بناء دقيقة وجذابة بصرياً.

4. الأهمية والمساهمات

يدعي البحث ثلاث مساهمات رئيسية تدفع مجال ترميم الصور للأمام:

نموذج جديد (RASR): اقتراح التعلية الفائقة المعززة بالاسترجاع، والتي تلغي الحاجة إلى الاقتران اليدوي للمراجع. وهذا يتيح النشر المرن في سيناريوهات العالم الحقيقي (مثل المتاحف وحدائق الحيوان) حيث يمكن إعداد بيانات مرجعية خاصة بالفئات مسبقاً.
مجموعة بيانات معيارية (RASR-Flickr30): إنشاء أول مجموعة بيانات للتعلية الفائقة المعززة بالاسترجاع والتي تتميز بمعارض مرجعية لكل فئة، مما يسهل البحث في الاسترجاع الديناميكي في العالم المفتوح.
نموذج أساسي فعال (RASRNet): تقديم نموذج أساسي قوي يجمع بين الاسترجاع الدلالي والمولد القائم على الانتشار. وتثبت النتائج أن التعزيز بالاسترجاع يمكن أن يسد الفجوة بفعالية بين أبحاث RefSR الأكاديمية والتطبيق في العالم الحقيقي، مما يوفر اتجاهاً واعداً للعمل المستقبلي.

يحافظ المؤلفون على نبرة متواضعة، حيث يضعون RASNet كنموذج أساسي يثبت إمكانات نموذج الاسترجاء المعزز بدلاً من الادعاء بأنه الحل النهائي لجميع تحديات التعلية الفائقة.