💻 computer science

GramSR: Visual Feature Conditioning for Diffusion-Based Super-Resolution

يُعد GramSR إطار عمل لرفع دقة الصور يعتمد على الانتشار في خطوة واحدة، حيث يستبدل التكييف النصي بميزات بصرية كثيفة من مشفر DINOv3، ويستخدم بنية LoRA ثلاثية المراحل لتحقيق دقة هيكلية فائقة وواقعية في الملمس في السيناريوهات الواقعية.

المؤلفون الأصليون: Fabio D'Oronzio, Federico Putamorsi, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fabio D'Oronzio, Federico Putamorsi, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة ضبابية ومنخفضة الجودة لقطة. تريد تحويلها إلى تحفة فنية واضحة وعالية الدقة. هذه هي مهمة الارتقاء بدقة الصورة من صورة واحدة (Single-Image Super-Resolution - SR).

لفترة طويلة، حاولت الحواسيب القيام بذلك عبر تخمين كيف ينبغي أن تبدو البكسلات المفقودة بناءً على عمليات رياضية بسيطة. لاحقاً، بدأت في استخدام "الذكاء الاصطناعي التوليدي" (مثل الأدوات التي تصنع الفن من النصوص) لملء الفجوات. ولكن هنا تكمن المشكلة: معظم أدوات الذكاء الاصطعي هذه تُوجَّه بما يجب رسمه باستخدام الأوصاف النصية.

المشكلة: فجوة "الوصف الضبابي"

فكر في الأمر كالتالي: أنت فنان تحاول رسم قطة محددة بناءً على وصف من صديق يقف في الغرفة المجاورة.

الطريقة القديمة (الاشتراط النصي): يصرخ صديقك قائلاً: "إنها قطة فروية بعيون كبيرة!"
- المشكلة: الفنان يعرف "فكرة" القطة، لكنه لا يعرف بالضبط أين تقع الشوارب، أو كيف تلتوي أنماط الفراء، أو الشكل المحدد للأذنين في صورتك الأصلية. قد يرسم الفنان قطة فروية عامة لا تشبه تماماً تلك الموجودة في صورتك الضبابية. الوصف غامض جداً ويفتقر إلى "الخريطة المكانية" اللازمة لتصحيح التفاصيل الدقيقة.

الحل: GramSR

قرر مؤلفو هذه الورقة البحثية، GramSR، التوقف عن الصراخ بالأوصاف والبدء في تقديم مخطط تفصيلي ومكبر للصورة الضبابية نفسها للفنان.

إليك كيف فعلوا ذلك، مقسماً إلى خطوات بسيطة:

1. "العيون" (الاشتراط البصري)

بدلاً من استخدام وصف نصي، يستخدم GramSR "عيناً" خاصة للذكاء الاصطناعي تسمى DINOv3 لتنظر إلى الصورة الضبابية.

التشبيه: تخيل أن DINOv3 هو محقق شديد الملاحظة، لا يكتفي بالقول "إنها قطة"، بل يسلم الفنان مجموعة من الملاحظات اللاصقة. كل ملاحظة تقول: "هنا توجد بقعة من الفراء"، "هنا منحنى شارب"، و "هنا ملمس الأنف".
لماذا يساعد هذا: هذا يمنح الذكاء الاصطناعي خريطة دقيقة بكسل ببكسل لهيكل الصورة الأصلية، مما يضمن بقاء النسخة عالية الدقة الجديدة وفية للشكل الأصلي، وليس مجرد الفكرة العامة.

2. "التدريب ثلاثي المراحل" (فريق LoRA)

لكي يتعلم الذكاء الاصطناعي كيفية إصلاح الصورة بشكل مثالي، يتم تدريبه في ثلاث مراحل متميزة باستخدام تقنية تسمى LoRA (وهي تشبه إضافة عجلات تدريب صغيرة ومتخصصة للدراجة الهوائية).

المرحلة الأولى: المنظف (على مستوى البكسل)
- الهدف: إزالة الأوساخ والضبابية.
- التشبيه: فكر في هذا كعامل نظافة. يقوم بتنظيف الصورة لإزالة الضجيج، والضبابية، وعيوب الضغط. يركز على جعل الصورة تبدو نظيفة وحادة، مع مطابقة الألوان والأشكال الأساسية تماماً.
المرحلة الثانية: الحكواتي (على المستوى الدلالي)
- الهدف: جعلها تبدو حقيقية وطبيعية.
- التشبيه: الآن، يتدخل مدير إبداعي. يتأكد من أن القطة تبدو كقطة حقيقية، وليست لعبة بلاستيكية. يضيف "الروح" والتفاصيل الإدراكية بحيث تبدو الصورة حية ومعقولة.
المرحلة الثالثة: فنان الملمس (على مستوى الملمس)
- الهدف: إصلاح الأنماط الصغيرة والمتكررة (مثل الفراء أو القماش).
- السر الخفي: هذه هي الابتكار الأكبر في الورقة البحثية. الخطوات السابقة قد تجعل القطة تبدو جيدة، لكن الفراء قد يبدو مثل البلاستيك الناعم. تستخدم هذه المرحلة شيئاً يسمى مصفوفة جرام (Gram Matrix).
- التشبيه: تخيل أن ملمس الفراء يشبه نمطاً معيناً من البلاط على الأرض. مصفوفة جرام هي أداة تتحقق مما إذا كانت العلاقة بين البلاطات صحيحة. تسأل: "هل تتوافق خصلات الفراء هذه مع بعضها البعض بنفس الطريقة التي كانت عليها في الصورة الحقيقية؟" إنها تجبر الذكاء الاصطناعي على مطابقة "الإيقاع" الإحصائي للأنسجة، مما يضمن أن يبدو الفراء كثيفاً ومفصلاً، وليس ناعماً.

3. "جهاز التحكم عن بعد" (الاستدلال)

بمجرد تدريب الذكاء الاصطناعي، تحصل على جهاز تحكم عن بعد به ثلاثة منزلقات:

المنزلق 1 (التنظيف): ما مقدار الضبابية التي تريد إزالتها؟
المنزلق 2 (الواقعية): ما مقدار تعزيز "الروح" أو الجو العام؟
المنزلق 3 (الملمس): ما مقدار شحذ التفاصيل الدقيقة؟
هذا يسمح للمستخدمين بتعديل النتيجة تماماً كما يريدون دون الحاجة لإعادة تدريب النظام بالكامل.

النتائج

اختبر المؤلفون هذا على العديد من الصور المختلفة، بما في ذلك الصور الحقيقية الضبابية (وليس فقط الصور المولدة بالحاسوب).

النتيجة: تفوق GramSR باستمرار على أفضل الطرق الأخرى.
لماذا: لأنه لم يعتمد على الأوصاف النصية الغامضة. من خلال استخدام "المخطط" (الميزات البصرية) و"فحص إيقاع الملمس" (مصفوفة جرام)، استعاد الصور التي لم تكن حادة فحسب، بل كانت تمتلك أيضاً أنسجة واقعية ومفصلة تتطابق تماماً مع المشهد الأصلي.

باختختصار: توقف GramSR عن مطالبة الذكاء الاصطناعي بـ "التخمين" بناءً على الكلمات، وبدأ في السماح له بـ "رؤية" التفاصيل مباشرة، باستخدام عملية تدريب ثلاثية الخطوات متخصصة لتنظيف وتحريك وإضافة الملمس للصورة بدقة جراحية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "GramSR: التكييف المعتمد على الميزات البصرية لرفع الدقة القائم على الانتشار".

1. بيان المشكلة

يهدف رفع دقة الصور المفردة (SR) إلى إعادة بناء صور عالية الدقة (HR) من مدخلات منخفضة الدقة (LR). وبينما حقق التعلم العميق تقدماً كبيراً في هذا المجال، تواجه الأساليب الحالية تحديات كبيرة في السيناريوهات الواقعية التي تنطوي على تدهورات معقدة وغير معروفة.

محدودية أساليب الانتشار الحالية: تعتمد أساليب رفع الدقة القائمة على الانتشار مؤخراً (مثل StableSR وSeeSR) على مقدمات (priors) توليدية قوية مستمدة من نماذج تحويل النص إلى صورة واسعة النطاق (مثل Stable Diffusion). ومع ذلك، فهي تعتمد على التكييف النصي المستمد من وصف الصور أو الوسوم.
- الفجوة الدلالية: توفر الأوصاف النصية مفاهيم دلالية عالية المستوى فقط (مثل "قطة" أو "شارع") ولكنها تفتقر إلى المعلومات البصرية المتوافقة مكانياً، والهندسة الدقيقة، وأنماط النسيج المحلية اللازمة للاستعادة الأمينة.
- فقدان النسيج: غالباً ما تعطي أهداف التدريب الحالية الأولوية للدقة على مستوى البكسل أو الاتساق الدلالي، لكنها تفشل في نمذجة إحصائيات النسيج (الأنماط المتكررة والارتباطات الميزية) بشكل صريح، مما يؤدي إلى نتائج مفرطة في النعومة أو ظهور عيوب (artifacts).
الكفاءة: عملية أخذ عينات الانتشار متعددة الخطوات مكلفة حاسوبياً. توجد طرق ذات خطوة واحدة، لكنها غالباً ما تعاني من النعومة المفرطة أو محدودية استعادة التفاصيل بسبب الاعتماد على المطالبات النصية ودوال الخسارة المبسطة.

2. المنهجية: GramSR

يقترح المؤلفون GramSR، وهو إطار عمل لرفع الدقة يعتمد على خطوة انتشار واحدة، يعالج القيود المذكورة أعلاه من خلال ابتكارين رئيسيين: استبدال التكييف النصي بميزات بصرية كثيفة، وتقديم استراتيجية تدريب مدركة للنسيج.

أ. التكييف بالميزات البصرية

بدلاً من استخدام المطالبات النصية، يقوم GramSR بتكييف نموذج الانتشار بناءً على ميزات بصرية كثيفة مستخرجة مباشرة من المدخلات منخفضة الدقة (LR).

المُشفر (Encoder): يُستخدم مُشفر DINOv3 مدرب مسبقاً لاستخراج ميزات بصرية على مستوى الرقعة ( $F_{ViT}$ ) من الصورة منخفضة الدقة. تلتقط هذه الميزات معلومات هرمية من الأنسجة المحلية إلى السياق العالمي مع الحفاظ على التوافق المكاني مع المدخلات.
التكامل: يقوم محول (adapter) من نوع MLP خفيف الوزن بإسقاط هذه الميزات البصرية في فضاء التكييف لشبكة U-Net الخاصة بالانتشار. يظل مُشفر DINOv3 مجمداً أثناء التدريب.

ب. استراتيجية تدريب LoRA ثلاثية المراحل

لفصل الأهداف المتعارضة لرفع الدقة (إزالة التدهور، التعزيز الدلالي، والحفاظ على النسيج)، يستخدم GramSR استراتيجية تدريب متسلسلة باستخدام ثلاث وحدات LoRA (تكييف منخفض الرتبة) متميزة متصلة بشبكة U-Net:

LoRA على مستوى البكسل ( $\Delta\theta_{pix}$ ):
- الهدف: إزالة التدهور (الضجيج، الضبابية، عيوب خفض العينة).
- الخسارة: يتم تحسينها باستخدام خسارة $\ell_2$ ( $L_{MSE}$ ) لضمان إعادة بناء دقيقة على مستوى البكسل وتقارب مستقر.
LoRA على المستوى الدلالي ( $\Delta\theta_{sem}$ ):
- الهدف: تعزيز الواقعية الإدراكية وتوليد تفاصيل غنية دلالياً.
- الخسارة: يتم تحسينها باستخدام مزيج من خسائر LPIPS (الخسارة الإدراكية) و Classifier Score Distillation (CSD)، جنباً إلى جنب مع $L_{MSE}$ . يتم تجميد LoRA الخاص بمستوى البكسل خلال هذه المرحلة.
LoRA على مستوى النسيج ( $\Delta\theta_{gram}$ ):
- الهدف: فرض اتساق النسيج والحفاظ على إحصائيات الميزات من الدرجة الثانية.
- الآلية: يحسب مصفوفة جرام (Gram Matrix) لميزات DINOv3. تلتقط مصفوفة جرام الارتباطات بين المواقع المكانية، مما يشفر إحصائيات النسيج العالمية غير المتغيرة بتغير الترتيب المكاني المحلي.
- الخسارة: تقلل من فرق معيار Frobenius بين مصفوفات جرام للمخرجات (SR) والأرضية الحقيقية (GT) ( $L_{gram}$ ).
- التدريب: يتم تجميد جميع وحدات LoRA السابقة؛ ويتم تدريب وحدة النسيج فقط باستخدام دالة خسارة مشتركة توازن بين خسائر البكسل، والإدراك، والجرام.

ج. الاستنتاج باستخدام التوجيه الثلاثي

عند الاستنتاج، يسمح النموذج بالتحكم المرن في عملية الاستعادة من خلال ضبط مقاييس التوجيه المستقلة ( $\lambda_{pix}, \lambda_{sem}, \lambda_{gram}$ ). التنبؤ النهائي هو مجموع مرجح للنموذج الأساسي ومساهمات الـ LoRA الثلاثة، مما يتيح للمستخدمين المقايضة بين الدقة الهيكلية وواقعية النسيج.

3. المساهمات الرئيسية

التكييف البصري بدلاً من النص: تثبت الورقة أن استبدال المطالبات النصية المجردة بميزات بصرية كثيفة مستندة إلى DINOv3 يحسن بشكل كبير التوافق المكاني واستعادة التفاصيل، مما يسد الفجوة بين المقدمات الدلالية والاستعادة على مستوى البكسل.
محاذاة مصفوفة جرام للنسيج: إن تقديم LoRA مخصص لمستوى النسيج يتم تحسينه عبر خسارة مصفوفة جرام يعمل صراحة على نمذجة إحصائيات النسيج، وهو مكون غالباً ما يتم إهماله في نماذج رفع الدقة القائمة على الانتشار.
الفصل المتسلسل: تفصل استراتيجية التدريب ثلاثية المراحل بفعالية بين إزالة التدهور، والتعزيز الدلالي، ومحاذاة النسيج، مما يمنع التداخل بين الأهداف.
الكفاءة: يعمل الإطار كـ نموذج انتشار بخطوة واحدة، مما يوفر أداءً في الوقت الفعلي مع تحقيق جودة فائقة مقارنة بالطرق متعددة الخطوات.

4. النتائج التجريبية

تم تقييم الطريقة على معايير قياسية (DIV2K، RealSR، DRealSR) ومقارنتها بأحدث أساليب الانتشار ذات الخطوة الواحدة (SinSR، OSEDiff، PiSA-SR، AdcSR).

الأداء الكمي:
- تفوق GramSR باستمرار على المنافسين عبر جميع مجموعات البيانات.
- في RealSR، حقق أعلى قيم PSNR (26.81) و SSIM (76.68)، مع تقليل الأخطاء الإدراكية بشكل كبير (LPIPS: 23.05، DISTS: 17.91، FID: 100.71).
- أظهر قوة خاصة في RealSR و DRealSR (مجموعات البيانات الواقعية)، حيث توجد تدهورات معقدة، متفوقاً على أقرب منافس له (PiSA-SR) بفارق كبير في كل من مقاييس الدقة والإدراك.
التحليل النوعي:
- أظهرت المقارنات البصرية أن GramSR ينتج أنسجة أكثر تماسكاً وعيوباً أقل من SinSR (الذي غالباً ما يمتلك أنسجة غير متسقة) أو OSEDiff (الذي يميل إلى النعومة المفرطة).
- نجح في الحفاظ على الهياكل الدقيقة والأنماط المتكررة التي فشلت الطرق الأخرى في إعادة بنائها.
دراسات الاستئصال (Ablation Studies):
- التكييف البصري: استبدال النصوص بميزات DINOv3 حسن من PSNR/SSIM وقلل من الأخطاء الإدراكية.
- Texture LoRA: إضافة LoRA القائم على الجرام قلل بشكل أكبر من LPIPS و DISTS و FID، مما يؤكد دوره في تعزيز واقعية النسيج.
- استراتيجية التدريب: تفوقت استراتيجية التدريب المتسلسلة ثلاثية الـ LoRA على التدريب المشترك أو استراتيجيات دمج الـ LoRA، مما أثبت ضرورة فصل الأهداف.
- التعميم: يعمل المنهج بقوة مع مختلف المشفرات البصرية (CLIP، SigLIP، DINOv2/v3)، حيث قدم DINOv3-B أفضل توازن بين قدرة التمثيل والدقة المكانية.

5. الأهمية

يمثل GramSR تحولاً كبيراً في عمليات استعادة الصور القائمة على الانتشار من خلال الانتقال من المقدمات الدلالية النصية إلى المقدمات البصرية المتوافقة مكانياً. ومن خلال نمذجة إحصائيات النسيج صراحة عبر محاذاة مصفوفة جرام، فإنه يعالج ثغرة حرجة في أساليب رفع الدقة التوليدية الحالية. يقدم الإطار نموذجاً جديداً لـ نماذج الانتشار ذات الخطوة الواحدة، مما يثبت أن رفع الدقة في الوقت الفعلي يمكن أن يحقق استعادة هيكلية عالية الدقة وتوليد نسيج واقعي في آن واحد. هذا النهج ذو قيمة خاصة للتطبيقات الواقعية حيث تعاني الصور المدخلة من تدهورات معقدة وغير معروفة وحيث يكون الحفاظ على النسيج الدقيق أمراً بالغ الأهمية.