🤖 AI

Your Pre-trained Diffusion Model Secretly Knows Restoration

تكشف هذه الورقة أن نماذج الانتشار المدربة مسبقاً تمتلك بطبيعتها قدرات ترميم يمكن إطلاقها من خلال تدريب تضمينات النصوص (prompt embeddings) ضمن صياغة جسر الانتشار (diffusion bridge) لمواءمة ديناميكيات التدريب والاستدلال، مما يحقق ترميماً عالي الأداء وشاملاً (all-in-one) دون الحاجة إلى ضبط دقيق أو وحدات تحكم متخصصة.

المؤلفون الأصليون: Sudarshan Rajagopalan, Vishal M. Patel

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sudarshan Rajagopalan, Vishal M. Patel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك رئيس طهاة ماهر قضى حياته بأكملها في إعداد وجبات فاخرة ومثالية. هذا الطاهي يعرف تماماً كيف يجعل قطعة اللحم أو السلطة أو الكعكة ذات مذاق مذهل. ومع ذلك، إذا طلبت منه "إصلاح قطعة توست محترقة"، فقد يتجاهل طلبك ببساطة ويقدم لك قطعة توست طازجة ومثالية بدلاً من ذلك، أو قد يكتفي بتنظيف الفتات عن القطعة المحترقة دون إصلاح الحرق الفعلي. إنه بارع جداً في ابتكار أشياء جديدة لدرجة أنه نسي كيفية ترميم الأشياء المكسورة.

هذه هي بالضبط المشكلة التي واجهها الباحثون في جامعة جونز هوبكنز مع نماذج الانتشار سابقة التدريب (Pre-trained Diffusion Models) (وهم "رؤساء الطهاة المهرة" في عالم الذكاء الاصطعي). هذه النماذج مذهلة في توليد صور وفيديوهات جميلة من النصوص، ولكن عندما يُطلب منها إصلاح صور ضبابية، أو ممطرة، أو ضبابية، فإنها تفشل عادةً ما لم تقضِ شهوراً في إعادة تدريبها.

هذا البحث، الذي يحمل عنوان "نموذج الانتشار السابق التدريب الخاص بك يعرف سرّاً كيفية الترميم،" يكشف عن سر مذهل: الطاهي يعرف بالفعل كيفية إصلاح التوست؛ أنت فقط لم تسأله بالطريقة الصحيحة.

إليك تفصيل لاكتشافهم باستخدام تشبيهات بسيطة:

1. الطريقة الخاطئة في السؤال (مشكلة "الرمز" - Token)

عادةً، عندما يريد الناس استخدام هذه النماذج لإصلاح صورة، يحاولون إعطاءها أمراً نصياً مثل "أزل الضباب" أو "اجعل هذه الصورة واضحة".

التشبيه: تخيل أنك تحاول إخبار رئيس الطهاة الماهر، "أصلح التوست"، عبر جهاز لاسلكي (Walkie-talkie) لا يفهم إلا مفردات محدودة. يسمع الطاهي الكلمات لكنه لا يستوعب تماماً الدقة لما تحتاجه. يحاول الذكاء الاصطناعي "إزالة الضجيج" (الاستاتيكية) من الصورة، لكنه ينتهي بجعل الصورة الضبابية تبدو كصورة ضبابية نظيفة، بدلاً من جعلها صورة صافية.
ما وجده البحث: وجد الباحثون أن مجرد تغيير الكلمات (حتى باستخدام كلمات "متعلمة" متطورة) لا يجدي نفعاً. فـ "عقل" الذكاء الاصطناعي (المشفر النصي) يترجم هذه الكلمات إلى صيغة يتجاهلها الطاهي في مهام الترميم.

2. الطريقة الصحيحة في السؤال (سر "التضمين" - Embedding)

اكتشف الباحثون أنه إذا تجاوزت جهاز اللاسلكي وسلمت الطاهي ملاحظة سرية مباشرة، فستحدث المعجزة.

التشبيه: بدلاً من الصراخ عبر اللاسلكي، أنت تقدم للطاهي أمراً ذهنياً مباشراً (متجه رياضياً محدداً) يقول: "خذ هذا الشيء المكسور وحوله إلى شيء مثالي".
النتيجة: عندما قاموا بتحسين هذه "الملاحظات الذهنية" (التي تسمى متجهات التضمين - embedding vectors) مباشرة، بدأ نموذج الذكاء الاصطناعي "المجمد" فجأة في إصلاح الصور بشكل مثالي! اتضح أن النموذج كان يمتلك مهارات الترميم طوال الوقت، لكنها كانت مغلقة خلف باب لا تستطيع الأوامر النصية فتحه.

3. عدم التطابق بين "التدريب والاختبار" (مشكلة "التدريب مقابل المباراة")

حتى بعد العثور على "الملاحظة الذهنية" الصحيحة، كانت هناك مشكلة ثانية.

التشبيه: تخيل أنك تدرب لاعب كرة قدم على ركل الكرة نحو المرمى.
- الخطأ: أنت تتدرب بركل الكرة من مكان يبعد دائماً 10 أقدام عن المرمى. لكن في المباراة الحقيقية، يتعين على اللاعب الركض من خط المنتصف نحو المرمى. التدريب لا يطابق المباراة!
- حل البحث: أدرك الباحثون أنهم عندما دربوا الذكاء الاصطناعي، كانوا يعرضون عليه صوراً "مكسورة" بطريقة لا تتطابق مع كيفية قيامه بإصلاحها لاحقاً.
- الإصلاح: ابتكروا "جسر الانتشار" (Diffusion Bridge). فكر في هذا كـ منحدر تدريبي. بد instead من القفز مباشرة من "المكسور" إلى "المثالي"، أنشأوا مساراً تدريجياً وسلساً حيث تتحول الصورة ببطء من حالة مكسورة إلى حالة نظيفة أثناء التدريب. هذا يضمن أن يتعلم الذكاء الاصطناعي الخطوات الدقيقة التي يحتاجها عندما يقوم بإصلاح صورة في العالم الحقيقي.

4. النتيجة: أداة خفيفة الوزن

لأنهم وجدوا "الملاحظة الذهنية" السرية و"المنحدر التدريبي"، لم يحتاجوا إلى إعادة تدريب نموذج الذكاء الاصطناعي الضخم بالكامل (وهو أمر يشبه إعادة بناء مطبخ الطاهي بالكامل).

التشبيه: كانوا بحاجة فقط لكتابة ورقة غش صغيرة مكونة من 200 كلمة (الأمر) وإعطائها للطاهي الموجود بالفعل.
النتيجة: طبقوا هذا على نموذجين ضخمين للذكاء الاصطناعي (أحدهما للصور يسمى FLUX والآخر للفيديو يسمى WAN). وبمجرد استخدام ورقة الغش الصغيرة هذه، أصبحت هذه النماذج أدوات ترميم رائدة. لقد استطاعت إصلاح المطر، الثلج، الضباب، والإضاءة المنخفضة بشكل أفضل من العديد من الأدوات المتخصصة، دون الحاجة لإعادة تدريبها من الصفر.

الملخص

المشكلة: نماذج الذكاء الاصطناعي الكبيرة رائعة في صنع الفن ولكنها سيئة في إصلاح الصور المكسورة عندما تطلب منها فقط "إصلاحها".
الاكتشاف: يمكنها إصلاح الصور، ولكن عليك التحدث إليها بلغة "ذهنية" سرية (فضاء التضمين)، وليس باللغة الإنجليزية العادية.
الابتكار: لقد أصلحوا عملية التدريب بحيث يتدرب الذكاء الاصطناعي على نفس نوع الصور "المكسورة" التي سيراها في الحياة الواقعية (باستخدام "جسر الانتشار").
الفائدة: تحصل على أداة فائقة القوة لإصلاح الصور والفيديوهات، وهي خفيفة الوزن، سريعة، ولا تتطلب قدرات حوسبة هائلة للتدريب.

باخت-الاختصار: الذكاء الاصطناعي لم يكن معطلاً؛ نحن فقط لم نكن نعرف كيف نطلب منه القيام بالمهمة. والآن بعد أن عرفنا، أصبح بطلاً خارقاً في الترميم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "نماذج الانتشار المدربة مسبقاً تعرف سر استعادة الصور" (Your Pre-trained Diffusion Model Secretly Knows Restoration) للباحثين راجاغوبالان وباتيل.

1. بيان المشكلة

يهدف الاستعادة الشاملة (All-in-One Restoration - AiOR) إلى استعادة الصور أو الفيديوهات التي تعرضت لتدهورات متنوعة (مثل الضباب، المطر، الثلج، ضبابية الحركة، الإضاءة المنخفضة) باستخدام نموذج موحد واحد. وبينما تستفيد الأساليب الحديثة من نماذج الانتشار الكامنة (LDMs) القوية المدربة مسبقاً على تحويل النص إلى صورة/فيديو (T2IV) مثل Stable Diffusion وFLUX وWAN بفضل معارفها التوليدية القوية، إلا أن الأساليب الحالية تواجه قيوداً كبيرة:

الضبط الدقيق/ControlNet: تتطلب معظم الأساليب ضبطاً دقيقاً (Fine-tuning) للنموذج الأساسي أو إضافة وحدات ثقيلة من نوع ControlNet. وهذا أمر مكلف حوسبياً، وينطوي على خطر الإفراط في التكيف مع توزيعات التدريب (Overfitting)، ويمكن أن يضعف قدرات التعميم الأصلية للنموذج.
الترويج (Prompting) غير الفعال: إن استخدام مطالبات اللغة الطبيعية مباشرة (مثل "أزل الضباب") أو تحسين الرموز النصية (Token-space optimization) يفشل في استحضار سلوك الاستعادة. بدلاً من ذلك، تميل هذه الأساليب إلى كبت الضجيج مع الاحتفاظ بالهيكل المتدهور، مما يؤدي فعلياً إلى "إزالة ضجيج" التدهور بدلاً من إزالته.
عدم تطابق المسار (Trajectory Mismatch): يعاني تعلم المطالبات الساذج من انفصال بين التدريب والاستنتاج. غالباً ما يستخدم التدريب عملية ضجيج أمامية مرتكزة عند الصورة المتدهورة ( $z_{deg}$ )، بينما يتطلب الاستنتاج مساراً عكسياً ينتقل من المتدهور ( $z_{deg}$ ) إلى النظيف ( $z_{clean}$ ). هذا التباين يسبب عدم استقرار وظهور عيوب (Artifacts).

2. المنهجية

يقترح المؤلفون إطار عمل يطلق قدرات الاستعادة الكامنة في نماذج الانتشار المدربة مسبقاً والمجمدة عبر تعلم مطالبات خفيفة الوزن (lightweight prompts) مباشرة في فضاء التضمين (embedding space) الخاص بمشفر النصوص، بدلاً من فضاء الرموز (token space).

أ. تحسين المطالبة في فضاء التضمين

بدلاً من تحسين الرموز النصية المنفصلة أو استخدام لغة طبيعية، يقوم الأسلوب بتحسين متجه سياق مستمر ( $p$ ) عند مخرج مشفر النصوص المجمد.

الملاحظة: بينما تفشل مطالبات فضاء الرموز، فإن تحسين التضمين $p$ مباشرة يسمح للنموذك الأساسي المجمد برسم خرائط للكمونات المتدهورة المشوشة ( $z_t^{deg}$ ) نحو الأهداف النظيفة ( $z_{clean}$ ).
الآلية: يقلل النموذج من خطأ إعادة البناء للكمون النظيف بناءً على المدخل المشوش والمطالبة المتعلمة $p$ .

ب. معالجة عدم تطابق المسار عبر جسور الانتشار (Diffusion Bridges)

حدد المؤلفون أن التدريب الساذج (باستخدام عملية أمامية $z_t = \alpha(t)z_{deg} + \sigma(t)\epsilon$ ) يخلق عدم تطابق في التوزيع أثناء الاستنتاج. ولحل ذلك، قدموا صياغة جسر الانتشار (Diffusion Bridge):

المشكلة: التدريب الساذج يعرض المطالبة فقط للحالات المرتكزة عند $z_{deg}$ . ومع ذلك، يتطلب الاستنتاج أن يسلك النموذج مساراً ينتقل فيه مكون الإشارة من $z_{deg}$ إلى $z_{clean}$ .
الحل: حددوا مسار تدريب يقوم بالاستكمال التدريجي (Interpolation) بين الطرفين المتدهور والنظيف مع الحفاظ على جدول ضجيج متوافق مع النموذج الأساسي المجمد.
جسر EBR: اعتمدوا صياغة جسر الانتشار الموجه للطاقة (EBR). يتم بناء الحالات المتوسطة كالتالي:
$z_t^{ebr} = (1-t) \left[ (1-\frac{t}{T_0})z_{clean} + (\frac{t}{T_0})z_{deg} \right] + t\epsilon$
يضمن هذا أن يتم تدريب المطالبة على مسار أحادي الاتجاه من المتدهر المشوش إلى النظيف، مما يوائم ديناميكيات التدريب مع مسار أخذ العينات في الاستنتاج.

ج. تفاصيل التنفيذ

البنية التحتية: يظل نموذج الانتشار الأساسي (WAN للفيديو، FLUX للصور) ومشفر النصوص مجمدين.
تصميم المطالبة: يتم تعلم مطالبة منفصلة $p^{(k)}$ لكل نوع تدهور $k$ .
حقن المتبقي (Residual Injection): لتحسين كفاءة المعلمات، يتعلم الأسلوب مطالبة متبقية (residual prompt) تُضاف إلى سياق النص الفارغ (null-text context) عند واجهة الشرط (مثل مدخل الانتباه المتقاطع Cross-attention)، بدلاً من تحسين التضمين الكامل من الصفر.
التدهور المختلط: بالنسبة للتدهوهات المختلطة، يتم دمج المطالبات عن طريق متوسط السرعات المتوقعة أثناء عملية أخذ العينات.

3. المساهمات الرئيسية

اكتشاف معارف الاستعادة الخفية: تثبت الورقة أن نماذج الانتشار المدربة مسبقاً تمتلك معرفة استعادة كامنة لا يمكن الوصول إليها عبر اللغة الطبيعية أو تحسين فضاء الرموز، ولكن يمكن إطلاقها عبر الشرط المعتمد على فضاء التضمين.
محاذاة المسار: حدد المؤلفون عدم تطابق مسار التدريب والاختبار كسبب رئيسي لعدم الاستقرار في تعلم المطالبات الساوذج، واقترحوا جسر انتشار (تحديداً من نوع EBR) لمواءمة ديناميكيات التدريب والاستنتاج.
إطار عمل خفيف الوزن وقابل للتعميم: طبقوا هذا النهج على نموذج الفيديو WAN (1.3B) ونموذج الصور FLUX (12B). حقق الأسلوب أداءً يضاهي أحدث الأساليب (SOTA) مع عدم الحاجة لضبط دقيق للنموذج الأساسي ومع عدد قليل جداً من المعلمات القابلة للتعلم (مثلاً ~300 ألف لـ WAN مقابل مليارات للنموذج الأساسي).

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات متنوعة لكل من استعادة الصور والفيديو، بما في ذلك التدهورات داخل التوزيع (ID)، وخارج التوزيع (OOD)، والتدهورات غير المرئية/المختلطة.

الأداء:
- استعادة الصور (FLUX): تفوقت على أو عادلت الأساليب الرائدة (SOTA) مثل AutoDIR وPixWizard وFoundIR عبر مقاييس (PSNR, SSIM, LPIPS, CLIPIQA, MUSIQ). والجدير بالذكر أنها أظهرت تعميماً فائقاً على مجموعات البيانات خارج التوزيع (مثل HazeRD وWeatherBench) والتدهورات غير المرئية (TOLED وPOLED).
- استعادة الفيديو (WAN): حققت نتائج تنافسية مقابل نماذج استعادة الفيديو المتخصصة (ViWS-Net, AverNet) وتفوقت بشكل كبير على الأساليب القائمة على الصور المطبقة على إطارات الفيديو. وقد برعت في مقاييس الاتساق الزمني (DOVER) بفضل المعارف الزمنية القوية لنموذج WAN المدرب مسبقاً.
دراسات الاستبعاد (Ablation Studies):
- الجسر مقابل الساذج: تفوق استخدام جسر EBR بشكل كبير على التدريب الساذج وجسور DDBM، مما يؤكد ضرية محاذاة المسار.
- التضمين مقابل الرمز: ثبت أن تحسين فضاء التضمين أمر أساسي؛ حيث فشل تحسين فضاء الرموز في استعادة الصور.
- المطالبة المتبقية: كان تعلم المطالبة المتبقية أكثر كفاءة في المعلمات وأكثر فعالية من تحسين متجه السياق الكامل.

5. الأهمية

يغير هذا العمل بشكل جذري نموذج الاستفادة من نماذج الانتشار المدربة مسبقاً في مهام الرؤية منخفضة المستوى:

الكفاءة: يلغي الحاجة إلى الضبط الدقيق المكلف أو وحدات ControlNet الثقيلة، مما يجعل الاستعادة عالية الجودة متاحة بأقل قدر من التكاليف الحوسبية.
التعميم: من خلال الحفاظ على المعارف الأصلية للنموذج الأساسي المجمد، يظهر الأسلوب قوة فائقة تجاه التدهورات الواقعية والمعقدة وغير المرئية مقارنة بالأساليب التي تفرط في التكيف مع توزيعات تدريب محددة.
الرؤية المستخلصة: يكشف العمل عن رؤية نقدية حول "الصندوق الأسود" لنماذج الانتشار: معارف الاستعادة موجودة بالفعل داخل النموذج ولكنها محجوبة بواسطة آلية الشرط (Conditioning)، مما يتطلب تدخلات محددة في فضاء التضمين بدلاً من المطالبات النصية الدلالية.

باختة، تثبت الورقة أن نماذج الانتشار المدربة مسبقاً قادرة "سراً" على الاستعادة، بشرط تحسين آلية الشرط لتتوافق مع الديناميكيات التوليدية الداخلية للنموذج.