🤖 AI

InverFill: One-Step Inversion for Enhanced Few-Step Diffusion Inpainting

تُعد InverFill طريقة عكوسية أحادية الخطوة تقوم بحقن المعلومات الدلالية من الصور المحجوبة في الضجيج الأولي لنماذج الانتشار متعددة الخطوات، مما يتيح عملية ترميم صور (inpainting) عالية الدقة وخالية من العيوب دون الحاجة إلى إعادة تدريب النموذج أو إشراف من صور حقيقية.

المؤلفون الأصليون: Duc Vu, Kien Nguyen, Trong-Tung Nguyen, Ngan Nguyen, Phong Nguyen, Khoi Nguyen, Cuong Pham, Anh Tran

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Duc Vu, Kien Nguyen, Trong-Tung Nguyen, Ngan Nguyen, Phong Nguyen, Khoi Nguyen, Cuong Pham, Anh Tran

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة جميلة، ولكن قام أحدهم بالشطب فوق جزء منها باستخدام قلم تحديد أسود. تريد إصلاح ذلك، فتسأل الذكاء الاصطناعي: "املأ هذا الفراغ بكلب يجلس على العشب".

في الماضي، كان فنانو الذكاء الاصطناعي مثل الرسامين الدقيقين والبطيئين. كان بإمكانهم رسم كلب مثالي، لكن الأمر كان يتطلب منهم 50 أو 100 ضربة فرشاة (خطوة) للوصول إلى ذلك. وإذا طلبت منهم القيام بذلك في 5 ضربات فقط، فسيصابون بالذعر؛ سيبدأون بلوحة عشوائية فارغة، ويخمنون بشكل عشوائي، وينتهي بهم الأمر بلوحة مشوشة لا تتناسب مع بقية الصورة. قد يبدو الكلب كحبة بطاطس، أو قد يظهر العشب طافيًا في السماء.

InverFill هي أداة جديدة تعلم هؤلاء "الرسامين السريعين" كيف يؤدونون مهمة مثالية في خطوات قلي التعداد فقط.

إليك كيف يعمل، باستخدام بعض التشبيهات البسيطة:

1. المشكلة: خطأ "اللوحة الفارغة"

عادةً، عندما يحاول الذكاء الاصطناعي إصلاح صورة، فإنه يبدأ بلوحة مغطاة بـ ضجيج استاتيكي (مثل "الثلج" الذي يظهر على التلفزيونات القديمة).

الطريقة البطيئة: إذا كان لدى الذكاء الاصطناعي 50 خطوة، فيمكنه تحويل ذلك الضجيج ببطء إلى كلب، مع تعديل شكله ولونه أثناء العملية. يمكنه النظر إلى العشب المحيط ويقول: "أوه، يجب أن يكون لون الكلب مائلاً للخضرة بسبب العشب".
الطريقة السريعة: إذا كان لدى الذكاء الاصطناعي خطوتان أو 4 خطوات فقط، فلن يكون لديه وقت لتصحيح أخطائه. إذا بدأ بضجيج عشوائي، فسيخمن بشكل خاطئ فورًا، ولن يكون هناك وقت للتصحيح. النتيجة ستكون بقعة مشوشة وغير متناسقة.

2. الحل: "المخطط الذكي" (Inversion)

بدلاً من البدء بضجيج عشوائي، يعمل InverFill كـ مولد مخططات ذكي.

قبل أن يبدأ الذكاء الاصطناعي في الرسم، ينظر InverFill إلى الأجزاء الموجودة في صورتك (الأجزاء غير المغطاة بالقلم). ويسأل نفسه: "أي نوع من الضجيج قد ينتج هذا الخلفية المحددة؟"

بعد ذلك، يقوم بإنشاء نقطة بداية مخصصة (ضجيج كامن - "noise latent") "يعرف" بالفعل ملمس، وإضاءة، وطراز صورتك.

تشبيه: تخيل أنك تبني قلعة من قطع الليغو.
- الطريقة القديمة: تسكب دلوًا من قطع الليغو المختلطة على الطاولة وتحاول بناء برج في 5 ثوانٍ. سيسقط البرج.
- طريقة InverFill: تنظر إلى قاعدة القلعة التي بُنيت بالفعل. تقوم بفرز قطع الليغو قبل أن تبدأ، بحيث تمتلك فقط قطع الليغو الحمراء الدقيقة التي تحتاجها للطبقة التالية. الآن، يمكنك بناء بقية البرج في 5 ثوانٍ، وسيكون متناسقًا تمامًا.

3. السر الخفي: "إعادة الدمج" و"التنظيم الغاوسي"

يذكر البحث طريقتين ذكيتين لجعل هذا يعمل:

إعادة الدمج (قاعدة "عدم التسرب"):
عندما ينظر InverFill إلى الصورة لإنشاء مخططه، يجب أن يكون حذرًا. لا ينبغي له أن "يسرّب" المعلومات من الأجزاء المرئية إلى الأجزاء المخفية عن طريق الخطأ.
- تشبيه: تخيل أنك تحاول تخمين ما بداخل هدية مغلفة من خلال النظر إلى الصندوق. لا تريد أن ترى الهدية بالخطأ من خلال ثقب في الورق! يمتلك InverFill مرشحًا خاصًا يقول: "حسنًا، أنا أعرف كيف يبدو الصندوق، ولكن بالنسبة للجزء الذي لا أستطيع رؤيته، سأضع فيه بعض الضجيج العشوائي والمحايد حتى لا أغش".
التنظيم الغاوسي (قاعدة "الشكل القياسي"):
نماذج الذكاء الاصطناعي مدربة على توقع أن يبدو الضجيج بطريقة محددة (مثل منحنى الجرس المثالي). إذا بدا المخطط الذي يصنعه InverFill غريبًا جدًا، فسيصاب الذكاء الاصطناعي بالارتباك.
- تشبيه: فكر في الذكاء الاصطناعي كطباخ يعرف فقط الطبخ باستخدام بيض مستدير تمامًا. إذا قدمت له بيضة مربعة، فسوف يحرقها. يضمن InverFill أن "بيضة الضجيج" التي ينشئها مستديرة ومعيارية تمامًا، بحيث يمكن للطباخ (الذكاء الاصطناعي) طهيها بشكل مثالي دون حرقها.

4. النتيجة: السرعة دون تضحية

يظهر البحث أن InverFill يضيف وقتًا يكاد يكون معدومًا للعملية (حوالي 0.06 ثانية، وهو أقل من رمشة عين).

قبل: كان عليك الاختيار بين جودة عالية (بطيئة، 30 خطوة) أو سرعة (جودة منخفضة، خطوتان).
مع InverFill: تحصل على جودة عالية في خطوتين فقط.

إنه يسمح لنماذج الذكاء الاصطناعة السريعة (مثل SDXL-Turbo أو SANA-Sprint) بإصلاح الصور بجودة الخبراء المتخصصين والبطيئين، دون الحاجة إلى إعادة تدريبهم أو تعليمهم مهارات جديدة. الأمر يشبه إعطاء عداء مسافات قصيرة زوجًا من الأجنحة؛ لقد كانوا سريعين بالفعل، لكنهم الآن يستطيعون الطيران.

الملخص

InverFill هو أداة "ما قبل المباراة" لإصلاح الصور بالذكاء الاصطناعي. بدلاً من ترك الذكاء الاصطناعي يخمن عشوائيًا، فإنه يمنحه نقطة بداية ذكية ومفرزة مسبقًا تتوافق مع بقية الصورة. وهذا يسم ي الذكاء الاصطناعي لإنهاء المهمة في لمح البصر، بتناغم تام وبدون أي فوضى مشوشة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "InverFill: One-Step Inversion for Enhanced Few-Step Diffusion Inpainting" (InverFill: قلب عملية التوليد في خطوة واحدة لتعزيز عملية ملء الفراغات في نماذج الانتشار ذات الخطوات القليلة).

1. بيان المشكلة (Problem Statement)

حققت التطورات الأخيرة في نماذج الانتشار (Diffusion Models) صوراً واقعية للغاية في عملية ملء الفراغات (Inpainting)، ولكنها تتطلب عادةً عشرات أو مئات من خطوات أخذ العينات (NFEs)، مما يؤدي إلى زمن استجابة مرتفع ويحد من التطبيقات التي تعمل في الوقت الفعلي. وبينما توفر نماذج "النص-إلى-صورة" ذات الخطوات القليلة (مثل SDXL-Turbo و SANA-Sprint) توليدًا سريعًا، إلا أن تطبيقها بشكل عشوائي على عملية ملء الفراغات يؤدي إلى نتائج ضعيفة.

تتمثل المشكلة الجوهرية المحددة في عدم المحاذاة الدلالية (Semantic Misalignment) الناتجة عن التهيئة بضجيج غاوسي عشوائي (Random Gaussian Noise Initialization).

النماذج متعددة الخطوات: يمكنها تصحيح عدم التطابق بين الضجيج العشوائي وسياق الصورة تدريجيًا عبر دورات عديدة.
النماذج ذات الخطوات القليلة: تقوم بتحديثات كبيرة ومنفصلة. البدء من ضجيج عشوائي يؤدي إلى فجوة دلالية بين الـ (Latent) الأولي والخلفية غير المغطاة (Unmasked Background)، مما يسبب عيوبًا (Artifacts)، وعدم تناغم، ومناطق ضبابية عند استخدام أخذ العينات المختلط (Blended Sampling) التقليدي (الذي يدمج التنبؤات تكراريًا مع الصورة غير المغطاة).

حلول ملء الفراغات الحالية ذات الخطوات القليلة (مثل TurboFill) غالبًا ما تتطلب تدريبًا تنافسيًا معقدًا، وإشرافًا من صور حقيقية، وأعباء حسابية ثقيلة، مما يجعل من الصعب تعميمها.

2. المنهجية: InverFill

يقترح المؤلفون InverFill، وهو شبكة قلب (Inversion Network) من خطوة واحدة خالية من التدريب، مصممة لتوليد كمونات ضجيج (Noise Latents) متوافقة دلاليًا لملء الفراغات بخطوات قليلة. بدلاً من البدء بضجيج عشوائي، يقوم InverFill برسم خريطة لـ (Latent) الصورة المدخلة المغطاة مباشرة إلى كمون ضجيج يحافظ على دلالات الخلفية مع البقاء متوافقًا مع نموذج الانتشار السابق (Diffusion Prior).

تتكون الطريقة من أربعة مكونات تقنية رئيسية:

أ. شبكة قلب الصورة المغطاة (Masked Image Inversion Network)

البنية: شبكة قلب من خطوة واحدة ( $F_\theta$ ) تشارك نفس بنية المولد مسبق التدريب (مثل SANA-Sprint أو SDXL-Turbo).
المدخلات: تأخذ (Latent) الصورة المغطاة ( $z^m_0$ ) ونص المطالبة (Text Prompt $c$ ).
المخرجات: تتنبأ بـ (Latent) الضجيج المقلوب ( $\hat{z}_T$ ).
استراتيجية التدريب: تستخدم مسار تدريب "اصطناعي" حيث يقوم المولد بإنشاء صور حقيقية من ضجيج عشوائي، والتي يتم تغطيتها لاحقًا لإنشاء ثلاثيات تدريبية (صورة، قناع، نص). هذا يلغي الحاجة إلى مجموعات بيانات منسقة تتكون من (صورة حقيقية-قناع-نص).

ب. عملية إعادة المزج (Re-Blending Operation)

يؤدي التدريب المباشر على الصور المغطاة إلى حدوث تسرب للمعلومات (Information Leakage)، حيث "تتسرب" الخلفية المرئية إلى الـ (Latent) للضجيج المتوقع في المنطقة المغطاة، مما ينتهك التوزيع الغاوسي المتوقع لنموذج الانتشار.

الحل: أثناء التدريب والاستدلال، يتم استبدال المناطق المغطاة من الـ (Latent) المتوقع $\hat{z}_T$ بضجيج غاوسي عشوائي جديد ( $\epsilon'$ ).
الصيغة: $\hat{z}^{blend}_T = \hat{z}_T \odot (1-m) + \epsilon' \odot m$ .
الأثر: يمنع هذا النموذج من الإفراط في التكيف (Overfitting) مع البكسلات المرئية ويضمن بقاء هيكل الـ (Latent) متسقًا مع عملية الانتشار.

ج. خسارة التنظيم الغاوسي ( $L_{reg}$ )

حتى مع عملية "إعادة المزج"، قد ينحرف الـ (Latent) المختلط عن التوزيع الغاوسي القياسي المطلوب من قبل المولد، مما يؤدي إلى إعادة بناء ضبابية.

الحل: تم إدخال خسارة مطابقة العزوم (Moment-matching loss) لفرض الخصائص الإحصائية لتوزيع غاوسي قياسي على الـ (Latent) المختلط.
الآلية: تقوم بمطابقة العزوم الأولى (المتوسط) والثانية (التباين) للـ (Latent) المتوقع مع العزوم النظرية لتوزيع غاوسي قياسي.
النتيجة: يضمن ذلك أن يكون الضجيج المقلوب متوافقًا إحصائيًا مع المولد، مما يعزز استقرار إعادة البناء.

د. الخسارة التنافسية (Adversarial Loss)

لتعزيز الدقة البصرية، تستخدم الطريقة هدف تدريب تنافسي (بناءً على LADD) باستخدام نموذج معلم (Teacher Model) متعدد الخطوات ومجمد كأداة لاستخراج الميزات. يساعد هذا شبكة القلب على إنتاج (Latents) تؤدي إلى عمليات إعادة بناء صور عالية الجودة.

3. المساهمات الرئيسية (Key Contributions)

إطار عمل InverFill: شبكة قلب من خطوة واحدة مبتكرة مصممة خصيصًا لملء الفراغات، تستبدل التهيئة العشوائية بضجيج مستنبط دلاليًا، مما يتيح ملء فراغات عالي الدقة بخطوات قليلة.
عملية إعادة المزج (Re-Blending): آلية لمنع تسرب المعلومات من المناطق المرئية إلى الـ (Latment) الخاص بالضجيج أثناء التدريب، مما يضمن بقاء الـ (Latent) صالحًا لعملية الانتشار.
التنظيم الغاوسي (Gaussian Regularization): دالة خسارة مبتكرة توائم الضجيج المقلوب مع التوزيع الغاوسي المطلوب، مما يحسن بشكل كبير استقرار إعادة البناء والتفاصيل.
تدريب خالٍ من الصور (Image-Free Training): مسار التدريب لا يتطلب ثلاثيات (صورة حقيقية-قناع-نص)؛ بل يصنع بيانات تدريبه الخاصة فورًا باستخدام المولد، مما يجعله عالي القابلية للتوسع.
التوافق الجاهز للاستخدام (Plug-and-Play Compatibility): يعمل InverFill مع نماذج "النص-إلى-صورة" ذات الخطوات القليلة الموجودة (مثل SDXL-Turbo و SANA-Sprint) دون الحاجة إلى أي ضبط دقيق (Fine-tuning) خاص بالمهمة للمولد.

4. النتائج التجريبية (Experimental Results)

قيم المؤلفون InverFill على معايير BrushBench و MagicBrush باستخدام SANA-Sprint 0.6B و SDXL-Turbo.

تحسينات الأداء: يتفوق InverFill باستمرار على النماذج الأساسية ذات الخطوات القليلة.
- في SANA-Sprint (2 NFEs)، أدى إضافة InverFill إلى تحسين مقياس ImageReward (IR) من 11.02 إلى 11.65 ومقياس HPS من 26.21 إلى 27.93.
- في SDXL-Turbo (4 NFEs)، أدى إلى تحسين IR من 11.42 إلى 12.38.
المقارنة مع النماذج المتخصصة: تضاهي النماذج المزودة بـ InverFill النماذج متعددة الخطوات المتخصصة في ملء الفراغات (مثل SDXL-Inpainting بـ 30 خطوة) أو تتفوق عليها في مقاييس الجودة مع كونها أسرع بكثير.
الكفاءة: تضيف الطريقة عبئًا ضئيلًا جدًا (~0.04 ثانية إلى 0.06 ثانية على وحدة معالجة رسومات NVIDIA A100).
دراسات الاستئصال (Ablation Studies):
- إزالة إعادة المزج (Re-Blending) تؤدي إلى عيوب هيكلية وتسرب للمعلومات.
- إزالة التنظيم الغاوسي (Gaussian Regularization) تؤدي إلى مخرجات ضبابية وحفظ ضعيف للخلفية.
- تتفوق الطريقة بشكل كبير على نماذج DDIM inversion المكونة من 50 خطوة في كل من السرعة (0.74 ثانية مقابل 4.32 ثانية) والجودة.

5. الأهمية (Significance)

يعالج InverFill عقبة حرجة في الذكاء الاصطناي التوليدي: المقايضة بين السرعة والجودة في ملء الفراغات.

الواقعية: يتيح تعديل الصور عالي الجودة في الوقت الفعلي على الأجهزة الاستهلاكية عن طريق تقليل وقت الاستدلال من ثوانٍ إلى أجزاء من الثانية دون التضحية بالواقعية الفوتوغرافية.
التعميم: على عكس طرق ملء الفراغات السابقة ذات الخطوات القليلة التي تتطلب تدريبًا معقدًا وخاصًا بالنموذج (مثل TurboFill)، فإن InverFill هو غلاف (Wrapper) خفيف الوزن وعالمي يعزز أي نموذج موجود للنص-إلى-صورة ذي خطوات قليلة.
الرؤية النظرية: يثبت أن نمط الفشل الأساسي في ملء الفراغات ذي الخطوات القليلة ليس في استراتيجية أخذ العينات نفسها، بل في ضجيج التهيئة (Initialization Noise). ومن خلال تصحيح التهيئة عبر قلب الخطوة الواحدة، تصبح عملية الخطوات القليلة بأكملها قابلة للتطبيق في مهام التحرير المعقدة.