🤖 AI

VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference

تقترح الورقة البحثية VIPaint، وهي خوارزمية استدلال تبايني هرمي تتيح عملية استكمال صور (inpainting) عالية الجودة ومتنوعة وغيرها من المشكلات العكسية على نماذج الانتشار الكامنة مسبقة التدريب، وذلك عبر تحسين تقريب ماركوف غير غاوسي للاحتمال اللاحق للانتشار الحقيقي.

المؤلفون الأصليون: Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة فوتوغرافية رائعة وعالية الدقة، ولكن أحدهم استخدم مقصًا ضخمًا وقص منها جزءًا كبيرًا — ربما شخصًا كاملاً، أو مبنىً، أو مشهدًا طبيعيًا. هدفك هو ملء هذا الفراغ المفقود بشيء يبدو حقيقيًا، ويتناسب مع نمط بقية الصورة، ويجعلها منطقية من حيث السياق. يُسمى هذا "الترميم الصوري" (Image Inpainting).

لفترة طويلة، عانت الحواسيب من هذه المهمة، خاصة عندما يكون الجزء المفقود كبيرًا. غالبًا ما كانت الحواسيب تخمن أشياء تبدو ضبابية، أو غير متسقة، أو غريبة تمامًا.

تقدم هذه الورقة البحثية طريقة جديدة تسمى VIPaint (الاستدلال التبايني للرسم - Variational Inference for Painting)، وهي تعمل مثل فنان ذكي وبديهي لحل هذه المشكلة. وإليك كيف تعمل، مشروحة ببساطة:

المشكلة: "لعبة التخمين"

فكر في نماذج توليد الصور بالذكاء الاصطناعي الحديثة (المسماة نماذج الانتشار - Diffusion Models) كرسام بارع تعلم رسم الفنون من خلال البدء بوعاء من الضجيج الساكن (مثل تشويش التلفاز) ثم تنظيفه ببطء، خطوة بخوة، حتى يظهر شكل واضح.

عندما نطلب من هذا الذكاء الاصطناعي ملء ثقب مفقود في صورة موجودة بالفعل، فنحن نطلب منه العمل بشكل عكسي. ومع ذلك، تحاول معظم الطرق الموجودة القيام بذلك عبر تقديم "أفضل تخمين" عند كل خطوة.

العيب: إذا ارتكب الذكاء الاصطناعي خطأً صغيرًا في البداية (مثل تخمين اللون الخاطئ للسماء)، فإنه يعلق في هذا الخطأ. ولأنه لا يملك وسيلة لـ "العودة وإصلاح" هذا الخطأ المبكر، فإن النتيجة النهائية غالبًا ما تبدو ضبابية أو منفصلة عن بقية الصورة. الأمر يشبه محاولة بناء منزل حيث تضع الطوب، ثم تدرك أن الجدار مائل، لكنك لا تستطيع تعديل الأساس، فتستمر في بناء منزل مائل.

حل VIPaint: "المخطط الهندسي للمعماري"

يغير VIPaint الاستراتيجية. فبدلاً من مجرد تخمين مسار واحد للأمام، فإنه يبني مخططًا مرنًا أولاً.

الخريطة الهرمية: تخيل أن الذكاء الاصطناعي لا ينظر فقط إلى الصورة النهائية. بدلاً من ذلك، ينظر إلى "الهيكل العظمي" للصورة في مراحل مختلفة من الوضوح. هو يختار بعض اللحظات الرئيسية (تسمى نقاط مفتاحية - keypoints) على طول المسار من "الضجيج الكامل" إلى "الصورة الواضحة".
- التشبيه: فكر في الأمر كالنحات. بدلاً من نحت الحجر عشوائيًا، يقوم النحات أولاً برسم الشكل العام للتمثال (الهيكل العالمي)، ثم العضلات (التفاصيل متوسطة المستوى)، وأخيرًا ملامح الوجه (التفاصيل الدقيقة). يقوم VIPaint بذلك رياضيًا عبر التحقق من الصورة عند هذه "النقاط المرجعية" المحددة.
محرك "ماذا لو" (الاستدلال التبايني):
- تحاول معظم الطرق إيجاد الإجابة المثالية الوحيدة. أما VIPaint فيعترف قائلاً: "أنا لا أعرف بالضبط ما الذي يجب أن يوضع في الثقب، لكنني أعرف نطاقًا من الأشياء التي يمكن أن تناسبه".
- هو ينشئ خريطة احتمالية (توزيعًا) تقول: "السماء هنا من المرجح أن تكون زرقاء، ولكن يمكن أن تكون بنفسجية قليلاً أو رمادية اعتمادًا على الإضاءة".
- يقوم بتحسين هذه الخريطة لضمان أن أي شيء يخمنه يتوافق مع الأجزاء التي يمكننا رؤيتها من الصورة (البكسلات غير المحجوبة) مع بقائه أيضًا شيئًا يبدو وكأن "الرسام البارع" قد أبدعه.
عملية من خطوتين:
- الخطوة 1: التحسين (مرحلة التخطيط): يقضي الذكاء الاصطناعي بعض الوقت في حساب أفضل "مخطط" ممكن لذلك الثقب المفقود تحديدًا. هو يعدل إعداداته الداخلية للتأكد من أن الهيكل العالمي (مثل خط الأفق أو شكل المبنى) مثالي قبل أن يبدأ حتى في رسم التفاصيل.
- الخطوة 2: أخذ العينات (مرحلة الرسم): بمجرد وضع المخطط، يقوم بتوليد الصورة النهائية. ولأن المخطط كان جيدًا للغاية، فإن الصورة النهائية تكون حادة، واقعية، ومتنوعة. يمكنه حتى توليد نسخ مختلفة صالحة للجزء المفقود (على سبيل المثال، يمكن أن تكون القطة سوداء، أو بيضاء، أو برتقالية) دون كسر قواعد الصورة.

لماذا هو أفضل؟

لا يحتاج لإعادة تدريب: لا تحتاج لتعليم الذكاء الاصطناعي خدعة جديدة لكل صورة جديدة. هو يستخدم "الرسام البارع" الذي يعرفه بالفعل ويغير فقط المخطط لهذا الثقب المحدد. إنه "صفر استباقي" (Zero-shot)، مما يعني أنه يعمل فورًا على الصور الجديدة.
يتعامل مع الثقوب الكبيرة: بينما تفشل الطرق الأخرى عندما يكون الجزء المفقود ضخمًا (مثل 50% من الصورة)، يتفوق VIPaint في ذلك لأنه يخطط لـ "الصورة الكبيرة" أولًا.
يعمل مع النماذج عالية المستوى: هو يعمل مع أكثر نماذج (النص-إلى-صورة) تقدمًا (مثل Stable Diffusion) التي تنتج ملايين البكسلات، والتي واجهت الطرق السابقة صعوبة في التكيف معها.

النتائج

اختبرت الورقة البحثية VIPoint على آلاف الصور.

المرئيات: عندما أنتجت الطرق الأخرى كتلًا ضبابية أو حوافًا غير متناسقة، أنتج VIPant صورًا حادة وواقعية تتناسب تمامًا.
تعدد الاستخدامات: لم يقم فقط بإصلاح الثقوب؛ بل عمل أيضًا بشكل جيد في إزالة الضبابية وجعل الصور منخفضة الدقة حادة (Super-resolution).
السرعة: هو سريع بما يكفي ليكون عمليًا، وغالبًا ما يكون أسرع من الطرق عالية الجودة الأخرى لأنه يحسن "الخطة" بكفاءة قبل توليد الصورة.

باختصار، VIPaint يشبه منح الذكاء الاصطناعي لحظة للتفكير والتخطيط لهيكل الجزء المفقود قبل أن يبدأ في الرسم، مما يضمن أن النتيجة النهائية ليست مجرد تخمين، بل هي إعادة بناء متماسكة وعالية الجودة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "VIPaint: ترميم الصور باستخدام نماذج الانتشار المدربة مسبقاً عبر الاستدلال التبايني."

1. بيان المشكلة

يتضمن ترميم الصور (Image inpainting) إعادة بناء المناطق المفقودة أو التالفة في الصورة. وبينما حققت نماذج الانتشار الاحتمالية (DPMs) نتائج هي الأفضل في مجال توليد الصور، فإن تطبيقها على عملية الترميم (وهي مسألة عكسية) يطرح تحديات كبيرة:

مناطق القناع الكبيرة: تفشل الطرق الحالية غالباً في الحفاظ على التماسك العالمي (global coherence) عندما تكون أجزاء كبيرة من الصورة مغطاة بقناع، مما ينتج هياكل غير متسقة أو غير واقعية.
نماذج الانتشار الكامنة (LDMs): صُممت معظم خوارزميات الترميم الناجحة لنماذج الانتشار القائمة على البكسل. وهي تواجه صعوبة في التكيف مع نماذج الانتشار الكامنة (مثل Stable Diffusion)، التي تعمل في فضاء كامن مضغوط وتكون أكثر كفاءة حوسبياً للصور عالية الدقة.
متطلبات التدريب: تتطلب العديد من النهج الحالية تدريباً متخصصاً على توزيعات أقنعة محددة أو ضبطاً دقيقاً (fine-tuning) للنموذج التوليدي لكل مهمة جديدة، مما يحد من قابليتها للتطبيق في وضع "الصفر-خطوة" (zero-shot).
تقريب اللاحقة (Posterior Approximation): تحاول طرق مثل REDdiff استخدام الاستدلال التبايني (VI)، لكنها تعتمد غالباً على تقريبات غاوسية بسيطة عند مستوى انعدام الضجيج ( $t=0$ ). يؤدي هذا إلى عدم استقرار التحسين، وعدم القدرة على التقاط عدم اليقين (إنتاج نمط واحد بدلاً من عينات متنوعة)، وأداء ضعيف في نماذج الانتشار الكامنة (LDMs).

2. المنهجية: VIPaint

يقترح المؤلفون VIPaint، وهو خوارزمية استدلال تبايني هرمية تعمل على تحسين تقريب ماركوف غير غاوسي للاحقة الانتشار الحقيقية. تتيح هذه الطريقة الترميم بوضع "الصفر-خطوة" باستخدام نماذج الانتشار المدربة مسبقاً (سواء كانت قائمة على البكسل أو كامنة).

البنية الأساسية

بدلاً من تحسين صورة واحدة عند $t=0$ ، يعرّف VIPaint لاحقة هرمية عبر تسلسل هرمي من الخطوات الزمنية الكامنة المتوسطة (نقاط رئيسية/keypoints) $\{h(1), \dots, h(K)\}$ ، حيث يمثل $h(K)$ ضجيجاً عالياً ويمثل $h(1)$ ضجيجاً منخفضاً.

صياغة اللاحقة التباينية:
يتم تعريف اللاحقة $q_\lambda(z_{h(1):h(K)})$ كسلسلة ماركوف:
$q_\lambda(z_{h(1):h(K)}) = q_\lambda(z_{h(K)}) \prod_{i=1}^{K-1} q_\lambda(z_{h(i)} | z_{h(i+1)})$

الضجيج العالي ( $h(K)$ ): يتم نمذجته كعامل غاوسي (factorized Gaussian).
الضجيج المتوسط/المنخفض: يتم نمذجته كتوزيع غاوسي يكون متوسطه عبارة عن مزيج محدب (convex combination) بين تنبؤ سابقة الانتشار ( $\hat{x}_\theta$ ) ومعلمة تباينية قابلة للتعلم ومحددة للصورة ( $\mu$ ). كما يتم تعلم التباين أيضاً، مما يسمح للنموذج بزيادة عدم اليقين ديناميكياً في المناطق المغطاة بالقناع.
الطبيعة غير الغاوسية: على الرغم من أن التوزيع التبايني هو غاوسي عند كل خطوة، إلا أن التقريب الإجمالي غير غاوسي لأنه يتضمن شبكة إزالة الضجيج غير الخطية $\hat{x}_\theta(\cdot)$ .

هدف التحسين (الحد التبايني):
يقلل VIPaint الحد التبايني السفلي (variational lower bound) على الاحتمال الهامشي للملاحظة $y$ ، ويتكون من ثلاثة حدود:

خسارة إعادة البناء (Reconstruction Loss): تضمن اتساق العينات عند أدنى مستوى للضجيج $z_{h(1)}$ مع البكسلات المرصودة $y$ . وهي تستخدم تقريباً من خطوة واحدة لتجنب الانتشار العكسي (backpropagation) المكلف عبر سلسلة التوليد الكاملة.
خسارة السابقة (Prior Loss): تعمل على تنظيم أعلى مستوى للضجيج $z_{h(K)}$ ليتوافق مع الدلالات عالية المستوى المشفرة بواسطة سابقة الانتشار في النطاق $[h(K), T]$ .
الخسارة الهرمية (Hierarchical Loss): تضمن الاتساق بين النقاط الرئيسية المتجاورة في الهيكل الهرمي، مما يلتقط التفاصيل متوسطة المستوى في نطاق الضجيج الحرج $[h(1), h(K)]$ .

استراتيجية أخذ العينات (Sampling Strategy):

التحسين: يتم تحسين المعلمات التباينية $\lambda$ لكل استعلام صورة محدد باستخدام التدرج الاشتقاقي (gradient descent) دون اعتمادية (no amortization).
أخذ العينات السلفي (Ancestral Sampling): بمجرد التحسين، يتم توليد عينات متنوعة عبر أخذ العينات السلفي من $h(K)$ نزولاً إلى $h(1)$ .
التحسين الدقيق (Refinement): بالنسبة لـ $t < h(1)$ ، يستخدم النموذج تحسيناً قائماً على التدرج (مشابه لديناميكيات لانجفين) لتوليد تفاصيل دقيقة متسقة مع الملاحظة.

3. المساهمات الرئيسية

التقريب الهرمي غير الغاوسي: يقدم VIPaint إطار عمل استدلال تبايني مبتكر يقرب لاحقة الانتشار عبر تسلسل من الخطوات الكامنة بدلاً من نقطة واحدة. هذا يلتقط كلاً من الدلالات العالمية (الضجيج العالي) والتفاصيل المحلية (الضجيء المنخفض) في آن واحد.
قابلية تطبيق "الصفر-خطوة": يعمل هذا النهج مباشرة مع النماذج المدربة مسبقاً (بما في ذلك Stable Diffusion 3.5) دون الحاجة لإعادة التدريب، أو الضبط الدقيق، أو مجموعات بيانات متخصصة لأشكال أقنعة محددة.
الاستقرار وعدم اليقين: من خلال تجنب التحسين المباشر عند مستوى انعدام الضجيح ( $t=0$ ) وتعلم التباينات، يحقق VIPaint تحسيناً مستقراً ويلتقط عدم اليقين في اللاحقة بشكل طبيعي، مما يسمح بتوليد عمليات ترميم متعددة ومتنوعة ومعقولة.
التوافق مع نماذج الانتشار الكامنة (LDMs): تم تصميم الطريقة صراحة للعمل مع نماذج الانتشار الكامنة، متجاوزةً قيود أساليب الاستدلال التبايني السابقة القائمة على البكسل.

4. النتائج التجريبية

قيم المؤلفون VIPaint على مجموعات بيانات ImageNet64، و ImageNet256، و LSUN-Churches، و Stable Diffusion 3.5 (بدقة 1024x1024).

الأداء الكمي:
- الأقنعة الكبيرة: يتفوق VIPaint بشكل كبير على النماذج المرجعية (مثل DPS، و RePaint، و CoPaint، و REDdiff) في مقاييس PSNR و SSIM و LPIPS، خاصة في مناطق الأقنعة الكبيرة (40-80% من الصورة).
- النماذج الكامنة (LDMs): على نموذج Stable Diffusion 3.5، يحقق VIPaint نتائج متفوقة مقارنة بـ DPS والنماذج المتخصصة مثل ControlNet و SD-Inpainting، رغم عدم تدريبه على المهمة.
- المسائل العكسية الأخرى: أظهرت الطريقة أيضاً أداءً قوياً في مهام إزالة الضباب الغاوسي (Gaussian deblurring) والرفع من دقة الصور (super-resolution).
الأداء النوعي:
- التماسك العالمي: على عكس النماذج المرجعية التي تنتج غالباً نتائج ضبابية أو غير متسقة هيكلياً في الأقنعة الكبيرة، يحافظ VIPaint على الهيكل العالمي والاتساق الدلالي.
- التنوع: يولد VIPaint عمليات إكمال متعددة ومتميزة وعالية الجودة لنفس الصورة المقنعة، بينما تنهار العديد من النماذج المرجعية إلى نمط واحد أو تنتج تنوعات غير متسقة.
- تقليل العيوب: ينتج نتائج أكثر حدة مع عيوب أقل عند حدود القناع مقارنة بطرق أخذ العينات القائمة على التدرج مثل DPS.
الكفاءة:
- على الرغم من أن التحسين مطلوب لكل صورة، إلا أن VIP-2 (مع نقطتين رئيسيتين) ينافس حسابياً طرق أخذ العينات ويعد أسرع بكثير من الطرق التي تتطلب ضبطاً دقيقاً مكثفاً.

5. الأهمية

يمثل VIPaint تحولاً جذرياً في تطبيق نماذج الانتشار على المسائل العكسية. فمن خلال صياغة ترميم الصور كـ مسألة استدلال تبايني فوق مسار كامن هرمي، فإنه يسد الفجوة بين القدرة التوليدية للنماذج التأسيسية والقيود المفروضة بسبب الملاحظات الجزئية.

إن قدرته على التعامل مع الأقنعة الكبيرة و نماذج الانتشار الكامنة دون إعادة تدريب تجعل منه أداة قوية وعامة لترميم الصور. يشير هذا النهج إلى أن حلال المسائل العكسية في المستقبل يمكنهم الاستفادة من كامل قدرة النماذج التأسيسية من خلال الاستدلال الاحتمالي المنهجي بدلاً من التوجيه التجريبي أو التدريب المتخصص للمهام.