Thinking inside the Convolution for Image Inpainting: Reconstructing Texture via Structure under Global and Local Side
تقترح هذه الورقة طريقة مبتكرة لترميم الصور تخفف من فقدان المعلومات أثناء عملية خفض العينة التلافيفية عبر الاستفيد من استراتيجية توجيه إعادة البناء المتبادل بين خرائط سمات الهيكل والنسيج من خلال التطبيع وإلغاء التطبيع الإحصائي، محققةً أداءً هو الأفضل في فئته عبر دقات عرض مختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك لوحة فنية جميلة ومفصلة، لكن شخصاً ما قام بخدش جزء كبير منها باستخدام قلم تحديد. هدفك هو إعادة رسم تلك المنطقة المفقودة بشكل مثالي بحيث لا يمكن لأحد أن يلاحظ أنها تعرضت للتلف أصلاً. هذا ما يسمى بـ "ترميم الصور" (Image Inpainting).
لفترة طويلة، حاولت الحواسيب إصلاح ذلك من خلال النظر إلى البكسلات المحيطة بالفجوة وتخمين اللون الذي يجب أن توضع فيه. لكن هذا غالباً ما كان يؤدي إلى ظهور بقع ضبابية أو أنماط غريبة لأن الحاسوب يفقد "الصورة الكبيرة" (الهيكل) و"التفاصيل الدقيقة" (النسيج) أثناء محاولته تصغير الصورة لمعالجتها.
تقدم هذه الورقة البحثية طريقة جديدة لإصلاح هذه الفجوات، والتي يسميها المؤلفون "التفكير داخل الالتفاف" (Thinking inside the Convolution). وإليك شرح كيفية عملها ببساطة:
1. المشكلة: فقدان المخطط والورق الملون
تخيل الصورة كأنها منزل.
- الهيكل (Structure) هو المخطط الهندسي: الجدران، إطارات الأبواب، وخطوط السقف. إنه الهيكل العظمي.
- النسيج (Texture) هو الورق الملون والطلاء: عروق الخشب، نمط القماش، ولون الطوب.
عندما تحاول الحواسيب الحالية إصلاح ثقب ما، فإنها غالباً ما تستخدم عملية تسمى "تقليل العينات" (Downsampling). تخيل أخذ صورة عالية الدقة وتقليصها إلى صورة مصغرة (Thumbnail) لتوف {يق المساحة، ثم محاولة تكبيرها مرة أخرى إلى حجمها الكامل.
- المشكلة: عندما تصغر الصورة، تفقد التفاصيل الدقيقة (النسيج). وعندما تعيد تكبيرها، يحاول الحاسوب تخمين التفاصيل، لكنه غالباً ما يخطئ في ذلك.
- الخطأ القديم: حاولت الطرق السابقة دمج المخطط والورق الملون معاً على أمل أن يساعدا بعضهما البعض. وجد المؤلفون أن هذا في الواقع يجعل الأمور أسوأ؛ فـ "المخطط" (الهيكل) يكون شحيحاً ودقيقاً، وإذا حاولت إعادة بنائه باستخدام "الورق الملون" (النسيج) الفوضوي، فإن المخطط سيتحطم.
2. الحل: المخطط يبني الورق الملون
اكتشف المؤلفون طريقاً ذا اتجاه واحد يعمل بشكل أفضل بكثير: يجب أن يوجه المخطط عملية إعادة بناء الورق الملون.
لقد أدركوا أنه حتى لو أصبح النسيج ضبابياً أثناء عملية التصغير، فإن "الهيكل" (المخطط) يظل قوياً بما يكفي ليخبر الحاسوب بالضبط أين يجب أن تكون الحواف والأشكال.
- التشبيه: تخيل أنك تعيد بناء فسيفساء مكسورة. بدلاً من محاولة تخمين نمط البلاط (النسيج) أولاً، تقوم أولاً بوضع الخطوط العريضة الواضحة والصارمة للصورة (الهيكل). بمجرد تحديد الخطوط العريضة، يصبح من السهل جداً ملء الألوان والأنماط المحددة (النسيج) لأنك تعرف تماماً أين تنتمي.
3. نوعان من الموجهات: عالمي ومحلي
لجعل هذا الأمر أفضل، تستخدم الورقة نوعين مختلفين من "الموجهات" للمساعدة في إعادة بناء النسيج:
- الموجه العالمي (الصورة الكبيرة): ينظر إلى الصورة بأكملها في وقت واحد. يتساءل: "أين هو الأفق؟ أين هو الجدار الرئيسي؟" وهو يساعد في إصلاح الأنسجة الواسعة والشاملة.
- الموجه المحلي (اللقطة القريبة): ينظر إلى نقاط صغيرة ومحددة. يتساءل: "ما هو عرق الخشب هنا تماماً؟" وهو يساعد في إصلاح الأنسجة الصغيرة والدقيقة.
وجد المؤلفون أن الموجه العالمي هو الأفضل في إصلاح التفاصيل المحلية، وأن الموجه المحلي هو الأفضل في إصلاح الصورة العالمية. إنه يشبه الفريق حيث يساعد المهندس المعماري (العالمي) عامل البناء (المحلي) في وضع الطوب الفردي، ويساعد عامل البناء المهندس المعماري في فهم الشكل العام للجدار.
4. "التوازن بين الطبقات"
بينما يعالج الحاسوب الصورة، فإنه يمر بمراحل مختلفة، مثل التكبير والتصغير.
- في المراحل المبكرة (عندما لا تزال الصورة كبيرة)، يكون موجه "الصورة الكبيرة" هو الأكثر أهمة.
- في المراحل اللاحقة (عندما تصبح الصورة صغيرة جداً ومفصلة)، يصبح موجه "اللقطة القريبة" أكثر أهمية.
بنى المؤلفون وحدة خاصة تسمى "وحدة التوازن بين الطبقات المتقاطعة" (Cross-Layer Balance Module). فكر في هذا كمنظم حركة مرور ذكي. يراقب العملية ويقول: "الآن، نحتاج إلى مزيد من المساعدة من المهندس المعماري"، أو "الآن، نحتاج إلى مزيد من المساعدة من عامل البناء". إنه يوازن بين الموجهين بحيث لا يضيع النسيج أبداً، بغض النظر عن مقدار تصغير أو تكبير الصورة.
النتيجة
من خلال استخدام الهيكل لإعادة بناء النسيج (بدلاً من خلطهما معاً)، ومن خلال موازنة الموجهات "العالمية" و"المحلية"، تنتج طريقتهم صوراً أكثر حدة وواقعية.
- قبل: كانت المنطقة التي تم إصلاحها تبدو ضبابية، مع أنماط غير متطابقة أو خطوط مكسورة.
- بعد: تبدو المنطقة التي تم إصلاحها وكأنها لم تتضرر أبداً. الخطوط مستقيمة، والأنماط متطابقة تماماً.
تثبت هذه الورقة أن هذا الأسلوب ينجح في صور الوجوه، ومشاهد الشوارع، والمناظر الطبيعية، مما يظهر أنه عندما تدع "الهيكل" يقود الطريق، فإن "الجلد" (النسيج) يلتئم بشكل مثالي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.