GAN-Diff : Coupling Pretrained WGAN-GP Features with Conditional Diffusion U-Nets
تقترح هذه الورقة البحثية GAN-Diff، وهو إطار عمل هجين يستفيد من الميزات المتوسطة لمولد WGAN-GP مدرب مسبقاً ومجمد كعنصر توجيهي (prior) لتوجيه نموذج U-Net لانتشار شرطي عبر آلية الانتباه المتقاطع (cross-attention)، محققاً تحسينات كبيرة في مهام ترميم الصور مثل إزالة الضجيج والارتقاء بالدقة (super-resolution) مع معالجة عدم استقرار التدريب الرئيسي.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التصوير الرقمي، تعلمت الحواسيب كيفية إنشاء صور من العدم، وهو إنجاز كان يبدو مستحيلاً في السابق. وقد برزت عائلتان مختلفتان من الذكاء الاصطناعي كقادة في هذا المجال. العائلة الأولى، المعروفة باسم الشبكات التنافسية التوليدية (GANs)، تعمل مثل فنان سريع يمكنه رسم وجه كامل بحركة واحدة خاطفة. هذه الأنظمة فعالة ولكنها قد تعاني أحياناً من صعوبة في الحفاظ على الاتساق، مما يؤدي أحياناً إلى إنتاج صور تبدو غريبة أو غير مستقرة. أما العائلة الثانية، المسماة نماذج الانتشار (Diffusion Models)، فتعمل بشكل يشبه النحات الذي ينحت ببطء تمثالاً من كتلة حجرية. فهي تبدأ بسحابة فوضوية من الضجيج الساكن وتزيل الارتباك تدريجياً خطوة بخطوة حتى تظهر صورة واضحة. وبينما تنتج هذه الطريقة الثانية نتائج عالية الجودة والتفاصيل بشكل مذهل، إلا أنها بطيئة ومكلفة حوسبياً، وتتطلب خطوات متكررة كثيرة لإنهاء صورة واحدة. وكان التحدي الذي يواجه العلماء هو الجمع بين سرعة النهج الأول ودقة النهج الثاني، لإنشاء نظام يتسم بالسرعة والموثوقية في آن واحد.
لقد اتخذ فريق من الباحثين في جامعة "نورث ساوث" في بنغلاديش خطوة مهمة نحو حل هذا اللغز. فقد طوروا إطار عمل هجين جديد يوجه عملية النحت البطيئة والدقيقة لنموذج الانتشار باستخدام المعرفة الهيكلية لمولد مسبق التدريب وسريع. وفي عملهم، أخذوا مولداً تم تدريبه بالفعل على إنشاء وجوه بشرية واقعية وقاموا بتجميده، مما يعني أن إعداداته الداخلية كانت مغلقة بحيث لا يمكن تغييرها. وبدلاً من ترك هذا المولد المجمد ينشئ الصورة النهائية، استخدموه كخريطة. فبينما يعمل نموذج الانتشار على تنظيف صورة ضوضائية أو ضبابية، فإنه ينظر إلى الميزات الوسيطة من المولد المجمد لفهم كيف يجب أن يكون الهيكل الأساسي للوجه. وقد تم توفير هذا التوجيه من خلال آلية سمحت لنموذج التنظيف بالانتباه إلى أجزاء محددة من خريطة المولد، مما يضمن بقاء العينين والأنف والفم في أماكنها الصحيحة أثناء إزالة الضجيج.
اختبر الباحثون هذا النظام في مهمتين محددتين: إزالة الضجيج الحبيبي من صور الوجوه، ومضاعفة دقة الصور منخفضة الجودة. واستخدموا مجموعة بيانات تضم خمسين ألف وجه لمشاهير، مع التركيز في تقييمهم على خمسة أفراد محددين لضمان قدرتهم على تتبع التغييرات بدقة من البداية إلى النهاية. وقبل أن يعمل نظامهم النهائي، كان عليهم التغلب على عدة عقبات تسببت في عدم استقرار عملية التدريب. فقد وجدوا أنه إذا تعلم الجزءان من المولد الأولي بسرعات مختلفة، فإن النظام سيفشل. كما اكتشفوا أن بدء عملية التنظيف بنوع خاطئ من الضجيج أو باستخدام الكثير من التلف سيؤدي إلى نتائج سيئة. ومن خلال ضبط هذه العوامل بعنا care، بما في ذلك مدى تكرار قيام النظام بمتوسط إعداداته لتنعيم الأخطاء، نجحوا في إنشاء مسار مستقر.
أظهرت النتائج تحسناً واضحاً في جودة الصورة. فبالنسبة لمهمة إزالة الضجيج، حسنت الطريقة الجديدة من وضوح الصور بمقدار 4.40 ديسيبل مقارنة بالمدخلات الضوضائية الأصلية. وبالنسبة لمهمة جعل الصور منخفضة الدقة أكثر حدة، فقد حسنت الجودة بمقدار 3.70 ديسيبل فوق طريقة معيارية أساسية. وتمثل هذه الأرقام مكسباً ملموساً في مدى مطابقة الصورة المستعادة للوجه الأصلي والنظيف. ومن الناحية البصرية، نجح النظام في إزالة النقاط المرئية والحفاظ على ملامح الهوية المهمة مثل شكل العينين وتفاصيل الشعر. وفي مهمة الدقة الفائقة، تمكن النظام من تخليق تفاصيل واقعية، مثل خصلات الشعر الدقيقة وملمس الجلد، التي كانت مفقودة من المدخلات منخفضة الدقة، دون إنشاء آثار "الكتل" (artifacts) التي تُرى غالباً في الطرق الأخرى.
كانت الرؤية الأساسية من عملهم هي كيفية تطبيق التوجيه من المولد المجمد. فقد وجدوا أن النظام يعمل بشكل أفضل عندما يتم حساب الخريطة الهيكلية من المولد مرة واحدة في بداية العملية ثم يتم الإبقاء عليها ثابتة طوال تسلسل التنظيف بأكمله. فإذا حاول النظام إعادة حساب هذه الخريطة في كل خطوة، ستصبح التعليمات متناقضة، مما يربك النموذج. ومن خلال الحفاظ على ثبات التوجيه، استطاع نموذج الانتشار اتباع مسار ثابت للوصول إلى نتيجة واضحة. وأشار الباحثون إلى أنه بينما عملت طريقتهم بشكل جيد على الوجوه الخمسة المتتبعة، إلا أن التقييم كان محدوداً بهذه المجموعة الصغيرة، ولم يختبروا كيفية تعامل النظام مع مستويات مختلفة من الضجيج أو التلف خارج ما حددوه تحديداً. كما لم يتضمنوا بعض المقاييس الإدراكية التي تقيس مدى ظهور الصور كصور بشرية، معتمدين بدلاً من ذلك على المقاييس الرياضية القياسية للوضوح والهيكل.
يُظهر هذا العمل أن المولد المجمد يمكن أن يعمل كدليل موثوق لنموذج الانتشار، مما يساعده على استعادة الصور بشكل أكثر فعالية. ويشير النهج إلى أن الجمع بين نقاط القوة الهيكلية لأحد أنواع الذكاء الاصطناعي والتحسين التكراري لنوع آخر يمكن أن يؤدي إلى نتائج أفضل مما لو استُخدم كل منهما على حدة. وقد حدد الباحثون أسباباً محددة لعدم الاستقرار في مثل هذه الأنظمة الهجينة وقدموا حلولاً سمحت لنموذجهم بالعمل بسلاسة. ورغم أن الدراسة اقتصرت على صور الوجوه وأنواع محددة من التدهور، إلا أن النتائج تقدم مساراً واضحاً للمضي قدماً في بناء أدوات أكثر قوة لاستعادة الصور يمكنها التعامل مع المهمة المعقدة المتمثلة في تحويل صورة تالفة إلى صورة واضحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.