Improved denoising diffusion probabilistic models with efficient non-diagonal covariance modeling
تقدم هذه الورقة نموذج Kronecker-DCT (K-DCT)، وهو تقريب جديد لتباين المصفوفات غير القطري يستفيد من تحليل كرونيكر (Kronecker factorization) وتحويل جيب التمام المتقطع (Discrete Cosine Transform) لالتقاط ارتباطات الصور الطبيعية بكفاءة، مما يحسن بشكل كبير جودة واحتمالية نماذج الانتشار الاحتمالي لإزالة الضجيج (DDPMs) بعدد أقل من خطوات أخذ العينات مع الحفاظ على عبء حوسبي ضئيل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل آلة تتعلم كيفية ابتكار الفن ليس عن طريق الرسم من الصفر، بل بالبدء بلوحة مغطاة بالضجيج (الستاتيكية) ثم إزالة هذا الضجيج ببطء وعناية حتى تظهر صورة واضحة. هذه هي الفكرة الجوهرية وراء عائلة من نماذج الذكاء الاصطناعي تُعرف بنماذج الانتشار لإزالة الضجيج (denoising diffusion models). لقد أصبحت هذه النماذج أداة قياسية لتوليد صور عالية الجودة، من الوجوه الواقعية إلى المناظر الطبيعية، لأنها تنتج نتائج تتسم بالدقة والتنوع في آن واحد. ومع ذلك، هناك عقبة: عملية إزالة الضجيج بطيئة بطبيعتها. فلكي تحصل على صورة جيدة، يجب على الحاسوب اتخاذ آلاف الخطوات الصغيرة والحذرة، حيث يزيل القليل من الضجيج في كل مرة. وإذا حاول اتخاذ خطوات أكبر لتسريع العملية، فإن الصورة غالباً ما تصبح ضبابية أو مشوهة لأن الآلة تفقد القدرة على إدراك كيفية ارتباط أجزاء الصورة ببعضها البعض.
لفترة طويلة، حاول الباحثون حل مشكلة السرعة هذه من خلال وضع افتراض تبسيطي: افترضوا أن عدم اليقين في الصورة في أي لحظة معينة يمكن وصفه من خلال النظر إلى كل بكسل بشكل مستقل. يشبه الأمر محاولة وصف الطقس من خلال النظر فقط إلى درجة الحرارة في نقطة واحدة محددة، مع تجاهل كيف تؤثر الرياح في تلك النقطة على المطر في النقطة المجاورة. وبينما ينجح هذا النهج بشكل جيد كافٍ عند اتخاذ خطوات صغيرة جداً، إلا أنه ينهار عندما يحاول الباحثون اتخاذ خطوات أكبر وأسرع كما هو مطلوب للاستخدام العملي. إن واقع الصور الطبيعية أكثر تعقيداً بكثير؛ فلون بكسل واحد مرتبط بعمق بجيرانه، كما أن قنوات اللون الأحمر والأخضر والأزرق في الصورة تؤثر في بعضها البعض بطرق معقدة. وتشير دراسة جديدة نُشرت في دورية (Transactions on Machine Learning Research) إلى أنه من خلال الاعتراف بهذه الروابط المعقدة، يمكننا جعل مولدات الصور هذه أسرع بشكل ملحوظ دون التضحية بالجودة.
لقد سعى الباحثون، وهم فريق من مؤسسات تشمل جامعة كامبريدج وكينجز كوليدج لندن، لبناء خريطة أفضل لهذه الروابط. ركزوا على "تباين ما بعد التوزيع" (posterior covariance)، وهو مصطلح تقني يصف جوهرياً كيف يعتمد عدم اليقين في جزء من الصورة على عدم اليقين في جزء آخر. في النماذج القديمة والأبسط، كانت هذه الخريطة تُرسم كشبكة تهم فيها الخطوط القطرية فقط، مما يعني أن مستقبل البكسل مستقل عن جيرانه. وجادل الفريق الجديد بأن هذا كان تبسيطاً مفرطاً يتجاهل البنية الحقيقية للصور الطبيعية، التي تظهر ارتباطات قوية غير قطرية بين البكسلات وقنوات الألوان. كما لاحظوا أن هذه الصور تمتلك نمط تردد محدد، حيث تتلاشى التفاصيل بطريقة يمكن التنبؤ بها، تماماً كما أن للوتر الموسيفي بنية محددة من النوتات.
ولاستيعاب هذا التعقيد دون إبطاء عمل الحاسوب، طور الفريق نموذجاً رياضياً جديداً أطلقوا عليه اسم K-DCT. يأتي الاسم من فكرتين رئيسيتين دمجاهما معاً. أولاً، أدركوا أن العلاقة بين الألوان (مثل الأحمر والأخضر والأزرق) والعلاقة بين المواقع المكانية (يسار، يمين، أعلى، أسفل) منفصلة تقريباً عن بعضها البعض. وقد سمح لهم ذلك بتفكيك المشكلة الضخمة والمعقدة إلى قطعتين أصغر وأسهل في الإدارة. ثانياً، أدركوا أن العلاقات المكانية في الصورة تُفهم بشكل أفضل ليس من خلال النظر إلى البكسلات مباشرة، بل من خلال النظر إلى الصورة كمجموعة من الموجات، باستخدام تقنية تُسمى "تحويل جيب التمام المتقطع" (Discrete Cosine Transform). وهي طريقة تفكك الصورة إلى تردداتها الأساسية، تماماً كما يفك المنشور الضوء الأبيض إلى قوس قزح من الألوان. ومن خلال العمل في نطاق التردد هذا، استطاع الباحثون وصف الشبكة المعقدة من الروابط بين البكسلات باستخدام مجموعة مدمجة جداً من الأرقام.
والنتيقة هي نموذج يتميز بقدرة تعبيرية عالية وكفاءة مذهلة في آن واحد. فبينما يتطلب الوصف الكامل للروابط في صورة عالية الدقة كمية هائلة من الذاكرة والقدرة الحوسبية، يستطيع نموذج K-DCT القيام بنفس المهمة ببصمة لا تزيد كثيراً عن حجم الصورة نفسها. اختبر الباحثون هذا النهج على عدة مجموعات بيانات شهيرة للصور، بما في ذلك CIFAR-10، التي تحتوي على صور صغيرة لأشياء يومية، وCelebA، التي تضم صوراً لشخصيات مشهورة. كما اختبروه على مجموعات بيانات أكبر وأكثر تعقيداً مثل ImageNet وLSUN. وفي كل حالة، قارنوا طريقتهم الجديدة بأفضل التقنيات الموجودة، والتي اعتمدت على الافتراضات القطرية الأبسط.
كانت النتائج واضحة ومتسقة. فعندما أجبر الباحثون النماذج على توليد الصور في خطوات أقل — محاكيين سيناريو تكون فيه السرعة أمراً حاسماً — أنتج نموذج K-DCT نتائج أفضل بكثير. كانت الصور أكثر حدة وتفصيلاً، وأقرب إحصائياً إلى البيانات الحقيقية التي تدربت عليها. ومن الناحية التقنية، حققت النماذج معدلات خطأ أقل ودرجات احتمالية أفضل، مما يعني أن الحاسوب كان أكثر ثقة في ابتكاراته. ولعل الأهم من ذلك، أن سرعة عملية التوليد لم تتأثر؛ إذ كانت الحسابات الإضافية المطلوبة للنموذج الجديد فعالة للغاية لدرجة أنها لم تضف أي وقت يُذكر إلى العملية، حتى في الصور عالية الدقة. وهذا يشير إلى أن عنق الزجاجة في توليد الصور بسرعة لم يكن قوة الحاسوب الخام، بل الطريقة التي يتم بها نمذجة عدم اليقين.
كما استكشف الفريق سبب نجاح هذا النهج بهذا الشكل. فقد وجدوا أن الروابط بين البكسلات في عملية إزالة الضجيج لا تتلاشى بسرعة، بل تتبع اضمحلالاً بطيئاً ويمكن التنبؤ به يمتد عبر نطاقات واسعة. النماذج البسيطة التي تحاول تجاهل هذه الروابط بعيدة المدى أو تقريبها بأنماط أساسية قليلة تفشل في استيعاب هذا الدقة. في المقابل، يستوعب نموذج K-DCT هذه البنية بشكل طبيعي. ومن المثير للاهتمام أن النموذج أدى أداءً استثنائياً حتى في مجموعات بيانات مثل CelebA، حيث تكون الصور لوجوه بشرية ولا تمتلك التماثل المثالي أو الثبات تجاه الإزاحة الذي تفترضه النظرية الرياضية. وهذا يشير إلى أن النموذج قوي بما يكفي للتعامل مع العيوب في العالم الحقيقي، والتقاط البنية "الكاملة" للبيانات حتى عندما لا تكون الأنماط الأساسية منتظمة تماماً.
ورغم أن الدراسة لا تدعي أنها حلت كل مشكلة في الذكاء الاصطناعي، إلا أنها تقدم حلاً مقنعاً لعقبة محددة ومستمرة: المقايضة بين السرعة والجودة في توليد الصور. فمن خلال الابتعاد عن افتراض أن البكسلات تعمل بمفردها وتبني حقيقة أنها مترابطة بعمق، أظهر الباحثون أنه يمكننا تسريع العملية الإبداعية لهذه الآلات. ويشير هذا العمل إلى أن مستقبل توليد الصور بكفاءة لا يكمن في بناء حواسيب أكبر، بل في بناء نماذج أذكى تفهم الطبيعة الحقيقية والمعقدة للصور التي تحاول إنشاءها. ويقف نموذج K-DCT كدليل على أن الفهم الأكثر دقة للبنية الإحصائية يمكن أن يؤدي إلى تحسينات ملموسة في الأداء، مما يجعل توليد الصور عالية الجودة أسرع وأكثر سهولة دون الحاجة إلى قفزة في قدرات الأجهزة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.