Regularization can make diffusion models more efficient

تخيل أنك تحاول تعليم روبوت كيف يرسم. أنت لا تكتفي فقط بإعطائه لوحة بيضاء وتقول له: "انطلق". بدلاً من ذلك، تبدأ بلوحة فنية مكتملة، ثم تقوم تدريجياً، خطوة بخطوة، بإضافة الضجيج حتى تصبح الصورة مجرد تشويش، تماماً مثل شاشة تلفاز مضبوطة على قناة غير موجودة. ثم تعلم الروبوت كيفية عكس هذه العملية: أن ينظر إلى التشويش ويخمن كيف كان شكل الصورة الأصلية، حيث يقوم بتقشير طبقات الضجيج طبقة تلو الأخرى حتى تظهر الصورة من جديد. هذا هو سحر "نماذج الانتشار" (diffusion models)، وهي التقنية التي تقف وراء العديد من مولدات الفن بالذكاء الاصطاولة المثيرة للإعجاب اليوم.

ومع ذلك، هناك عقبة. للحصول على صورة جيدة، يتعين على الروبوت اتخاذ آلاف الخطوات الصغيرة، والتحقق من عمله عند كل خطوة. الأمر يشبه محاولة إيجاد طريقك خارج متاهة ضخمة وضبابية عن طريق فحص كل جدار في كل اتجاه. وكلما كبرت المتاهة (أو زادت تفاصيل الصورة)، استغرق ذلك وقتاً وقدرة حوسبية أكبر. لقد بحث العلماء عن طريقة لمساعدة الروبوت على تجاهل الأجزاء الفارغة والضبابية من المتاهة والتركيز فقط على الجدران التي تهم حقاً. وهنا يأتي مفهوم "التناثر" (sparsity) — وهو مصطلح معقد يشير إلى ملاحظة أنه في وسط كم هائل من البيانات، تكون بضع قطع فقط هي المهمة فعلياً، بينما الباقي مجرد ضجيج خلفي.

هذه الورقة البحثية، التي كتبها مهسا طهري ويوهانس ليدرر، تطرح سؤالاً بسيطاً ولكنه قوي: ماذا لو استطعنا تعليم الروبوت كيف يكون فعالاً؟ ليس فعالاً بطريقة سيئة، بل فعالاً بطريقة ذكية. يقترح المؤلفان إضافة قاعدة خاصة، تسمى "التنظيم" (regularization)، إلى تدريب الروايت. تعمل هذه القاعدة كمدرب صارم يخبر الروبوت: "توقف عن إضاعة الطاقة في فحص كل بكسل. ركز فقط على البكسلات القليلة التي تغير الصورة فعلياً". ومن خلال إجبار النموذج على التركيز على هذه الميزات الأساسية، يظهر المؤلفون أن الروبوت يمكنه إنتاج صور عالية الجودة بشكل أسرع بكثير وبقدرة حوسبية أقل، دون فقدان جودة العمل الفني.

المشكلة: لعنة المتاهة الكبيرة

لفهم سبب أهمية هذا الأمر، تخيل البيانات التي يعمل معها الذكاء الاصطناعي كغرفة ضخمة ذات أبعاد عالية. إذا كنت تولد صورة بسيطة، فقد تحتوي تلك الغرفة على آلاف الأبعاد (بعد واحد لكل بكسل). في الماضي، أشارت الرياضيات وراء هذه النماذج إلى أن الوقت الذي يستغرقه توليد صورة ينمو بشكل انفجاري كلما كبرت الغرفة. الأمر يشبه محاولة تنظيف غرفة يتضاعف فيها مقدار الغبار في كل مرة تضيف فيها جداراً جديداً. يُعرف هذا باسم "لعنة الأبعاد" (curse of dimensionality).

الطريقة القياسية لعمل هذه النماذج تتضمن "دالة الدرجة" (score function). فكر في هذه الدرجة كبوصلة توجه الروبوت في الاتجاه الصحيح لإزالة الضجيج. في غرفة ذات أبعاد عالية، يكون حساب هذه البوصلة لكل اتجاه أمراً بطيئاً ومكلفاً للغاية. لقد تمكنت الأبحاث السابقة من جعل هذه العملية أسرع قليلاً، لكنها كانت لا تزال تعتمد بشكل كبير على الحجم الإجمالي للغرفة (عدد البكسلات)، وليس على مقدار ما تملأه الأشياء المثيرة للاهتمام في الغرفة.

الحل: المدرب "المتناثر"

يقدم المؤلفون طريقة تدريب جديدة تستخدم ما يسمى بـ $\ell_1$-regularization. بالمعنى اليومي، هذا نظام جزاءات. تخيل أنك تلعب لعبة فيديو تحصل فيها على نقاط مقابل كل حركة تقوم بها، لكنك تخسر عدداً هائلاً من النقاط إذا تحركت في اتجاه يبدو غير ضروري. هذا الجزاء يجبر الذكاء الاصطناعي على إيجاد المسار الأكثر كفاءة.

في عالم الرياضيات، يشجع هذا الجزاء النموذج على جعل العديد من "اتجاهات البوصلة" الخاصة به تساوي صفراً. إذا كان بكسل أو ميزة ما لا يساهم كثيراً في الصورة النهائية، فإن النموذج يتعلم تجاهله تماماً. تثبت الورقة رياضياً أنه إذا كانت البيانات تمتلك هذه الصفة "المتناثرة" (بمعنى أن عدداً صغيراً فقط من الميزات، لنسمها $s$، هي المهمة فعلياً، بينما العدد الإجمالي للميزات هو $d$)، فإن سرعة النموذج يمكن أن تتحسن بشكل كبير.

بدلاً من أن ينمو الوقت مع مربع الحجم الإجمالي ($d^2$)، تجعل الطريقة الجديدة النمو مرتبطاً بمربع الحجم "المهم" ($s^2$). وبما أن عدد الميزات المهمة ($s$) عادة ما يكون أصغر بكثير من إجمالي عدد البكسلات ($d$)، فإن هذا يمثل تسارعاً هائلاً.

ما وجدوه: المحاكاة والإثبات

لم يعتمد المؤلفون على الرياضيات فحسب؛ بل اختبروا فكرتهم بتجارب حقيقية.

1. الإثبات الرياضي:
قدموا إثباتاً رياضياً دقيقاً يوضح أن نموذجهم المنظم يتقارب (يصل إلى الإجابة الصحيحة) بشكل أسرع بكثير من النماذج القياسية. وتحديداً، أظهروا أن معدل الخطأ يعتمد على مستوى التناثر $s$ بدلاً من البعد الكامل $d$. وأثبتوا أنه حتى لو لم تكن البيانات متناثرة تماماً، فإن طريقتهم لا تزال تعمل بنفس جودة الطرق القديمة، ولكن إذا وُجد التناثر، فإن طريقتهم تحقق انتصاراً كبيراً.

2. المثال التجريبي البسيط:
بدأوا بمثال ثلاثي الأبعاد بسيط. تخيل سحابة من النقاط مسطحة جداً، مثل ورقة تطفو في فضاء ثلاثي الأبعاد. معظم "الغرفة" فارغة.

• الطريقة القديمة: حاول النموذج القياسي استكشاف الحجم ثلاثي الأبعاد بالكامل، مما أدى إلى إضاعة الوقت في المساحات الفارغة.
• الطريقة الجديدة: أدرك النموذج المنظم بسرعة أن النقاط تتحرك فقط على طول محورين (مثل ورقة مسطحة) وتجاهل المحور الثالث. وكانت النتيجة عملية أخذ عينات أكثر تركيزاً وكفاءة.

3. اختبارات الصور الحقيقية:
طبقوا ذلك على العالم الحقيقي باستخدام مجموعات بيانات صور شهيرة مثل MNIST (الأرقام المكتوبة بخط اليد)، و FashionMNIST (الملابس)، و CIFAR10 (الأجسام الملونة).

• السرعة: في مجموعة بيانات MNIST، وجدوا أن توليد 64 صورة استغرق حوالي 11 ثانية بالطريقة القياسية باستخدام 500 خطوة. أما مع طريقتهم المنظمة، فقد استطاعوا توليد صور بجودة مماثلة في ثانية واحدة فقط باستخدام 50 خطوة فقط. هذا تسارع بمقدار عشرة أضعاف.
• الجودة عند الخطوات المنخفضة: عندما حاولوا توليد صور بعدد قليل جداً من الخطوات (مثل 20 أو 50)، أنتج النموذج القياسي كتلًا ضبابية وغير واضحة المعالم. ومع ذلك، أنتج النموذج المنظم صوراً واضحة ومعروفة للأرقام والملابس.
• التوازن: لاحظوا أن النموذج القياسي ينتج أحياناً صوراً "مفرطة النعومة" أو يفتقر إلى فئات معينة (مثل إنتاج عدد قليل جداً من الحقائب أو الفساتب). أما النموذج المنظم فقد أنتج تنوعاً أكثر توازناً في الصور.

4. التكلفة:
قد يتساءل المرء عما إذا كان إضافة هذا "المدرب" سيجعل التدريب أبطأ. قام المؤلفون بقياس ذلك ووجدوا أن وقت التدريب لنموذجهم المنظم كان متطابقاً تقريباً مع النموذج القياسي (حوالي 21 دقيقة مقابل 20 دقيقة لـ 50 حقبة تدريبية على MNIST). لم تؤدِ الرياضيات الإضافية إلى إبطاء عملية التعلم؛ بل جعلته أكثر ذكاءً فحسب.

ما لم يقولوه (وما قالوه بالفعل)

من المهم ملاحظة ما لا تدعيه هذه الورقة. هم لا يقولون إن هذا يحل كل مشكلة في فن الذكاء الاصطناعي، ولا يدعون أن جميع الصور متناثرة تماماً. في الواقع، يقرون بأنه في "أسوأ السيناريوهات" حيث لا توجد تناثر في البيانات على الإطلاق، تعمل طريقتهم بنفس كفاءة الطريقة القياسية، ولكن ليس أفضل منها. إنها لا تكسر النظام؛ بل فقط لا تسرعه إذا لم يكن هناك شيء لتسريعه.

كما أنهم لم يختبروا هذا على كل أنواع البيانات الممكنة. اقتصرت محاكاتهم على مجموعات بيانات صور محددة (MNIST، FashionMNIST، CIFAR10، ومجموعة بيانات للفراشات). وبينما تشير الرياضيات إلى إمكانية عمل ذلك مع أنواع أخرى من البيانات عالية الأبعاد، إلا أن الورقة أثبتت ذلك فقط على مجموعات الصور المحددة هذه.

الخلاصة

تعد هذه الورقة خطوة للأمام في جعل الذكاء الاصطناعي التوليدي أكثر كفاءة. من خلال استعارة خدعة من الإحصاء تسمى "التنظيم"، أظهر المؤلفون أنه يمكن تعليم نماذج الذكاء الاصطناعي تجاهل الضجيج والتركيز على الإشارة. لقد أثبتوا ذلك رياضياً وأظهروا من خلال المحاكاة أنه يمكن جعل توليد الصور أسرع بعشر مرات دون التضحية بالجودة.

يشير المؤلفون إلى أن هذه مجرد البداية. فهم يلمحون إلى أن أنواعاً أخرى من "التناثر" (مثل النظر إلى الصور من حيث الموجات أو الأنماط بدلاً من مجرد البكسلات) قد تؤدي إلى نتائج أفضل في المستقبل. ولكن في الوقت الحالي، النتيجة الرئيسية واضحة: إذا علمت الذكاء الاصطناعي كيف يكون انتقائياً فيما ينتبه إليه، فيمكنه أداء مهمته بشكل أسرع وبجهد أقل.