Stochstic Sampling for Generative Diffusion Models: From Euler-Maruyama to Higher-Order Schemes

تخيل أنك تحاول إعادة رسم لوحة فنية رائعة، لكن ليس بين يديك سوى نسخة باهتة وملطخة منها. هدفك هو عكس عملية التلطيخ هذه، خطوة بخطوة، حتى تعود الصورة حادة وواضحة مرة أخرى. هذا هو بالضبط كيف تعمل "نماذج الانتشار التوليدية" (generative diffusion models) الحديثة. إنهم الفنانون الأذكياء جداً وراء الصور المنتشرة لقطط ببدلات فضاء ومناظر طبيعية واقعية للغاية. تبدأ هذه النماذج من الفوضى المحضة (الضجيج العشوائي) وتقوم بـ "إزالة الضجيج" منها ببطء وعناية لتكشف عن صورة متماسكة.

للقيام بذلك، يتبع الذكاء الاصطناعي وصفة رياضية تسمى "المعادلة التفاضلية العشوائية" (stochastic differential equation). فكر في هذه الوصفة كأنها مجموعة من التعليمات لمتنزه يحاول إيجاد طريقه للعودة إلى موقع التخييم من جبل ضبابي. المتنزه (الذكاء الاصطناعي) لديه خريطة (دالة الدرجة أو الـ "score function") تشير نحو موقع التخييم، لكن الخريطة ليست مثالية والضباب كثيف. يتخذ المتنزه خطوات صغيرة، متحققاً من الخريطة ومعدلاً مساره. المشكلة هي أنه إذا كانت الخطوات كبيرة جداً أو كانت الخريطة خاطئة قليلاً، فقد يضل المتنزه طريقه أو ينتهي به الأمر في مستنقع بدلاً من موقع التخييم. لسنوات، كانت الطريقة القياسية لاتخاذ هذه الخطوات هي طريقة بسيطة وموثوقة تسمى "أويلر-مارويا" (Euler-Maruyama). إنها تشبه اتخاذ خطوات صغيرة وحذرة؛ فهي تعمل، لكنها بطيئة. والسؤال الكبير في هذا المجال كان: "هل يمكننا اتخاذ خطوات أكبر وأذكى للوصول إلى موقع التخييم بشكل أسرع دون أن نضل الطريق؟"

هذه الورقة البحثية هي خطوة كبيرة في الإجابة على هذا السؤال. فقد طور المؤلفون، إيمانويل فار، ورادو تيموفتي، وفرانك فيرنر، طريقة جديدة أكثر تطوراً لاتخاذ هذه الخطوات. لقد ابتكروا إطاراً رياضياً يثبت أن طريقة محددة ذات رتبة أعلى ("مخطط رونج-كوتا العشوائي" أو "stochastic Runge-Kutta scheme") يمكنها الوصول إلى الوجهة بدقة أعلى بكثير من الطريقة القداسية المعيارية. وفي عمليات المحاكاة التي أجروها، لم تكتفِ هذه الطريقة الجديدة بالعمل فحسب، بل وصلت إلى الإجابة الصحيحة بسرعة أكبر بكثير، متبعةً تسارعاً رياضياً متوقعاً. كما أظهروا أن هذه الطريقة الجديدة تعمل حتى عندما يكون "الضباب" (توزيع البيانات) معقداً وغير سلس تماماً، بشر බ أن تكون الرحلة طويلة بما يكفي. وبينما تؤكد الورقة هذه النتائج من خلال الرياضيات الصارمة والمحاكاة الحاسوبية على كل من النماذج البسيطة (toy models) ومجموعة بيانات صور حقيقية (CIFAR-10)، إلا أنها تتوقف عند حد عدم الادعاء بأن هذه هي الحل النهائي والمثالي لكل فن الذكاء الاصطناعي، لكنها تثبت بالتأكيد أن أخذ عينات أسرع وأذكى هو أمر ممكن وسليم نظرياً.

خريطة المتنزه الجديدة

دعونا نتعمق في قصة كيف قام هؤلاء الباحثون بترقية رحلة المتنزه.

أعداء الرحلة المثالية الثلاثة

عندما يحاول الذكاء الاصطناعي توليد صورة من الضجيج، فإنه يواجه ثلاث عقبات رئيسية، أو "أعداء"، يمكن أن تفسد الصورة:

1. نقطة البداية الخاطئة (خطأ التهيئة - Initialization Error): يبدأ المتنزه من نقطة عشوائية في الضباب، لكن الخريطة تقول إنه يجب أن يبدأ من موقع تخييم محدد. إذا بدأ بعيداً جداً، فلديه طريق طويل ليقطعه.
2. الخريطة السيئة (خطأ مطابقة الدرجة - Score-Matching Error): الخريطة التي يستخدمها المتنزه هي تقريب للواقع. إنها شبكة عصبية مدربة لتخمين مكان موقع التخيم، لكنها ليست مثالية؛ فأحياناً تشير إلى الاتجاه الخاطئ.
3. الخطوات الخرقاء (خطأ التجزئة - Discretization Error): لا يستطيع المتنزه المشي بشكل مستمر؛ بل يتعين عليه اتخاذ خطوات منفصلة. إذا اتخذ خطوات كبيرة جداً أو استخدم طريقة خرقاء لحساب الموقع التالي، فسوف ينحرف عن المسار.

لفترة طويلة، ركز الباحثون على إصلاح الخريطة (جعل الذكاء الاصطناعي أكثر ذكاءً) أو نقطة البداية. لكن جزء "الخطوات الخرقاء" — أي الرياضيات المستخدمة للانتقال من نقطة إلى أخرى — كان يُعامل غالباً كشر لا بد منه. الطريقة القياسية، أويلر-مارويا، كانت مثل متنزه يأخذ خطوات صغيرة وآمنة؛ وهي طريقة موثوقة، ولكن للحصول على صورة عالية الجودة، تحتاج إلى الكثير من الخطوات، مما يستغرق الكثير من وقت الكمبيوتر.

استراتيجية "الخطوة الذكية" الجديدة

تساءل مؤلفو هذه الورقة: "ماذا لو استطعنا اتخاذ خطوات أكبر وأذكى مع الاستمرار في الهبوط تماماً حيث نحتاج أن نكون؟"

لقد طوروا أداة رياضية جديدة تسمى "المخطط القوي العام" (general strong scheme). تخيل هذا كمجموعة جديدة من القواعد للمتنزه. بدلاً من مجرد النظر إلى الخريطة واتخاذ خطوة واحدة، تقول القواعد الجديدة: "انظر إلى الخريطة، وتحقق من الرياح، واستطلع الطريق لترى أين ينحني المسار، ثم اتخذ خطوة تأخذ كل ذلك في الاعتبار".

على وجه التحديد، اختبروا طريقة تسمى مخطط رونج-كوتا العشوائي الخالي من المشتقات من الرتبة 1.5 (derivative-free stochastic Runge-Kutta scheme of order 1.5). هذا المصطلح قد يبدو معقداً، ولكن إليكم السحر الكامن فيه:

• الرتبة 1.0 (الطريقة القديمة): إذا قمت بتقليل حجم خطواتك إلى النصف، فسيقل الخطأ إلى النصف.
• الرتبة 1.5 (الطريقة الجديدة): إذا قمت بتقليل حجم خطواتك إلى النصف، فسيقل الخطأ بمعامل قدره 2.8 تقريباً (بما أن $2^{1.5} \approx 2.8$).

هذا يعني أن الطريقة الجديدة فعالة رياضياً بشكل أكبر بكثير. يمكنك اتخاذ خطوات أقل للحصول على صورة بنفس الجودة (أو جودة أفضل).

سر "التبدد" (Dissipativity)

أحد أروع أجزاء الورقة هو كيفية تعاملهم مع "الضباب". في بعض الحالات، يكون الضباب كثيفاً جداً والتضاريس غريبة لدرجة أن المتنزه قد يعلق. قدم المؤلفون مفهوماً يسمى التبدد (dissipativity).

فكر في التبدد كمنحدر لطيف يدفع المتنزه دائماً للعودة نحو مركز الجبل، بغض النظر عن مدى ابتعاده. إذا كانت التضاريس تمتلك هذه الخاصية، فإن الأخطاء الناتجة عن الخريطة السيئة والخطوات الخرقاء لا تتراكم للأبد؛ بل إنها في الواقع تلغي بعضها البعض بمرور الوقت. وتثبت الورقة أنه إذا وجد هذا "المنحدر"، فإن الطريقة الجديدة عالية الرتبة تعمل بشكل أفضل، وتصبح الأخطاء مستقلة عن طول الرحلة. وهذا أمر ضخم لأنه يعني أن الطريقة قوية حتى للبيانات المعقدة متعددة الطبقات (مثل مزيج من أنواع مختلفة من الصور).

اختبار النظرية

لم يكتفِ المؤلفون بالرياضيات على الورق؛ بل وضعوا المتنزه الجديد تحت الاختبار.

• النماذج البسيطة (Toy Models): بدأوا ببيانات وهمية بسيطة (مثل مزيج من سحب غاوسية) حيث كانوا يعرفون الإجابة الدقيقة. وراقبوا الطريقة الجديدة وهي تندفع نحو الهدف بسرعة أكبر بكثير من الطريقة القديمة، مطابقةً توقعاتهم الرياضية تماماً.
• الصور الحقيقية (CIFAR-10): بعد ذلك، جربوا الطريقة على مجموعة بيانات حقيقية مكونة من 60,000 صورة صغيرة (CIFAR-10). قاموا بتدريب ذكاء اصطناعي لتوليد هذه الصور باستخدام الطريقة الجديدة.
  • كانت النتائج مذهلة. وصلت الطريقة الجديدة (HO) إلى "أرضية" عالية الجودة (أفضل جودة صورة ممكنة لهذا الإعداد) في حوالي 150 تقييماً للدالة العصبية (NFEs).
  • بينما احتاجت الطريقة القياسية القديمة (أويلر-مارويا) إلى 400 تقييم (NFE) للوصول إلى مستوى قريب، واحتاج التكامل الأسي (exponential integrator) إلى المزيد.
  • وعلى الرغم من أن الطريقة الجديدة تتطلب جهداً أكبر قليلاً لكل خطوة (فهي تقوم بثلاث عمليات حسابية بدلاً من واحدة)، إلا أن حقيقة أنها تحتاج إلى خطوات أقل بكما جعلتها هي الفائزة من حيث الوقت الإجمالي والجودة.

ماذا يعني هذا بالنسبة لك؟

لا تدعي الورقة أنها حلت كل مشكلة في فن الذكاء الاصطناعي. فهي تنص صراحة على أن "أرضية الخطأ" (الحد الأقصى لجودة الصورة) لا تزال موجودة، وغالباً ما يكون ذلك بسبب كيفية قياسنا للصور أو حدود بيانات التدريب. لكنها تثبت نقطة حيوية: الطريقة القديمة في اتخاذ الخطوات لم تكن الأفضل التي يمكننا القيام بها.

من خلال ترقية رياضيات "اتخاذ الخطوات"، يمكننا توليد صور عالية الجودة بشكل أسرع وبدقة أكبر. الأمر يشبه الترقية من دراجة هوائية إلى سيارة رياضية لرحلة تسلق الجبل تلك. لا يزال عليك تسلق الجبل، لكنك ستصل إلى هناك بأسلوب أفضل، وعرق أقل، ورؤية أوضح بكثير للوجهة. لقد قدم المؤلفون المخطط لهذه السيارة الرياضية، وتظهر عمليات المحاكاة أنها تسير تماماً كما وعدت.