ملخص تقني: توسيع نطاق الانتشار (DDE)

بيان المشكلة

حققت نماذج الانتشار (Diffusion Models) سابقة التدريب نتائج رائدة في توليد الصور، والصوت، وغيرها من أنماط البيانات. ومع ذلك، فإن إعادة تدريب هذه النماذج من الصفر للتعامل مع نطاقات مخرجات أكبر (مثل الصور البانورامية، أو المسارات الصوتية الطويلة) أو مدخلات شرطية أكثر تعقيداً (مثل مواقع كائنات متعددة) أمر مكلف حاسوبياً. تعتمد الأساليب الحالية لتوسيع نطاقات التوليد على آليات تنسيق خوارزمية ثابتة (مثل MultiDiffusion) لا تتطلب تدريباً إضافياً ولكنها تفتقر إلى المرونة ومحدودة بمهام محددة. أما الطرق الأخرى، مثل تدريب وحدات الانتشار الديناميكية، فغالباً ما تتطلب أنماطاً ثابتة عند وقت التدريب أو تفشل في التعميم على نطاقات أكبر مما تمت ملاحظته أثناء تدريب المنسق (Coordinator).

التحدي الجوهري الذي تعالجه هذه الورقة هو كيفية توسيع النطاق التوليدي لنماذج الانتشار سابقة التدريب بكفاءة لتوليد كائنات أكبر والتعامل مع مدخلات شرطية أكثر تعقيداً دون إعادة تدريب النماذج الأساسية، مع ضمان قدرة الحل على التعميم على حالات أكبر من تلك التي رآها المنسق أثناء تدريبه.

المنهجية: توسيع نطاق الانتشار (DDE)

يقترح المؤلفون توسيع نطاق الانتدار (DDE)، وهو إطار عمل يستخدم شبكة "منسق" (Coordinator) قابلة للتدريب ومدمجة لتنظيم مخرجات نماذج الانتشار سابقة التدريب.

الصيغة العامة

بفرض وجود نموذج انتشار شرطي سابق التدريب $p(x|y)$ مع شبكة إزالة ضجيج $D(x, y, t)$، فإن الهدف هو توليد كائن موسع $X^{[L]}$ مشروط بمدخل موسع $Y^{[L]}$، حيث يمثل $L$ المقياس (على سبيل المثال، عدد الرقع أو تسميات الشرط).

1. التفكيك (Decomposition): يتم تفكيك الزوج الموسع $(X^{[L]}, Y^{[L]})$ إلى $L$ من الأجزاء الأصغر $([x_1, \dots, x_L], [y_1, \dots, y_L])$ باستخدام دالة رسم خرائط $F$. تقع هذه الأجزاء ضمن النطاق الأصلي للنموذج الأساسي.
2. التوليد الأساسي (Base Generation): يتم معالجة كل جزء $x_i$ بواسطة مزيل الضجيج السابق التدريب $D(x_i, y_i, t)$.
3. التنسيق (Coordination): تأخذ شبكة المنسق القابلة للتدريب $C[\cdot]$ تسلسل مخرجات إزالة الضجيج $[D(x_i, y_i, t)]_{i=1}^L$ ومعلومات الشرط $[y_i]_{i=1}^L$ كمدخلات. وتتعلم تنسيق هذه المخرجات لإنتاج تقدير متماسك للكائن الموسع الكامل $X^{[L]}(0)$.
4. هدف التدريب (Training Objective): يتم تدريب المنسق عن طريق تقليل خطأ إزالة الضجيج للمزيل المركب $D^{[L]}$ على مجموعة بيانات بحجم $L_{train}$. ومن الأهمية بمكان أن الطريقة مصممة للتعميم على أحجام اختبار $L_{test} \ge L_{train}$.

بنية المنسق (Coordinator Architecture)

يستخدم المؤلفون بنية محول الرؤية (Vision Transformer - ViT) للمنسق، مقتبسة من Peebles & Xie (2023).

• معالجة المدخلات: يتم تقسيم رقع إزالة الضجيج من النماذج سابقة التدريب إلى "رقع" (patches) وتعزيزها بتشفيرات موضعية عالمية بالنسبة للكائن الأكبر. يستخدم المؤلفون تشفيرات الموضع الدوارة (RoPE) للتعامل مع الأبعاد المكانية الكبيرة بفعالية.
• المصالحة (Reconciliation): خلال عملية الانتشار الأمامي، يعالج المحول جميع الرقع. وللتعامل مع الرقع المتداخلة (المستخدمة لضمان الاستمرارية)، يتم بناء المخرج النهائي عن طريق حساب متوسط القيم في المناطق المتداخلة، مستوحى من طريقة أخذ عينات MultiDiffusion.
• الكفاءة: المنسق أصغر بكثير من النموذج الأساسي (على سبيل المثال، 66 مليون مقابل 405 مليون معلمة في توليد الموسيقى) ويتطلب دورات تدريبية أقل.

المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم DDE، وهي طريقة تستخدم منسقاً صغيراً قابلاً للتدريب لتوسيع القدرات التوليدية لنماذج الانتشار سابقة التدريب لتشمل كائنات أكبر ومدخلات شرطية أكثر تعقيداً.
2. قدرة التعميم: إثبات أن المنسق يمكنه التعميم لتوليد كائنات والتعامل مع مدخلات شرطية بمقاييس أكبر من تلك الموجودة في بيانات تدريبه ($L_{test} \ge L_{train}$).
3. تصميم البنية: التحقق من صلاحية بنية ViT كمنسق مناسب، حيث يتعلم الروابط طويلة المدى مع فرض الاتساق المحلي من خلال متوسط التداخل.
4. الكفاءة: يحقق النهج توليدًا عالي الجودة بعدد أقل بكثير من المعلمات ووقت تدريب أقل مقارنة بإعادة تدريب النماذج الأساسية أو استخدام بنيات منسق أكبر.

النتائج التجريبية

قيم المؤلفون DDE عبر ثلاثة مجالات:

1. توليد مسارات صوتية طويلة (Slakh2100)

• المهمة: توليد مسارات موسيقية بطول $10l$ (120 ثانية) باستخدام نموذج أساسي مدرب على طول $l$ (12 ثانية).
• النماذج المرجعية (Baselines): التوصيل (Concatenation) و MultiDiffusion.
• النتائج: حقق DDE مسافة فريهيت للصوت (FAD) قدرها 2.112 للمسارات بطول $4l$ و 2.142 للمسارات بطول $10l$. وهذا تفوق بشكل كبير على MultiDiffusion (4.796) والتوصيل (4.596) لمهمة $10l$. كان المنسق (66 مليون معلمة) أصغر بكثير من النموذج الأساسي (405 مليون معلمة).

2. توليد الصور الشرطي (CLEVR)

• المهمة: توليد صور مشروطة بمواقع كائنات متعددة ($L$ من التسميات)، حيث يتعامل النموذج الأساسي مع موقع واحد فقط.
• النماذج المرجعية: RRR (التقليل، إعادة الاستخدام، التدوير) و MultiDiffusion.
• النتائج: أظهر DDE دقة فائقة في تلبية القيود الشرطية المتعددة. بالنسبة لـ 5 قيود، حقق DDE دقة بنسبة 44.5% (باستخدام Heun sampler)، مقارنة بـ 33.6% لـ RRR و 36.3% لـ MultiDiffusion. وقد عمم المنسق من التدريب على $L_{train}=2$ إلى الاختبار على $L_{test}=5$.

3. توليد صور الأقمار الصناعية

• المهمة: توليد صور أقمار صناعية كبيرة مشروطة بخرائط تخطيطية.
• النماذج المرجعية: MultiDiffusion.
• النتائج: حقق DDE درجة FID أقل من MultiDiffusion لكل من الأحجام داخل التوزيع ($N=96$، FID 31.75 مقابل 37.81) وخارج التوزيع ($N=128$، FID 27.37 مقابل 35.01). أظهر الفحص البصري أن DDE أنتج صوراً أكثر تماسكاً دون الفواصل المرئية الملاحظة في عينات MultiDiffusion.

الأهمية والادعاءات

تدعي الورقة أن DDE يقدم حلاً عملياً وفعالاً لتوسيع نطاق نماذج الانتشار دون التكلفة الباهظة لإعادة التدريب. ومن خلال تعلم تنسيق العمليات سابقة التدريب، يتيح النهج:

• توسيع النطاق: توليد كائنات أكبر (أصوات أطول، صور أكبر) والتعامل مع شروط أكثر تعقيداً (تسميات متعددة) تتجاوز قدرات النموذج الأصلي.
• التعميم: القدرة على الاستقراء إلى مقاييس أكبر من تلك التي شهدها تدريب المنسق.
• الجودة والاتساق: يتعلم المنسق القائم على ViT الروابط طويلة المدى بفعالية، مما يحل النزاعات بين خطوات إزالة الضجيج المحلية لإنتاج مخرجات متسقة عالمياً.

يشير المؤلفون إلى أن القيد الأساسي هو الحاجة إلى بيانات ووقت إضافيين لتدريب نموذج المنسق، رغم أن هذه التكلفة أقل بكثير من تدريب نموذج انتشار كامل من الصفر. ويُقترح عمل مستقبلي لتطبيق DDE على توليد تسلسلات البروتين وإنشاء الفيديو من مقاطع قصيرة.