ملخص تقني: توليد الصور الإبداعية باستخدام نماذج الانتشار (Diffusion Models)

1. بيان المشكلة

تتفوق نماذج توليد الصور من النص إلى صورة الحالية (مثل Stable Diffusion وDALL-E) في إنتاج صور عالية الجودة تتماشى مع توزيعات بيانات التدريب. ومع ذلك، فإنها تظهر "تحيزاً ضد الإبداع" (counter-creative bias) جوهرياً؛ حيث تعطي دوال الخسارة ومقاييس التقييم (مثل FID) الأولوية للنمطية ودقة إعادة البناء، مما يؤدي إلى مخرجات غالباً ما تكون تقليدية، مملة، أو مجرد نسخ مكررة للمفاهيم الموجودة.

المشكلة الجوهرية التي يتم معالجتها هي كيفية استحثاث الإبداع الحقيقي — والمعرّف بأنه توليد مخرجات جديدة وعالية الجودة ذات احتمالية وجود منخفضة — دون الاعتماد على هندسة الأوامر اليدوية (prompt engineering)، أو دمج المفاهيم الصريح، أو استبعاد الفئات الفرعية المعروفة. وتواجه الأساليب الحالية غالباً صعوبة في موازنة المقايضة بين جودة الصورة والجدة (novelty)، مما يؤدي عادةً إما إلى ضجيج منخفض الجودة "خارج النطاق" (out-of-domain) أو صور آمنة تفتقر للإبداع.

2. المنهجية

يقترح المؤلفون إطار عمل يعيد صياغة الإبداع كمسألة احتمالية: الصور الإبداعية تقع في الذيول منخفضة الاحتمالية (low-probability tails) لتوزيع تضمين الصور. تعمل الطريقة على نموذج انتشار كامن (Latent Diffusion Model) وتحديداً (Kandinsky 2.1)، وتتكون من أربعة مكونات رئيسية:

2.1. أخذ عينات التوزيع المسبق (Prior Distribution Sampling)

يقوم النظام أولاً بإنشاء توزيع أساسي لتضمينات الصور ($e$) الناتجة عن مسبق الانتشار $\epsilon_\theta$ لأمر نصي معين.

• العملية: يتم سحب عدد كبير من العينات، وإسقاطها في فضاء منخفض الأبعاد باستخدام تحليل المكونات الرئيسية (PCA)، ثم ملاءمتها لتوزيع غاوسي متعدد المتغيرات $\hat{G}$.
• الهدف: يمثل $\hat{G}$ هذا المنطقة "النمطية" أو "المملة" في الفضاء الدلالي.

2.2. التحسين الإبداعي (Creative Optimization)

لإنتاج مخرجات إبداعية، يتم تحسين النموذج للابتعاد عن متوسط $\hat{G}$ باتجاه ذيوله.

• الفضاء المفاهيمي: يحدث التحسين عبر فضاء مشترك من تضمين الرمز (token embedding) القابل للتعلم (مثل موضوع "المركبة") ومعلمات LoRA (التكيف منخفض الرتبة) لمسبق الانتشار.
• خسارة الإبداع ($L_{creative}$): الهدف هو تقليل احتمالية اللوغاريتم (log-likelihood) للتضمين المولد تحت التوزيع الأساسي:
  $$L_{creative}(\tilde{e}) = \log \hat{G}(\tilde{e})$$
  إن تقليل هذه الخسارة يدفع التضمين نحو مناطق ذات احتمالية أقل، مما يزيد نظرياً من "إمكانية الاستثارة" (arousal potential) (أي الجدة والمفاجأة).

2.3. آليات السحب الارتدادي (Pullback Mechanisms)

لمنع النموذج من التدهور إلى ضجيج غير متماسك (فشل خارج النطاق) أثناء البحث عن مناطق منخفضة الاحتمالية، يتم تطبيق قيدين:

1. خسارة المرساة ($L_{anchor}$): تفرض المحاذاة الدلالية من خلال تعظيم تشابه جيب التمام (cosine similarity) بين تضمين الصورة المولدة والتضمين النصي للأمر الأصلي ($P_{pos}$).
2. فاحص الصلاحية الدلالية (MLLM): يتم بشكل دوري رندرة (render) الصورة المولدة واستعلامها بواسطة نموذج لغوي كبير متعدد الوسائط (مثل Janus أو LLaVA) بالسؤال: "هل لا يزال هذا عبارة عن {subject}؟ نعم أم لا". إذا رفض الـ MLLM الصورة، يتم إنهاء محاولة التحسين. يعمل هذا كحارس قوي ضد حالات الفشل الشبيهة بالهجمات العدائية التي قد تغفل عنها قيود CLIP البسيطة.

2.4. التحكم في الاتجاهية (Directionality Control)

لتجنب التقارب نحو مناطق منخفضة الاحتمالية تكون مجرد "قبيحة" أو غير مرغوب فيها، يستخدم النظام نمذجة العنقود السلبي (Negative Cluster Modeling).

• إذا أنتجت عملية التحسين مخرجات غير جذابة بصرياً، يتم جمع تضميناتها لتشكيل توزيع غاوسي سلبي $\hat{G}_{neg}$.
• تُضاف حد عقوبة ($L_{neg}$) إلى دالة الخسارة لصد النموذج عن هذه الاتجاهات "غير المستحبة" تحديداً، مما يوجه الاستكشاف نحو مناطق جديدة ولكن جذابة جمالياً.

3. المساهمات الرئيسية

1. المنظور الاحتمالي للإبداع: يقدم البحث إطار عمل حيث يُعرّف الإبداع صراحةً كعكس احتمالية وجود صورة في فضاء تضمين CLIP، مبتعداً عن دمج المفاهيم اليدوي.
2. التحسين الموجه نحو الإبداع: تم تصميم دالة خسارة متخصصة لدفع النموذج نحو مناطق التضمين منخفضة الاحتمالية، مما يحقق تحسيناً مباشراً للجدة.
3. السحب الارتدادي والتحكم الاتجاهي: يضمن إدخال خسائر المرساة وفاحصات الدلالة القائمة على MLLM أن الإبداع العالي لا يأتي على حساب الصلاحية الدلالية أو التماسك البصري. بالإضافة إلى ذلك، تعمل نمذجة العنقود السلبي على توجيه النموذج بعيداً عن الاتجاهات الإبداعية غير المرغوب فيها.
4. الكفاءة: يظهر الأسلوب تقارباً سريعاً، حيث ينتج نتائج إبداعية في غضون دقائق (حوالي 50 خطوة)، وهو أسرع بكثير من الطرق التي تعتمد على الاستبعاد التكراري للفئات الفرعية.

4. النتائج التجريبية

• الجودة البصرية: نجحت الطريقة في توليد صور جديدة عبر فئات متنوعة (مثل المباني، المركبات، الكائنات الفضائية، الفواكه) تكون مثيرة للاهتمام بصرياً ومتميزة عن المخرجات القياسية.
• إزاحة التوزيع: تؤكد رؤية فضاء التضمين أن التوزيع المولد ينزاح تدريجياً نحو ذيول التوزيع الأساسي أثناء التدريب.
• التقييم البشري: في دراسة مستخدمين شملت ثمانية أشخاص، فُضلت الطريقة المقترحة على النموذج المرجعي (ConceptLab) في معظم الحالات (على سبيل المثال، 70.8% تفضيل لصور الكائنات الفضائية، و75% للمركبات). صنف المستخدمون المخرجات بأنها أكثر إبداعاً وجذباً.
• دراسات الاستئصال (Ablation Studies):
  • هدف التحسين: أدى تحسين معلمات LoRA وتضمينات الموضوع إلى نتائج إبداعية متماسكة، بينما أدى تحسين تضمينات الصور مباشرة إلى تدهور سريع في الجودة.
  • ضرورة السحب الارتدادي: أدى إزالة فاحص MLLM إلى "امتثال مخادع" للأوامر (مثل تحويل فاكهة إلى شكل بشري بزخارف فاكهة)، بينما أدت إزالة خسارة المرساة إلى انحراف النموذج تماماً خارج النطاق.
  • الاتجاهية: نجحت نمذجة العنقود السلبي في منع النموذج من الاستقرار على أنماط جمالية غير جذابة، مما أجبره على اكتشاف اتجاهات إبداعية أكثر تنوعاً وإرضاءً.
• المقارنة: على عكس ConceptLab، الذي يتطلب تحديد واستبعاد الفئات الفرعية (وهو أمر غير فعال للمفاهيم التي ليس لها فئات فرعية واضحة مثل "الكائنات الفضائية")، تعمل هذه الطريقة مباشرة على التوزيع الاحتمالي، محققة الإبداع بشكل أكثر كفاءة وشمولية.

5. الأهمية والادعاءات

يدعي البحث تقديم منظور جديد للإبداع في النماذج التوليدية، حيث ينقل التركيز من محاكاة توزيعات التدريب إلى استكشاف الذيول منخفضة الاحتمالية في فضاء التضمين. ويرى المؤلفون أن نهجهم يقدم طريقة مبدئية لتعزيز الابتكار في تركيب المحتوى البصري دون الاعتماد على هندسة الأوامر البشرية أو استبعاد الفئات الفرعية الصريح.

يُقدم هذا العمل كخطوة تأسيسية نحو أنظمة أكثر تعبيراً ومرونة، حيث يثبت أنه من الممكن تعريف وتحسين "إمكانية الاستثارة" (مفهوم نفسي للجدة والمفاجأة) رياضياً مع الحفاظ على الصلاحية الدلالية من خلال آليات سحب ارتدادي قوية. ويضع المؤلفون هذا كأول إطار عمل احتمالي للإبداع في توليد الصور من النص لا يعتمد على وجود فئات فرعية معروفة.