ملخص تقني: MaskAttn-SDXL

بيان المشكلة

بينما حققت نماذج الانتشار (Diffusion Models)، ولا سيما Stable Diffusion XL (SDXL)، نجاحاً كبيراً في توليد الصور من النصوص، إلا أنها تواجه تحديات مستمرة عند التعامل مع المطالبات (prompts) ذات البنية المتعددة الكائنات. وتتمثل القيود الأساسية في جانبين:

1. المقايضات الهيكلية: تعتمد النماذج المهيمنة (U-Net backbones) على طبقات تلافيفية (convolutional layers) تتميز بـ "محلية مكانية" قوية، مما يضمن استقرار التدريب وكفاءته ولكنه يعيق نمذجة الاعتمادات طويلة المدى والتركيب العالمي. وفي المقابل، توفر نماذج الانتشار القائمة على المحولات (Transformer-based diffusion models مثل DiT) انتباهاً ذاتياً عالمياً، ولكنها تتكبد تكاليف حسابية وذاكرة أعلى بكثير، وغالباً ما يكون ذلك على حساب البنية المحلية الدقيقة.
2. الموثوقية التركيبية: حتى النماذج المتطورة للغاية تفشل بشكل متكرر في الحفاظ على الاتساق على مستوى الرموز (tokens) في المطالبات المعقدة. وتشمل أنماط الفشل الشائعة ما يلي:
   • تسرب السمات (Attribute Leakage): إسناد الألوان أو الخصائص بشكل خاطئ عبر الكائنات.
   • الانتهاكات المكانية (Spatial Violations): عكس العلاقات المكانية (مثل تحديد اليمين واليسار).
   • إغفال الكائنات (Object Omissions): الفشل في توليد الكيانات المطلوبة.
     وغالباً لا يتم رصد هذه الأخطاء باستخدام المقاييس العالمية مثل FID أو درجات CLIP، والتي تقيس التوافق العام للتوزيع بدلاً من الربط بين الرمز والمنطقة المحددة. وقد تم تحديد السبب الجذري في التداخل بين الرموز (cross-token interference)، حيث تتنافس المفاهيم النصية على انتباه مكاني مشترك، مما يؤدي إلى مخرجات بصرية متشابكة.

المنهجية: MaskAttn-SDXL

يقترح المؤلفون MaskAttn-SDXL، وهو وحدة برمجية خفيفة الوزن (plug-in module) مصممة لتعزيز SDXL دون تغيير خط إنتاجه الأساسي، أو أوزانه المدربة مسبقاً، أو إجراءات الاستدلال الخاصة به.

الآلية الجوهرية

تقوم الطريقة بحقن بوابة مكانية مشروطة بالرموز (token-conditioned spatial gating) في لوجيتات (logits) الانتباه المتقاطع (cross-attention) لنموذج SDXL U-Net قبل عملية الـ softmax.

1. تكامل البنية:

   • يتم تطبيق التعديل تحديداً داخل كتل الانتباه المتقاطع في طبقات مختارة ذات دقة متوسطة (mid-resolution layers) من نموذج SDXL U-Net. وقد تم اختيار هذا الموقع لموازنة التجريد الدلالي والدقة المكانية.
   • تظل جميع المكونات المدربة مسبقاً (U-Net backbone، والمشفرات النصية، وVAE) مجمدة. ويتم تدريب "رؤوس القناع" (masking heads) خفيفة الوزن فقط.

2. توليد القناع:

   • يأخذ رأس بوابة مشترك وصغير $f(\cdot)$ (على سبيل المثال، طبقة تلافيفية ضحلة أو MLP) خريطة الميزات الكامنة الحالية $X$ وتضمين رمز محدد $e_t$ كمدخلات.
   • يقوم بتوليد خريطة احتمالية مكانية مستمرة $\hat{G}_t \in (0, 1)^{H \times W}$، تمثل اعتقاد النموذج بمدى قوة مساهمة الرمز $t$ في توليد الصورة عند كل إحداثي مكاني.
   • يتم تحويل هذه الخريطة إلى شكل ثنائي باستخدام عتبة قدرها 0.5 ومقدر تمرير مباشر (Straight-Through Estimator - STE) للسماح بتدفق التدرج أثناء التدريب، مما ينتج عنه بوابة ثنائية صلبة $G_t$.

3. تعديل اللوجيت (Logit Modulation):

   • يتم تحويل البوابة الثنائية إلى مصفوفة قناع مضافة $M$. بالنسبة لموقع مكاني $i$ ورمز $t$:
     • إذا كانت البوابة نشطة ($G_t(i)=1$)، تكون قيمة القناع 0.
     • إذا كانت البوابة غير نشطة ($G_t(i)=0$)، تكون قيمة القناع $-\infty$ (يتم تقريبها بثابت سالب كبير).
   • تُضاف هذه المصفوفة مباشرة إلى لوجيتات الانتباه المتقاطع:
     $$\text{MaskAttn}(Q, K, V; M) = \text{Softmax}\left(\frac{QK^\top}{\sqrt{d}} + M\right)V$$
   • إن ضبط اللوجيت ليصبح $-\infty$ يجبر وزن الـ softmax المقابل على أن يكون صفراً، مما يؤدي فعلياً إلى كبح التفاعل بين رمز معين ومنطقة مكانية معينة.

4. الاتصال المتبقي (Residual Connection):

   • يتم تمرير مخرجات الانتباه المقنع عبر شبكة تغذية أمامية (FFN) قياسية ودمجها مع المدخل الأصلي عبر اتصال متبقي، مما يضمن الحفاظ على تدفق المعلومات الأصلي مع تحسين محاذاة الرمز والمنطقة.

المساهمات الرئيسية

1. الانتباه المقنع في فضاء اللوجيت: يقترح المؤلفون آلية تجعل اتصالات (الرمز-إلى-الموقع) متفرقة في SDXL عن طريق حقن أقنعة قابلة للتعلم ومشروطة بالرموز مباشرة في لوجيتات الانتباه.
2. كفاءة "التوصيل والتشغيل" (Plug-and-Play): لا تتطلب الطريقة أي مدخلات مساعدة (مثل صناديق الإحاطة/bounding boxes)، ولا تضيف سوى عدد ضئيل من المعلمات (حوالي 3.6 مليون)، وتترك الهيكل الأساسي وعملية أخذ العينات القياسية دون تغيير.
3. تحسين التجذر التركيبي (Compositional Grounding): تعمل الطريقة على تحسين الدقة المكانية ودقة السمات تحت المطالبات المعقدة متعددة الكيانات دون التضحية بالكفاءة أو مرونة النشر.

النتائج التجريبية

قام المؤلفون بتقييم MaskAttn-SDXL مقابل نماذج مرجعية مختلفة، بما في ذلك SD-1.5، وSD-2.1، وSDXL، وPixArt-$\alpha/\Sigma$، وطرق التحرير التركيبية الأخرى (مثل Attend-and-Excite وStructured Diffusion).

1. الدقة العالمية والمحاذاة

تم التقييم على مجموعات بيانات MS-COCO وFlickr30k:

• FID: خفض MaskAttn-SDXL درجة FID في MS-COCO من 25.77 (SDXL) إلى 24.57، وفي Flickr30k من 209.80 إلى 206.98.
• درجة CLIP: تحسنت من 31.53 إلى 31.75 في MS-COCO ومن 33.03 إلى 33.54 في Flickr30k.
• الدقة والاستدعاء (Precision-Recall): أظهرت تحسناً في التغطية (Recall) مع الحفاظ على دقة مماثلة.

2. الاختبارات المرجعية التركيبية

تم التقييم على T2I-CompBench++ (المكاني) وGenEval:

• T2I-CompBench++ (المكاني): حقق درجة 0.2248، متفوقاً على SDXL (0.2090) وجميع النماذج المرجعية الأخرى.
• GenEval: حقق درجة 0.66، متجاوزاً SDXL (0.62) والطرق المتخصصة الأخرى.
• تشير هذه النتائج إلى انخفاض كبير في تسرب السمات والانتهاكات المكانية.

3. الكفاءة والأعباء الإضافية

• المعلمات: أضافت حوالي 3.6 مليون معلمة فقط إلى نموذج SDXL البالغ 2.6 مليار معلمة.
• الذاكرة وزمن الاستجابة: زادت استخدام الذاكرة قليلاً (من 12.4 جيجابايت إلى 12.7 جيجابايت) وزمن الاستجابة بمقدار 0.03 ثانية لكل صورة (من 1.00 ثانية إلى 1.03 ثانية)، مما يؤكد أن الطريقة خفيفة الوزن.

4. دراسات الاستبعاد (Ablation Studies)

• اختيار المرحلة: حققت كتل الدقة المتوسطة أفضل الدرجات التركيبية، مما يؤكد صحة استراتيجية التمركز الافتراضية.
• التمركز: وفر إدراج الوحدة في كتل المشفر (encoder) وفك التشفير (decoder) أفضل محاذاة إجمالية، رغم أن المكاسب الرئيسية نُسبت إلى اختيار الدقة المتوسطة.

الأهمية والادعاءات

يزعم البحث أن MaskAttn-SDXL يعالج المشكلة الحرجة المتمثلة في التداخل بين الرموز في توليد الصور من النصوص متعددة الكائنات. ومن خلال كبح الارتباطات (الرمز-المنطقة) غير ذات الصلة صراحةً في فضاء اللوجيت، تحقق الطريقة صحة تركيبية أقوى دون العبء الحسابي لإعادة تدريب النماذج الكبيرة أو تعقيد الاستدلال لأدوات التحرير القائمة على القواعد التجريبية.

يؤكد المؤلفون أن نهجهم يقدم حلاً عملياً لتحسين موثوقية نماذج الانتشار في بيئات النصوص فقط، مع الحفاظ على كفاءة ومرونة مسار SDXL القياسي مع تقليل أنماط الفشل الشائعة مثل إغفال الكائنات وانعكاس العلاقات المكانية بشكل كبير. وتشير النتائج إلى أن تعديل الانتباه المتفرق والمستهدف هو مسار قابل للتطبيق لتعزيز التماسك العالمي في هياكل الانتشار التلافيفية.