DOS: Directional Object Separation in Text Embeddings for Multi-Object Image Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DOS: الفصل الاتجاهي للأجسام في تضمينات النصوص لتوليد صور متعددة الأجسام."

1. بيان المشكلة

حققت نماذج توليد الصور من النص (T2I) الحديثة (مثل Stable Diffusion، وSDXL، وSD3.5) دقة عالية في توليد الأجسام المفردة، لكنها تعاني بشكل كبير مع المطالبات (prompts) متعددة الأجسام. وتتمثل أنماط الفشل الأساسية في:

• إهمال الأجسام (Object Neglect): غياب جسم أو أكثر من المطالبة في الصورة المولدة.
• خلط الأجسام (Object Mixing): اندماج الأجسام المتميزة في كيان هجين واحد (على سبيل المثال، "قط-كلب" بدلاً من قط وكلب).

حدد المؤلفون أن هذه الإخفاقات تتفاقم بسبب علاقات محددة بين الأجسام، حيث صنفوها إلى أربعة سيناريوهات إشكالية:

1. الأشكال المتشابهة: أجسام ذات ظلال هندسية متشابهة (مثل عملة معدنية وساعة حائط).
2. الأنسجة المتشابهة: أجسام تشترك في ملامح السطح (مثل معطف من الفراء وبقعة من الطحالب).
3. تحيزات الخلفية غير المتوافقة: أجسام تنتمي طبيعيًا إلى بيئات متضاربة (مثل جمل وبطريق)، مما يجعل النموذج يعاني في تكوين المشهد.
4. تعدد الأجسام: الصعوبة المركبة لتوليد ثلاثة أجسام متميزة أو أكثر في وقت واحد.

تعتمد الحلول الحالية غالبًا على التعديل الكامن (latent modification) (تحديث مساحة الـ latent للصورة بشكل تكراري أثناء الاستنتاج)، وهو أمر مكلف حاسوبيًا ويمكن أن يؤدي إلى ظهور عيوب بصرية. أما طرق تضمين النصوص الأخرى فغالبًا ما تركز فقط على فصل الرموز الدلالية أو ربط الصفات، وتفشل في معالجة الخلط الشامل للأجسام.

2. المنهجية: الفصل الاتجاهي للأجسام (DOS)

تقوم طريقة DOS المقترحة بتعديل تضمينات نص CLIP قبل تغذيتها في نموذج التوليد (T2I). وهي لا تغير عملية توليد الصورة (لا تستخدم تحديثات تكرارية للتدرج)، مما يجعلها عالية الكفاءة.

الملاحظات الجوهرية

تستند الطريقة إلى خاصيتين لتضمينات CLIP:

1. خلط القناع السببي (Causal Masking Mix-ups): في آليات القناع السببي، تتسرب المعلومات من الرموز (tokens) المبكرة إلى تضمينات الرموز اللاحقة، مما يسبب ارتباكًا في المعلومات.
2. الترميز الاتجاهي (Directional Encoding): الفرق بين اثنين من تضمينات نص CLIP يرمز للمعلومات الاتجاهية (على سبيل المثال، $Embedding(A) - Embedding(B)$ يمثل متجهًا يشير من المفهوم B إلى المفهوم A).

خطوات الخوارزمية

تقوم DOS ببناء متجه فصل (Separation Vector) لكل زوج من الأجسام في المطالبة، وتضيف هذه المتجهات إلى التضمينات الأصلية.

1. متجهات الفصل الزوجية ($s^{(n,m)}$):

   • لتضمينات الرموز الدلالية ($c_{obj}$): لتجنب خلط المعلومات، يستخدم المؤلفون مطالبات "نقية" (مثل "a {obj_n}") لحساب الفرق:
     $$s^{(n,m}_{obj} = c^{pure,n}_{obj} - c^{pure,m}_{obj}$$
   • لتضمينات EOT والمتجمعة ($c_{EOT}, c_{pool}$): للاستفادة من تأثير الخلط، يستخدمون مطالبات تباينية:
     • $P_{sep}$: "a {obj_n} separated from a {obj_m}" (أ- {obj_n} منفصل عن أ- {obj_m})
     • $P_{mix}$: "a {obj_n} mixed with a {obj_m}" (أ- {obj_n} مختلط مع أ- {obj_m})
     • المتجه هو الفرق: $s^{(n,m)}_{EOT/pool} = c_{sep} - c_{mix}$

2. القوة التكيفية ($\alpha$):
   ليست كل أزواج الأجسام صعبة الفصل بنفس القدر. تحسب الطريقة وزنًا تكيفيًا بناءً على:

   • التشابه البصري: الارتباط بين سمات الشكل/النسيج.
   • عدم تشابه تحيز الخلفية: الارتباط بين سياقات الخلفية.
     تستخدم دالة "سيجمويد" (sigmoid) مُعدلة ومُدرجة لضبط قوة الفصل، حيث تطبق تصحيحات أقوى للأزواج الأكثر عرضة للخلط أو الإهمال.

3. تجميع المتجهات وحقنها:

   • لكل جسم $n$، يتم وزن ومتوسط متجهات الفصل من جميع الأجسام الأخرى $m$ لتشكيل متجه DOS ($v_{DOS}$).
   • الرموز الدلالية: $c'_{obj,n} = c_{obj,n} + v_{DOS,n}$
   • التضمينات العالمية (EOT/Pooled): يتم جمع متجهات DOS لجميع الأجسام وإضافتها إلى التضمينات العالمية للتعامل مع التأثير المركب لعدة أجسام.

3. المساهمات الرئيسية

• تحديد أنماط الفشل: تحليل منهجي ومعايرة لأربعة سيناريوهات محددة للعلاقات بين الأجسام التي تسبب فشل التوليد.
• تعديل التضمين بكفاءة: طريقة مبتكرة لحقن معلومات الفصل الاتجاهي في ثلاثة أنواع من تضمينات CLIP (الرموز الدلالية، EOT، والمتجمعة)، وليس فقط الرموز الدلالية.
• الآلية التكيفية: تقديم آلية قوة تكيفية تضبط قوة الفصل ديناميكيًا بناءً على التشابه البصري والسياقي، بدلاً من استخدام ثابت عددي ثابت.
• بدون تدريب وسريع: على عكس طرق تعديل الـ latent (مثل Attend-and-Excite)، لا تتطلب DOS أي تحسين تكراري أثناء الاستنتاج، مما ينتج عنه سرعات استنتاج تضاهي النموذج الأساسي.

4. النتائج التجريبية

تم تقييم الطريقة على SDXL و Stable Diffusion 3.5 (SD3.5) عبر أربعة اختبارات مرجعية.

• الأداء الكمي (معدل النجاح ومعدل الخلط):

  • SDXL: حققت DOS معدل نجاح (SR) قدره 64.00% في "الأشكال المتشابهة" (مقابل 48.00% للنموذج الأساسي) و 71.50% في "الأنسجة المتشابهة" (مقابل 58.00% للنموذج الأساسي).
  • معدل الخلط (MR): قللت DOS من خلط الأجسام بشكل كبير، حيث حققت MR بنسبة 3.50% في "الأشكال المتشابهة" (مقابل 6.50% للنموذج الأساسي).
  • المقارنة: تفوقت DOS على أحدث الطرق بما في ذلك TEBOpt (تحسين تضمين النص)، و Attend-and-Excite (A&E)، و CONFORM (تعديل الـ latent).
  • SD3.5: حسنت الطريقة أيضًا الأداء على بنية SD3.5 الأحدث، حيث رفعت SR من 75.50% إلى 81.00% في "الأشكال المتشابهة".

• دراسة التفضيل البشري:

  • في تقييمات MTurk، حصلت DOS على 26.24% إلى 43.04% من الأصوات أكثر من ثاني أفضل طريقة عبر جميع الاختبارات الأربعة.

• كفاءة الاستنتاج:

  • وقت استنتاج DOS: حوالي 13.87 ثانية (مماثل لنموذج SDXL الأساسي).
  • طرق الـ Latent (مثل A&E/CONFORM): حوالي 58.5 ثانية (أبطأ بـ 4-5 مرات بسبب التحديثات التكرارية).

5. الأهمية

• العملية: تقدم DOS حلاً "جاهزًا للتشغيل" (plug-and-play) يحسن توليد الأجسام المتعددة دون الحاجة لإعادة تدريب النموذج أو إبطاء الاستنتاج.
• الرؤية النظرية: توضح أن الخصائص الاتجاهية لتضمينات CLIP يمكن التلاعب بها صراحةً لحل النزاعات الدلالية في نماذج التوليد اللاحقة.
• التعميم: تتعمم الطة بشكل جيد عبر بنيات نماذج مختلفة (SDXL، SD3.5) وفئات أجسام متنوعة (حيوانات، إلكترونيات، مركبات)، مما يثبت قوتها بعيدًا عن تحيزات بيانات التدريب المحددة.
• التآزر: تظهر الورقة أن DOS يمكن دمجها مع طرق تعديل الـ latent (مثل A&E) للحصول على نتائج أفضل، مما يشير إلى نهج معياري لحل مهام التوليد المعقدة.

في الختام، تعالج DOS عقبة حرجة في توليد الصور من النص (T2I) — وهي خلط الأجسام وإهمالها — من خلال الاستفادة من الهندسة الاتجاهية لتضمينات النص، مما يوفر حلاً سريعًا وفعالًا وقابلاً للتوسع لتخليق صور عالية الجودة متعددة الأجسام.