ConceptPrism: Concept Disentanglement in Personalized Diffusion Models via Residual Token Optimization

إليك ملخص تقني مفصل لورقة البحث بعنوان "ConceptPrism: فك تشابك المفاهيم في نماذج الانتشار المخصصة عبر تحسين الرموز المتبقية (Residual Token Optimization)."

1. بيان المشكلة

يهدف التوليد المخصص من النص إلى الصورة (T2I) إلى إنشاء مفاهيم خاصة بالمستخدم (مثل "دميتي الخاصة"، "أسلوبي الخاص") من خلال عدد قليل من الصور المرجعية. التحدي الجوهي هو فك تشابك المفاهض (Concept Disentanglement): أي فصل المفهوم المستهدف (الميزات المشتركة عبر الصور) عن المعلومات المتبقية غير ذات الصلة (الخلفية، الإضاءة، وضعيات معينة).

• المقايضة: بدون فك تشابك فعال، تواجه النماذج صراعاً بين دقة المفهوم (Concept Fidelity) (مدى مطابقة الصورة المولدة للمرجع) والمحاذاة النصية (Text Alignment) (مدى اتباعها لطلب المستخدم).
  • إذا استوعب النموذج الكثير من المعلومات لضمان دقة عالية، فإنه غالباً ما يحفظ سمات غير مرغوب فيها (مثل خلفية معينة)، مما يؤدي إلى تعارض الصورة المولدة مع النصوص الجديدة.
  • إذا ركز النموذج فقط على النص، فإنه يفشل في التقاط التفاصيل البصرية الفريدة لمفهوم المستخدم.
• قصور الطرق الحالية: تعتمد النهج الحالية بشكل كبير على التوجيه اليدوي (مثل الإشارات اللغوية، أو أقنعة التجزئة، أو مجموعات الصور المساعدة) لتحديد ما يجب تعلمه. هذه الطرق غالباً ما تكون غير مكتملة (تفشل في التقاط التفاصيل المعقدة)، مرهقة، وتفتقر إلى القابلية للتوسع عبر بنيات النماذج المختلفة.

2. المنهجية: ConceptPrism

يقدم ConceptPrism إطار عمل مبتكر يستخرج الميزات المشتركة حصرياً من خلال المقارنة بين الصور، مما يلغي الحاجة إلى توجيه يدوي خارجي. تعمل الطريقة على مرحلتين رئيسيتين:

أ. تعريف الرموز (Token Definition)

يتم تفكيك المعلومات البصرية في مجموعة من $N$ من الصور المرجعية $\{x^{(i)}\}$ إلى:

1. المفهوم المستهدف ($C_{target}$): الميزات البصرية المشتركة عبر جميع الصور.
2. المتبقيات لكل صورة ($C^{(i)}_{residual}$): معلومات فريدة خاصة بكل صورة (الخلفية، الوضعية، الإضاءة).

يخصص النموذج رموزاً نصية متميزة لتمثيل هذه العناصر:

• رمز الهدف ($t_{target}$): رمز واحد لالتقاط $C_{target}$.
• رموز المتبقيات ($\{t^{(i)}_{residual}\}$): مجموعة من الرموز، رمز لكل صورة، لالتقاط $C^{(i)}_{residual}$.

ب. تحسين الخسارة المزدوجة (مرحلة تحسين الرموز)

يتم تحسين الرموز بشكل مشترك باستخدام هدفين متكاملين:

1. خسارة إعادة البناء ($L_{rec}$):

   • تضمن أن الجمع بين رمز الهدف ورمز المتبقي المحدد يمكنه إعادة بناء الصورة المرجعية المقابلة بأمانة.
   • الصيغة: تقلل خطأ التنبؤ بالضوضاء عند التكييف مع $c^{(i)} = \text{"}t_{target} \text{ مع } t^{(i)}_{residual}\text{"}$.

2. خسارة الاستبعاد ($L_{excl}$):

   • الابتكار الجوهري: تجبر هذه الخسارة رموز المتبقيات على أن تكون غير معلومة فيما يتعلق بالمفهوم المستهدف المشترك.
   • تقوم بتقليل تباعد KL بين توزيع التوليد المشروط برمز متبقٍ (باستخدام صورة مختلفة $x^{(j)}$ كوكيل للمفهوم المستهدف) والتوزيع غير المشروط (الشرط الفارغ).
   • الآلية: من خلال إجبار رمز المتبقي على التخلص من الميزات المشتركة عند إعادة بناء صور أخرى، يتم إنشاء "فراغ معلوماتي". هذا يجبر رمز الهدف على امتصاص المفهوم المشترك لتلبية هدف إعادة البناء.
   • الصيغة: تقلل المسافة بين تنبؤات الضوضاء المشروطة بـ $t^{(i)}_{residual}$ مقابل الحالة الفارغة $\emptyset$ للصور $j \neq i$.

استراتيجية التهيئة (Initialization Strategy):

• رموز المتبقيات: يتم تهيئتها باستخدام تضمينات (embeddings) لجمل وصفية (8-32 كلمة) تولدها نماذج الرؤية واللغة (VLM) لوصف المشهد بأكمله. يضمن ذلك بدئها بسياق صوري عام.
• رمز الهدف: يتم تهيئته عشوائياً. وتعمل عملية التحسين بشكل طبيعي على دفعه لالتقاط القواسم المشتركة.

ج. الضبط الدقيق لفك تشابك المفاهيم

بمجرد تحسين الرموز:

• يتم ضبط النموذج باستخدام LoRA (التكيف منخفض الرتبة) على طبقات الانتباه المتقاطع (cross-attention).
• تُستخدم الرموز المتعلمة ($t_{target}$ و $t^{(i)}_{residual}$) كشروط نصية.
• يسمح هذا للنموذج بالتركيز حصرياً على المفهوم المستهدف أثناء التوليد، مما يمنع تشابك التفاصيل المتبقية.

3. المساهمات الرئيسية

1. نموذج جديد لفك التشابك: يعد ConceptPrism أول طريقة تحدد تلقائياً المفاهيم المشتركة عبر المقارنة بين الصور دون الاعتماد على التوجيه اليدوي، أو الأقنعة، أو المشفرات المساعدة.
2. خسارة الاستبعاد: حل تقني يعزل الميزات المستهدفة عن طريق تقييد محتوى رموز المتبقيات، مما يخلق فراغاً معلوماتياً يجبر رمز الهدف على تعلم المفهوم المشترك.
3. القابلية للتوسع: الطريقة خفيفة الوزن (تحسين الرموز + ضبط LoRA) وغير مرتبطة ببنية معينة، حيث تعمل بفعالية على كل من Stable Diffusion و Diffusion Transformers (DiT).

4. النتائج التجريبية

تم تقييم الطريقة على DreamBench (30 موضوعاً) ومجموعات بيانات أخرى، مقارنة بالنماذج المرجعية مثل DreamBooth و Custom Diffusion و DisenBooth و ELITE.

• الأداء الكمي:
  • المحاذاة النصية (CLIP-T): حققت 0.357، متفوقة على DreamBooth (0.313) ومساوية لـ Custom Diffusion.
  • دقة المفهوم (DINO): حققت 0.210، وهي أعلى بكثير من جميع النماذج المرجعية (مثلاً: DreamBooth: 0.182، DisenBooth: 0.170).
  • المقايضة: يحقق ConceptPrism أفضل توازن، حيث يحسن الدقة بشكل كبير دون التضحية بالمحاذاة النصية، بينما تميل الطرق الأخرى عادةً إلى إضعاف أحد المقياسين لتحسين الآخر.
• التحليل النوعي:
  • الأجسام المنفصلة: يولد بنجاح الجسم المستهدف في مشاهد متنوعة دون نسخ عناصر الخلفية (وهو فشل شائع في DreamBooth).
  • الأنماط المجردة: يلتقط الأنماط البصرية المعقدة (مثل "الغروب"، "الدوامات") التي تفشل الإشارات اللغوية وحدها في تمثيلها، متفوقاً على الطرق القائمة على المشفرات.
• الكفاءة:
  • وقت التدريب مشابه لـ DreamBooth (477 ثانية مقابل ~434 ثانية) وأسرع بكثير من DisenBooth (928 ثانية).
  • يتطلب خطوات ضبط دقيق أقل (120 خطوة) للوصول إلى الجودة المثلى مقارنة بـ DreamBooth (400 خطوة).
• المتانة:
  • طول الرمز (Token Length): الأداء مستقر حتى مع رمز متبقٍ واحد ($n=1$).
  • التهيئة: الطريقة متينة تجاه طول الوصف الأولي لرموز المتبقيات.
  • تنوع المرجع: يمكن التخفيف من القواسم المشتركة غير المقصودة (مثل لون خلفية مشترك) عن طريق إضافة صورة واحدة مضادة.

5. الأهمية

يعالج ConceptPrism عقبة أساسية في التوليد المخصص: الاعتماد على الإشراف اليدوي لفصل المفاهيم. من خلال أتمتة هذه العملية عبر تحسين الرموز المتبقية وخسارة الاستبعاد، فإنه يتيح:

• دقة أعلى: التقاط التفاصيل البصرية المعقدة التي قد تغفلها الملصقات اليدوية.
• تعميم أفضل: توليد المفهوم في سياقات جديدة دون وراثة سمات غير مرغوب فيها.
• قابلية تطبيق أوسع: حل قابل للتوسع يعمل عبر بنيات نماذج متنوعة (SD, DiT) وأنواع مفاهيم مختلفة (أجسام، أنماط، وضعيات) دون الحاجة إلى أدوات خارجية معقدة أو مشفرات.

يضع هذا العمل معياراً جديداً لفك تشابك المفاهيم، مثبتاً أن المفاهيم البصرية المشتركة يمكن عزلها بدقة من خلال ديناميكيات النموذج الداخلية بدلاً من التوجيه الخارجي.