ملخص تقني: تعزيز المشفر النصي لتوليد الصور من النصوص المخصصة

بيان المشكلة

أدت التطورات الأخيرة في نماذج الانتشار من نص إلى صورة (T2I) إلى تمكين تخليق صور عالية الدقة، ومع ذلك، غالبًا ما تفتقر المطالبات (prompts) القياسية إلى الخصوصية اللازمة لالتقاط مفاهيم فريدة أو أساليب فنية. وقد ظهرت تقنيات التخصيص، مثل DreamBooth وTextual Inversion، لمعالجة ذلك عبر تعلم مفاهيم محددة ($V^\star$) ضمن فضاء الرموز (token space). ومع ذلك، تعاني الطرق الحالية من عدم كفاءة كبيرة في الحوسبة والتخزين؛ إذ تتطلب طرق مثل DreamBooth ضبطًا دقيقًا لأجزاء واسعة من شبكة U-Net، مما يؤدي إلى عبء تخزيني كبير لكل مفهوم. علاوة على ذلك، تعتمد العديد من الأساليب على صور مرجعية متعددة (عادةً 3-5 صور)، مما يحد من عمليتها في سيناريوهات "اللقطة الواحدة" (one-shot) حيث يمتلك المستخدم صورة مرجعية واحدة فقط. بالإضافة إلى ذلك، تعتمد معظم التعديلات التي تركز على المشفر حاليًا على التدريب المسبق المكثف على مجموعات بيانات واسعة النطاق.

المنهجية

يقترح المؤلفون TextBoost، وهو نهج تخصيص فعال يعتمد على لقطة واحدة، ينقل التركيز من الضبط الدقيق لوحدة توليد الصور (U-Net) إلى الضبط الدقيق الانتقائي لـ المشفر النصي (text encoder). وتعتمد المنهجية على ثلاثة مكونات أساسية:

1. الدافع: دور المشفر النصي

يكشف التحليل التجريبي أنه أثناء الضبط الدقيق لنماذج T2I، يخضع المشفر النصي لأكبر قدر من التغييرات في المعلمات مقارمة بطبقات U-Net. يشير هذا إلى أن تكييف المشفر النصي أمر محوري للتخصيص. ومع ذلك، فإن الضبط الدقيق الساذج للمشفر النصي يخل بمساحته الدلالية المتعلمة، وخاصة السببية ذاتية التراجع (auto-regressive causality) (حيث تعتمد مخرجات الرمز فقط على نفسه والرموز السابقة له).

2. التكيف المحافظ على السببية (CPA)

لتدريب المشفر النصي بدقة دون تشويه السلامة الدلالية للتسلسل الأصلي، قدم المؤلفون التكيف المحافظ على السببية (CPA).

• الآلية: يقوم CPA بإرفاق محولات (adapters) خفيفة الوزن بالتوازي مع طبقات خطية محددة داخل كتل Transformer في المشفر النصي.
• القناع السببي: يتم تطبيق قناع سببي ثنائي $m$ على مخرجات المحول. بالنسبة لرمز المفهوم الجديد $V^\star$ الموجود في الموقع $i^\star$، يضمن القناع أن المحول يؤثر فقط على الرموز في المواقع $i \ge i^\star$.
• الأثر: تظل مخرجات التضمين (embeddings) لجميع الرموز التي تسبق $V^\star$ مطابقة للمشفر الأصلي المدرب مسبقًا، مما يحافظ على الفهم السياقي الأصلي مع السماح للنموذج بتعلم المفهوم الجديد.
• التنفيذ: تُضاف المحولات خصيصًا إلى طبقة التغذية الأمامية الثانية ($fc2$) لكتل MLP داخل المشفر النصي، وليس لإسقاطات الانتباه الذاتي (self-attention projections)، وذلك بناءً على دراسات الاستبعاد (ablation studies).

3. التضمين النصي الموسع

لتعزيز التحكم الدقيق، يقترح المؤلفون توسيع مساحة التضمين النصي.

• الاشتراط على مستوى الطبقة: بدلاً من مشاركة مصفوفة تضمين نصي واحدة $H$ عبر جميع طبقات الانتباه المتقاطع لشبكة U-Net، يقوم TextBoost بتوليد مجموعة من تضمينات الانتباه المتقاطع لكل طبقة $\{H^{(\ell)}\}$.
• العملية: يتم تنقيح كل تضمين بواسطة محول خفيف الوزن خاص بطبقة الانتباه المتقاطع $\ell$، باستخدام نفس القناع السببي.
• الكفاءة: على عكس طرق مساحة الرموز (مثل XTI وNeTI) التي تتطلب عمليات تمرير أمامي متعددة عبر المشفر النصي، يقوم هذا النهج بعملية تمرير أمامي واحدة تليها تحويلات المحول الخفيفة، مما يقلل بشكل كبير من العبء الحسابي.

يُقدم الأسلوب في نسختين: TextBoost (باستخدام CPA) و TextBoost++ (الذي يدمج كلاً من CPA والتضمين النصي الموسع).

المساهمات الرئيسية

1. ضبط المشفر النصي: تقدم الورقة نهجًا مبتكرًا مخصصًا لضبط المشفرات النصية لتخصيص T2I، وهو اتجاه لم ينل الاهتمام الكافي مقارنة بتعديل U-Net.
2. التكيف المحافظ على السببية (CPA): استراتيجية تحافظ على سلامة الخصائص الدلالية الأصلية للمشفر النصي والعلاقات السببية أثناء تكييف رموز المفاهيم الجديدة.
3. التضمين النصي الموسع: آلية لتوسيع مساحة التضمين باستخدام محولات خفيفة الوزن، مما يسهل التكيف الدقيق للمفهوم من خلال تعزيز تكامل الانتباه المتقاطع.
4. الكفاءة: يقلل الأسلوب بشكل كبير من عدد المعلمات القابلة للتدريب ومتطلبات التخزين، مما يجعله مناسبًا لبيئات التخصيص محدودة الموارد.

النتائج التجريبية

قيم المؤلفون TextBoost على نموذج Stable Diffusion v2.1-base وSDXL، وقارنوه بطرق مثل DreamBooth وTextual Inversion وLoRA وCustom Diffusion وDisenBooth.

• الأداء الكمي:
  • الدقة (Fidelity): يحقق TextBoost درجات VQA عالية (0.680) ودرجات تشابه DINOv2 (0.560)، وهي نتائج تضاهي أو تتجاوز طرق الضبط الدقيق الكامل مثل DreamBooth (865 مليون معلمة) بينما يستخدم 0.12 مليون معلمة فقط.
  • التنوع (Diversity): يظهر الأسلوب تنوعًا فائقًا في التوليد (0.307) مقارنة بـ DreamBooth (0.164) وCustom Diffusion (0.136)، مما يشير إلى ضعف حدة الإفراط في التخصيص (overfitting).
  • المقارنة مع الأساليب القائمة على المشفر: يتفوق TextBoost++ أو يضاهي الأساليب القائمة على المشفر مثل ELITE وBLIP-Diffusion، والتي تتطلب عادةً تدريبًا مسبقًا مكثفًا، دون الحاجة إلى مثل هذا التدريب المسبق.
• النتائج النوعية:
  • يتبع TextBoost بدقة المطالبات المعقدة التي تتضمن سمات متعددة، وخلفيات، وأساليب (مثل "كلب V* يركب دراجة هوائية في الشارع")، بينما غالبًا ما تغفل النماذج المرجعية عناصر أو تعاني من تسرب السمات (attribute leakage).
  • في تخصيص الأسلوب، يلتقط TextBoost الأساليب المرجعية بفعالية مع الحفاظ على دقة المحتوى، متفوقًا على DisenBooth.
• دراسة المستخدم: أظهرت دراسة مع 50 مشاركًا في Amazon Mechanical Turk أن TextBoost حقق معدل فوز أعلى من الأساليب الحالية عندما اختار المستخدمون الصور بناءً على دقة الموضوع والمواءمة بين النص والصورة.
• القابلية للتوسع: تم تطبيق الأسلوب بنجاح على SDXL (الذي يستخدم مشفرين نصيين) عن طريق الضبط الدقيق لمشفر OpenCLIP ViT-bigG فقط، مما أظهر القابلية للتوسع مع النماذج الأكبر بأقل قدر من تحديثات المعلمات.

الأهمية والادعاءات

تدعي الورقة أن TextBoost يوفر حلاً فعالاً، وقابلاً للتوسع، وعملياً لتخصيص الصور من النصوص عالي الجودة. ومن خلال إثبات أن المشفر النصي هو موقع فعال للغاية للتخصيص، يرى المؤلفون أن التخصيص عالي الجودة بلقطة واحدة لا يتطلب بالضرورة تعديلات واسعة على هيكل الانتشار (diffusion backbone). بدلاً من ذلك، يمكن تحقيق مكاسب كبيرة من خلال التكيف الانتقائي والهيكلي لمساحة التمثيل من جانب النص.

يضع المؤلفون هذا العمل كخطوة نحو الأساليب المتمحورة حول النص لتخصيص T2I الفعال، وهو أمر مفيد بشكل خاص في البيئات محدودة الموارد (مثل الأجهزة الطرفية، أو التخزين السحابي ذو السعة المحدودة) حيث تكون كفاءة التخزين والتدريب أمراً بالغ الأهمية. ويقترحون أن فهم كيفية ترميز التخصيص وانتشاره عبر مسار الشرط (conditioning pathway) يفتح فرصًا جديدة لتصميم طرق تخصيص خفيفة الوزن وقابلة للنشر.