ملخص تقني: إسقاط الفضاء الجزئي التكيفي للتخصيص التوليدي

بيان المشكلة

يهدف التخصيص التوليدي إلى تكييف نماذج الانتشار (Diffusion Models) من نص إلى صورة (T2I) سابقة التدريب لتمثيل مفاهيم محددة يحددها المستخدم (مثل شخص أو كائن معين) باستخدام عدد قليل من الصور المرجعية، مع الحفاظ على القدرة على وضع هذه المفاهيم في سياقات جديدة عبر مطالبات لغوية طبيعية. ومع ذلك، تعاني هذه الأساليب بشكل متكرر من الانهيار الدلالي (Semantic Collapsing - SCP). في نمط الفشل هذا، يتفوق رمز المفهوم المخصص (Personalized Concept Token) على بقية مطالبات النص، مما يتسبب في تجاهل النموذج للتفاصيل السياقية الحرجة، والعلاقات، والكيانات الأخرى.

يحدد المؤلفون أن الانهيار الدلالي ليس مجرد ضوضاء عشوائية أو فرط ضبط بسيط (Overfitting). بدلاً من ذلك، يظهر كـ انزياح دلالي (Semantic Drift) حيث يهيمن رمز المفهوم المخصص على تمثيل المطالبة، مما يؤدي فعلياً إلى كبح تأثير رموز السياق المحيطة. وتستمر هذه المشكلة حتى عندما يظل تمثيل رمز الفئة الأساسي (Base Class Token) دون تغيير، وهي لا تؤثر فقط على الفئة المستهدفة بل تمتد لتشمل الفئات ذات الصلة أيضاً (على سبيل المثال، يؤثر رمز "رجل" مخصص على توليد "طفل"). تحاول أساليب التعديل الحالية في وقت الاختبار (Test-time adjustment) التخفيف من حدة ذلك عبر تصحيحات عالمية (مثل الاستيفاء الخطي الكروي)، لكنها غالباً ما تعتمد على تمثيلات فئات قد تكون منحازة بعد عملية التخصيص، وتطبق تعديلات فضفاضة تفشل في معالادة الانزياح المتبقي الهيكلي والمتسق سياقياً.

المنهجية: AdaptSP

تقترح الورقة البحثية AdaptSP (تعديل التضمين في وقت الاختبار باستخدام إسقاط الفضاء الجزئي التكيفي)، وهي طريقة خالية من التدريب مصممة لفصل هوية الموضوع عن السياق في وقت الاستدلال. تعتمد المنهجية على رؤيتين تحليليتين رئيسيتين:

1. بواقي الهوية المستقرة سياقياً (Context-Stable Identity Residuals): الفرق بين تضمين المطالبة المخصصة وتضمين المطالبة المقابل لها القائم على الفئة (الباقي/الرواسب) هو ثابت للغاية عبر السياقات المتنوعة. يقوم هذا "الباقي" بشكل أساسي بترميز الهوية الثابتة للسياق للموضوع، بينما يقوم التضمين القائم على الفئة بترميز السياق.
2. بنية الفضاء الجزئي منخفض الأبعاد (Low-Dimensional Subspace Structure): هذه البواقي الخاصة بالهوية ليست موزعة عشوائياً عبر فضاء التضمين عالي الأبعاد، بل تتركز ضمن فضاء جزئي محدد ومنخفض الأبعاد. يكشف تحليل المكونات الرئيسية (PCA) أن عدداً صغيراً من المكونات الرئيسية يستحوذ على معظم التباين في هذه البواقي.

خوارزمية AdaptSP:
بدلاً من تطبيق تصحيح عالمي على التضمين بأكمله، تقوم AdaptSP بإجراء تعديل مستهدف:

• المرتكز المستقر (Stable Anchor): تستخدم مشفر النصوص الأصلي المدرب مسبقاً ($\tau_{\phi_0}$) لحساب تضمين المطالبة القائم على الفئة. وهذا يتجنب الانحياز الناتج عن المشفر الذي تمت صقله (Fine-tuned encoder)، والذي قد يكون قد شوه دلالات الفئة الأساسية.
• استخراج البواقي (Residual Extraction): تقوم بحساب التضمين المتبقي (الفرق) بين المطالبة المخصصة والمطالبة القائمة على الفئة.
• إسقاط الفضاء الجزئي التكيفي (Adaptive Subspace Projection): تقوم بإسقاط هذا الباقي على فضاء جزئي منخفض الأبعاد تم إنشاؤه عبر تحليل المكونات الرئيسية (PCA) من مجموعة من المطالبات السياقية المتنوعة. وهذا يعزل "الانزياح الهيكلي" (الهوية) عن الضوضاء.
• إعادة البناء (Reconstruction): التضمين النهائي المستخدم للتوليد هو مجموع المرتكز المستقر القائم على الفئة والباقي المسقط.

يسمح هذا النهج للنموذج بحقن هوية الموضوع مع الحفاظ بدقة على البنية الدلالية لسياق المطالبة، مما يمنع هيمنة رمز الهوية على الكيانات أو السمات غير المرتبطة.

المساهمات الرئيسية

1. تحليل التضمينات المتبقية: يوضح المؤلفون أن التضمينات المتبقية (الفرق بين المطالبات المخصصة والفئة) ثابتة للغاية عبر المطالبات المتنوعة، مما يشير إلى أنها ترمز لهوية موضوع ثابتة سياقياً.
2. توصيف الفضاء الجزئي: يظهرون أن الانزياح الناجم عن التخصيص يتركز في فضاء جزئي منخفض الأبعاد، مما يحفز استخدام التصحيح القائم على الإسقاط بدلاً من التعديل العالمي.
3. إطار عمل AdaptSP: يقدمون طريقة خالية من التدريب تُستخدم في وقت الاختبار لفصل الهوية عن السياق عبر التكييف مع مطالبة فئة مستقرة وحقن الباقي المسقط فقط. هذا يخفف من هيمنة المطالبة (Prompt Domination) في حالات الانهيار الدلالي مع الحفاظ على دقة الموضوع.
4. التحقق التجريبي: تظهر التجارب المكثفة أن AdaptSP يحسن باستمرار دقة المطالبة (المواءمة بين النص والصورة) عبر أساليب التخصيض القياسية (DreamBooth, Custom Diffusion, Class Diffusion) دون المساس بهوية الموضوع.

النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات CelebA (وجوه بشرية) و CustomConcept101 (CC101) (أجسام) باستخدام نماذج Stable Diffusion v1.5 و FLUX.1-dev.

• دقة المطالبة (Prompt Fidelity): حسنت AdaptSP بشكل كبير درجات CLIP-T (المواءمة بين النص والصورة)، خاصة في المطالبات المعقدة متعددة الكيانات حيث تفشل الأساليب المرجعية غالباً في اتباع المطالبة كاملة. على سبيل المثال، في مجموعة بيانات CeleB A مع DreamBooth، رفعت AdaptSP (PR) درجة CLIP-Tf من 24.56 إلى 25.44، وفي CC101، حسنت الدرجة من 14.49 إلى 17.31.
• دقة الموضوع (Subject Fidelity): بينما أظهرت بعض مقاييس (صورة-صورة) مثل (CLIP-I, DINO) انخفاضات طفيفة في إعدادات معينة (يُعزى ذلك إلى تقليل الطريقة لفرط التخصيص في الخلفيات والأنسجة الخاصة بالتدريب)، أكدت التقييمات البشرية أن هوية الموضوع تم الحفاظ عليها جيداً.
• دراسات الاستئصال (Ablation Studies):
  • أبعاد الفضاء الجزئي: وفر استخدام عدد صغير من المكونات الرئيسية (2–5) أفضل توازن بين الحفاظ على الهوية وتصفية الانزياح الزائد.
  • اختيار المشفر: كان استخدام المشفر الأصلي المدرب مسبقاً ($\tau_{\phi_0}$) كمرتكز أمراً حاسماً. حيث أدى استخدام المشفر الذي تم صقله إلى إدخال انحياز، مما أدى إلى انخفاض دقة المطالبة.

الأهمية والادعاءات

تدعي الورقة أن الانهيار الدلالي في التخصيص التوليدي مدفوع بانزياح هيكلي منخفض الأبعاد وليس ضوضاء عشوائية. ومن خلال تحديد هذا الانزياح وإسقاطه على فضاء جزئي محدد، توفر AdaptSP حلاً خفيف الوزن وخالياً من التدريب يحسن الدقة التركيبية في المشاهد المعقدة.

يضع المؤلفون AdaptSP كآلية قابلة للتعميم يمكن دمجها في مسارات التخصيص الحالية. ويؤكدون أنه بينما تركز الطريقة على تعديل تضمينات المطالبة، فإن مفهوم نمذجة الانزياح المتبقي الهيكلي يمكن أن يمتد إلى إعدادات التكيف القائمة على التضمين الأخرى، مثل تحرير المفاهيم (Concept Editing) والتوليد القابل للتحكم. يسلط العمل الضوء على أهمية استخدام مرتكزات دلالية مستقرة ومدربة مسبقاً لمنع تشويه السياق أثناء عملية التخصيص.