🤖 machine learning

Directional Textual Inversion for Personalized Text-to-Image Generation

تقدم هذه الورقة البحثية "القلب النصي الاتجاهي" (Directional Textual Inversion - DTI)، وهي طريقة تعمل على تحسين توليد الصور من النصوص المخصص عبر تقييد تضمينات الرموز (token embeddings) المتعلمة بمقدار ثابت وتحسين اتجاهها فقط على كرة فائقة (hypersphere)، مما يمنع تضخم المعيار، ويعزز دقة النص، ويسمح بالاستكمال الدلالي السلس بين المفاهيم.

المؤلفون الأصليون: Kunhee Kim, NaHyeon Park, Kibeom Hong, Hyunjung Shim

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kunhee Kim, NaHyeon Park, Kibeom Hong, Hyunjung Shim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً سحرياً (ذكاءً اصطناعياً) موهوباً للغاية في رسم أي شيء تصفه، مثل "قطة تجلس على سجادة". ولكن، أنت تريد من هذا الفنان أن يرسم قطك الخاص، "مستر ويسكرز" (Mr. Whiskers)، في مواقف جديدة ومتنوعة.

هذه هي مشكلة التخصيص (Personalization). أنت تريد من الذكاء الاصطناعي أن يتعرف على هوية "مستر ويسكرز" دون الحاجة إلى إعادة تدريب الفنان بأكمله من الصفر (وهو أمر يستغرق وقتاً طويلاً ويكلف ثروة).

الطريقة القديمة: "قلب النص" (Textual Inversion - TI)

الطريقة الشائعة حالياً تسمى "قلب النص" (Textual Inversion). فكر في الأمر كأنك تعطي الفنان بطاقة اسم جديدة لـ "مستر ويسكرز". أنت تُعلم الذكاء الاصطناعي أن الكلمة <MrWhiskers> تعني قطك المحدد.

المشكلة:
في الطريقة القديمة، يصبح الذكاء الاصطناعي "مهووساً" نوعاً ما عند تعلم هذا الاسم الجديد. فهو يكتب بطاقة الاسم بصوت عالٍ وعدواني (من الناحية الرياضية، تصبح "حجم" أو مقدار (magnitude) الكلمة ضخماً جداً) لدرجة أنها تطغى على كل شيء آخر.

التشبيه: تخيل أنك تحاول الاستماع إلى سيمفونية (النص الكامل: "مستر ويسكرز يرتدي قبعة سانتا على جبل"). إذا بدأ "مستر ويسكرز" بالصراخ باسمه الخاص بأعلى صوته، فلن يستطيع الذكاء الاصطناعي سماع التعليمات الأخرى المتعلقة بالقبعة أو الجبل. سينتهي به الأمر برسم قط ضخم وصاخب ويتجاهل بقية المشهد.
النتيجة: ينجح الذكاء الاصطناعي في رسم القط بشكل صحيح، لكنه ينسى القبعة، أو الخلفية، أو الأسلوب الفني. كما أنه يواجه صعوبة في دمج "مستر ويسكرز" بسلاسة مع أفكار أخرى (مثل هجين بين قط وكلب).

الحل الجديد: "قلب النص الاتجاهي" (Directional Textual Inversion - DTI)

أدرك مؤلفو هذه الورقة البحثية أن الذكاء الاصطناعي لا يحتاج إلى أن تكون بطاقة الاسم عالية الصوت؛ بل يحتاج فقط إلى أن تشير في الاتجاه الصحيح.

فكر في ذاكرة الذكاء الاصطناعي كبوصلة عملاقة.

المقدار (الحجم): مدى علو صوت الكلمة.
الاتجاه (البوصلة): الاتجاه الذي تشير إليه الكلمة.

تجادل الورقة بأن المعنى يكمن في الاتجاه، وليس في الحجم. فكلمتا "تفاحة" و"خوخ" تشيران إلى اتجاهات متشابهة (فواكه)، حتى لو اختلف حجمهما.

كيف يعمل DTI:

خفض مستوى الصوت: الطريقة الجديدة، DTI، تجبر الذكاء الاصطناعي على إبقاء "حجم" بطاقة الاسم الجديدة (<MrWhiskers>) عند مستوى طبيعي وهادئ. إنها تمنع الذكاء الاصطناعي من الصراخ.
التركيز على البوصلة: هي تعلم الذكاء الاصطناعي فقط كيفية ضبط اتجاه بطاقة الاسم بحيث تشير بدقة نحو "مستر ويسكرز" على البوصلة.
"الجذب المغناطيسي": لضمان عدم ضياع الذكاء الاصطناعي، أضافوا "جذباً مغناطيسياً" لطيفاً (أولوية رياضية) يبقي بطاقة الاسم تشير بالقرب من عائلتها الأصلية (على سبيل المثال، بالقرب من كلمة "قط") حتى لا تبتعد نحو العبث.

لماذا يعد هذا أمراً بالغ الأهمية

1. مهارات استماع أفضل (دقة النص)
لأن الذكاء الاصطناعي لا يصرخ، يمكنه أخيراً سماع بقية تعليماتك.

الطريقة القديمة: "لوحة لـ <MrWhiskers> يرتدي قبعة سانتا." -> النتيجة: مجرد قط. لا توجد قبعة.
طريقة DTI: "لوحة لـ <MrWhiskers> يرتدي قبعة سانتا." -> النتيجة: قط مثالي يرتدي قبعة سانتا، واقفاً على جبل.

2. الدمج السلس (الاستكمال/Interpolation)
هذا هو الجزء الأكثر روعة. نظرًا لأن الذكاء الاصطناعي يفكر الآن من حيث الاتجاهات على دائرة سلسة (كرة فائقة - hypersphere)، يمكنك دمج فكرة في أخرى بسلاسة.

الطريقة القديمة: إذا حاولت دمج "كلب" و"إبريق شاي"، فسيصاب الذكاء الاصطناعي بالارتباك ويصنع فوضى.
طريقة DTI: يمكنك تمرير شريط تمرير من "كلب" إلى "إبريق شاي"، وسينتج الذكاء الاصطناعي انتقالاً جميلاً وسلساً لكلب يتحول ببطء إلى إبريق شاي، أو هجين "كلب-إبريق شاي". إنه يشبه مزج الألوان على لوحة الألوان بدلاً من تحطيم جسمين معاً.

الملخص

تعالج هذه الورقة البحثية خللاً حيث كان تخصيص الذكاء الاصطناعي "صاخباً" للغاية ويتجاهل السياق. من خلال تعليم الذكاء الاصطناعي كيف يهمس بالاسم الجديد بدلاً من الصراخ به، ومن خلال التركيز فقط على أين يشير الاسم بدلاً من مدى علو صوته، يصبح الذكاء الاصطناعي أفضل بكثير في اتباع التعليمات المعقدة ومزج الأفكار الإبداعية.

باختصار: لقد علموا الذكاء الاصطناعي كيف يستمع بشكل أفضل ويمزج الأفكار بسلاسة، مما يجعله فناناً أكثر طاعة وإبداعاً.

إليك ملخص تقني مفصل لورقة البحث "Directional Textual Inversion for Personalized Text-to-Image Generation" (ICLR 2026).

1. بيان المشكلة

القلب النصي (Textual Inversion - TI) هو طريقة شائعة لتخصيص نماذج تحويل النص إلى صورة (T2I) عبر تعلم تضمين رمز (token embedding) فريد لمفهوم محدد (مثل كلب معين أو أسلوب فني معين) دون الحاجة لضبط النموذج بأكمده. ومع ذلك، يعاني الـ TI من قصورين حرجين:

ضعف الدقة النصية (Poor Text Fidelity): غالبًا ما تفشل الصور المولدة في اتباع المطالبات (prompts) المعقدة، حيث تغفل عن التفاصيل مثل الخلفية، أو الأسلوب، أو الكائنات الثانوية.
الانجراف الدلالي (Semantic Drift): غالبًا ما تبتعد التضمينات المتعلمة عن المفاهيم ذات الصلة دلاليًا في فضاء المفردات.

حدد المؤلفون السبب الجذري لهذه الإخفاقات في تضخم معيار التضمين (embedding norm inflation). فخلال عملية تحسين TI القياسية، ينمو مقدار (معيار/norm) التضمين المتعلم إلى مستويات خارج نطاق التوزيع (OOD) (غالبًا $>20$ مقارنة بمتوسط التضمين في المفردات مسبقة التدريب الذي يبلغ $\approx0.4$ ). هذا التضخم يعطل بنية المحول قبل التقييس (pre-norm Transformer) (المستخدمة في نماذج مثل CLIP ونماذج الانتشار الحديثة) بطريقتين:

توهين الموضع (Positional Attenuation): تتسبب المعايير الكبيرة في جعل طبقة (LayerNorm/RMSNorm) تقمع تضمينات الموضع الجمعية، مما يؤدي فعليًا إلى "نسيان" موقع الرمز في التسلسل وفقدان التفاصيل السياقية.
الركود المتبقي (Residual Stagnation): في كتل المتبقي (residual blocks)، تجعل المتجهات المدخلة الكبيرة التحديث النسبي من الطبقات اللاحقة ضئيلاً، مما يؤدي إلى تجميد اتجاه الحالة الخفية ومنع النموذج من صقل المعنى الدلالي.

2. المنهجية: القلب النصي الاتجاهي (Directional Textual Inversion - DTI)

يقترح المؤلفون القلب النصي الاتجاهي (DTI)، وهو إطار عمل يقوم بفصل التضمين إلى مقدار واتجاه، مع تحسين الأخير فقط وتثبيت الأول.

المبادئ الأساسية

البارامترية الكروية الفائقة (Hyperspherical Parameterization): يتم تفكيك التضمين $e$ كـ $e = m^* v$ ، حيث $m^*$ هو مقدار ثابت و $v$ هو متجه وحدة على الكرة الفائقة ( $v \in S^{d-1}$ ).
مقدار داخل التوزيع (In-Distribution Magnitude): يتم تثبيت المقدار $m^*$ عند متوسط معيار المفردات مسبقة التدريب (المقياس داخل التوزيع) لمنع مشكلات الـ OOD المذكورة أعلاه.
التحسين الموجه للاتجاه فقط (Direction-Only Optimization): تركز عملية التحسين حصريًا على إيجاد الاتجاه الأمثل $v$ على الوحدة الكروية.

خوارزمية التحسين

بما أن فضاء البارامترات عبارة عن متشعب (manifold) (الكرة الفائقة)، فإن المحسنات الإقليدية القياسية (مثل AdamW) غير مناسبة. يستخدم DTI النزول الاشتقاقي العشوائي ريماني (Riemannian Stochastic Gradient Descent - RSGD):

الإسقاط المماسي (Tangent Projection): يتم إسقاط التدرج الإقليدي على الفضاء المماسي للكرة.
الارتداد (Retraction): يتم تعيين التحديث مرة أخرى إلى المتشعب باستخدام عملية ارتداد (normalization).
تدرج المقياس (Gradient Scaling): لضمان الاستقرار، يتم تغيير حجم التدرجات بمعيارها قبل خطوة التحديث.

صيغة الحد الأقصى للاستدلال البعدي (Maximum A Posteriori - MAP)

لضمان بقاء الاتجاه المتعلم متماسكًا دلاليًا، تم صياغة التحسين كمسألة تقدير MAP:
$v^* = \arg\max_v [\log p(D|v) + \log p(v)]$

حد البيانات ( $L_{data}$ ): فقدان الانتشار القياسي (MSE بين الضجيج المتوقع والحقيقي).
الحد القبلي ( $L_{prior}$ ): يُستخدم توزيع فون ميسيس-فيشر (von Mises-Fisher - vMF) كقبلي اتجاهي. يعمل هذا كمنظم يسحب التضمين المتعلم نحو اتجاه رمز الفئة المرتبط (على سبيل المثال، رمز "الكلب" عند تعلم كلب معين).
- تدرج القبلي vMF هو متجه ثابت ( $-\kappa\mu$ )، مما يجعله فعالاً حوسبيًا لدمجه.

3. المساهمات الرئيسية

الرؤية النظرية: تقدم الورقة تحليلًا نظريًا صارمًا (التمهيد 1 و2، القضية 1) يثبت أن معايير التضمين الكبيرة في محولات pre-norm تضعف معلومات الموضع وتسبب ركود التحديثات المتبقية، مما يربط مباشرة بين تضخم المعيار وضعف الدقة النصية.
إطار عمل مبتكر (DTI): يقدم طريقة تحسن التضمينات حصريًا على الكرة الفائقة ذات الوحدة مع مقدار ثابت داخل التوزيع، مما يحل عدم الاستقرار الهندسي لـ TI القياسي.
القبلي الاتجاهي (Directional Prior): يدمج قبلي vMF في إطار عمل TI لفرض التماسك الدلالي، مما يمنع الرمز المتعلم من الانجراف إلى مناطق غير ذات صلة في فضاء التضمين.
الاستيفاء السلس (Smooth Interpolation): من خلال العمل على كرة وحدة، يتيح DTI إجراء الاستيفاء الخطي الكروي (SLERP) بين المفاهيم المتعلمة، مما يسمح بانتقالات سلسة ومتماسكة دلاليًا (مثل مزج كلب وقط) والتي يستحيل تحقيقها باستخدام الاستيفاء الخطي القياسي في TI.

4. النتائج التجريبية

قيم المؤلفون DTI على Stable Diffusion XL (SDXL) و SANA 1.5 عبر مهام تخصيص الموضوع، والأسلوب، وتخصيص الوجه.

الأداء الكمي:
- الدقة النصية: يتفوق DTI بشكل كبير على TI والمتغيرات (مثل CrossInit) في المحاذاة بين الصورة والنص (مقاسة بواسطة SigLIP). على سبيل المثال، في SDXL، حقق DTI درجة نصية قدرها 0.522 مقابل 0.292 لـ TI.
- تشابه الموضوع: يحافظ DTI على دقة عالية للموضوع (تشابه جيب التمام DINOv2)، وهي مماثلة أو أفضل من النماذج المرجعية.
- دراسات الاستئصال (Ablation Studies): أكدت أن استخدام RSGD (بدلاً من AdamW)، وتثبيت المقدار عند المتوسط داخل التوزيع، واستخدام تركيز vMF متوسط ( $\kappa$ ) هي جميعها أمور حاسمة للأداء.
النتائج النوعية:
- ينجح DTI في توليد صور تلتزم بالمطالبات المعقدة (مثل "كلب يرتدي قبعة بابا نويل في غابة") حيث غالبًا ما يغفل TI القبعة أو الخلفية.
- الاستيفاء (Interpolation): يظهر DTI مزجًا سلسًا للمفاهيم (مثل كلب $\to$ إبريق شاي، ولد صغير $\to$ امرأة عجوز) مع تماسك بصري عالٍ، وهي قدرة تفتقر إليها TI القياسية.
التقييم البشري: أظهرت دراسة مستخدمين على Amazon Mechanical Turk أن المستخدمين فضلوا DTI على TI و CrossInit بنسبة 66.77% في محاذاة النص و 43.45% في دقة الموضوع.

5. الأهمية والأثر

القوة (Robustness): يوفر DTI مسارًا قويًا وقابلًا للتوسع لتخصيص مخلص للمطالبات عبر معالجة العيوب الهندسية الأساسية لطرق تحسين التضمين الحالية.
الكفاءة: يحافظ على الطبيعة خفيفة الوزن لـ TI (تحسين رمز واحد فقط) مع تجنب العبء الحوسبي لضبط النموذج بالكامل أو استراتيجيات تعدد الرموز المعقدة.
التطبيقات الإبداعية: القدرة على إجراء استيفاء SLERP سلس تفتح آفاقًا جديدة لسير العمل الإبداعي، مثل مزج الأساليب أو تحويل المواضيع، والتي كان من الصعب تحقيقها سابقًا بالطرق المعتمدة على التضمين.
القدرة على التعميم: النتائج المتعلقة بديناميكيات محولات pre-norm وفوائد التحسين الاتجاهي قابلة للتطبيق على نطاق واسع من النماذج التوليدية الحديثة وربما مجالات أخرى مثل النماذج اللغوية الكبيرة (LLMs) والنماذج البصرية اللغوية (VLMs).

في الختام، تجادل الورقة بأن الاتجاه هو الناقل الأساسي للمعلومات الدلالية في فضاءات الرموز، ومن خلال تقييد التحسين في كرة فائقة ذات وحدة مع مقدار ثابت، يمكن تحقيق نتائج تخصيص متفوقة تكون مخلصة دلاليًا للمطالبة ومتسقة مع الموضوع.