💻 computer science

Consistent text-to-image generation via scene de-contextualization

تقدم هذه الورقة البحثية طريقة "إزالة سياق المشهد" (SDeC)، وهي طريقة مبتكرة وخالية من التدريب، تعمل على التخفيف من حدة انزياح الهوية في توليد الصور من النصوص عبر كبح الارتباطات بين سياق المشهد الكامن وتضمينات الأوامر النصية بشكل تكيفي، مما يتيح الحفاظ المستمر على الموضوع عبر مشاهد متنوعة دون الحاجة إلى معرفة مسبقة بالبيئات المستهدفة.

المؤلفون الأصليون: Song Tang, Peihao Gong, Kunyu Li, Kai Guo, Boyu Wang, Mao Ye, Jianwei Zhang, Xiatian Zhu

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Song Tang, Peihao Gong, Kunyu Li, Kai Guo, Boyu Wang, Mao Ye, Jianwei Zhang, Xiatian Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مخرج تصنع فيلماً عن شخصية محددة، لنطلق عليه اسم "بوب". تريد أن يبدو بوب تماماً كما هو في كل مشهد: نفس الوجه، نفس البنية، ونفس الأسلوب الفريد. ومع ذلك، تريد أن يكون بوب في مطبخ في مشهد ما، وفي غابة في المشهد التالي، وفي سفينة فضاء في المشهد الثالث.

عندما تستخدم مولدات صور الذكاء الاصطناك الحالية (مثل Stable Diffusion) للقيام بذلك، يحدث شيء غريب. عندما تطلب من الذكاء الاصطناعي "بوب في مطبخ"، تحصل على رجل يشبه بوب. ولكن عندما تطلب "بوب في غابة"، يتغير وجه بوب أو شعره أو ملابسه فجأة لتناسب "أجواء الغابة". لقد نسي الذكاء الاصطناعي من هو بوب. الأمر كما لو أن الممثل نسي نصوصه وبدأ يلعب شخصية أخرى لمجرد أن الديكور تغير.

هذه الورقة البحثية، بعنوان "توليد الصور من النص عبر إلغاء سياق المشهد" (SDeC)، تحل هذه المشكلة. إليك تفصيلها بكلمات بسية:

1. المشكلة: "فخ السياق"

اكتشف المؤلفون لماذا يحدث هذا. هم يسمونه "سياق المشهد" (Scene Contextualization).

فكر في نموذج الذكاء الاصطناعي كطالب قرأ ملايين الكتب ورأى ملايين الصور. تعلم هذا الطالب قاعدة: "إذا رأيت 'مطبخاً'، فعادة ما ترى 'مآزر' وأجهزة طهي". "إذا رأيت 'غابة'، فعادة ما ترى 'قبعات سفاري' وطيناً".

عندما تطلب من الذكوا الاصطناعي رسم "بوب في غابة"، يتحمس الذكاء الاصطناعي كثيراً لكلمة "غابة" لدرجة أنه يسحب بالخطأ "قبعة السفاري" و"الطين" إلى وجه بوب. الذكاء الاصطناعي بارع جداً في ربط المشهد بـ الشخص لدرجة أنه يطغى على هوية الشخص به توقعات المشهد.

التشبيه: تخيل أنك ترتدي قناعاً محدداً وفريداً للغاية (هويتك). ثم دخلت غرفة مليئة بزينة الحفلات (المشهد). الذكاء الاصطناعي مهووس بزينة الحفلات لدرجة أنه يحاول رسم الزينة على قناعك، مما يغير وجهك ليتناسب مع الحفلة.

2. الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (طريقة "الرؤية الشاملة"):
حاولت الطرق السابقة إصلاح ذلك من خلال إظهار كل مشهد سيكون بوب فيه للذكاء الاصطناعي قبل البدء. كانوا يقولون له: "هذا هو بوب في المطبخ، وهذا هو بوب في الغابة، وهذا هو بوب في الفضاء. الآن، تعلم بوب".

العيب: في الحياة الواقعية (مثل صناعة فيلم أو قصص مصورة)، غالباً لا تعرف جميع المشاهد مسبقاً. قد تكتب مشهداً جديداً غداً. لا يمكنك الانتظار لإظهار السيناريو كاملاً للذكاء الاصطناعي قبل البدء في الرسم.

الطريقة الجديدة (SDeC - طريقة "إلغاء سياق المشهد"):
يقترح المؤلفون حيلة ذكية تعمل مشهد بمشهد. لست بحاجة لمعرفة المستقبل. كل ما عليك فعله هو إخبار الذكاء الاصطناعي: "ارسم بوب في غابة"، وستقوم هذه الطريقة بإصلاح الأمر فوراً.

3. كيف يعمل SDeC: "المرشح الرياضي"

أدرك المؤلفون أن "عقل" الذكاء الاصطناعي (رياضياته الداخلية) لديه طريقة محددة لخلط تعليمات "بوب" مع تعليمات "الغابة". وقد وجدوا طريقة لفصلهما دون الحاجة لإعادة تدريب الذكاء الاصطناعي.

إليك العملية خطوة بخطوة باستخدام استعارة:

الخطوة 1: رقصة "الأمام والخلف".
تخيل أن تعليمات الذكاء الاصطناعي لـ "بوب" هي أغنية. وتعليمات "الغابة" هي أغنية مختلفة. يحاول الذكاء الاصطناعي عزفهما معاً، لكن أغنية "الغابة" تطغى على أغنية "بوب".
يقوم SDeC بتجربة صغيرة: يجبر تعليمات "بوب" مؤقتاً على أن تبدو تماماً مثل أغنية "الغابة" (للأمام)، ثم يحاول سحبها مرة أخرى لتصبح كما كانت في الأصل (للخلف).
لماذا؟ من خلال مراقبة كيف تتغير الأغنية وكيف تحاول العودة لطبيعتها، يمكن للنظام تحديد أي النوتات (الاتجاهات الرياضية) تنتمي إلى "الغابة" وأيها تنتمي إلى "بوب".
الخطوة 2: "مقبض التحكم في الصوت" (وزن القيم الذاتية - Eigenvalue Weighting).
بمجرد معرفة أي النوتات هي "ضجيج الغابة" الذي يفسد وجه بوب، يقوم النظام بخفض مستوى الصوت على تلك النوتات المحددة. ويحافظ على مستوى الصوت مرتفعاً على النوتات التي تجعل بوب يبدو كبوب.
النتيجة: ينشئون تعليمات "نظيفة" تقول "بوب" ولكنها تزيل تعليمات "الغابة" العرضية التي كانت تحاول تغيير وجهه.
الخطوة 3: الرسم النهائي.
يأخذ الذكاء الاصطناعي هذه التعليمات المنقحة ويرسم الصورة. الآن، بوب في الغابة، يرتدي قبعة سفاري (لأن المشهد طلب ذلك)، ولكن وجهه لا يزال بوب بنسبة 100%.

4. لماذا يعد هذا أمراً هاماً

لا يتطلب تدريباً: لا تحتاج لتعليم الذكاء الاصطناعي أي شيء جديد. الأمر يشبه إعطاء الذكاء الاصطناعي نظارات تساعده على رؤية الفرق بين "المشهد" و"الموضوع" فوراً.
مرونة عالية: يمكنك توليد مشاهد القصة مشهداً تلو الآخر. لست بحاجة لأن يكون السيناريو جاهزاً بالكامل.
جودة أفضل: في الاختبارات، حافظت هذه الطريقة على اتساق الشخصيات بشكل أفضل بكثير من الطرق السابقة، دون جعل المشاهد تبدو مملة أو متكررة.

الملخص

فكر في SDeC كـ محرر ذكي لفن الذكاء الاصطناعي. عندما يحاول الذكاء الاصطناعي السماح للخلفية (المشهد) بإفساد الشخصية الرئيسية (الهوية)، يتدخل SDeC ويقول: "مهلاً، توقف لحظة"، ويفصل بينهما بلطف. إنه يضمن أنه مهما ذهبت الشخصية، ستظل دائماً نفسها.

إنه يحل مشكلة "انزياح الهوية" عن طريق نزع تأثير المشهد رياضياً عن وجه الشخصية، مما يسمح باتساق الشخصيات في أي قصة، في أي وقت، دون الحاجة لمعرفة القصة بأكملها مسبقاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "توليد الصور من النص بشكل متسق عبر إزالة سياق المشهد" (SDeC)، المنشورة في مؤتمر ICLR لعام 2026.

1. بيان المشكلة

يهدف التوليد المتسق للنصوص إلى الصور (T2I) إلى توليد صور متعددة لنفس الموضوع (الهوية/ID) عبر مشاهد متنوعة مع الحفاظ على سمات هوية الموضوع.

المشكلة الجوهرية: تعاني الطرق الحالية غالبًا من انزياح الهوية (ID Shift)، حيث تتغير ملامح الموضوع بشكل غير مقصود عند تغير وصف المشهد.
قصور النهج الحالية:
- تعتمد معظم الطرق المتطورة على نماذج التعلم بنقل المعرفة (transfer learning) التي تتطلب معرفة مسبقة بجميع المشاهد المستهدفة لبناء مجموعة بيانات متنوعة للتدريب أو الضبط الدقيق.
- في التطبيقات الواقعية (مثل إنتاج الأفلام، سرد القصص)، غالبًا ما تكون المجموعة الكاملة للمشاهد غير معروفة أو تتطور بشكل تكراري، مما يجعل افتراض "جميع المشاهد مسبقًا" غير واقعي.
- تفشل الطرق الحالية التي لا تتطلب تدريبًا (training-free) في تفسير السبب الكامن وراء انزياح الهوية، أو تعاني من تداخل شديد للمشهد (حيث تتسرب عناصر المشهد إلى موضوع الصورة).

2. الأساس النظري: سياق المشهد (Scene Contextualization)

يقترح المؤلفون منظورًا نظريًا جديدًا يسمى "سياق المشهد" (Scene Contextualization) لتفسير انزياح الهوية.

التعريف: سياق المشهد هو الارتباط الطبيعي بين الموضوع (ID) وسياق المشهد داخل نماذج (T2I) المدربة مسبقًا. ينشأ هذا لأن النماذج تُدرب على توزيعات صور طبيعية حيث ترتبط موضوعات محددة إحصائيًا ببيئات محددة (مثل الأبقار في الحقول، وليس في المحيطات).
الآلية: تثبت الورقة عبر النظرية 1 (Theorem 1) أن آلية الانتباه الذاتي (self-attention) في نماذج (T2I) القائمة على المحولات (Transformer) تؤدي حتمًا إلى حقن معلومات السياق من توكنات المشهد (scene tokens) في توكنات الهوية (ID tokens)، حتى لو كانت الفضاءات الفرعية للهوية والمشهد منفصلة نظريًا.
- الشرط: طالما أن أوزان الانتباه ( $\alpha_{sc}$ ) غير صفرية، ومصفوفة الوزن ( $W_V$ ) لا تحجب تمامًا الإسقاط من الفضاء الفرعي للمشهد إلى الفضاء الفرعي للهوية، فإن انزياح الهوية يحدث.
القياس الكمي: استنتج المؤلفون النظرية 2 (Theorem 2) والاستنتاج 2 (Corollary 2)، مما وفر حدودًا نظرية لقوة هذا السياق. وقد حددوا أن طاقة التفاعل بين الفضاءات الفرعية للهوية والمشهد (تحديدًا التداخل $\sigma_{\cap}$ ) هي المحرك الرئيسي لانزياح الهوية.

3. المنهجية: إزالة سياق المشهد (SDeC)

إن SDeC هو نهج تعديل تضمين المطالبة (prompt embedding editing) لا يتطلب تدريبًا، مصمم لعكس عملية سياق المشهد. وهو يعمل على أساس "مطالبة واحدة لكل مشهد"، ولا يتطلب وصولًا مسبقًا إلى مشاهد أخرى.

الخطوات الرئيسية:

استخراج التضمين (Embedding Extraction): يتم تقسيم المطالبة المدخلة إلى مطالبة الهوية ( $P_{id}$ ) ومطالبة المشهد ( $P_{sc}$ ). يقوم مشفر النصوص بتوليد التضمينات الخاصة بكل منهما ( $Z_{id}$ و $Z_{sc}$ ).
تحديد الارتباط الكامن (التحسين الأمامي والخلفي):
- تنفذ الطريقة عملية تحسين ثنائية المراحل على القيم الذاتية (eigenvalues $\Lambda$ ) لتحلل القيم المفردة (SVD) لتضمين الهوية.
- المرحلة الأمامية: تقريب تضمين الهوية من تضمين المشهد لتحديد الاتجاهات التي تكون فيها الهوية عرضة لتأثير المشهد.
- المرحلة الخلفية: استعادة تضمين الهوية إلى موضعه الأصلي.
- التحليل: الاتجاهات التي تظهر تباينات كبيرة (عدم استقرار) خلال هذه العملية تُحدد كـ الفضاء الفرعي لارتباط المشهد والهوية الكامن. أما الاتجاهات التي تظل مستقرة فهي سمات الهوية القوية.
إزالة السياق (توزين القيم الذاتية):
- تقيس الطريقة "الاستقرار الاتجاهي" باستخدام الانحراف الطيفي المطلق ( $\Lambda_{\Delta}$ ).
- تطبق دالة توزين تكيفية ( $\Lambda_{\omega}$ ) على القيم الذاتية. يتم تعزيز الاتجاهات القوية (منخفضة الارتباط)، بينما يتم كبح الاتجاهات غير المستقرة (عالية الارتباط).
- يعمل هذا فعليًا على تصفية ضوضاء المشهد المضمنة داخل مطالبة الهوية.
إعادة البناء: يتم دمج تضمين الهوية المنقح ( $Z^*_{id}$ ) مع تضمين المشهد وتغذيته في نموذج (T2I) لعملية التوليد.

4. المساهمات الرئيسية

رؤية نظرية: أول إثبات رسمي بأن سياق المشهد هو ظاهرة حتمية ناتجة عن الانتباه في نماذج (T2I) المدربة مسبقًا، وهو المصدر الرئيسي لانزياح الهوية.
منهجية مبتكرة (SDeC): حل جاهز للاستخدام (plug-and-play) ولا يتطلب تدريبًا، يعمل على تخفيف انزياح الهوية عبر تعديل تضمينات المطالبة من خلال تحليل استقرار القيم الذاتية القائم على (SVD).
المرونة: على عكس الطرق السابقة، لا تتطلب SDeC مجموعة كاملة من المشاهد المستهدفة مسبقًا، مما يجعلها مناسبة للسيناريوهات الديناميكية والواقعية.
قابلية التطبيق الواسعة: أظهرت توافقًا مع مختلف النماذج التوليدية (SDXL, SD3, Flux, PlayGround) والتكامل مع مهام أخرى مثل (ControlNet, PhotoMaker).

5. النتائج التجريبية

تم تقييم الطريقة على معيار ConsiStory+ (192 مجموعة مطالبات، 1292 صورة) مقابل أفضل الطرق المنافسة (BLIP-Diffusion, Textual Inversion, PhotoMaker, ConsiStory, 1Prompt1Story).

الأداء الكمي:
- اتساق الهوية: حققت SDeC أفضل توازن، حيث تفوقت بشكل كبير على النماذج المرجعية التي لا تتطلب تدريبًا في مقاييس DreamSim-F (التشابه البصري) و CLIP-I.
- تنوع المشهد: حافظت على قيم عالية في CLIP-T (المواءمة مع المطالبة) وقيم منخفضة في DreamSim-B (تداخل المشاهد)، متجنبة "تسرب المشهد" الذي تظهره طرق مثل 1Prompt1Story.
- الكفاءة: SDeC لا تتطلب تدريبًا وتتسبب في عبء حسابي ضئيل أثناء الاستدلال (حوالي 0.61 ثانية لكل صورة) مقارنة بالطرق التي تتطلب تدريبًا.
دراسة المستخدم: في اختبار أعمى مع 20 متطوعًا، فازت SDeC بنسبة 42.67% من الأصوات لأفضل توازن بين اتساق الهوية، وتنوع المشهد، والمواءمة مع المطالبة، متفوقة على جميع المنافسين.
دراسات الاستبعاد (Ablation Studies): أكدت أن كلاً من "التقدير الناعم" للفضاء الفرعي للارتباط ومقياس "الانحراف المطلق" ضروريان للأداء.
التعميم: حسنت SDeC اتساق الهوية عبر نماذج متنوعة (نماذج UNet مثل SDXL ونماذج MMDiT مثل SD3/Flux).

6. الأهمية والأثر

تحول في النموذج المعرفي: ينقل المجال من "التعلم بنقل المعرفة كثيف البيانات" (الذي يتطلب جميع المشاهد) إلى "تعديل التضمين القائم على النظرية".
الفائدة العملية: يحل عقبة حرجة أمام تطبيقات الذكاء الاصطناعي القائمة على السرد (الرسوم المتحركة، سرد القصص، الصور الرمزية الرقمية) حيث يتم توليد تسلسلات المشاهد بشكل ديناميكي.
المساهمة النظرية: يوفر أول حدود رياضية وتفسير ميكانيكي لسبب حدوث انزياح الهوية في نماذج (T2I) الجاهزة، مما يمهد الطريق لتصميمات مستقبلية لآليات الانتباه.
القصور: تقر الورقة بأن SDeC لا يمكنها التعامل مع التحولات البصرية القصوى (مثل التغيرات الجذرية في الإضاءة التي تغير المظهر بشكل أساسي) وتعتمد على افتراضات الفضاء الفرعي المثالية، مما يشير إلى عمل مستقبلي في إعادة تصميم آلية الانتباه.

باختصار، تقدم SDeC حلاً قويًا وفعالًا ومنضبطًا نظريًا لمشكلة الحفاظ على الهوية المستمرة في توليد الصور من النصوص، مما يتيح توليد شخصيات متسقة دون الحاجة إلى إعادة تدريب واسعة النطاق أو معرفة مسبقة بالمشاهد.