Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers for Text-to-Image Generation
تحدد هذه الورقة تعالج ظاهرة "نسيان المطالبة" (prompt forgetting) في نماذج محولات الانتشار متعددة الوسائط (Multimodal Diffusion Transformers)، حيث تتدهور دلالات المطالبة في الطبقات الأعمق، وذلك عبر تقديم طريقة "إعادة حقن المطالبة" (prompt reinjection) التي لا تتطلب تدريباً، والتي تعمل باستمرار على تحسين اتباع التعليمات وجودة توليد الصور الإجمالية عبر اختبارات معيارية متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكنك فيه استحضار صور من العدم بمجرد كتابة جملة واحدة. هذا هو سحر توليد "النص إلى صورة"، وهو مجال في علوم الحاسوب حيث يتعلم الذكاء الاصطناعي كيف يرسم. لفترة طويلة، عمل هؤلاء الفنانون من الذكاء الاصطناعي مثل مخرج صارم وممثل متوتر: كان الحاسوب يقرأ طلبك (السيناريو) مرة واحدة، ثم يحبسه في صندوق، ويحاول بعد ذلك رسم الصورة بناءً على تلك الذاكرة الوحيدة. لكن جيلاً أحدث وأكثر قوة من الذكاء الاصطناعي، يُسمى محولات الانتشار متعددة الوسائط (أو MMDiTs اختصاراً)، قرر أن يكون أكثر تعاوناً. فبدلاً من مجرد قراءة السيناريو مرة واحدة، تقرأ هذه النماذج الكلمات وتنظر إلى اللوحة في الوقت نفسه، طبقة تلو الأخرى، مما يسمح للاثنين بالتأثير على بعضهما البعض أثناء تشكل الصورة. إنه يشبه وجود مخرج يهمس بالتعليمات للممثل باستمرار طوال الأداء بأكွယ်، بدلاً من الاكتفاء بها في البداية فقط.
ومع ذلك، هناك عقبة. فعلى الرغم من أن هذه النماذج ذكية للغاية، إلا أنها تبدو وكأنها تعاني من قصر في مدى الانتباه. فبينما يتعمق الذكاء الاصطناعي في طبقات عقله الخاصة لإنشاء الصورة النهائية، يبدأ في نسيان التفاصيل المحددة لطلبك الأصلي. قد تطلب "قطة حمراء تجلس على سجادة زرقاء"، ولكن بحلول الوقت الذي تنتهي فيه الصورة، قد تصبح القطة خضراء، أو قد تختفي السجادة تماماً. تبحث هذه الورقة البحثية في سبب حدوث هذا "النسيان للطلب" وتقدم حلاً ذكياً ومجانياً لمساعدة الذكاء الاصطناعي على تذكر تعليماته حتى خط النهاية.
المشكلة: ذاكرة الذكاء الاصطناعي الباهتة
اكتشف الباحثون أنه في نماذج الذكاء الاصطناعي المتقدمة هذه، لا تظل النصوص التي تكتبها كما هي أثناء انتقالها عبر طبقات المعالجة العميقة للآلة. فكر في عقل الذكاء الاصطناعي كممر طويل به غرف عديدة. عندما تعطي الذكاء الاصطناعي طلباً، فإنه يدخل الغرفة الأولى ومعه ملاحظة واضحة وساطعة في يده: "طائرة ورقية سوداء ودب أخضر". ولكن بينما ينتقل الذكاء الاصطناعي من غرفة إلى أخرى، محاولاً دمج النص مع الصورة، تصبح الملاحظة مشوشة.
بحلول الوقت الذي يصل فيه الذكاء الاصطناعي إلى الغرف الأخيرة (الطبقات الأعمق)، تصبح الملاحظة ضبابية لدرجة أن النموذج يكاد لا يستطيع تمييز ما كان من المفترض أن يرسمه. تطلق الورقة البحثية على هذا اسم "نسيان الطلب" (Prompt Forgetting). ولإثبات ذلك، تصرف الفريق كالمحققين، حيث ألقوا نظرة داخل عقل الذكاء الاصطناعي في كل خطوة. سألوا: "هل لا تزال تستطيع إخباري ما لون الطائرة الورقية؟" أو "هل يمكنك عد عدد الكلاب في الصورة؟". ووجدوا أنه كلما تعمق الذكاء الاصطني في الداخل، ساءت قدرته على الإجابة على هذه الأسئلة. فالتفاصيل المحددة - مثل الألوان، والأعداد، وأماكن الأشياء - كانت تتلاشى ببطء في ضجيج عملية صنع الصورة.
الحل: خدعة "إعادة حقن الطلب"
لإصلاح ذلك، توصل المؤلفون إلى طريقة تسمى "إعادة حقن الطلب" (Prompt Reinjection). تخيل أنك تسير عبر ذلك الممر الطويل من الغرف، وفي كل مرة تصل فيها إلى غرفة جديدة، تشعر بالتعب وتبدأ في نسيان مهمتك الأصلية. الحل هو أن يكون لديك صديق يقف عند بداية الممر تماماً ويستمر في الصراخ بالتعليمات الأصلية إليك.
في حالة الذكاء الاصطناعي، "الصديق" هو نسخة من التعليمات النصية الأصلية والواضحة من الطبقة الأولى. اكتشف الباحثون طريقة لأخذ هذه التعليمات الطازجة وغير المشوهة و"إعادة حقنها" مجدداً في الطبقات الأعمق للذكاء الاصطناعي أثناء عمله. إنه يشبه منح الذكاء الاصطناعي فرصة ثانية لقراءة الطلب قبل أن ينهي اللوحة مباشرة.
لكن هناك عقبة: لا يمكنك مجرد صب التعليمات القديمة فوق الجديدة؛ فقد تتصادم، مثل محاولة خلط الزيت والماء. فالطبقات العميقة للذكاء الاصطناعي تتحدث "لغة" مختلفة قليلاً عن الطبقات الضحلة. لذا، أضاف الباحثون خطوة ترجمة خاصة. لقد استخدموا الرياضيات لمحاذاة التعليمات القديمة مع الجديدة، لضمان ملاءمتهما لبعضهما البعض تماماً قبل إضافتهما مجدداً. وهذا يضمن حصول الذكاء الاصطناعي على دفعة مساعدة دون أن يصاب بالارتباك.
ما وجدوه
كانت النتائج مبهرة. فعندما قاموا بتفعيل مفتاح "إعادة حقن الطلب"، أصبح الذكاء الاصطناعي فجأة أفضل بكثير في اتباع التعليمات المعقدة.
- تحسن في العد: إذا طلبت "أربع بالونات"، كان الذكاء الاصطناعي أكثر عرضة لرسم أربع بالونات بالفعل بدلاً من ثلاث أو خمس.
- تحسن في تحديد المواقع: إذا طلبت "قطة فوق كلب"، ظلت القطة بالفعل في الأعلى بدلاً من الطفو في الهواء أو الجلوس تحت الكلب.
- تحسن في الألوان: كانت الألوان المحددة التي طلبتها، مثل "عشب أخضر وشجرة بنية"، أكثر دقة بكثير.
اختبرت الورقة البحثية ذلك على عدة نماذج ذكاء اصطناعي شهيرة، بما في ذلك SD3 وSD3.5 وFLUX وQwen-Image. وفي كل حالة، أصبح الذكاء الاصطناعي فناناً أفضل دون الحاجة إلى إعادة تدريبه أو تعليمه أشياء جديدة. لقد كان حلاً "لا يتطلب إعادة تدريب" (training-free)، مما يعني أنهم غيروا فقط طريقة تفكير الذكاء الاصطناعي أثناء عملية الرسم، وليس كيفية تعلمه الرسم في المقام الأول.
لماذا يهم هذا الأمر؟
هذا الاكتشاف أمر بالغ الأهمية لأنه يحل خللاً جوهرياً في كيفية عمل هذه النماذج الجديدة القوية. قبل هذا، إذا كنت تريد صورة محددة جداً ومعقدة، فقد تضطر إلى المحاولة عشرات المرات، آملًا أن يتذكر الذكاء الاصطناعي تفاصيلك. الآن، مع "إعادة حقن الطلب"، أصبح الذكاء الاصطناعي أكثر موثوقية. وهذا يشير إلى أنه حتى أكثر نماذج الذكاء الاصطناعي ذكاءً يمكن أن تعاني من "النسيان" إذا لم نساعدها على الحفاظ على تركيزها.
لقد أظهر الباحثون أنه من خلال مجرد تذكير الذكاء الاصطناعي بتعليماته الأصلية أثناء عمله، يمكننا الحصول على صور بجودة أعلى تطابق بالفعل ما طلبناه. إنها خدعة بسيطة وأنيقة تجعل هؤلاء الفنانين الرقميين أكثر طاعة وإبداعاً، مما يضمن أنك عندما تطلب "فرشاة أسنان بلون أخضر نيون تقف بجانب كوب شفاف"، تحصل على ذلك بالضبط، وليس مجرد فوضى ضبابية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.