EDITOR: Effective and Interpretable Prompt Inversion for Text-to-Image Diffusion Models

إليك ملخص تقني مفصل لورقة البحث "EDITOR: Effective and Interpretable Prompt Inversion for Text-to-Image Diffusion Models".

1. بيان المشكلة

عكس المطالبة (Prompt Inversion) هو مهمة إعادة بناء المطالبة النصية الأصلية ($p$) التي استُخدمت لتوليد صورة معينة ($x$) من نموذج انتشار (diffusion model) يحول النص إلى صورة. هذه القدرة حاسمة لتطبيقات مثل إسناد البيانات، ومنشأ النماذج، والتحقق من العلامات المائية، وحماية الملكية الفكرية.

ومع ذلك، تواجه الطرق الحالية مقايضة جوهرية بين تشابه الصورة وقابلية تفسير المطالبة:

• الطرق القائمة على التحسين (مثل PEZ و PH2P): تقوم بتحسين التضمينات الكامنة (latent embeddings) وإسقاطها على مفردات منفصلة في كل خطوة. وبينما تحقق هذه الطرق تشابهاً عالياً في الصورة، فإن عمليات الإسقاط المنفصلة المتكررة تخل بالاستمرارية الدلالية، مما يؤدي إلى مطالبات غير متماسكة، أو غير مقروءة، أو "هراء" ذي درجة تعقيد (perplexity) عالية.
• الطرق القائمة على الوصف (مثل BLIP و LLaVA): تولد نصوصاً سلسة وقابلة للقراءة من قبل البشر، لكنها تفشل في التقاط الفروق الدقيقة المحددة المطلوبة لإعادة توليد الصورة المستهدفة، مما يؤدي إلى تشابه منخفض في الصورة (إعادة بناء ضعيفة).

التحدي الجوهري هو إيجاد طريقة تعمل في فضاء مستمر لتحقيق دقة عالية، ولكن يمكنها أيضاً العودة إلى نص منفصل وقابل للتفسير دون تدهور دلالي شديد.

2. المنهجية: EDITOR

يقترح المؤلفون EDITOR، وهو مسار مكون من ثلاث مراحل يتجنب عيوب الإسقاط المنفصل أثناء مرحلة التحسين.

أ. التهيئة (Initialization)

بدلاً من التهيئة العشوائية، يستخدم EDITOR نموذج وصف صور مدرب مسبقاً (مثل BLIP-Large) لتوليد مطالبة أولية ($p_0$) للصورة المستهدفة. يتم ترميز هذه المطالبة إلى تضمين نصي كامن ($c_0$) باستخدام مشفر النصوص الخاص بنموذج الانتشار. يوفر هذا نقطة بداية ذات معنى دلالي، مما يقلل من مساحة البحث.

ب. الهندسة العكسية (التحسين المستمر)

هذا هو الابتكار الأساسي. على عكس الطرق السابقة التي تحسن تضمينات الرموز (token embeddings) قبل المحول وتقوم بإسقاطها على المفردات، يقوم EDITOR بما يلي:

1. يحسن التضمين السياقي ($c$) مباشرة في الفضاء الكامن المستمر بعد مشفر النصوص.
2. يستخدم التحسين القائم على التدرج لتقليل خسارة إعادة البناء (MSE) بين الصورة المولدة $D(R_{\epsilon_\theta}(c, n))$ والصورة المستهدفة $x$.
3. الميزة الرئيسية: من خلال تجنب الإسقاط المنفصل أثناء التحسين، تحافظ الطريقة على الاستمرارية الدلالية وتتقارب بشكل أسرع نحو تضمين أمثل يستحث الصورة المستهدفة.

ج. عكس التضمين (الإسقاط المنفصل)

بمجرد العثور على التضمين الكامن المستمر الأمثل ($c^*$)، يجب تحويله إلى نص. وبما أن $c^*$ هو متجه سياقي لا يمكن ربطه مباشرة برمز واحد، يستخدم EDITOR نموذجاً متخصصاً لـ التضمين إلى النص (E2T):

1. نموذج الخطوة الصفرية ($M_{zero}$): تم تدريبه على أزواج تمثيل النصوص من نموذج الانتشار، ويقوم برسم خريطة من التضمين المستمر $c^*$ إلى فرضية نصية أولية $\hat{p}$.
2. نموذج التصحيح ($M_{corr}$): خطوة صقل تكرارية. يأخذ التضمين المستهدف $c^*$، والفرضية الحالية، والتضمين المعاد ترميزه للفرضية لصقل النص. يضمن هذا بقاء تضمين المطالبة النهائية قريباً من $c^*$ المُحسن، مما يقلل من الانحراف الدلالي.

3. المساهمات الرئيسية

1. استراتيجية تحسين مبتكرة: ينقل EDITOR هدف التحسين من تضمينات الرموز المنفصلة إلى التضمينات السياقية المستمرة، مما يلغي "تفاوت التضمين" الناتج عن عمليات إسقاط المفردات المتكررة (والتي غالباً ما تخفض تشابه جيب التمام إلى ~0.167 في الأعمال السابقة).
2. مسار ثلاثي الخطوات: إن دمج التهيئة، والهندسة العكسية المستمرة، ورسم خرائط E2T المتعلمة مع نموذج تصحيح يخلق إطار عمل قوياً لإعادة بناء عالية الدقة.
3. أداء فائق: يتفوق EDITOR على النماذج المرجعية (baselines) المتطورة (مثل PEZ و PH2P و VGD و STEPS و PRISM) عبر أربع مجموعات بيانات رئيسية (MS COCO و LAION و Flickr و DiffusionDB) من حيث تشابه الصورة، والمحاذاة النصية، وقابلية تفسير المطالبة.
4. القدرة على التعميم: يُظهر EDITOR متانة عبر بنيات مختلفة، بما في ذلك نماذج المشفر الواحد (Stable Diffusion v1.5) ونماذج المشفرات المتعددة المتقدمة (SDXL-Turbo و Stable Diffusion 3.5).

4. النتائج التجريبية

يُقيم بحث EDITOR باستخدام درجة CLIP (تشابه الصورة)، وLPIPS (المسافة الإدراكية)، وBERTScore (المحاذاة النصية)، وPerplexity (قابلية التفسير).

• تشابه الصورة: يحقق EDITOR أعلى درجات CLIP (على سبيل المثال، 0.796 في MS COCO مقابل 0.789 لـ PH2P) وأقل درجات LPIPS، مما يشير إلى إعادة بناء بصرية متفوقة.
• المحاذاة النصية: يتفوق EDITOR بشكل كبير على النماذج المرجعية في F1 لـ BERTScore (على سبيل المثال، 0.908 في MS COCO مقابل 0.853 لـ PRISM)، مما يظهر استعادة دلالية أفضل للمطالبة الأصلية.
• قابلية التفسير: يقلل EDITOR بشكل جذري من درجة التعقيد (Perplexity - PPL). في MS COCO، يحقق EDITOR درجة PPL تبلغ 80.6، مقارنة بـ 11,078 لـ PH2P و 8,837 لـ PEZ. وهذا يؤكد أن المطالبات المولدة سلسة وقابلة للقراءة من قبل البشر.
• المقارنة مع نماذج الوصف: يتفوق EDITOR على نماذج الوصف المباشرة (مثل BLIP-2 أو LLaVA) في تشابه الصورة، مما يثبت أن خطوة الهندسة العكسية تضيف الدقة اللازمة التي تفتقر إليها عملية الوصف وحدها.
• دراسات الاستئصال (Ablation Studies):
  • التهيئة: استخدام نموذج وصف للتهيئة أمر بالغ الأهمية؛ فالتهيئة العشوائية تؤدي إلى تقارب ضعيف.
  • نموذج التصحيح: تحسن خطوة التصحيح التكرارية ($M_{corr}$) كلاً من تشابه الصورة والمحاذاة النصية بشكل كبير، مما يقلل من تفاوت التضمين المتبقي.

5. الأهمية والتطبيقات

يسد EDITOR الفجوة بين الطبيعة "الصندوق الأسود" لنماذج الانتشار وبين قابلية التفسير البشرية. تكمن أهميته في:

• الذكاء الاصطناعي الموثوق: تمكين إسناد البيانات ومنشأ النماذج، مما يسمح للمستخدمين بتتبع أصل الصور المولدة.
• حماية الملكية الفكرية: توفير آلية للكشف عن سرقة المطالبات والتحقق من العلامات المائية.
• المهام اللاحقة: تمكن المطالبات القابلة للتفسير التي يتم توليدها من تطبيقات متقدمة مثل:
  • توليف المفاهيم المتقاطعة: دمج المفاهيم من صور مختلفة.
  • تلاعب بالمفاهيم: إزالة أو استبدال أشياء محددة (مثل تغيير "الأشجار" إلى "سياج") عن طريق تعديل المطالبة المعكوسة.
  • التجزئة غير الخاضعة للإشراف: استخدام خرائط الانتباه من المطالبات المعكوسة لتجزئة الصور دون تسميات يدوية.

في الختام، يمثل EDITOR تحولاً جذرياً في عكس المطالبة من خلال فصل عملية التحسين عن قيود المفردات المنفصلة، مما ينتج مطالبات تكون دقيقة دلالياً للصورة ومتماسكة لغوياً للفهم البشري.