Self-Attention Decomposition For Training Free Diffusion Editing

1. بيان المشكلة

حققت نماذج الانتشار (Diffusion models) نتائج رائدة في تخليق الصور، ولكن التحكم بها لإجراء تعديلات دلالية دقيقة ومستهدفة (مثل تغيير العمر، أو الجنس، أو التعبير) لا يزال أمراً صعباً. تواجه الطرق الحالية لإيجاد اتجاهات تعديل قابلة للتفسير قيودين أساسيين:

• الاعتماد على البيانات: تعتمد معظم النهج على أخذ عينات من مجموعات بيانات ضخمة لاكتشاف الاتجاهات، مما يربط النتائج بتوزيعات بيانات محددة ويحد من القدرة على التعميم لصور غير مرئية مسبقاً.
• التكلفة الحسابية: تتطلب العديد من الطرق تدريب شبكات مساعدة، أو إجراء عمليات هندسية مكلفة (مثل الهندسة الريمانية)، أو ضبط دقيق واسع النطاق، مما يؤدي إلى زمن استجابة مرتفع.

الهدف هو إيجاد طريقة تشتق اتجاهات تعديل قوية وقابلة للتفسير مباشرة من معاملات النموذج المدرب مسبقاً دون الحاجة إلى أخذ عينات إضافية من البيانات أو التدريب.

2. المنهجية

يقترح المؤلفون نهجاً تحليلياً خالياً من التدريب يعتمد على تفكيك القيم الذاتية (eigen-decomposition) لمصفوفات أوزان الانتباه الذاتي (self-attention weight matrices).

الفرضية الجوهرية

تُشفر طبقات الانتباه الذاتي في نماذج الانتشار معلومات هيكلية ودلالية غنية تم تعلمها أثناء التدريب. ومن خلال تحليل مصفوفات الأوزان لهذه الطبقات، يمكن استخراج المتجهات الذاتية (eigenvectors) التي تتوافق مع السمات الدلالية ذات المعنى.

الاشتقاق التقني

1. افتراض التبييض الكامن (Latent Whitening Assumption): يعمل هذا النهج بناءً على ملاحظة مفادها أنه خلال خطوات إزالة الضجيج المبكرة ($0.5T \leq t \leq 0.8T$)، تكون خرائط الميزات الكامنة "مبيضة" تقريباً (تباينها يقترب من مصفوفة الوحدة، $E[Z^T Z] \approx I$). وهذا يسمح بفصل تأثيرات الانتباه الذاتي عن توزيع البيانات المحدد.
2. تحليل الاضطراب (Perturbation Analysis): يحلل المؤلفون تأثير اضطراب المدخلات الكامنة $Z$ على طول اتجاه $n$ ($Z' = Z + \alpha n$). ويهدفون إلى تعظيم التغيير في مخرجات الانتباه ($\Delta Attn$) لإيجاد الاتجاهات التي تغير السمات الدلالية بشكل أكبر.
3. تفكيك فضاء الأوزان:
   • تستخدم كتلة الانتباه الذاتي مصفوفات إسقاط الاستعلام ($Q$)، والمفتاح ($K$)، والقيمة ($V$) وهي ($W_Q, W_K, W_V$).
   • من خلال تحليل تايلور من الدرجة الأولى وتقريب التبييض، اشتق المؤلفون أن تعظيم التأثير على مخرجات الانتباه يكافئ تعظيم الصيغة التربيعية $n^T C n$، حيث $C$ هي مصفوفة مجمعة:
     $$C = W_Q^T W_Q + W_K^T W_K + W_V W_V^T$$
   • الحل: الاتجاه الأمثل للتعديل $n^*$ هو المتجه الذاتي الرئيسي (principal eigenvector) للمصفوفة $C$. وتوفر المتجهات الذاتية اللاحقة اتجاهات تعديل متعامدة.
4. التطبيق: يتم تطبيق هذه المتجهات الذاتية كاضطرابات خطية على الميزات الكامنة خلال نافذة إزالة الضجيج المبكرة المحددة ($0.5T < t < 0.8T$).

3. المساهمات الرئيسية

1. أول اشتقاق من فضاء الأوزان: يعد هذا أول عمل يشتق اتجاهات تعديل قابلة للتفسير مباشرة من الأوزان المدربة مسبقاً لنماذج الانتشار باستخدام تحليل القيم الذاتية، مما يلغي الحاجة إلى تدريب مساعد أو أخذ عينات واسعة النطاق.
2. الأساس النظري: تقدم الورقة اشتقاقاً نظرياً يوضح أن المكونات الرئيسية لمصفوفات أوزان الاستعلام-المفتاح-القيمة المجمعة تنتج اتجاهات ذات معنى دلالي تحت افتراض التبييض الكامن.
3. كفاءة خالية من التدريب: لا يتطلب هذا النهج أي بيانات إضافية ولا أي ضبط دقيق، مما يجعله حلاً "يعمل بمجرد التوصيل" (plug-and-play) للنماذج المدربة مسبقاً الموجودة.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات CelebA-HQ (الوجوه)، و LSUN Cats، و Cars، و Rooms، مقارنة بمعايير مثل Asyrp و LocoEdit و Pullback و NoiseCLR.

• الأداء النوعي:

  • الخطية: يُظهر النهج خصائص تعديل خطية قوية؛ حيث يؤدي تغيير قوة الاضطراب $\alpha$ إلى تغييرات دلالية متناسبة (مثل التقدم في السن تدريجياً أو تغيرات الجنس).
  • فك الارتباط (Disentanglement): يحقق تعديلات دقيقة على سمات محددة (مثل "السمنة"، "تسريحة الشعر"، "العيون المغلقة") مع الحفاظ على المناطق غير المعدلة بشكل أفضل من النماذج المرجعية.
  • التعميم: تتعمم المتجهات الذاتية عبر مجموعات بيانات مختلفة (وجوه، سيارات، غرف)، حيث تلتقط السمات العالمية (العمر، الجنس) والميزات الموضعية (شكل الأنف، الوضعية).

• الأداء الكمي:

  • السرعة: يقلل هذا النهج وقت التعديل بنسبة 60% مقارنة بالمعايير الحالية. بينما تستغرق النماذج المرجعية ثوانٍ أو أياماً (على سبيل المثال، يستغرق NoiseCLR يوماً واحداً)، يستغرق النهج المقترح حوالي 3 ثوانٍ.
  • جودة الصورة: يحقق درجات فائقة عبر جميع المقاييس:
    • SSIM: 0.92 (مقابل 0.85–0.90 في النماذج المرجعية)
    • PSNR: 28.5 dB (مقابل 23.9–26.8 dB)
    • الحفاظ على الهوية (FaceNet): 0.82 (مقابل 0.68–0.78)
    • المحاذاة الدلالية (Dir-CLIP): 0.75 (مقابل 0.58–0.65)

• دراسات الاستئصال (Ablation Studies): أكدت أن قوة التعديل يمكن التحكم فيها خطياً عبر $\alpha$ وأن الطريقة تعمل بفعالية على النماذج المدربة على مجموعات بيانات متنوعة (LSUN).

5. الأهمية والعمل المستقبلي

• الكفاءة وسهولة الوصول: من خلال إزالة الحاجة إلى أخذ عينات البيانات وإعادة التدريب، يجعل هذا النهج التعديل الدلالي عالي الجودة متاحاً وفعالاً حاسوبياً لأي نموذج انتشار مدرب مسبقاً.
• القابلية للتفسير: يقدم منظوراً جديداً لفهم نماذج الانتشار، مما يشير إلى أن البنية الدلالية مشفرة صراحة في أوزان الانتباه الذاتي.
• الاتجاهات المستقبلية: يخطط المؤلفون لتوسيع هذا التحليل ليشمل طبقات الانتباه المتقاطع (cross-attention layers) في نماذج محولات الانتشار (Diffusion Transformers - DiTs) لتمكين التحكم المشترك بين النص والبصر، واستكشاف المتانة في الفضاءات الكامنة ذات الأبعاد الأعلى.

باختراض، تقدم هذه الورقة طفرة في تعديل نماذج الانتشار من خلال الاستفادة من الخصائص الرياضية لأوزان الانتباه الذاتي لإنشاء طريقة سريعة، خالية من التدريب، وفعالة للغاية للتلاعب الدلالي بالصور.