HAM: A Training-Free Style Transfer Approach via Heterogeneous Attention Modulation for Diffusion Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "HAM: نهج نقل الأنماط الخالي من التدريب عبر تعديل الانتباه غير المتجانس لنماذج الانتشار (Diffusion Models)."

1. بيان المشكلة

أحدثت نماذج الانتشار ثورة في توليد الصور ونقل الأنماط. ومع ذلك، تواجه الطرق الحالية مقايضة حرجة بين النمط والمحتوى (style-content trade-off):

• الطرق القائمة على التدريب (مثل استخدام LoRA أو ControlNet) مكلفة حاسوبياً، وتتطلب ضبطاً دقيقاً لأنماط محددة، وتفتقر إلى القوة والقدرة على التكيف مع مراجع متنوعة.
• الطرق الخالية من التدريب (مثل StyleID وDiffArtist) تعتمد عادةً على حقن سمات النمط في طبقات الانتباه الذاتي (self-attention). وبما أن الانتباه الذاتي يشفر كلاً من البنية المكانية والمحتوى الدلالي، فإن التلاعب به غالباً ما يؤدي إلى تشوه الهوية (identity distortion) (فقدان بنية المحتوى) أو نقل غير كافٍ للنمط.
• الفجوة الحالية: هناك نقص في النهج الخالي من التدريب الذي يمكنه في الوقت ذاته الحفاظ على هوية المحتوى عالية الدقة واقتناص مراجع نمط معقدة ومتنوعة دون الحاجة إلى تحسين التدرج (gradient optimization).

2. المنهجية: HAM (تعديل الانتباه غير المتجانس)

إطار عمل HAM المقترح هو نهج خالٍ من التدريب يعمل على نماذج الانتشار سابقة التدريب (متوافق مع كل من SD2.1 وSD3.5). وهو يستخدم نموذج "المعلم-الطالب" حيث يقوم معلم المحتوى (Content Teacher) ومعلم النمط (Style Teacher) بتوجيه المولد الطالب (Student Generator). تتكون الطريقة من ثلاث وحدات أساسية:

أ. تهيئة الضوضاء المطعمة بالنمط (SINI)

بدلاً من استخدام ضوضاء محتوى نقية أو مزيج بسيط، يقوم HAM بتهيئة الضوضاء الكامنة عند الخط الزمني $T$ عن طريق دمج الضوضاء المعكوسة من صور المحتوى والنمط.

• الآلية: يستخدم التطبيع اللحظي التكيفي (AdaIN) لدمج ضوضاء النمط في ضوضاء المحتوى.
• الابتكار: لمنع حقن النمط من طغيان الهوية الخاصة بالمحتوى، يتم إضافة مكون ضوضاء متبقية للمحتوى (Content Residual Noise).
• الصيغة: الضوضاء الأولية $z_T^m$ هي مزيج مرجح من الضوضاء المطعمة بالنمط عبر AdaIN وضوضاء المحتوى الأصلية، ويتم التحكم فيه بواسطة معامل $\gamma$. يضمن ذلك أن مسار التوليد يبدأ بحالة متوازنة من النمط والبنية.

ب. تنظيم الانتباه العالمي (GAR)

تعمل هذه الوحدة على طبقات الانتباه الذاتي (Self-Attention) لإدارة التوازن الكلي بين النمط والمحتوى.

• الهدف: الحفاظ على البنية المكانية وهويّة المحتوى مع إدخال سمات النمط العالمية.
• الآلية:
  1. تستخرج الوحدة إسقاطات الانتباه ($Q, K, V$) من كل من معلم المحتوى ومعلم النمط.
  2. تقوم بدمج هذه الإسقاطات باستخدام AdaIN لإنشاء إسقاطات مركبة ($Q^{cs}, K^{cs}, V^{cs}$) تعمل على مواءمة التوزيع الإحصائي لسمات النمط مع سمات المحتوى.
  3. يتم بعد ذلك دمج هذه الإسقاطات المركبة مع الإسقاطات الأصلية للمولد الطالب باستخدام عامل وزن $\alpha$.
• النتيجة: يضمن هذا آلية الانتباه الذاتي الاحتفاظ بالسلامة الهيكلية للمحتوى مع تعديله عالمياً بواسطة النمط.

ج. زرع الانتباه المحلي (LAT)

تعمل هذه الوحدة على طبقات الانتباه المتقاطع (Cross-Attention) لتحقيق حقن نمط دقيق وموضعي دون تدمير هوية المحتوى.

• المشكلة التي تم حلها: غالباً ما تقوم الطرق السابقة باستبدال المفاتيح (Keys) والقيم (Values) في الانتباه الذاتي، مما يدمر المحتوى. تنقل LAT عملية الحقن إلى الانتباه المتقاطع.
• الآلية:
  1. حقن النمط: يتم نقل إسقاطات المفتاح (K) والقيمة (V) من معلم النمط مباشرة إلى الانتباه المتقاطع للمولد الطالب، مستبدلةً الإسقاطات الأصلية. يؤدي هذا إلى حقن التوجيه الدلالي للنمط.
  2. حماية المحتوى: لمنع تدهور هوية المحتوى بسبب الـ $K/V$ الجديدة، يتم حماية الاستعلام (Q). يتم وزن ودمج الاستعلام من معلم المحتوى مع الاستعلام الأصلي للطالب باستخدام العامل $\beta$.
• النتيجة: هذا التعديل "غير المتجانس" (مصادر مختلفة لـ Q مقابل K/V) يفصل بفعالية بين توجيه النمط (من K/V) والحفاظ على المحتوى (من Q)، مما يسمح بنقل نمط عالي الدقة.

3. المساهمات الرئيسية

1. إطار عمل خالٍ من التدريب: يحقق HAM نقل نمط عالي الجودة دون أي تحسين للتدرج أو ضبط دقيق لنموذج الانتشار، مما يجعله فعالاً وقابلاً للتكيف.
2. تعديل الانتباه غير المتجانس: الجمع المبتكر بين GAR (تنظيم الانتباه الذاتي العالمي) و LAT (زرع الانتباه المتقاطع المحلي) ينجح في فصل النمط عن المحتوى. يتولى GAR التعامل مع البنية العالمية، بينما يتولى LAT حقن النمط بدقة دون المساس بالهوية.
3. استقلالية البنية (Architecture Agnostic): تم التحقق من منهجية العمل على كل من بنيات DDIM-based (SD2.1) و DiT-based (SD3.5)، مما يثبت التوافق الشامل.
4. استراتيجية تهيئة الضوضاء: قدمت استراتيجية SINI مع مكون متبقي للمحتوى حلاً للصراع بين شدة النمط ودقة المحتوى في بداية عملية الانتشار.

4. النتائج التجريبية

قام المؤلفون بتقييم HAM مقابل أفضل الطرق المتاحة (SOTA) (مثل StyleID، وDiffArtist، وCSGO، وSTAM) على مجموعات بيانات MS-COCO وWikiArt.

• الأداء الكمي:
  • قوة النمط: حقق HAM أفضل درجة CLIP-T (0.223)، مما يشير إلى محاذاة فائقة مع المطالبات النصية للنمط، ونتائج تنافسية في مقاييس FID/ArtFID.
  • الحفاظ على المحتوى: تفوق HAM بشكل كبير على جميع النماذج المرجعية في مقاييس LPIPS (0.479) و DINO (0.728)، مما يثبت قدرته على الاحتفاظ بالتفاصيل الهيكلية والتماسك الدلالي بشكل أفضل من المنافسين.
  • المقاييس المركبة: حقق أعلى الدرجات في DC (2.113) و CC (2.057)، وهي مقاييس توازن بين النمط والحفاظ على المحتوى.
• الأداء النوعي:
  • تظهر المقارنات البصرية أن HAM يحافظ على التفاصيل الدقيقة (مثل النصوص، الملامح الوجهية، حدود الأشياء) التي تشوهها أو تفقدها الطرق الأخرى.
  • نجح في نقل الأنماط المعقدة (مثل فان جوخ، التكعيبية، الرسم التخطيطي) مع الحفاظ على هوية الصورة الأصلية، متجنباً "تسرب النمط" أو "انهيار المحتوى" الذي تظهره الطرق الأخرى.
• دراسات الاستئصال (Ablation Studies):
  • أدى حذف أي من الوحدات الثلاث (GAR، LAT، SINI) إلى انخفاض في الأداء، مما يؤكد ضرورتها التآزرية.
    [] أظهر ضبط المعاملات الفائقة ($\alpha, \beta, \gamma$) أن توازنات محددة (مثل $\alpha=0.75, \beta=0.25, \gamma=0.5$) تحقق أفضل مقايضة.

5. الأهمية

• حل المقايضة: يوفر HAM حلاً قوياً للتحدي طويل الأمد المتمثل في موازنة شدة نقل النمط مع الحفاظ على هوية المحتوى في نماذج الانتشار.
• الكفاءة: بكونه خالياً من التدريب، فإنه يخفض الحاجز أمام تطبيق نقل الأنماط على أنماط جديدة، مما يلغي الحاجة إلى الضبط الدقيق لكل نمط على حدة.
• القدرة على التعميم: القدرة على العمل عبر بنيات انتشار مختلفة (SD2.1 وSD3.5) تشير إلى أن المنهج يستهدف آليات الانتباه الأساسية بدلاً من الخصائص المرتبطة ببنية معينة، مما يجعله أداة متعددة الاستخدامات لتطبيقات الذكاء الاصماعي التوليدي المستقبلية.
• التأثير المستقبلي: يضع هذا النهج معياراً جديداً لنقل النمط بنموذج "الصفر معرفة" (zero-shot)، مما يتيح أدوات أكثر موثوقية وعالية الدقة لتحرير وتوليد الصور في الصناعات الإبداعية.