Balancing Fidelity and Diversity in Diffusion Models via Symmetric Attention Decomposition: Hopfield Perspective

ملخص تقني: موازنة الدقة والتنوع في نماذج الانتشار عبر تفكيك الانتباه المتماثل

بيان المشكلة
أصبحت نماذج الانتشار (Diffusion models) هي النموذج الرائد لتوليد الصور، مدفوعة بشكل كبير بآلية الانتباه (Attention mechanism) وقدرتها على دمج السياق العالمي ونمذجة التبعيات طويلة المدى. ومع ذلك، فإن هذا الاتصال العالمي يخلق مقايضة جوهرية: فبينما يعزز الابتكار والتنوع، فإنه عرضة للتسبب في "خلط زائف" (Spurious mixing) لميزات غير متوافقة (مثل دمج المواد بين كائنات متميزة). إن التمييز بين تكامل السياق المفيد والتسرب الدلالي الضار أمر غير بديهي لأن كلاهما يتشارك في نفس الآلية الأساسية. وغالباً ما تُعالج التحليلات الحالية الانتباه باعتباره مجرد آلية استرجاع لكل رمز (Token-wise retrieval)، مما يفشل في التقاط ديناميكيات التفاعل الغنية المشفرة داخل مصفوفة الانتباه نفسها. وبناءً على ذلك، هناك نقص في الطرق المنهجية لتحديد متى يستقر الانتباه في "خليط شبه مستقر" (Metastable mixture) غير متماسك، وللتحكم في هذا السلوك للتنقل في مقايضة الدقة مقابل التنوع (Fidelity–Diversity trade-off).

المنهجية
يقترح المؤلفون إطار عمل يصف مصفوفة الانتباه قبل "softmax" (أي $QK^\top$) كذاكرة ترابطية ديناميكية تشفر الارتباطات المزدوجة للميزات. وبناءً على الرؤية القائلة بأن الانتباه الذاتي في المحولات (Transformer self-attention) يقرب قاعدة التحديث لشبكة هوبفيلد حديثة (Modern Hopfield network)، يقوم البحث بتفكيك مصفوفة الانتباه إلى مكونين متميزين:

1. المكون المتماثل ($M_{sym}$): يمثل مشهد الطاقة (Energy landscape). وهو يتحكم في استقرار الميزات المسترجعة، حيث تقابل الطاقة المنخفضة حالات مدعومة بقوة بواسطة الذاكرة الترابطية.
2. المكون غير المتماثل (Skew-Symmetric) ($M_{skew}$): يمثل ديناميكيات الدوران (Circulation dynamics). وبما أن المصفوفات غير المتماثلة تساهم بصفر طاقة تربيعية للحالات ذات القيم الحقيقية، فإن هذا المكون يعمل كقوة توجيهية تدفع الدوران، مما قد يؤدي إلى اضطراب الحالات شبه المستقرة.

بناءً على هذا التفكيك، اشتق المؤلفون مقاييس استقرار بأسلوب هوبفيلد للكمّيّة جودة الاسترجاع:

• الطاقة ($E_X$): مقياس عالمي لمدى قوة دعم الحالة للتفاعل المتماثل.
• كسر عدم الاستقرار ($r_X$): مقياس محلي يحدد نسبة المواقع المكانية التي يتعارض فيها المجال المحلي مع الحالة الحالية.
• درجة المحاذاة ($Align_X$): مقياس تشابه جيب التمام الذي يحدد مدى الاتفاق التوجيهي العالمي بين الميزة المسترجعة والمجال المحلي المستحث.

للتحكم في عملية التوليد، يقترح المؤلفون آلية تدخل خالية من التدريب (Training-free intervention). حيث يقومون بتعديل المكون غير المتماثل عبر معامل تحكم قياسي $\alpha$ (مقياس الدوران) ودمج الاسترجاع المضطرب الناتج مع الاسترجاع المرجعي باستخدام معامل $\beta$. يسمي هذا الأمر بضخ "انجراف مدفوع بالدوران" (Circulation-driven drift) لكسر الخلط شبه المستقر دون تغيير مشهد الطاقة الأساسي. علاوة على ذلك، قدموا نوعاً من التحكم التكيفي يعدل قوة الضخ بناءً على مؤشر التماثل الوظيفي المتحقق ($\eta_M$) لمصفوفة الانتباه لكل عينة، مما يمنع الإفراط في اضطراب عمليات التوليد عالية الجودة بالفعل.

المساهمات الرئيسية

• إطار الذاكرة الترابطية: يؤسس البحث إطاراً يشفر ارتباطات الميزات المزدوجة داخل مصفوفة الانتباه، مقدماً تفكيكاً متماثلاً/غير متماثل يفصل بين الاستقرار القائم على الطاقة وبين الانجراف المدفوع بالدوران.
• مقاييس الاستقرار: بالاستفادة من المكون المتماثل، اشتق المؤلفون مقاييس استقرار بأسلوب هوبفيلد ($E_X$, $r_X$, $Align_X$) التي تقيس استقرار الميزات. وقد أظهروا ارتباطاً قوياً بين هذه المقاييس الداخلية والمقايضة الخارجية بين الدقة والتنوع.
• مقبض دوران قابل للتحكم: اقترح المؤلفون استخدام المكون غير المتماثل كمقبض قابل للضبط للتدخل في وقت الاختبار. ومن خلال ضخ انجراف توجيهي، تعمل هذه الطريقة على اضطراب الخلط شبه المستقر لاستعادة التماسك الهيكلي، مما يوفر آلية لموازنة الدقة والتنوع.

النتائج
تم تقييم الطريقة المقترحة على نموذج SDXL باستخدام 1,000 مطالبة من مجموعة بيانات COCO2014. وتشمل النتائج الرئيسية ما يلي:

• الارتباط مع الجودة: تظهر مقاييس الاستقرار المقترحة ارتباطات متسقة مع المقاييس الخارجية. ترتبط درجات المحاذاة العالية ($Align_X$) بدرجات جمالية أعلى وتنوع LPIPS أقل (مما يشير إلى التماسك الهيكلي)، بينما يرتبط الانخفاض في المحاذاة بتنوع أعلى ولكن مع زيادة في عدم التماسك الهيكلي والعيوب (Artifacts).
• التأثيرات المعتمدة على الحالة: يظهر التدخل سلوكاً يعتمد على الحالة. ففي المجموعات الفرعية "غير المستقرة" (منخفضة الجودة)، يؤدي ضخ الدوران إلى تحسين الدرجات الجمالية وImageReward بشكل ملحوظ عبر كسر الخلط الزائف. وعلى العكس من ذلك، في المجموعات الفرعية "المستقرة" (عالية الجودة)، يمكن أن يؤدي الإفراط في الدوران إلى تدهور المقاييس عبر تعطيل الهياكل المتماسكة.
• التحكم التكيفي: نجح المتغير التكيفي، الذي يعدل الاضطراب بناءً على مؤشر التماثل المتحقق ($\eta_M$) للعينة، في الحد من التدهور الملاحظ في العينات عالية الجودة تحت تأثير الاضطراب الثابت المفرط. فهو يحافظ على المكاسب في العينات منخفضة الجودة مع الحفاظ على الأداء في العينات عالية الجودة.
• المقارنة مع ضبط الحرارة العالمي (Global Tempering): على عكس ضبط درجة حرارة الانتباه العالمي، الذي يشد أو يخمد التفاعلات بشكل عشوائي (مما يؤدي غالباً إلى عيوب مثل تكرار الأطراف)، فإن التحكم في الدوران المقترح يثبط انتقائياً عيوب الخلط ضعيفة الدعم مع الحفاظ على الدعم الهيكلي المهيمن.

الأهمية والادعاءات
يزعم البحث تقديم عدسة منهجية لتحليل الانتباه ليس فقط كعامل خلط للرموز، بل كمصفوفة تفاعل تحتوي على مكونات مدعومة بالطاقة ومكونات مدفوعة بالدوران. ومن خلال إعادة صياغة الخلط الزائف كوقوع في حالات شبه مستقرة، يوفر العمل أداة تشخيصية (مقاييس الاستقرار) وآلية تحكم (تعديل الدوران) للتنقل في مقايضة الدقة والتنوع. ويشير المؤلفون إلى أن هذه الرؤية قد تمتد إلى ما وراء نماذج الانتشار لتشمل بنيات المحولات الأخرى، مثل النماذج اللغوية الكبيرة، مما يقدم طريقة جديدة لدراسة ديناميكيات الانتباه. تُقدم الطريقة كتدخل لاحق (Post-hoc) وخالٍ من التدريب لتحسين موثوقية وتحكم الأنظمة التوليدية من خلال معالجة السبب الجذري للتسرب الدلالي في آلية الانتباه.