ملخص تقني: فك تشابك RoPE: التحكم في التردد من أجل الانتباه المشترك في نماذج DiTs

بيان المشكلة

في نماذج المحولات الانتشارية (Diffusion Transformers - DiTs)، مثل بنية MMDiT المستخدمة في نماذج مثل Flux، يتم ترميز المعلومات الموضعية عبر تضمينات الموضع الدورانية (Rotary Positional Embeddings - RoPE). وبينما تُعد RoPE ضرورية لنمذجة البنية المكانية في توليد الصور القياسي، فإن سلوكها في إعدادات الانتباه المشترك (shared-attention) — حيث ينتبه توليد صورة مستهدفة إلى رموز (tokens) من صورة مرجعية — لا يزال غير مفهوم بشكل كافٍ.

حدد المؤلفون نمط فشل حرج في هذا الإعداد: نسخ المرجع (reference copying). فبدلاً من نقل السمات الأسلوبية لصورة مرجعية إلى مطالبة مستهدفة (على سبيل المثال، توليد زرافة بأسلوب ثور)، تنهار النماذج لتنتج محتوى المرجع بدقة شبه تامة. يحدث هذا لأن التحيز المكاني القوي الذي تفرضه RoPE يجبر الاستعلامات (queries) في الصورة المستهدفة على الانتباه بشكل مفرط للرموز المتوافقة مكانياً في الصورة المرجعية، مما يلغي التشابه الدلالي (semantic similarity).

تقدم المحاولات الحالية للتخفيف من ذلك، مثل تقييد مشاركة الانتباه في خطوات إزالة الضجيج (denoising) المتأخرة أو استخدام مؤشرات موضعية مزاحة (كما في العمل المتزامن AlignedGen)، تحكماً خشناً فقط أو تسبب عيوباً جديدة مثل "الترميم الدوري الشبحي" (ghost-cyclic inpainting) (حيث يعامل النموذج المرجع كاستمرار للمستهدف).

المنهجية

يقترح البحث تعديلاً واعياً بالتردد (frequency-aware modulation) لـ RoPE لاستعادة الانتباه المشترك ذي المعنى دون إعادة تدريب النموذج أو تغيير بنيته.

1. تحليل بنية تردد RoPE

يقدم المؤلفون تحليلاً مبدئياً يوضح أن RoPE تتحلل إلى مكونات ترددية ذات حساسية موضعية متميزة:

• مكونات التردد العالي: تقابل الأبعاد ذات المؤشر المنخفض في التضمين. وتظهر تغيرات زاوية سريعة بالنسبة للإزاحة المكانية ($\Delta$)، مما يفرض محلية (locality) قوية. وهي تسبب انخفاضاً حاداً في الانتباه مع زيادة المسافة المكانية.
• مكونات التردد المنخفض: تقابل الأبعاد ذات المؤشر الأعلى. وتتغير ببطء مع الإزاحة، مما يساهم في ضعف التحيز الموضعي ويحافظ على التماسك المكاني العالمي (global spatial coherence).

في سيناريوهات الانتباه المشترك، تهيمن مكونات التردد العالي على حساب الانتباه، مما يجعل النموذج يلتصق بالرموز المرجعية المتوافقة مكانياً وينسخ محتواها.

2. التعديل الواعي بالتردد

لمواجهة ذلك، قدم المؤلفون طريقة لتعديل نطاقات تردد صور المرجع ($K_{ref}$) بشكل انتقائي أثناء حساب الانتباه.

• الآلية: بدلاً من تعطيل RoPE (الذي يسبب توليداً متدهوراً) أو تغيير مقياس الانتباه بشكل موحد، تطبق الطريقة استيفاءً حدودياً (polynomial interpolation) سلساً لعوامل القياس عبر طيف RoPE.
• استراتيجية القياس:
  • التوهين (Attenuation): يتم تقليل مقياس مكونات التردد العالي (عامل $s_{hf} \in (0, 1)$) لتقليل التحيز الموضعي القوي الذي يدفع لعملية النسخ.
  • التضخيم (Amplification): يتم زيادة مقياس مكونات التردد المنخفض (عامل $s_{lf} > 1$) لتعزيز الانتباه العالمي الموجه دلالياً.
• جدولة الخطوات الزمنية (Timestep Scheduling): تزداد مقاييس التعديل ($s_{hf}$ و $s_{lf}$) خطياً عبر خطوات إزالة الضجيج. تستخدم الخطوات المبكرة تعديلاً أقل لإنشاء البنية العالمية والتوجيه الأسلوبي الواسع، بينما تزيد الخطوات اللاحقة من القياس للسماح بنقل التفاصيل الأسلوبية الدقيقة والأنماط (textures).

يتم صياغة مفتاح الانتباه النهائي للانتباه المشترك كالتالي:
K = [K'_{img}^{tar} \oplus K_{txt}^{tar}] \oplus s_{FA}^t \cdot K_{img}^{ref}
حيث $s_{FA}^t$ هو مقياس التعديل الواعي بالتردد عند الخطوة الزمنية $t$، ويُطبق حصرياً على مفاتيح المرجع.

المساهمات الرئيسية

1. تحليل مبدئي لـ RoPE في الانتباه المشترك: يثبت البحث أن ظاهرة "نسخ المرجع" في نماذج DiTs ليست فشلاً عاماً في مشاركة الانتباه، بل هي نتيجة محددة لمكونات التردد العالي في RoHE التي تفرض محلية مكانية صارمة.
2. آلية التحكم في التردد: قدم المؤلفون طريقة (zero-shot) وخالية من التدريب لتعديل نطاقات تردد RoPE. يسمح هذا بتوفير توازن قابل للتحكم بين التوافق الموضعي والتشابه الدلالي.
3. حل العيوب (Artifacts): تعالج الطريقة مشكلات "الترميم الدوري الشبحي" وتسرب المحتوى الملاحظة في النهج السابقة (مثل shifted RoPE) من خلال معالجة بنية التردد الأساسية مباشرة بدلاً من مجرد إزاحة الإحداثيات.
4. استعادة التوليد المتوافق أسلوبياً: تمكن هذه المنهجية نماذج DiT من توليد محتوى دلالي متنوع (مثل حيوانات مختلفة) مع الحفاظ على أسلوب بصري متسق من المرجع، وهي قدرة كانت محدودة سابقاً في نماذج UNet أو تتطلب ضبطاً دقيقاً (fine-tuning) مكثفاً.

النتائج

عند التقييم على نموذج Flux 1.-dev، أظهرت الطريقة ما يلي:

• نقل أسلوبي فعال: نجح النموذج في نقل السمات الأسلوبية (اللون، الملمس، ضربات الفرشاة) من المراجع (بما في ذلك الأعمال الفنية والصور الفوتوغرافية) إلى المطالبات المستهدفة دون تكرار محتوى المرجع.
• القابلية للتحكم: من خلال ضبط مقاييس التعديل، يمكن للمستخدمين التحكم في درجة نقل الأسلوب مقابل الحفاظ على المحتوى. حيث يحافظ $s_{hf}$ العالي على بنية المرجع (الوضعية/الشكل) مع نقل الأسلوب؛ بينما يسمح $s_{hf}$ المنخفض بمزيد من التباين الهيكلي.
• التفوق على النماذج المرجعية (Baselines):
  • مقارنة بـ StyleAligned (المعتمد على UNet)، تتجنب الطريقة تسرب المحتوى وعدم الانتظام الهيكلي في نماذج DiTs.
  • مقارنة بـ AlignedGen (الاعتماد على shifted RoPE)، تتجنب الطريقة عيوب النسخ الدوري و"الترميم الدوري الشبحي"، مما يوفر انتقالاً أسلوبياً أكثر سلاسة حتى عند الدقات العالية.
  • مقارنة بـ IP-Adapter و B-LoRA، لا تتطلب الطريقة أي تدريب إضافي أو مشفرات صور، مما يوفر حلاً أكثر عمومية وقدرة على التعميم (zero-shot).

الأهمية

يزعم البحث أن الترميزات الموضعية ليست مكونات محايدة، بل هي التي تحكم بنشاط التوازن بين المحلية (locality) والارتباط الدلالي (semantic association) في النماذج التوليدية. وتوضح النتائج لماذا تفشل استراتيجيات مشاركة الانتباه التي طُورت لنماذج UNet (التي تعتمد على التحيزات الاستقرائية التلافيفية) عند تطبيقها مباشرة على نماذج DiT (التي تعتمد حصرياً على RoPE).

من خلال الكشف عن أن مكونات RoPE عالية التردد هي التي تقود عملية نسخ المحتوى، يوفر هذا العمل أداة مباشرة وقابلة للتفسير لتشكيل تدفق الانتباه. وهذا يشير إلى اتجاه أوسع للتحكم في النماذج التوليدية من خلال تدخلات مستهدفة في التمثيلات الداخلية، مما يتيح توليداً دقيقاً متوافقاً أسلوبياً دون الحاجة لتغييرات في البنية أو إعادة التدريب.