Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "الترميز الموضعي الدوار المتكيف لكل رأس (HARoPE) لتوليد الصور دقيق التفاصيل".

1. بيان المشكلة

تعتمد نماذج المحولات (Transformers) على الترميزات الموضعية لنمذجة الهيكل في البيانات. وبينما يُعد الترميز الموضعي الدوار (RoPE) فعالاً للغاية في النطاقات أحادية البعد (مثل معالجة اللغات الطبيعية NLP) بفضل خاصية الموضع النسبي والقدرة على الاستقراء، فإن تطبيقه المباشر على توليد الصور متعدد الأبعاد يواجه ثلاث عقبات حرجة:

1. الاستقلالية عبر المحاور وعدم التوافق الدلالي: يقوم نظام RoPE متعدد الأبعاد القياسي بتقسيم أبعاد الميزات بشكل موحد عبر المحاور المكانية (مثل $x$ و $y$) ويطبق دورات قطرية كتلية. هذا يفرض استقلالية بين المحاور، مما يثبط التفاعلات المعقدة بين المحاور (مثل الارتباطات القطرية أو الدورانية). علاوة على ذلك، فإن مستويات الدوران الثابتة هذه غالباً لا تتوافق مع الفضاءات الفرعية الدلالية التي يتعلمها النموذج.
2. المعاملة الموحدة للرؤوس: يطبق RoPE القياسي نفس الخريطة الموضعية تماماً لجميع رؤوس الانتباه. ومع ذلك، غالباً ما تتخصص الرؤوس المختلفة في مجالات استقبال مختلفة (محلية مقابل عالمية) وأنماط متعددة المقاييس. وتمنع المعاملة الموحدة ظهور حساسية موضعية خاصة بكل رأس.
3. فشل التوليد دقيق التفاصيل: تظهر هذه القيود في ضعف الأداء في المهام التي تتطلب استدلالاً مكانياً دقيقاً، ودقة في الألوان، وعدّ الأجسام، حيث يكافح النموذج لالتقاط التحيزات الهيكلية غير المتناحية والمعقدة اللازمة لتوليد صور عالية الجودة.

2. المنهجية: HARoPE

يقترح المؤلفون HARoPE (الترميز الموضعي الدوار المتكيف لكل رأس)، وهو تحسين معياري خفيف الوزن يُدخل تحويلاً خطياً قابلاً للتعلم مباشرة قبل عملية الدوران.

الآلية الجوهرية

لكل رأس انتباه $h$، يقدم HARoPE مصفوفة تحويل خطي قابلة للتعلم $A_h \in \mathbb{R}^{d \times d}$ يتم تحديد معاملاتها عبر تفكيك القيم المفردة (SVD):
$$A_h = U_h \Sigma_h V_h^\top$$

يتم تحويل الاستعلامات ($q$) والمفاتح ($k$) في المواضع $m$ و $n$ كما يلي:
$$q'_h = R_m A_h^\top q_h$$
$$k'_h = R_n A_h^{-1} k_h$$
حيث $R_m$ و $R_n$ هما مصفوفات الدوران الدورانية القياسية.

ميزات التصميم الرئيسية

• التوافق الدلالي ($V_h$): تعمل المصفوفة $V_h$ كتغيير لأساسات القياس، حيث تقوم بتدوير ميزات الإدخال بحيث تتوافق مستويات الدوران اللاحقة مع الاتجاهات ذات المعنى الدلالي التي تعلمها النموذج، بدلاً من المحاور الإحداثية الثابتة.
• الخلط عبر المحاور: باستخدام مصفوفة كثيفة $A_h$ (بدلاً من مصفوفة قطرية كتلية)، يتيح HARoPE خلطاً صريحاً للمعلومات عبر الأبعاد المكانية المختلفة (على سبيل المثال، ربط ميزات $x$ و $y$).
• التخصص الخاص بكل رأس: يتعلم كل رأس انتباه مصفوفة $A_h$ فريدة خاصة به، مما يسمح للرؤوس بتطوير مجالات استقبال موضعية متخصصة (على سبيل المثال، بعض الرؤوس تركز على التفاصيل المحلية، وأخرى على الهيكل العالمي).
• الحفاظ على الموضع النسبي: من المهم جداً أنه بما أن نفس التحويل يُطبق على كل من الاستعلامات والمفاتح (مع عمليات عكسية)، فإن درجة الانتباه تعتمد حصرياً على الإزاحة النسبية $(n-m)$:
  $$(q'_h)^\top k'_h = q_h^\top A_h R_{n-m} A_h^{-1} k_h$$
  وهذا يحافظ بصرامة على خاصية التباين في الموضع النسبي لـ RoPE.

التهيئة والاستقرار

لضمان التوافق مع النماذج سابقة التدريب، يتم تهيئة $A_h$ كمصفوفة الوحدة ($I$). يتم تحديد المصفوفات المتعامدة $U_h, V_h$ عبر الأسس المصفوفية لمصفوفات غير متماثلة، ويتم تقييد القيم المفردة في $\Sigma_h$ لتبقى قريبة من 1 (عبر Softplus) لمنع انفجار أو تلاشي القيم (norms).

3. المساهمات الرئيسية

1. تحديد أوجه القصور: حددت الورقة رسمياً أن RoPE متعدد الأبعاد القياسي يفشل في توليد الصور بسبب الجمود في استقلالية المحاور والافتقار إلى التخصص على مستوى الرأس.
2. بنية HARoPE: تقديم آلية متكيفة لكل رأس باستخدام تمثيل SVD تتيح التوافق الدلالي والخلط عبر المحاور مع الحفاظ على ثبات الموضع النسبي.
3. بديل جاهز للاستخدام (Drop-in Replacement): صُممت الطريقة كبديل خفيف الوزن لعمليات تنفيذ RoTE الموجودة في نماذج المحولات التوليدية (DiT, Flux, SD3) مع حد أدنى من العبء الحسابي.
4. تقييم شامل: تحقق واسع النطاق عبر فهم الصور (DeiT)، والتوليد المشروط للفئات (ImageNet/DiT)، وتوليد الصور من النصوص (Flux, SD3).

4. النتائج التجريبية

قيم المؤلفون HARoPE مقابل خطوط أساس قوية (Absolute PE, 2D-RoPE, VideoRoPE, STRING, RethinkRoPE) عبر مهام متعددة:

• فهم الصور (DeiT): حقق HARoPE أعلى دقة Top-1 على ImageNet (83.76% لـ DeiT-Base، و84.83% لـ DeiT-Large)، متفوقاً على 2D-RoPE والامتدادات الأخرى.
• التوليد المشروط للفئات (ImageNet/DiT-B/2):
  • FID-50K: تحسن من 9.49 (2D-RoPE) إلى 8.90.
  • Inception Score (IS): تحسن من 124.78 إلى 127.01.
  • Recall: تحسن إلى 0.55، مما يشير إلى تنوع أفضل.
• توليد الصور من النصوص (Flux & SD3):
  • Flux (1024x1024): حسن درجة GenEval Overall من 0.757 إلى 0.771 و DPG-Bench من 83.26 إلى 83.77.
  • SD3-medium: خفض FID من 5.35 (RoPE) إلى 5.22.
• المهام دقيقة التفاصيل: أظهر HARoPE مكاسب كبيرة في الاستدلال المكاني (العلاقات المكانية 2D/3D) وعدّ الأجسام، خاصة عند الدقة العالية (2048px)، حيث عالج مشكلات استقراء التردد بشكل أفضل من RoPE القياسي.
• دراسات الاستئصال (Ablation Studies):
  • SVD مقابل المصفوفات الأخرى: تفوق تمثيل SVD على قيود المصفوفات العادية والمتعامدة، مما أكد فائدة البنية المحددة.
  • لكل رأس مقابل مشترك: أدى تمكين المصفوفات الخاصة بكل رأس إلى تحسينات ثابتة مقارنة بالمصفوفات المشتركة، مما أكد الحاجة إلى التخصص.
  • الكفاءة: يضيف HARoPE نسبة ضئيلة من المعلمات (~2.7% زيادة) وعمليات حسابية (FLOPs) مقارنة بـ RoPE، ومع ذلك يوفر مكاسب أداء كبيرة لا يمكن تكرارها بمجرد إضافة المعلمات (على سبيل المثال، "RoPE+SVD" بدون التكيف لكل رأس كان أداؤه أسوأ).

5. الأهمية

تعالج هذه الدراسة عنق زجاجة جوهري في تطبيق المحولات على توليد الصور عالية الدقة. من خلال الانتقال من الترميزات الموضعية الجامدة والمستقلة للمحاور إلى توافقات دلالية متكيفة وخاصة بكل رأس، يمكّن HARoPE النماذج من:

• التقاط العلاقات المكانية المعقدة (الأقطار، الدورانات) بشكل أفضل.
• تحسين الالتزام الدقيق بالوصف (العدّ، اللون، التخطيط المكاني).
• التوسع بفعالية أكبر نحو الدقات العالية دون فقدان التماسك الموضعي.

تقدم الطريقة حلاً مبنياً على أسس رياضية رصينة يعزز "الوعي الموضعي" للنماذج التوليدية دون التضحية بالفوائد النظرية لـ RoPE، مما يجعلها أداة قيمة للجيل القادم من مولدات الصور القائمة على الانتشار والمحولات.