Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers

ملخص تقني: تضمين الموضع الدوراني كتشكيل طوري

1. بيان المشكلة

مع توسع النماذج اللغوية الكبيرة (LLMs) لتشمل أطوال سياق متزايدة (من آلاف إلى ملايين الرموز/Tokens)، تظهر آلية "تضمين الموضع الدوراني" (RoPE) — وهي المعيار الصناعي الحالي — مشكلات موثوقية كبيرة. تشمل هذه المشكلات "انهيار الانتباه" (attention collapse)، وظواهر "الضياع في المنتصف" (lost-in-the-middle)، والتدهور المفاجئ في الأداء أثناء الاستقراء السياقي (context extrapolation).

الحلول الحالية (مثل NTK-aware scaling أو Yaagn) تعتمد بشكل كبير على المنهج التجريبي والاستدلالي. هناك نقص في إطار نظري موحد يفسر لماذا تفشل بعض معاملات قاعدة RoPE، وكيف يؤدي عمق النموذج إلى تفاقم هذه الإخفاقات، وما هي الحدود العددية الأساسية التي تفرضها دقة الأجهزة (hardware precision).

2. المنهجية

يقترح المؤلف منظوراً تحليلياً جديداً: إعادة تفسير RoPE ليس فقط كدوران هندسي، بل كـ تشكيل طوري (phase modulation) مطبق على مجموعة من المذبذبات المعقدة ذات ترددات موزعة هندسياً.

من خلال معاملة تضمين الموضع كمسألة معالجة إشارات، ينتقل البحث بعيداً عن التفكير الهندسي المحلي للطبقات، وبدلاً من ذلك، يقوم بنمذجة كيفية انتشار أخطاء الطور عبر النظام. تتضمن المنهجية ما يلي:

• صياغة معالجة الإشارات: نمذجة RoPE كمجموعة من المذبذبات المعقدة حيث يعمل موضع الرمز $p$ كمتغير للتشكيل.
• تحليل الاستقرار: اشتقاق الحدود بناءً على "مكون التيار المستمر شبه المستقر" (quasi-DC component) — وهو النمط ذو التردد الأدنى — والذي يتحكم في البنية الموضعية العالمية.
• نمذجة الخطأ المتراكم: النمذجة الرياضية لكيفية ضرب عدم المحاذاة الزاوية الصغيرة في كل طبقة عبر العمق الإجمالي $N$ للمحول (transformer).
• التحليل العددي: تطبيق نظرية خطأ الفاصلة العائمة الكلاسيكية (Goldberg/Higham) لتحديد حدود دقة زيادة الطور.

3. المساهمات الرئيسية

يحدد البحث ثلاثة حدود نظرية حاسمة تحدد "منطقة غولديلوكس" (منطقة الجدوى) لقاعدة RoPE:

• الحدود الدنيا (الاستقرار):
  • حد التداخل الأساسي (Aliasing Limit): حد يشبه حد نايكويست يتطلب أن يكون $\text{base} > L / 2\pi$ لمنع إشارة الموضع العالمية من أن تصبح غامضة (تصادم الدورية).
  • حد استقرار مكون التيار المستمر (DC-Component): شرط بأن تكون القاعدة كبيرة بما يكفي لضمان أن النمط ذو التردد الأدنى لا "يدور" بسرعة كبيرة، مما يحافظ على حد أدنى من تشابه جيب التمام ($\epsilon$) بين الرموز المتجاورة.
  • حد التراكم المعتمد على العمق: امتداد حاسم يوضح أنه مع زيادة عمق النموذج $N$، يجب أن تنمو القاعدة المطل la لتعويض التحلل الضربي للتماسك الموضعي عبر الطبقات.
• الحد الأعلى (الدقة):
  • المحو العددي (جدار الدقة): حد يعتمد على الأجهزة حيث يكون $\text{base} < 1/\epsilon_{mach}$. إذا كانت القاعدة كبيرة جداً، فإن زيادة الطور $\Delta\theta$ تصبح أصغر مما يمكن لـ "المانتيسة" (mantissa) في الفاصلة العائمة تمثيله، مما يؤدي إلى توقف "المسطرة" عن الحركة ومحو المعلومات الموضعية.
• منطقة الجدوى: صياغة الفترة الواقعة بين هذين الحدين (الأدنى والأعلى) كمنطقة وحيدة يمكن فيها لنماذج المحولات ذات السياق الطويل أن تعمل نظرياً.

4. النتائج ودراسات الحالة

تم التحقق من صحة الإطار مقابل نماذج رائدة (LLaMA, Mistral, DeepSeek):

• LLaMA-2/Baichuan-2: تأكد أنها في نظام "غير مستقر". قواعدها منخفضة جداً للحفاظ على استقرار مكون التيار المستمر عبر عمقها، مما يفسر حساسيتها للمهام طويلة المدى.
• LLaMA-3: صُنفت على أنها "مستقرة جداً" لأن قاعدتها الأصلية ($\approx 500,000$) صُممت لتستقر بأمان داخل منطقة "غولديلوكس" المتوقعة.
• DeepSeek-V2 مقابل V3: يفسر التحليل سبب معاناة V2 (ذات القاعدة الفعالة الأقل) مع الاستدلال طويل المدى، بينما يعمل V3 (ذات القاعدة الأعلى) بالقرب من المنطقة المستقرة ولكن لا يزال داخلها.
• حد المليون رمز (1M Token Limit): يتنبأ البحث بوجود "جدار دقة صلب" للنماذج التي تحاول الوصول إلى مليون رمز باستخدام معيار FP32. بالنسبة لنموذج مكون من 96 طبقة، فإن القاعدة المطلوبة للحفاظ على الاستقرار تتجاوز الدقة العددية لـ FP32، مما يجعل المهمة غير ممكنة بدون دقة أعلى (مثل FP64) أو طرق تضمين جديدة.

5. الأهمية

ينقل هذا العمل التصور عن قاعدة RoPE من كونها معاملاً قابلاً للضبط (hyperparameter) إلى كونها قيداً هيكلياً أساسياً.

الآثار العملية:

1. التوجيه التصميمي: يمكن للمهندسين الآن حساب الحد الأدنى للقاعدة المطلوبة لـ RoPE بناءً على طول السياق المقصود وعمق النموذج قبل عملية التدريب.
2. التعديل اللاحق (Retrofitting): يوفر مبرراً نظرياً لسبب نجاح استراتيجية زيادة قاعدة RoPE لتوسيع السياق في النماذج الموجودة.
3. الوعي بالأجهزة: يسلط الضوء على أن توسيع السياق ليس مجرد تحدٍ برمجي/خوارزمي، بل هو محكوم بدقة عددية مرتبطة بالأجهزة المستخدمة.