Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks

ملخص تقني: Jordan-RoPE

بيان المشكلة
تحدد التشفيرات الموضعية النسبية (RPE) الدوال الأولية لفرق (lag) الاستعلام-المفتاح المتاح لآليات الانتباه. وبينما تُعد الآليات الناجحة مثل RoPE (الدوران الطوري) وALiBi (التحيز المسافاتي الجمعي) مفهومة جيدًا من خلال التصنيفات الجبرية للمؤثرات الخطية الثابتة بالإزاحة، إلا أنها تعتمد عادةً على مولدات شبه بسيطة (قابلة للتشخيص/diagonalizable). وهذا يترك الزاوية غير شبه البسيطة من التصنيف غير مستكشفة بشكل كافٍ. وتحديدًا، تتعامل النهج القياسية مع ميزات الطور (الدورانية) والمسافة (متعددة الحدود/القص) كقنوات منفصلة أو تحيزات جمعية. يبحث البحث فيما إذا كان ربط القيمة الذاتية الدورانية المعقدة مع استجابة نيلبنتية (nilpotent) ضمن كتلة جوردان (Jordan block) معيبة واحدة سيؤدي إلى توليد ميزات موضعية نسبية أولية تختلف بنيويًا عن المجموع المباشر البسيط.

المنهجية
يقترح المؤلفون Jordan-RoPE، وهو بناء يدمج القيمة الذاتية الدورانية المعقدة والاستجابة النيلبنتية داخل كتلة جوردان معقدة من الدرجة الثانية.

1. الصياغة الجبرية:
   يُعرف المولد كـ $J_{\gamma, \omega, \eta} = (-\gamma + i\omega)I + \eta N$، حيث $N$ هي مصفوفة نيلبنتية ($N^2=0$). ويولد المؤثر النسبي الناتج لفرق التأخير السببي $d = i-j \ge 0$:
   $$G_{exact}(d) = \exp(d J) = e^{(-\gamma + i\omega)d} (I + \eta d N)$$
   هذا يولد أساسًا من الميزات التذبذبية-متعددة الحدود:
   $$e^{-\gamma d} \cos(\omega d), \quad e^{-\gamma d} \sin(\omega d), \quad d e^{-\gamma d} \cos(\omega d), \quad d e^{-\gamma d} \sin(\omega d)$$
   ومن الأهمية بمكان أن القناة النيلبنتية توفر ميزة التردد المماسية $d e^{i\omega d}$، مما يربط المسافة والطور مباشرة بدلاً من إضافتهما بشكل منفصل.

2. إجراء الاستعلام المتناظر (Contragredient Query Action):
   بما أن كتلة جوردان ليست متعامدة، فإن تطبيق نفس التحويل على الاستعلامات والمفاتيح لا ينتج مؤثرًا نسبيًا نقيًا ($G(i)^\top G(j) \neq G(j-i)$). ولاستعادة درجة الانتباه الصحيحة، يصيغ المؤلفون إجراء استعلام متناظر: حيث يتم تحويل الاستعلامات بواسطة معكوس منقول المصفوفة المعتمدة على الموضع، بينما تستخدم المفاتيح التحويل الأصلي. يضمن هذا أن درجة الانتباه تعتمد حصريًا على التأخير $d$.

3. الاستقرار (Stabilization):
   الحد النيلبنتي الدقيق ينمو خطيًا مع $d$، وهو أمر يمثل مشكلة في السياقات الطويلة. يقترح المؤلفون Stabilized Jordan-RoPE، الذي يستبدل $d$ بدالة قص (shear) محدودة $\tau(d) = d / (1 + d/L)$. ورغم أن هذا يكسر قانون المجموعة ذو المعلمة الواحدة بدقة، إلا أنه يحافظ على استجابة جوردان المحلية ويمنع النمو غير المحدود. كما تم اقتراح نسخة Scaled-exact، والتي تحافظ على قانون المجموعة من خلال تطبيع مقدار القص بطول السياق $L$.

المساهمات الرئيسية

• التحديد البنيوي: يحدد البحث كتلة جوردان المعقدة من الدرجة الثانية باعتبارها الامتداد الأدنى غير شبه البسيط لـ RoPE، حيث يتم ربط الطور والاستجابة النيلبنتية في تمثيل معيب واحد، بدلاً من فصلهما في فضاءات فرعية.
• الأساس الأولي: يوضح هذا البناء أنه يوفر مباشرة أساس اللوجيت الأولي $d e^{i\omega d}$ (ومكوناته الحقيقية $d \cos(\omega d), d \sin(\omega d)$)، محققًا "طورًا معدلًا بالمسافة" على مستوى ما قبل الـ softmax.
• التنفيذ: يوفر التنفيذ بالكتل الحقيقية وإجراء الاستعلام المتناظر الضروري للخرائط غير المتعامدة.
• التمييز عن المراجع: يفصل بين التمثيل الدقيق والتنفيذات المستقرة، موضحًا أن القص المحدود يحسن السلوك العددي ولكنه يضحي بقانون المجموعة الدقيق.

النتائج التجريبية
يركز التقييم على الأدلة البنيوية بدلاً من ادعاءات الأداء الواسعة، باستخدام ثلاثة أنواع من الاختبارات:

1. فحوصات مستوى النواة (Kernel-Level Probes): على هدف مختلط $y(d) = (d/L)\cos(\omega d)$، حقق أساس Exact/raw Jordan أدنى متوسط خطأ تربيعي (MSE)، متفوقًا بشكل كبير على RoPE وALiBi وخطوط الأساس ذات المجموع المباشر. يؤكد هذا أن الأساس يطابق مباشرة الهيكل المقترن للهدف.
2. نموذج لغوي اصطناعي: في مهمة تتطلب من النموذج تعلم قاعدة طور معدلة بالمسافة ($K(d) = (d/L)\cos(\omega d)$)، حقق Stabilized Jordan-RoPE دقة 0.906 عند طول 8192، متفوقًا على RoPE (0.781) والمجموع المباشر (0.500). يشير هذا إلى أن نماذج Transformer يمكنها استخدام النمط المقترن عندما تكافئ المهمة ذلك.
3. اللغة الطبيعية (WikiText-103): في نموذج لغوي صغير على مستوى البايت، حقق Scaled-exact Jordan-RoPE ($c=1$) أدنى متوسط فقدان ضمن عائلة جوردان (1.869) وكان منافسًا لـ Damped RoPE (1.884). ومع ذلك، ظل RoPE+ALiBi هو الأقوى إجمالًا (1.796). يشير المؤلفون إلى أن زيادة القص الأولي القسري ($\eta$) تزيد من سوء الفقد عند الأطوال الكبيرة في هذا الإعداد، مما يوحي بأن مهام اللغة الطبيعية تكافئ بشكل أساسي التخميد وتحيز الحداثة (recency bias) بدلاً من القص التذبذبي-متعدد الحدود القوي.

الأهمية والادعاءات
تقدم الورقة ادعاءات بنيوية متواضعة بدلاً من تأكيد تقديم تشفير موضعي جديد كليًا:

• الامتداد البنيوي: توفر كتل جوردان المعقدة امتدادًا محكومًا وغير شبه بسيط لـ RoPE.
• المنفعة الشرطية: يكون أساس جوردان المقترن مفيدًا تحديدًا عندما يكافئ النواة المستهدفة تفاعلات الطور المعدلة بالمسافة (مثل $d \cdot \text{phase}$).
• القيود: يذكر المؤلفون صراحة أنهم لا يدعون أن الآليات النيلبنتية جديدة، ولا أن عائلة جوردان تهيمن على التشفيرات الموجودة في نمذجة اللغة الطبيعية العامة. الدليل هو أن البناء يقدم أساسًا أوليًا محددًا ($d e^{i\omega d}$) يختلف عن المجموع المباشر لقنوات الطور والمسافة.

باختصار، يقدم Jordan-RoPE طريقة رياضية رصينة لربط المسافة والطور ضمن آلية انتباه واحدة، مما يثبت فعاليته في المهام الاصطناعية التي تتطلب هذا الربط، بينما يظهر أن مهام اللغة الطبيعية قد لا تزال تفضل التحيزات البسيطة أو المنفصلة أو الجمعية.