💬 NLP

Selective Rotary Position Embedding

تقدم الورقة البحثية تقنية **Selective RoPE**، وهي آلية لتدوير التضمين (rotary embedding) تعتمد على المدخلات وتعمل على تعميم الدورات ذات الزوايا الثابتة إلى زوايا عشوائية، مما يحسن الأداء في كل من نماذج الـ softmax والـ linear transformers من خلال السماح للنموذج بالتحكم ديناميكياً في الترميز الموضعي واضمحلال المعلومات.

المؤلفون الأصليون: Sajad Movahedi, Timur Carstensen, Arshia Afzal, Frank Hutter, Antonio Orvieto, Volkan Cevher

نُشر 2026-04-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sajad Movahedi, Timur Carstensen, Arshia Afzal, Frank Hutter, Antonio Orvieto, Volkan Cevher

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول كتابة رواية ملحمية ضخمة. لكي تجعلها رائعة، تحتاج إلى شيئين: ذاكرة مثالية لكل ما كتبته حتى الآن، والقدرة على التركيز على ما يهم في اللحظة الحالية دون التشتت بكل تفصيل صغير من الفصل الأول.

في عالم الذكاء الاصطناعي، تُعد "المحولات" (Transformers) -وهي التقنية التي تقف وراء ChatGPT- بمثابة روائيين بارعين يمتلكون ذاكرة مثالية، لكنهم بطيئون للغاية ومكلفون للغاية لأنهم يضطرون لإعادة قراءة كل كلمة كتبوها في كل مرة يكتبون فيها كلمة جديدة. ولحل هذه المشكلة، ابتكر العلماء "النماذج الخطية" (Linear Models)—وهم كتاب أسرع وأكثر رشاقة يعالجون المعلومات كتدفق مستمر، لكنهم غالباً ما يعانون من "ضبابية ذهنية" لأنهم ينسون التفاصيل المهمة أو يرتبكون بشأن ترتيب الأحداث.

تقدم هذه الورقة البحثية "ترقية للدماغ" تسمى Selective RoPE. إليك شرح لكيفية عملها باستخدام تشبيه بسيط.

1. المشكلة: "الذاكرة الضبابية" مقابل "المكتبة اللانهائية"

فكر في الطريقتين الموجودتين للتعامل مع المعلومات في الذكاء الاصطناعي:

محول Softmax (المكتبة اللانهائية): هذا الذكاء الاصطناعي لديه ذاكرة مثالية وواضحة تماماً لكل كتاب في المكتبة. إذا سألته عن كلمة محددة في الصفحة 400 من الكتاب رقم 12، فسيجدها فوراً. الجانب السلبي: إنه ثقيل جداً. لكي يجد تلك الكلمة، عليه أن يتجول عبر كل ممرات المكتبة في كل مرة تسأله فيها سؤالاً. إنه بطيء ويستهلك كميات هائلة من الطاقة.
النموذج الخطي (مدون الملاحظات السريع): هذا الذكاء الاصطناعي يشبه شخصاً يدون ملاحظات سريعة في دفتر ملاحظات. إنه سريع وفعال للغاية. الجانب السلبي: ولأن الدفتر له صفحات محدودة، فإنه يضطر باستمرار لمسح الملاحظات القديمة لإفساح المجال للملاحظات الجديدة. وغالباً ما ينسى ترتيب الأشياء (هل مات البطل في الفصل الثاني أم في الفصل الخامس؟) أو يفقد "روح" القصة لأنه يتذكر فقط كمية المعلومات، وليس اتجاهها أو توقيتها.

2. الحل: "البوصلة والممحاة"

اكتشف الباحثون أنه لكي يكون الذكاء الاصطناعي سريعاً وذكياً في آن واحد، فإنه يحتاج إلى أداتين محددتين تعملان معاً: الدوران (Rotation) والتلاشي (Decay).

الأداة أ: الدوران (البوصلة)

تخيل أنك تتبع راقصاً. إذا سجلت فقط "مقدار" حركته (سرعته)، فستفقد شكل رقصته. أنت بحاجة لمعرفة زاوية أطرافه لفهم الحركة.
في الذكاء الاصطناعي، يعمل "الدوران" (RoPE) مثل البوصلة. فهو لا يقوم بتخزين البيانات فحسب؛ بل يجعل البيانات تدور بطريقة معينة بناءً على وقت حدوثها. وهذا يسمح للذكاء الاصطناعي بـ "الشعور" بالمسافة بين الكلمات. فهو يعرف أن جملة "القط جلس على الـ..." مرتبطة ارتباطاً وثيقاً بكلمة "سجادة" لأن "زوايا" هذه الكلمات تتوافق تماماً في ذاكرته.

الأداة ب: التلاشي (الممحاة)

إذا حاولت تذكر كل تفصيل في كتاب مكون من 1000 صفحة بنفس درجة الأهمية، سينفجر عقلك. أنت بحاجة إلى "ممحاة" (Gating/Decay) لتجعل الأشياء غير المهمة تتلاشى ببطء (مثل لون جوارب شخصية ثانوية في الخلفية) حتى تتمكن من التركيز على الحبكة.

3. ما هو "Selective RoPE"؟

قبل هذه الورقة البحثية، كانت نماذج الذكاء الاصطناعي السريعة تمتلك "الممحاة" (التلاشي) ولكنها كانت سيئة في "البوصلة" (الدوران). كان بإمكانها النسيان، لكنها لم تكن قادرة على تتبع التوقيت بشكل جيد.

Selective Rope هو الاختراق الذي يجمع بينهما بشكل مثالي. فبدلاً من استخدام بوصلة ثابتة وصلبة تشير دائماً إلى الشمال، فإنه يمنح الذكاء الاصطناعي بوصلة ذكية. يمكن للذكاء الاصطناعي الآن أن يقرر، بناءً على ما يقرأه، مقدار "دوران" المعلومات بدقة.

إذا كان يقرأ معادلة رياضية، فإنه يدير الأرقام بدقة للحفاظ على الترتيب المثالي.
إذا كان يقرد محادثة عادية، فقد يديرها بشكل مختلف لالتقاط تدفق الكلام.

4. هل يعمل هذا حقاً؟ (النتائج)

اختبر الباحثون هذه "البوصلة الذكية" في عدة "اختبارات دماغية":

مهمة النسخ: هل يمكن للذكاء الاصطناعي تذكر سلسلة طويلة من الرموز العشوائية وتكرارها؟ (كان الذكاء الاصطناعي الجديد أفضل بكثير في هذا).
مهمة تتبع الحالة: هل يمكن للذكاء الاصطناعي تتبع موقف متغير (مثل لعبة منطق)؟ (كان الذكاء الاصطناعي الجديد أكثر "ذكاءً" بشكل ملحوظ هنا).
اللغة الواقعية: قاموا بتدريب نموذج ذكاء اصطناعي متوسط الحجم على كميات هائلة من النصوص من الإنترنت. والنتيجة؟ أصبح الذكاء الاصطناعي أفضل في التنبؤ بالكلمة التالية وفهم السياق، وكل ذلك دون جعل النموذج أصعب في التشغيل.

الملخص في جملة واحدة:

يمنح Selective RoPE نماذج الذكاء الاصطدي السريعة والفعالة "بوصلة ذكية" لتتبع الوقت والترتيب، مما يمنع "الضبابية الذهنية" التي تجعل النماذج السريعة عادةً أقل ذكاءً من النماذج الثقيلة والبطيئة.

ملخص تقني: تضمين الموضع الدوراني الانتقائي (Selective RoPE)

1. بيان المشكلة

تعالج الورقة البحثية فجوة جوهرية بين نموذجين سائدين في نمذجة التسلسل: محولات Softmax والمحولات الخطية/التكرارية (مثل Mamba وGLA وDeltaNet).

محولات Softmax: تتفوق في الاستدعاء ضمن السياق (in-context recall) لأنها تسمح لكل رمز بالانتباه إلى جميع الرموز الماضية دون اضمحلال. ومع ذلك، فهي تعاني من تعقيد حسابي تربيعي $O(L^2)$ .
النماذج الخطية/التكرارية: تحقق تعقيداً أقل من التربيع $O(L)$ وذاكرة استنتاج ثابتة. ومع ذلك، فإنها تعاني في عمليات الاسترجاع طويلة المدى و"الاستدعاء" (recall).
الرؤية الجوهرية: حدد المؤلفون أن النماذج الخطية الحالية تعتمد بشكل كبير على بوابات الاضمحلال (decay gates) (لإدارة الذاكرة) ولكنها تفتقر إلى آلية فعالة لـ الدوران (لترميز الموضع النسبي). بينما تقوم آلية انتباه Softmax ضمنياً بعمليات دوران تعتمد على المدخلات، فإن النماذج الخطية عادة ما تعدل فقط معايير (norms) الارتباطات بين المفتاح والقيمة، وتفشل في التقاط معلومات الطور/الموضع (phase/positional information) بشكل فعال.

2. المنهجية

يقترح المؤلفون Selective RoPE، وهو تضمين دوراني انتقائي يعتمد على المدخلات وقابل للتعلم، مصمم لآلية الانتباه الخطي المبوّبة (gated linear attention).

أ. الأساس النظري:

Softmax كدوران: باستخدام ميزات فورييه العشوائية (RFF)، أثبت المؤلفون أن انتباه Softmax يمكن تفسيره رياضياً على أنه إجراء دورات انتقائية تعتمد على المدخلات لأزواج الاستعلام والمفتاح (query-key pairs).
ضرورة الجمع بين الدوران والاضمحلال: جادلوا بأن "الاستدعاء يحتاج إلى الدوران والاضمحلال معاً".
- الدوران (الجزء التخيلي): يرمز الموضع النسبي عبر إزاحات الطور مع الحفاظ على المعايير.
- الاضمحلال (الجزء الحقيقي): يعمل كدالة "نافذة" (windowing function) لمنع "التسرب الطيفي" (spectral leakage) (حيث تتداخل المعلومات من الرموز البعيدة مع الحالة الحالية بسبب الحجم المحدود للحالة الخفية).
مبدأ التصميم: يجب على النموذج الخطي الناجح تحليل مصفوفة انتقال الحالة الخاصة به $A_t$ إلى مكون اضمحلال (بوابة) ومكون دوران: $A_t = \Lambda_t \bar{R}_t$ .

ب. التنفيذ (Selective RoPE):

بدلاً من الترددات الثابتة المستخدمة في RoPE القياسي، يجعل Selective RoPE زوايا الدوران $\omega$ تعتمد على المدخلات وقابلة للتعلم.
خدعة RoPE: للحفاظ على الكفاءة، قاموا بتنفيذ هذا التكرار ذي القيم المركبة في المجال الحقيقي باستخدام "خدعة Rope"، مما يسمح لهم بإعادة استخدام نوى الانتباه الخطي عالية الأداء الموجودة حالياً.
التحسينات الهيكلية: قاموا بدمج بوابة "سيجمويد" (sigmoid gate) على زوايا الدوران للسماح للنموذج بالتحكم في درجة الدوران وإضافة انحياز قابل للتعلم.

3. المساهمات الرئيسية

نظرية موحدة: جسر رياضي يربط بين انتباه Softmax، وRFF، والتكرارات ذات القيم المركبة الخطية.
آلية جديدة: تقديم Selective RoPE، الذي يعمم RoRE القياسي من خلال السماح للنموذج بتعلم ترددات الدوران المثلى والمعتمدة على المدخلات.
التحليل الطيفي: تفسير جديد لسبب ضرورة التبويب (gating) في نماذج SSM، وتأطيره كحل لـ "التسرب الطيفي" في معالجة الإشارات.
تنفيذ فعال: إثبات أن الدورات ذات القيم المركبة يمكن تنفيذها بكفاءة في الأجهزة ذات القيم الحقيقية عبر خدعة RoPE.

4. النتائج

تم تقييم الطريقة على اختبارات معيارية اصطناعية ونمذجة لغوية واسعة النطاق:

الاختبارات المعيارية الاصطناعية (الاستدعاء والقدرة التعبيرية):
- MQAR (الاستدعاء الترابطي متعدد الاستعلامات): تفوق Selective RoPE بشكل كبير على RoPE القياسي وNoPE (عدم وجود تضمين موضعي).
- النسخ وتتبع الحالة: أظهر النموذج قدرة فائقة على استقراء الطول والقدرة على حل مسائل التكافؤ المعقدة (مجموعات S2/A3) التي لم تستطع النماذج الخطية القياسية حلها.
النمذجة اللغوية (370 مليون و1.3 مليار معلمة):
- عند دمجه في GLA (الانتباه الخطي المبوّب) وFoX (ترانسفورمر النسيان)، أدى Selective RoPE إلى تحسين الدقة في المهام النهائية مثل Wiki وARC وHellaSwag.
- حسن المقايضة بين الارتباك (perplexity) والدقة، لا سيما في نطاق 1.3 مليار معلمة.

5. الأهمية

تقدم هذه الورقة البحثية تبريراً نظرياً صارماً لسبب قصور النماذج الخطية الحالية عن المحولات، وتقدم حلاً هيكلياً ملموساً. من خلال إثبات أن الدوران والاضمحلال يكملان بعضهما البعض، ينقل المؤلفون مجال النمذجة المتسلسلة الفعالة بعيداً عن آليات "النسيان" البسيطة نحو إدارة حالة أكثر تطوراً "ذات قيم مركبة". وهذا يمهد الطريق لجيل جديد من النماذج الخطية التي يمكنها مضاهاة قدرات الاسترجاع داخل السياق لمحولات Softmax مع الحفاظ على التوسع الخطي.