💬 NLP

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

يوفر هذا المسح التقني إطارًا موحدًا لفهم طرق ترميز الموضع في نماذج "ترانسفورمر" (Transformers) — بدءًا من النهج المطلق والنسبي وصولاً إلى تضمين الموضع الدوار (RoPE) — مع تحليل خصائصها الحسابية، وتقنيات التوسع للسياقات الطويلة، والتمييز الجوهري بين القدرة على استقراء الطول والتعميم الموثوق للسياق الطويل.

المؤلفون الأصليون: Jiguo Li

نُشر 2026-08-12

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jiguo Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يفهم قصة ما. لديك عقل فائق السرعة يمكنه النظر إلى جميع الكلمات في الجملة في وقت واحد، بدلاً من قراءتها واحدة تلو الأخرى مثل البشر. هذا هو سحر الـ Transformer (المحول)، وهو المحرك الذي يقف وراء الذكاء الاصطناعي الحديث. لكن هناك مشكلة: نظرًا لأن هذا العقل يرى كل شيء دفعة واحدة، فإنه لا يملك أي فكرة عن أي كلمة جاءت أولاً، أو ثانياً، أو أخيراً. إذا قمت ببعثرة كلمات الجملة، فسيعتقد هذا العقل أن النسخة المبعثرة جيدة تماماً مثل النسخة الأصلية. ولإصلاح ذلك، علينا أن نمنح الذكاء الاصطناعي وسيلة ليعرف "أين" تقع كل كلمة في الصف. نحن نسمي هذا ترميز الموضع (Position Encoding). فكر في الأمر كأنك تعطي كل كلمة بطاقة اسم فريدة أو رقم مقعد. بدون هذه البطاقات، يكون الذكال الاصطناعي مثل ضيف في حفلة يرى وجوه الجميع ولكنه لا يعرف من يقف بجانب من، أو من وصل أولاً.

هذه الورقة البحثية هي غوص عميق في أنظمة "بطاقات الأسماء" المختلفة التي ابتكرناها للذكاء الاصطناعي على مر السنين. إنها تتتبع التاريخ من أرقام المقاعد البسيطة إلى الساعات الدوارة المعقدة، وصولاً إلى جيل جديد من الحيل التي تسمح للذكاء الاصطناعي بقراءة كتب مكونة من مئات الآلاف من الكلمات دون أن يصاب بالارتباك. المؤلف لا يكتفي بسرد هذه الأساليب فحسب؛ بل يحاول اكتشاف أي منها يعمل حقاً عندما نحاول مدّ نطاقها لتتعامل مع قصص ضخمة، ويحذرنا من أنه مجرد قدرة النظام على قبول مدخلات طويلة لا يعني بالضرورة أنه "يفهمها".

تطور "رقم المقعد" للذكاء الاصطناعي

في البداية، كانت أبسط طريقة لإعطاء الكلمة رقم مقعد هي مجرد البحث عنها في قاموس. يُسمى هذا الترميز المطلق المتعلم (Learned Absolute Position). تخيل معلماً يوزع قائمة حيث تأخذ "الكلمة 1" لوناً معيناً، و"الكلمة 2" لوناً آخر، وهكذا. هذا يعمل بشكل رائع للقصص القصيرة، ولكن إذا حاولت قراءة رواية وكان المعلم قد صنع قائمة لأول 500 كلمة فقط، فسيضيع الذكاء الاصطناعي عندما يصل إلى الكلمة 501.

ثم جاء الترميز الجيبي (Sinusoidal Encoding). بدلاً من القائمة الثابتة، يستخدم الذكاء الاصطناعي نمط موجة رياضية (مثل موجة الجيب) لتوليد أرقام المقاعد. فكر في هذا كمجموعة من الساعات التي تدور بسرعات مختلفة. بعض الساعات تدق بسرعة لتمييز الفرق بين الكلمة 1 والكلمة 2، بينما تدق أخرى ببطء لتمييز الفرق بين الكلمة 1 والكلمة 1,000. هذا أمر ذكي لأن الذكاء الاصطناعي يمكنه حساب رقم المقعد لأي موضع، حتى المواضع التي لم يسبق له رؤيتها. ومع ذلك، تشير الورقة إلى أنه مجرد القدرة على حساب الرقم لا يعني أن الذكاء الاصطناعي يعرف كيفية استخدامه للمسافات الطويلة جداً.

بعد ذلك، أدرك الباحثون أنه في اللغة، غالباً ما يكون المهم هو المسافة بين الكلمات، وليس أرقام مقاعدها المطلقة. هل كلمة "هو" قريبة من الاسم الذي تشير إليه؟ أدى هذا إلى ترميز الموضع النسبي (Relative Position Encoding). بدلاً من قول "أنا في المقعد 50"، يتعلم الذكاء الاصطناعي أن يقول "أنا على بعد 3 مقاعد منك". هذا يشبه لعبة الكراسي الموسيقية حيث تهتم فقط بمن يجلس بجانبك، وليس بالرقم الدقيق الموجود على كرسيك. تستخدم أساليب مثل T5 و Transformer-XL هذا الأسلوب للتعامل مع النصوص الطويلة من خلال التركيز على الفجوة بين الكلمات.

نجم العرض: RoPE

تسلط الورقة الضوء على طريقة الجيل الثالث المسماة RoPE (ترميز الموضع الدوراني) باعتبارها البطل الحالي للعديد من نماذج الذكاء الاصطناعي الكبيرة. بدلاً من إضافة رقم إلى الكلمة أو حساب مسافة، يعامل RoPE بيانات الكلمة كأنها سهم يدور. ومع تحرك الكلمة عبر الخط، يدور سهمها. عندما يقارن الذكاء الاصطنانا بين كلمتين، فإنه يتحقق من الزاوية بين أسهمهما. إذا كانت الأسهم قريبة من بعضها، فالكلمات قريبة في القصة؛ وإذا كانت بعيدة، فالكلمات بعيدة.

جمال RoPE هو أنه يتعامل طبيعياً مع "المسافة" بين الكلمات دون الحاجة إلى جدول بحث منفصل. الأمر يشبه لو أن الجميع في الحفلة يرتدون ساعة تدور بسرعة بناءً على وقت وصولهم. عندما يتحدث شخصان، فإنهما ينظران فقط إلى الفرق في عقارب ساعاتهما لمعرفة المدة التي تفصلهما.

تحدي السياق الطويل: مدّ القصة

المشكلة الأكبر مع هذه الأنظمة هي أنها تُدرب عادةً على قصص قصيرة (مثل 4,000 كلمة). وعندما نحاول استخدامها لوثائق ضخمة (مثل 128,000 كلمة أو أكثر)، تبدأ "الساعات" أو "الأسهم الدوارة" في الدوران بأنماط لم يرها الذكاء الاصطناعي من قبل. الأمر يشبه محاولة قيادة سيارة مصممة لشوارع المدينة على طريق سريع؛ قد يعمل المحرك، لكن التحكم يبدو خاطئاً.

تستعرض الورقة عدة تقنيات "للمدّ" لإصلاح ذلك:

استكمال الموضع (Position Interpolation - PI): يقوم بضغط القصة الطويلة لتعود إلى المساحة القصيرة التي يعرفها الذكاء الاصطناعي. الأمر يشبه ضغط فيلم مدته 10 ساعات في ساعتين. يمكن للذكاء الاصطناعي مشاهدته، لكن التفاصيل تصبح ضبابية، وقد يفتقد الفروق الدقيقة بين الكلمات القريبة من بعضها.
توسيع NTK-aware: هذا الأسلوب أكثر ذكاءً. فهو يحافظ على "الساعات السريعة" (التي تتعامل مع التفاصيل القريبة) وهي تدور بسرعتها الطبيعية، بينما يبطئ "الساعات البطيئة" لتغطية المسافة الطويلة. إنه حل وسط يحافظ على حدة التفاصيل المحلية مع الوصول إلى مسافات أبعد.
Dynamic NTK: يغير هذا الأسلوب عامل التمدد اعتماداً على طول القصة الحالية. إذا كانت القصة قصيرة، فلا يتم تمديدها على الإطلاق. وإذا كانت طويلة، يتم تمديدها. ومع ذلك، تحذر الورقة من أن هذا قد يكون صعب الإدارة في الوقت الفعلي لأنه قد يربك ذاكرة الذكاء الاصطناعي للكلمات الماضية.
LongRoPE و LongRoPE2: هذه هي الأساليب الأكثر تقدماً. بدلاً من استخدام قاعدة واحدة للجميع، فإنها تبحث عن عامل التمدد المثالي لكل جزء من دماغ الذكاء الاصطناعي. كما أنهم يمزجون القصص القصيرة والطويلة أثناء التدريب حتى يتعلم الذكاء الاصطناعي كيفية التعامل مع كليهما. يقترح المؤلف أن هذا هو المسار الأكثر واعدية، لكنه يتطلب ضبطاً دقيقاً وبيانات محددة.

التحذير الكبير: مجرد ملاءمة المدخلات لا يعني نجاحها

النتيجة الأهم في هذه الورقة هي "واقع صادم". مجرد قدرة نموذج الذكاء الاصطناعي على قبول مدخلات مكونة من 100,000 كلمة لا يعني أنه يستطيع فهمها. تجادل الورقة بأن العديد من النماذج تفشل في اختبار "الإبرة في كومة القش" (إيجاد حقيقة محددة في نص ضخم) أو تعاني في الاستنتاج عبر مسافات طويلة، حتى لو كانت إعدادات "السياق الطويل" مفعلة.

ويؤكد المؤلفون أن طول السياق الفعال (مقدار ما يستخدمه الذكاء الاصطناعي فعلياً) غالباً ما يكون أقصر بكثير من طول السياق الاسمي (الحد الأقصى لعدد الكلمات التي يمكنه استيعابها تقنياً). كما يشيرون إلى أن مجرد تغيير الرياضيات للتعامل مع الأرقام الأطول ليس كافياً؛ بل يحتاج الذكاء الاصطناعي إلى إعادة تدريب أو ضبط دقيق باستخدام هذه الإعدادات الجديدة ليتعلم فعلياً كيفية استخدامها.

الحكم النهائي

تخلص الورقة إلى أنه بينما حققنا تقدماً مذهلاً من أرقام المقاعد البسيطة إلى الأسهم الدوارة المعقدة، إلا أننا لم نحل مشكلة فهم السياق الطويل بعد. لا يوجد "حل سحري" واحد. يبدو أن النهج الأفضل هو مزيج من التوسيع الذكي (مثل LongRoP)، والتدريب الدقيق باستخدام أمثلة قصيرة وطويلة، والاختبار الصارم لمعرفة ما إذا كان الذكاء الاصطناعي ينتبه فعلياً للقصة بأكملها، وليس فقط للبداية والنهاية.

بالنسبة لأي شخص يبني أو يستخدم نماذج الذكاء الاصطناعي هذه، فإن الرسالة واضحة: لا تثق فقط في الأرقام التسويقية. إذا كنت تريد من الذكاء الاصطناعي قراءة رواية كاملة، فأنت بحاجة للتحقق مما إذا كان بإمانه حقاً إيجاد حبكات القصة في المنتصف، وليس فقط ما إذا كان بإمكانه ابتلاع الكتاب بأكه في لقمة واحدة. إن الرحلة نحو ذكاء اصطناعي حقيقي ذي سياق طويل لا تزال مستمرة، والطريق أمامنا يتطلب أكثر من مجرد أرقام أكبر؛ يتطلب طرقاً أذكى للحفاظ على تركيز انتباه الذكاء الاصطناعي.

ملخص تقني: ترميز الموضع في نماذج المحولات (Transformers)

بيان المشكلة

تتيح آليات الانتباه الذاتي (Self-attention) في نماذج المحولات تفاعلات تعتمد على المحتوى بين الرموز (tokens)، لكنها تفتقر إلى آلية متأصلة لترميز ترتيب الرموز. فبدون معلومات موضعية صريحة، يكون النموذج متماثلاً تحت التبديل (equivariant to input permutations)؛ حيث يؤدي تغيير ترتيب المدخلات إلى تغيير ترتيب المخرجات بشكل مماثل، مما يجعل النموذج عاجزاً عن تمييز بنية التسلسل. وبينما ركزت الحلول المبكرة على حقن معلومات الموضع في تمثيلات المدخلات أو درجات الانتباه، فإن توسيع هذه الآليات ليشمل سياقات طويلة (تتجاوز طول فترة التدريب) يفرض تحديات كبيرة. وتحديداً، غالباً ما يؤدي الاستقراء البسيط لترميزات الموضع إلى انزياحات في الطور خارج نطاق التوزيع (OOD phase shifts)، وتدهور في درجات الانتباه، وفقدان في أداء السياق القصير. علاوة على ذلك، هناك نقص في الفهم الموحد حول كيفية تفاعل استراتيجيات الترميز المختلفة (المطلقة، والنسبية، والدورانية) مع تخزين المفتاح والقيمة (KV caching)، والاستقراء الطولي، والخيارات المعمارية المحددة مثل انتباه الاستعلام المتعدد (Multi-Query Attention - MLA).

المنهجية والتطور التقني

يقدم البحث مسحاً تقنياً موحداً واشتقاقاً لطرق ترميز الموضع، مصنفاً إياها إلى ثلاثة أجيال:

1. ترميز الموضع المطلق (Absolute Position Encoding)

التمثيلات المتعلمة (Learned Embeddings): يتم تخصيص ناقلات قابلة للتعلم للرموز من جدول بارامترات ( $P \in \mathbb{R}^{L_{max} \times d}$ ). هذه الطريقة بسيطة ولكنها مقيدة بطول أقصى وتفتقر إلى القيود الهيكلية للمواضع المتجاورة.
الترميز الجيبي (Sinusoidal Encoding): يستخدم دالات الجيب وجيب التمام بترددات متفاوتة لتوليد ناقلات الموضع. ورغم أن شكلها مطلق، إلا أن الخصائص الهندسية (مجموع الزوايا) تقتضي وجود إزاحة نسبية. ومع ذلك، يجب على النموذج تعلم استغلال هذه البنية، وهي لا تضمن تعميماً موثوقاً للسياق الطويل.

2. ترميز الموضع النسبي (Relative Position Encoding)

Shaw et al.: يضيف ناقلات مسافة نسبية قابلة للتعلم إلى المفاتيح (Keys) والقيم (Values).
Transformer-XL: يفكك الانتباه إلى محتوى-محتوى، ومحتوى-موضع، وإزاحات عالمية لدعم ذاكرة مستوى القطاع.
T5: يضغط المسافات النسبية إلى انحيازات قياسية (scalar biases) يتم تعلمها لكل رأس انتباه وحاوية مسافة (distance bucket).
القيود: غالباً ما تزيد هذه الطرق من التعقيد الحسابي بسبب حسابات الزوج المتكررة ( $n \times n$ ) وتصعب عمليات دمج العمليات (operator fusion) وتخزين KV.

3. ترميزات الموضع الدورانية (Rotary Position Embeddings - RoPE)

الآلية: تقوم RoPE بتدوير ناقلات الاستعلام (Query) والمفتاح (Key) بناءً على مواضعها المطلقة. ومن الأهمية بمكان أن حاصل الضرب النقطي للناقلات المدورة يعتمد فقط على الموضع النسبي ( $n-m$ )، مما يرمز فعلياً للمسافة النسبية مع الحفاظ على صيغة $QK^\top$ القياسية.
الاشتقاق: يعتمد على مصفوفات الدوران ثنائية الأبعاد أو ضرب الأعداد المركبة ( $z' = z e^{i m \theta}$ ).
الخصائص: لا تضمن التلاشي الرتيب للانتباه مع المسافة (الدرجات تتذبذب دورياً)، لكنها تسمح بتمثيل صريح للمسافة النسبية ضمن درجة الانتباه.

4. توسيع السياق الطويل (RoFA Scaling)

يفصل البحث طرقاً لتوسيع RoPE بما يتجاوز أطوال التدريب، معالجة مشكلة "الأطوار غير المدربة" حيث تدخل أبعاد التردد المنخفض في فترات طور غير مرئية:

استكمال الموضع (Position Interpolation - PI): يضغط مؤشرات الموضع بشكل موحد ليتناسب الطول المستهدف مع نطاق التدريب، مما يقلل من الدقة المحلية.
المدرك لـ NTK (NTK-aware): يعدل أساس RoPE ( $\beta$ ) لزيادة مقياس الترددات بشكل غير موحد، مما يحافظ على البنية المحلية عالية التردد مع توسيع التغطية منخفضة التردد.
NTK الديناميكي (Dynamic NTK): يعدل عامل القياس ديناميكياً بناءً على طول التسلسل الحالي لتجنب ضغط المدخلات القصيرة.
NTK-by-parts و YaRN: يطبق استراتيجيات استكمال مختلفة بناءً على فترات التردد (الدورات ضمن طول التدريب) ويتضمن معايرة حرارة الانتباه لإدارة تغيرات الإنتروبيا.
LongRoPE و LongRoPE2: يستخدم البحث التطوري لإيجاد عوامل قياس لكل بُعد وفترات احتفاظ تعتمد على الموضع. تقدم LongRoPE2 "فترات تدريب فعالة" وتدريباً هجيناً (خلط السياقات القصيرة والطويلة) لتحسين التوسيع الطولي والحفاظ على السياق الققصي.

5. البديل: ALiBi

يضيف ALiBi عقوبة مسافة خطية ( $-m_h|i-j|$ ) إلى لوغاريتمات الانتباه. لا يتطلب جدول موضع ويحقن انحيازاً نحو الحداثة (recency bias)، رغم أنه يفتقر إلى بنية الطور متعددة الترددات الموجودة في RoPE.

المساهمات الرئيسية

الاشتقاق الموحد: يشتق البحث كيف تحول RoPO مؤشرات الموضع المطلقة إلى فروق طور نسبية في نواتج الضرب النقطي لـ Query-Key، موضحاً العلاقة الرياضية بين الترميز المطلق والنسبي.
المقارنة المنهجية: يقارن بين الطرق بناءً على نقاط الحقن (المدخلات، اللوغاريتمات، أو التحويل الهندسي)، والتكاليف الحسابية، والتوافق مع تخزين KV، وقدرات الاستقراء الطولي.
تحليل قانون القياس (Scaling Law): يصيغ العلاقة بين أساس RoPE، وطول التدريب، ونطاق الاستقراء، محددًا الأبعاد الحرجة التي تصبح فيها تغطية الطور غير كافية.
إرشادات التنفيذ: يؤكد التقرير أن تكوين الموضع (مثل rope_theta واتفاقيات الاقتران وعوامل القياس) يجب أن يكون مرتبطاً بنقطة الفحص (checkpoint)، وأن "الطول الاسمي" لا يساوي "الطول الفعلي".
بروتوكولات التقييم: يدعو إلى التقييم لما وراء مجرد قبول المدخلات، مقترحاً مقاييس مثل معدلات الاحتفاظ بالسياق القصير، والارتباك الموضعي (position-wise perplexity)، ومهام الاسترجاع/الاستدلال (مثل مهمة الإبرة في كومة القش، أو مسافات تعريف واستخدام الكود).

النتائج والمكتشفات

الاستقراء مقابل التعميم: القدرة على حساب الميزات الموضعية بما يتجاوز طول التدريب لا تعني بالضرورة تعميماً موثوقاً للسياق الطويل. يتطلب التوسيع الناجح تكييف أوزان النموذج مع توزيعات الطور الجديدة.
المقايضات: الاستكمال الموحد (PI) يحافظ على الاستقرار ولكنه يقلل من الدقة المحلية. أما القياس غير الموحد (NTK, LongRoPE) فيحافظ بشكل أفضل على البنية المحلية ولكنه يتطلب ضبطاً دقيقاً أو بحثاً.
اتساق تخزين KV: تتعارض طرق القياس الديناميكي (مثل Dynamic NTK) مع تخزين KV القياسي إذا تغيرت زاوية دوران الرموز التاريخية؛ لذا تتطلب التنفيذات الصارمة إعادة تدوير المفاتيح المخزنة أو تثبيت التكبير لكل جلسة.
تنوع النماذج: بينما تهيمن RoPE على نماذج LLM المعتمدة على المخرجات فقط (مثل LLaMA, PaLM, Gemma)، توجد اختلافات كبيرة. تستخدم بعض النماذج (مثل BLOOM, Falcon) طريقة ALiBi، بينما يستخدم T5 انحيازات نسبية، وتستخدم بنيات أحدث (مثل DeepSeek, GLM-5, Kimi K3) فضاءات فرعية منفصلة لـ RoPE/NoPE أو آليات موضع ضمنية (KDA) لدعم MLA أو الانتباه المتناثر.

الأهمية والخاتمة

يخلص البحث إلى أن المجال انتقل من مجرد حقن الإحداثيات البسيطة إلى استراتيجيات متطورة لرفع التردد والتدريب الهجين. ومع ذلك، لا تزال العديد من التحديات قائمة دون حل:

السياق الفعال: قبول المدخلات الطويلة لا يضمن الاستخدام الموثوق للاعتماديات طويلة المدى.
تداخل الأطوار (Phase Aliasing): يمكن للدوال الدورية أن تسبب إنتاج أطوار متشابهة لمسافات مختلفة، وهي مشكلة لا تُحل تماماً حتى مع مجموعات التردد المتعددة.
صراع السياق القصير: غالباً ما يؤدي الاستكمال والقياس إلى تدهور القدرات قصيرة المدى، وتفتقر النماذج إلى قواعد مستقرة للنقل عبر النماذج المختلفة.
دلالات النظام: يمكن للتنفيذات الهندسية (مثل التعبئة، النوافذ المنزلقة، التشفير الاستباقي) أن تكسر دلالات الموضع دون قصد إذا لم تكن متوافقة بدقة.

يؤكد المؤلف أن الأبحاث المستقبلية يجب أن تتجاوز مجرد تضخيم أطوال السياق الاسمية. بدلاً من ذلك، يجب أن يكون الهدف هو إنشاء آليات موضع يمكن التنبؤ بها، وتدريبها، وتخزينها في الذاكرة المؤقتة، وقادرة على التعبير عن بنيات معقدة ومتعددة الأبعاد (مثل مخططات استدعاء الكود أو العلاقات المكانية متعددة الوسائط)، ويتم تقييمها من خلال مهام الاعتماد طويل المدى الحقيقية بدلاً من اختبارات الاسترجاع الاصطناعية.