ملخص تقني: انتباه الطور المدرك للرموز (TAPA)

بيان المشكلة

تحدد الورقة البحثية قصوراً نظرياً جوهرياً في "ترميز الموضع الدوراني" (RoPE)، وهو أسلوب ترميز الموضع المهيمن في النماذج اللغوية الكبيرة (LLMs) الحديثة مثل LLaMA وMistral وQwen. بينما يقوم RoPE بترميز المواضع النسبية بفعالية عبر دورات معقدة، يثبت المؤلفون أنه يُدخل تحيزاً ذاتياً يعتمد على المسافة تحت الافتراضات العملية.

تحديداً، تصبح قيمة الانتباه في RoPE مهيمنة بفعل المسافة بين مواضع الرموز (tokens) بدلاً من المحتوى الدلالي للرموز. هذا التحيز "غير المدرك للرموز" يتسبب في أن النموذج يقلل بشكل منهجي من أهمية المعلومات ذات الصلة لمجرد أنها تظهر في موضع "سيئ" (أي بعيد). وتوضح الورقة أن هذا التحيز يؤدي إلى عدم استقرار قيم الانتباه عند المقاييس فائقة الطول، ويجبر طرق توسيع RoPE الحالية (مثل: PI، وYaRN، وNTK-aware scaling) على الاعتماد على تعديلات لاحقة (post-hoc). هذه التعديلات، مثل إعادة تحجيم مواضع المدخلات أو إعادة ضبط ترددات القاعدة، غالباً ما تكون تجريبية، وتتطلب تدخلاً يدوياً بعد مرحلة التدريب المسبق، وتفشل في حل القصور الهيكلي الأساسي بشكل كامل، مما يؤدي إلى انهيار الأداء عند أطوال السياق غير المرئية (مثل 64k).

المنهجية: انتباه الطور المدرك للرموز (TAPA)

لمعالجة هذه القيود، يقترح المؤلفون انتباه الطور المدرك للرموز (TAPA)، وهو إطار عمل جديد لترميز الموضع يدمج دالة طور قابلة للتعلم مباشرة في آلية الانتباه.

الآلية الجوهرية

على عكس RoPE، الذي يطبق دورات ثابتة بناءً على مؤشرات الموضع فقط، يقوم TAPA بتعديل درجة الانتباه باستخدام دالة طور $\phi(q, k)$ تعتمد على تمثيلات الاستعلام (query) والمفتاح (key):
$$\text{Attn}_{\text{TAPA}}(q, k) = q^\top M k \cdot \cos\left(2\pi |m - n| \alpha \phi(q, k)\right)$$

يركز المؤلفون على حالة محددة حيث:

1. فصل السعة والطور (Amplitude-Phase Split): يتم تقسيم متجهات الاستعلام والمفتاح إلى فضاءين فرعيين منفصلين: جزء "السعة" ($q_A, k_A$) وجزء "الطور" ($q_P, k_P$).
2. الطور التربيعي (Quadratic Phase): تُعرف دالة الطور كصيغة تربيعية للفضاءات الفرعية للطور: $\phi(q, k) = q_P^\top N k_P$.
3. التنفيذ: يتم حساب حد السعة ($q_A^\top k_A$) وحد الطور بطريقة مدمجة (fused). يضمن هذا التصميم بقاء الأبعاد الإجمالية متسقة مع الانتباه القياسي، مع تحمل زيادة طفيفة وثابتة في وقت التشغيل.

الخصائص النظرية

تقدم الورقة براهين نظرية تثبت أن TAPA يعالج أوجه الفشل المحددة في RoPE:

• كبح التحيز الذاتي: تحت افتراضات انتظام بسيطة (تحديداً، أن الكثافة المشتركة للتمثيلات تنتمي إلى فئة Schwartz)، تتلاشى القيمة المتوقعة لدرجة انتباه TAPA بسرعة مع زيادة المسافة $|m-n|$. وهذا يثبت أن TAPA يكبح تحيز المسافة غير المدرك للرموز الذي يعاني منه RoPE.
• عدم التدهور عند المدى الطويل: بينما يتلاشى التحيز المتوقع، يظل تباين درجات الانتباه غير متدهور عند المسافات الطويلة جداً. هذا يضمن احتفاظ النموذج بالقدرة على التفاعل مع الرموز البعيدة بناءً على المحتوى، بدلاً من كونه مجبراً على تجاهلها بسبب تحيز الموضع.
• الطور الثابت (Stationary Phase): ثبت أن استخدام دالة طور تربيعية (طور ثابت) يتفوق على الأطوار الخطية، حيث يوفر الاستقرار من خلال تقليل الحساسية للتغيرات الصغيرة في التمثيل داخل التكامل التذبذبي.

المساهمات الرئيسية

1. الإثبات النظري لتحيز RoPE: أثبت المؤلفون رسمياً أن درجات انتباه RoPE تحتوي على تحيز مسافة ذاتي يهيمن على تفاعلات المحتوى عند المقاييس الطويلة جداً، مما يفسر سبب معاناة RoPE من ضعف التعميم (extrapolation) حتى مع التدريب المسبق المستمر.
2. إطار عمل TAPA: تقديم آلية انتباه طور مدركة للرموز وقابلة للتعلم، تلغي نظرياً تحيز المسافة الذاتي مع الحفاظ على التفاعلات طويلة المدى.
3. كفاءة التدريب: يتيح TAPA التوسع إلى سياقات أطول من خلال التدريب المسبق المستمر المباشر دون الحاجة إلى إعادة تحجيم المدخلات، أو إعادة ضبط المعلمات الفائقة، أو تعديلات ترددات لاحقة كما تتطلب توسعات RoPE.
4. تنفيذ النواة المدمجة (Fused Kernel): تنفيذ مخصص باستخدام Triton يدمج حسابات السعة والطور، محققاً زيادة في وقت التشغيل تتراوح بين 1.19× و1.28× فقط مقارنة بـ FlashAttention القياسي، وهو أفضل بكثير من تقدير "2×" البدائي.

النتائج التجريبية

قام المؤلفون بتدريب نموذج Transformer بقدرة 7 مليار معلمة (بنية LLaMA-3) من الصفر بطول سياق 8k، وأجروا تدريباً مسبقاً مستمراً حتى 32k، مع التقييم حتى 64k.

• أداء الارتياب (Perplexity):
  • المدى القصير/المتوسط (1k–16k): يحقق TAPA أداءً مماثلاً لـ RoPE وتوسعاته (PI, YaRN).
  • المدى الطويل (32k): يحقق TAPA ارتفاعاً في الارتياب قدره 11.74، متفوقاً على YaRN (12.16) وRoPE/PI (~12.96).
  • المدى فائق الطول (49k–64k): بينما تعاني نماذج RoPE وPI وYaRN من فشل كارثي (ارتفاع الارتياب إلى ~900–2200+)، يظل TAPA مستقراً بارتياب حول 11.67–11.75. إنه الطريقة الوحيدة التي تم اختبارها والتي لم تنهار عند 64k.
• التعميم الصفري (Zero-Shot Extrapolation): بدون التدريب المسبق المستمر عند 32k، يعمم TAPA إلى 3ert 32k بارتياب قدره 122.71، وهو أقل بعدة مراتب من النماذج المرجعية (التي تصل إلى ~16,000).
• الاسترجاع (إبرة في كومة قش - Needle-in-a-Haystack): في مهام الاسترجاع على سياقات 64k، يحافظ TAPA على دقة عالية (96%)، بينما تنخفض دقة جميع النماذج المرجعية القائمة على RoPE إلى 0%.
• الدراسة الاستقصائية (Ablation): تتفوق دوال الطور التربيعية باستمرار على دوال الطور الخطية، رغم أن حتى TAPA ذو الطور الخطي يتفوق بشكل كبير على نماذج RoPE المرجعية في المدى الطويل.

الأهمية والادعاءات

تدعي الورقة أن TAPA يقدم تحسيناً جوهرياً على عائلة RoPE من خلال معالجة السبب الجذري لعدم استقرار السياق الطويل: تحيز المسافة الذاتي.

• لا توجد ضبط لاحق (No Post-Hoc Tuning): على عكس الطرق الحديثة التي تتطلب ضبطاً تجريبياً مكثفاً لترددات القاعدة أو إعادة تحجيم الموضع بعد التدريب المسبق، يتوسع TAPA إلى سياقات أطول عبر التدريب المسبق المستمر القياسي بمعلمات فائقة ثابتة.
• تأسيس نظري: يربط العمل بين الملاحظات التجريبية لفشل RoPE والفهم النظري، مثبتاً أن التحيز هو خاصية متأصلة في البنية الدورانية.
• الجدوى العملية: من خلال إثبات أن تنفيذ النواة المدمجة يتضمن زيادة طفيفة في التكلفة، تجادل الورقة بأن TAPA هو بديل جاهز للاستخدام (drop-in replacement) لـ RoPE في النماذج اللغوية الكبيرة الحديثة، مما يوفر متانة فائقة للسياق الطويل دون التضحية بالكفاءة.

يخلص المؤلفون إلى أن TAPA يمثل تحولاً من الإصلاحات التجريبية لترميز الموضع إلى تصميم مبني على أسس سليمة، حيث تنشأ تأثيرات الموضع حصرياً من خلال التفاعلات السياقية، مما يسمال بنمذجة مستقرة للتسلسلات ذات الأطوال غير المحدودة.