ملخص تقني: انتباه PaTH

1. بيان المشكلة

تعد آلية الانتباه أساسية في النماذج اللغوية الكبيرة (LLMs) الحديثة، ومع ذلك فهي تفتقر بطبيعتها إلى التباين مع التبديل (permutation-invariant). ولنمذجة المجالات المهيكلة مثل اللغة، يتطلب الأمر ترميز الموضع. وبينما أصبح ترميز الموضع الدوار (RoPE) هو المعيار الفعلي، إلا أنه يمتلك قصوراً حرجاً: التحويل المطبق على المفاتيح (keys) والاستعلامات (queries) هو مستقل عن البيانات (data-independent). في RoPE، يعتمد التفاعل بين رمزين فقط على مسافتهما النسبية، وليس على محتوى الرموز نفسها.

هذا الاستقلال عن البيانات يحد من القدرة التعبيرية لنماذج Transformer القائمة على RoPE. تشير التحليلات النظرية إلى أن النماذج القائمة على RoPE تظل ضمن فئة التعقيد $TC^0$ (المكافئة للنماذج التقليدية ذات ترميز الموضع المطلق)، مما يحد من قدرتها على حل المهام التي تتطلب استدلالاً تسلسلياً أو تتبع الحالة (مثل نمذجة لغة الـ flip-flop، أو مهام تتبع الحالة). وبناءً على ذلك، تعاني هذه النماذج مع المهام الاصطناعية التي تتطلب تكيفاً ديناميكياً مع التسلسلات المدخلة.

2. المنهجية: انتباه PaTH

يقترح المؤلفون PaTH (ترميز الموضع عبر تحويلات Householder التراكمية)، وهو مخطط لترميز الموضع مرن ومعتمد على البيانات.

الآلية الجوهرية

على عكس RoPE، الذي يطبق مصفوفة دوران ثابتة، يقوم PaTH بحساب لوغاريتمات الانتباه (attention logits) باستخدام حاصل ضرب تراكمي لـ تحويلات شبيهة بـ Householder معتمدة على البيانات على طول المسار بين موضعي الاستعلام والمفتاح.

• صياغة لوغاريتم الانتباه: يتم تعريف درجة الانتباه بين الاستعلام $q_i$ والمفتاح $k_j$ كالتالي:
  $$A_{ij} \propto \exp\left(k_j^\top \left(\prod_{s=j+1}^{i} H_s\right) q_i\right)$$
• مصفوفة الانتقال المعتمدة على البيانات ($H_s$): كل مصفوفة $H_s$ في التسلسل هي مصفوفة شبيهة بـ Householder (مصفوفة الوحدة زائد رتبة واحدة):
  $$H_s = I - \beta_s w_s w_s^\top$$
  هنا، $w_s$ و $\beta_s$ هما دالتان للمدخل $x_s$. وتحديداً، $\beta_s = 2 \times \text{sigmoid}(u^\top x_s + b)$، مما يسمح لمصفوفة الانتقال بامتلاك قيم ذاتية سالبة، وهو أمر بالغ الأهمية لأداء تتبع الحالة.

القدرة التعبيرية النظرية

يثبت البحث أن PaTH يوسع القدرات النظرية لنماذج Transformer.

• فئة التعقيد: يمكن لنموذج PaTH مكون من طبقة واحدة مع رأسي انتباه حل مسألة كاملة لـ $NC^1$ تحت اختزال $AC^0$. وهذا يثبت أن PaTH يمكنه كسر حاجز $TC^0$ الذي يقيد النماذج القائمة على RoPE.
• العلاقة مع الشبكات العصبية المتكررة الخطية (Linear RNNs): يظهر أن PaTH مرتبط ارتباطاً وثيقاً بالشبكات العصبية المتكررة الخطية التعبيرية (مثل DeltaNet)، حيث يرث قدرتها على تتبع الحالات مع الاحتفاظ بفوائد الاستدعاء الترابطي (associative recall) الخاصة بـ softmax attention.

التوسعات: PaTH-FoX

يوضح المؤلفون أن PaTH متوافق مع تعديلات الانتباه الأخرى. يقترحون PaTH-FoX، الذي يجمع بين ترميز الموضع الضربي لـ PaTH وبوابات النسيان الجمعية المعتمدة على البيانات الخاصة بـ Forgetting Transformer (FoX). هذا النهج الهجين يعزز الأداء بشكل أكبر، لا سيما في تعميم الطول (length extrapolation).

3. كفاءة التدريب والاستدلال

يتمثل التحدي الرئيسي في PaTH في حساب حاصل الضرب التراكمي لمصفوفات Householder بكفاءة دون تجسيد مصفوفة الانتباه الكاملة $L \times L$.

• تمثيل تحويل UT: يستخدم المؤلفون تحويل UT لتمثيل حاصل ضرب مصفوفات Householder بشكل مضغوط. يمكن التعبير عن حاصل ضرب $L$ من التحويلات كـ $P = I - W^\top T^{-1} W$، حيث تحتوي $W$ على المتجهات $w_s$ و $T$ هي مصفوفة مثلثية مشتقة من قيم $\beta$.
• خوارزمية بأسلوب FlashAttention: لتمكين التدريب عالي الكفاءة من حيث الأجهزة، طور المؤلفون خوارزمية مجزأة (blockwise):
  • يقومون بحساب مسبق لمصفوفات الاستعلام والمفتاح "المعدلة عند الحدود" لكل كتلة.
  • يستخدمون مسحاً من اليمين إلى اليسار فوق كتل المفاتيح/القيم لتجميع منتجات Householder التراكمية بطريقة تدفقية (streaming).
  • يحافظ هذا النهج على كفاءة الإدخال/الإخراج لـ FlashAttention (العمل ضمن SRAM) مع دمج ترميز الموضع الديناميكي.
• الاستدلال: بالنسبة للاستدلال، يتم تحديث المفاتيح التاريخية في مكانها باستخدام مصفوفة الانتقال للخطوة الزمنية الحالية، مما يلغي الحاجة إلى ذاكرة تخزين مؤقت منفصلة لمتجهات التحويل. وهذا يسمح بالتوافق مع نوى الاستدلال الحالية مثل FlashDecoding.

4. النتائج التجريبية

الاختبارات الاصطناعية

تم تقييم PaTH في مهام مصممة لفحص الاستدلال التسلسلي وتتبع الحالة:

• نمذجة لغة Flip-Flop (FFLM): حققت النماذج القائمة على PaTH (طبقة واحدة، رأسان) دقة تقارب الكمال في هذه المهمة، بينما واجهت النماذج القائمة على RoPE صعوبة كبيرة.
• المسائل اللفظية (مجموعة $A_5$): حل PaTH مسائل لفظية كاملة لـ $NC^1$ بعدد طبقات أقل من النماذج المرجعية (RoPE, SBA, FoX).
• الاستدعاء الترابطي المتكرر متعدد الاستعلامات (MQRAR-N): نجح PaTH في تتبع قيم المتغيرات لـ $N$-back recall ($N < 4$)، متفوقاً على النماذج المرجعية الحديثة التي فشلت في تتبع السجلات المرتبة.

نمذجة اللغة (760 مليون معلمة)

أُجريت التجارب على مجموعة بيانات Fineweb-Edu (50 مليار توكن):

• الاختبارات القياسية: تفوق PaTH باستمرار على RoPE و FoX في مهام الاستدضاء الشائع صفري الاستباق (zero-shot commonsense reasoning) مثل (LAMBADA, PIQA, HellaSwag, إلخ) وحقق تشتتاً (perplexity) أقل في Wikitext.
• تعميم الطول: أظهرت النماذج المدربة على سياق 4K قدرة جيدة على التعميم لتسلسلات أطول.
  • Roole: فشل فجأة بعد 4K.
  • PaTH: حافظ على أداء مستقر حتى 32K.
  • PaTH-FoX: تعمم بقوة حتى 6K توكن، مظهرًا قوة خاصة في توليد الكود (CodeParrot) حيث يعد تتبع الحالة أمراً حاسماً.
• اختبارات السياق الطويل: في اختبارات RULER و BABILONG و PhoneBook، حقق PaTH-FoX أعلى درجات الاسترجاع وتتبع الحالة، متفوقاً بشكل كبير على RoPE و FoX في مهام Multi-Needle-In-A-Haystack ومهام تتبع المتغيرات.

تحويل النموذج

استكشف المؤلفون تحويل نماذج RoLE المدربة مسبقاً إلى PaTH:

• SmolLM2-1.7B: أدى تحويل نموذج قبل تعرضه لبيانات عالية الجودة في الرياضيات/الكود ثم مواصلة التدريب المسبق إلى تفوق PaTH على نموذج RoPE الأصلي في اختبارات الرياضيات (GSM-8K) والكود (HumanEval, MBPP).
• Qwen2.5-7B: أسفرت عملية التقطير (distillation) من نموذج RoPE مدرب بشكل مفرط بالفعل عن نتائج مختلطة، مع بعض المكاسب في الأداء ولكن أيضاً تراجع في بعض الاختبارات، مما يشير إلى أن التحويل يكون أكثر فعالية قبل أن "يتصلب" النموذج.

5. الأهمية والادعاءات

يزعم البحث أن PaTH يعالج القيود النظرية والتجريبية لمخططات ترميز الموضع الحالية من خلال إدخال تحويلات ضربية معتمدة على البيانات.

• القدرة التعبيرية: يوفر طريقة مبدئية لنقل نماذج Transformer خارج فئة التعقيد $TC^0$، مما يمكنها من حل مسائل كاملة لـ $NC^1$.
• العملية: من خلال تحويل UT والخوارزميات المجزأة، يحقق PaTH كفاءة مماثلة لآليات الانتباه القياسية، مما يجعله قابلاً للتطبيق في التدريب واسع النط scale.
• تتبع الحالة: الطبيعة المعتمدة على البيانات لتحويلات Householder تسمح للنموذج بالتكيف ديناميكياً مع التسلسلات المدخلة، مما يحل مهام تتبع الحالة التي تستعصي على النماذج القائمة على RoPE.

6. القيود

يقر المؤلفون بعدة ملاحظات:

• الاستقرار العددي: يمكن أن يكون التدريب حساساً للدقة؛ وتحديداً، قد يتسبب BF16 في عدم استقرار في الضرب التراكمي، مما يتطلب تقليم (clipping) عامل القياس $\beta$.
• العبء الحسابي: رغم كفاءته، فإن أبعاد الرأس (head dimensions) الأكبر تزيد من العبء الحسابي وذاكرة حسابات منتج Householder مقارنة بالانتباه القياسي.
• الانحيازات الهندسية: لا ينمذج PaTH الدورات (rotations) بشكل أصيل (لأن مصفوفات Householder هي عمليات انعكاس). قد يحد هذا من بعض الانحيازات الاستقرائية الهندسية الموجودة في RoPE، مثل الاعتماد الهيكلي على الموضع النسبي، وإن كان المؤلفون يقترحون إمكانية تقريب الدورات عبر تركيبات من الانعكاسات في أعمال مستقبلية.