Linearized 2-Simplicial Attention

ملخص تقني: الانتباه ثنائي الـ Simplicial المخطط (Linearized 2-Simplicial Attention)

بيان المشكلة
يوفر انتباه "softmax" القياسي وصولاً قائماً على المحتوى إلى الرموز (tokens) السابقة، ولكنه يعاني من تعقيد حسابي تربيعي ($O(n^2)$) وذاكرة تخزين مؤقت لـ KV تنمو باستمرار، مما يحد من القدرة على التوسع. وبينما تضغط آليات الانتباه الخطي (linear attention) الماضي في حالة ذات حجم ثابت، فإنها غالباً ما تواجه صعوبة في الاسترجاع الدقيق والتحديثات الانتقائية. وفي المق المقابل، يقدم الانتباه ثنائي الـ Simplicial (2-simplicial attention) تفاعلات من رتب أعلى عبر تسجيل درجة الاستعلام مقابل أزواج من الرموز (ثلاثيات)، وهو ما يحسن الأداء نظرياً في المهام المعتمدة على الثلاثيات. ومع ذلك، فإن الانتباه ثنائي الـ Simplicial الدقيق مكلف للغاية، حيث يتطلب حسابات بمقدار $O(n^3)$. وتعتمد المحاولات الأخيرة لجعل هذا الأمر عملياً على تقييد كلا محوري الرموز بنوافذ ثابتة، مما يضحي بالوصول العالمي مقابل الكفاءة.

المنهجية
يقترح المؤلفون LinSimp، وهو شكل خطي من الانتباه ثنائي الـ Simplicial يحقق تكلفة خطية ($O(n)$) مع الحفاظ على الوصول العالمي على محور واحد والدقة المحلية على المحور الآخر.

1. التخطيط عبر إعادة الكتابة ثلاثية الخطية (Trilinear Rewriting):
   الابتكار الجوهري هو إعادة كتابة الدرجة ثلاثية الخطية $\langle q_i, k_j, r_c \rangle$ كضرب داخلي بين استعلام مركب ومفتاح:
   $$\langle q_i, k_j, r_c \rangle = (q_i \odot r_c)^\top k_j$$
   تسمح هذه إعادة الصياغة بمعاملة الجمع عبر مؤشر الرمز ($j$) كمنتج نقطي أسي (exponential dot-product kernel) عادي، على غرار الانتباه الخطي القياسي.

2. الميزات العشوائية الإيجابية (Positive Random Features):
   لتقريب النواة الأسية $\exp((q_i \odot r_c)^\top k_j)$، يستخدم المؤلفون ميزات عشوائية إيجابية (تحديداً الميزات العشوائية المتعامدة)؛ مما يسمح بمعاملة الجمع عبر تاريخ الرموز العالمي ($j$) كضغط في حالة ثابتة الحجم ($M_i$ و $a_i$)، بشكل مستقل عن طول التسلسل.

• المحور العالمي ($j$): يتم التعامل معه عبر حالة الميزة العشوائية، مما يتيح الوصول إلى البادئة السببية الكاملة.
• المحور المحلي ($c$): يتم الإبقاء على بُعد "المرساة" (anchor) صريحاً ولكن مع تقييده بنافذة متدحرجة قصيرة (مثلاً 64 رمزاً). وهذا يخلق آلية هجينة حيث تولد كل مرساة حديثة استعلاماً مركباً فريداً يُرسل إلى الحالة العالمية.

3. البنية والتنفيذ:

• تكوين النموذج: يدمج المؤلفون طبقات LinSimp في بنية نموذج يستخدم أيضاً Kimi Delta Attention (KDA)، وهو نموذج سريع ذو قواعد دلتا وبوابات (gated delta-rule fast-weight model). لقد قاموا ببناء نموذج "بدون softmax" يحتوي على 18 طبقة KDA و6 طبقات LinSimp.
• النوى المخصصة (Custom Kernels): تم تنفيذ الطريقة باستخدام نوى Triton مخصصة. تعالج عملية التمرير الأمامي (forward pass) الاستعلامات في مجموعات (chunks)، مع إعادة بناء حالات البادئة من الشروط الحدودية لتجنب تجسيد أزواج الرموز الكاملة. تستخدم عملية التمرير الخلفي (backward pass) تصميماً ذا مسح مزدوج لتجميع التدرجات دون حفظ تنسورات وسيطة كبيرة ($T \times m \times D_v$).

المساهمات الرئيسية
حدد البحث أربع مساهمات محددة:

1. الاشتقاق: اشتقاق نواة أحادية الوضع (one-mode kernelization) للانتباه ثنائي الـ Simplicial، وتحويل الدرجة ثلاثية الخطية إلى شكل قابل للتقريب عبر الانتباه الخطي.
2. التنفيذ: تنفيذ خطي الزمن باستخدام بنك ميزات عشوائية متعامدة إيجابية للموضع العالمي ونافذة مرساة صريحة قصيرة للموضع المحلي.
3. هندسة النواة: نوى Triton مخصصة للتمرير الأمامي والخلفي، بما في ذلك التحقق العددي مقابل مرجع FP32.
4. المقارنة التجريبية: تقييم شامل مقابل الانتباه القياسي، والأساسات ثنائية الـ Simplicial النافذة الدقيقة (exact windowed 2-simplicial baselines)، وهجينات KDA تحت إعدادات عدد الرموز المتساوي (iso-token) وتساوي العمليات الحسابية (iso-FLOP).

النتائج
قيم المؤلفون نماذجهم على بيانات الويب (FineWeb-Edu) والبيانات الرياضية (FineMath-4+) عبر أطوال سياق 2k و16k.

• أداء تساوي العمليات الحسابية (Iso-FLOP): في ظل ميزانيات حسابية متساوية، حقق نموذج "no-softmax" المكون من KDA + LinSimp أعلى متوسط دقة للمهام النهائية بين البنى المقارنة في تشغيل الرياضيات بـ 3 مليار توكن وفي إعداد السياق 16k.
• السياق الطويل (16k): عند سياق 16k، حسن نموذج LinSimp متوسط الدقة بمقدار 0.0079 عن هجين KDA (الذي يستخدم انتباه softmax قياسي) وقلل بشكل كبير من غموض LAMBADA من 715.6 إلى 602.6.
• الكفاءة: حققت النوى المخصصة إنتاجية قريبة من انتباه softmax (1.03 ضعف وقت طبقة softmax لطبقة LinSimp واحدة عند سياق 2k) ولكنها لم تتفوق بعد على نوى softmax الناضجة في السرعة الخام.
• مقارنة الأساسات: أظهر الأساس ثنائي الـ Simplex النافذة الدقيق (Roy et al., 2025) خسارة تحقق وغموض (perplexity) أعلى مقارنة بالنهج الخطي عند مطابقة الحوسبة.

الأهمية والادعاءات
يدعي البحث أن LinSimim نجح في سد الفجوة بين الفوائد النظرية للتفاعلات ذات الرتب العليا (ثلاثية الخطية) والقيود العملية للاستدلال في زمن خطي. ومن خلال تفكيك التفاعل ثنائي الـ Simplicial إلى حالة ميزة عشوائية عالمية ونافذة صريحة محلية، يوضح المؤلفون أن:

• من الممكن بناء نموذج لغوي عالي الأداء بدون طبقات انتباه softmax على الإطلاق.
• يمكن لهذه البنية أن تتفوق على هجينات KDA (التي تعتمد على انتباه softmax لبعض الطبقات) في سيناريوهات السياق الطويل تحت ميزانيات حوسبة متساوية.
• توفر الطريقة "وصولاً عالمياً" يفتقر إليه الانتباه ثنائي الـ Simplex النافذة، مع الحفاظ على التعقيد الخطي.

القصور والتواضع
يشير المؤلفون صراحةً إلى أن تجاربهم أولية، حيث استخدموا بذرة عشوائية واحدة، مما يمنع تقدير التباين أو فترات الثقة. كما يقرون بأن نواة التمرير الخلفي الحالية ليست محسنة للغاية، وأن ميزانية iso-FLOP هي مقياس تحليلي وليس قياساً مباشراً للطاقة أو زمن الاستجابة. علاوة على ذلك، لا يزال سلوك التوسع للنموذج خارج أعداد المعلمات المختبرة (حوالي 330 مليون) غير معروف.