ملخص تقني: Gated DeltaNet-2

بيان المشكلة

تقدم آليات الانتباه الخطي (Linear attention) بديلاً مقنعاً لآلية "softmax attention" التقليدية عبر استبدال الذاكرة المخبئية (cache) غير المحدودة بحالة متكررة ثابتة الحجم، مما يقلل من خلط التسلسل إلى وقت خطي ويجعل عملية فك التشفين (decoding) ذات ذاكرة ثابتة. ومع ذلك، لا تزال هناك عقبة أساسية في نماذج قاعدة دلتا (delta-rule models) (مثل DeltaNet و Gated DeltaNet و Kimi Delta Attention/KDA). فبينما تعمل هذه النماذج على تحسين إدارة الذاكرة من خلال السماح بعمليات استبدال مستهدفة للارتباطات، إلا أنها تعتمد على بوابة قياسية (scalar gate) ($\beta_t$) للتحكم في عمليتين متمايزتين في آن واحد:

1. المحو (Erasing): تحديد مقدار المحتوى القديم (المقروء من جانب المفتاح/key) الذي يجب إزالته.
2. الكتابة (Writing): تحديد مقدار المحتوى الجديد (من جانب القيمة/value) الذي يجب تثبيته.

تجادل الورقة بأن معاملة هاتين العمليتين كقرار قياسي واحد يمثل قيداً في النمذجة. فعملية المحو تعمل على محور المفتاح (تحدد إحداثيات القراءة القديمة التي يجب إزالتها)، بينما تعمل الكتابة على محور القيمة (تحدد إحداثيات القيمة الواردة التي يجب تثبيتها). إن ربط هذين القرارين يحد من قدرة النموذج على تحرير الذاكرة المضغوطة بشكل انتقائي دون تشويه الارتباطات الموجودة، لا سيما في سيناريوهات السياق الطويل حيث تتنافس ارتباطات عديدة على نفس المساحة المحدودة للحالة.

المنهجية: Gated DeltaNet-2

يقترح المؤلفون Gated DeltaNet-2، وهو طبقة انتباه متكررة تفصل بين عمليتي المحو والكتابة داخل قاعدة دلتا.

1. قاعدة دلتا المبوّبة-2 (Gated Delta Rule-2)

الابتكار الجوهري هو فصل البوابة القياسية إلى بوابتين مستقلتين لكل قناة:

• بوابة المحو ($b_t \in [0, 1]^{d_k}$): متجه لكل قناة يُطبق على بُعد المفتاح (key dimension). يقوم بوزن إحداثيات القراءة الحالية ($e_t = b_t \odot k_t$) لتحديد الأجزاء من الحالة القديمة التي سيتم محوها.
• بوابة الكتابة ($w_t \in [0, 1]^{d_v}$): متجه لكل قناة يُطبق على بُعد القيمة (value dimension). يقوم بوزن إحداثيات القيمة الواردة ($z_t = w_t \odot v_t$) لتحديد الأجزاء من القيمة الجديدة التي سيتم تثبيتها.

تصبح معادلة تحديث الحالة:
$$S_t = (I - k_t(b_t \odot k_t)^\top) D_t S_{t-1} + k_t(w_t \odot v_t)^\top$$
حيث تمثل $D_t = \text{Diag}(\alpha_t)$ الاضمحلال لكل قناة والموروث من KDA.

هذه الصيغة تعمم النماذج السابقة:

• إذا تم ربط $b_t$ و $w_t$ بنفس البوابة القياسية $\beta_t$، فإنها تستعيد نموذج KDA.
• إذا كان الاضمحلال $\alpha_t$ مرتبطاً أيضاً بـ $\beta_t$ قياسي، فإنها تستعيد Gated DeltaNet.

2. منظور التحديث سريع الوزن (Fast-Weight Update)

يفسر المؤلفون التحديث كخطوة تحسين عبر الإنترنت (online optimization) على خسارة انحدار محلية. يقلل النموذج المسافة بين الحالة الجديدة وذاكرة متحللة، بشرماً بوجود تعديل ترابطي يصحح قيمة القراءة ($\bar{S}_{t-1}^\top e_t$) نحو الهدف المبوّب ($z_t$). توضح هذه الرؤية أن التحديث يطرح القراءة القديمة المبوّبة قبل إضافة القيمة الجديدة المبوّبة.

3. التدريب المتوازي الفعال بنظام الكتل (Efficient Chunkwise Parallel Training)

للحفاظ على كفاءة التدريب، اشتق المؤلفون خوارزمية WY (مشابهة لـ KDA) والتي تستوعب الاضمحلال التراكمي لكل قناة ضمن عوامل المحو من الرتبة الأولى.

• استيعاب الاضمłلال (Decay Absorption): يتم تطبيع الاضمحلال لكل قناة في مصفوفات المحو ($\bar{E}$) والكتابة ($Z$)، مما يسمح بالتعبير عن التكرار كعملية تحديث دلتا غير متماثلة بحتة.
• الحل المثلثي (Triangular Solve): تتضمن الحسابات المعتمدة على الكتل حل نظام مثلثي سفلي $(I+T)^{-1}$ لحساب المصفوفات المساعدة $Y$ (جانب المحو) و $U$ (جانب الكتابة).
• المرور الخلفي الواعي بالبوابة (Gate-Aware Backward Pass): مساهمة تقنية حاسمة هي اشتقاق المرور الخلفي. على عكس النماذج ذات البوابات القياسية حيث يمكن سحب عامل البوابة من عمليات الضرب النقطي، يتطلب Gated DeltaNet-2 دمج البوابات لكل قناة ($b_t$ و $w_t$) مباشرة في تراكم التدرجات للمصفوفات المساعدة. يضمن ذلك تدفق التدرج الصحيح دون كسر بنية الكتل الفعالة.

4. البنية (Architecture)

يتم تنفيذ النموذج كمزيج للرموز (token mixer) في كتلة نمطية قياسية من نوع Transformer. ويدعم التكوينات المتكررة فقط (recurrent-only) والتهجين (hybrid). يقوم التكوين الهجين بدمج Gated DeltaNet-2 mixer مع انتباه النافذة المنزلقة (Sliding-Window Attention - SWA) للتعامل مع التفاعلات المحلية الدقيقة بينما تدير الطبقة المتكررة التبعيات طويلة المدى.

النتائج الرئيسية

تم تقييم النموذج بـ 1.3 مليار معلمة (parameters) تم تدريبها على 100 مليار توكن من FineWeb-Edu، مقارنة بـ Mamba-2، و Gated DeltaNet، و KDA، و Mamba-3 (SISO/MIMO)، و Transformers.

• نمذجة اللغة والاستدلال: حقق Gated DeltaNet-2 أقوى النتائج الإجمالية في كل من الإعدادات المتكررة والهجينة من حيث الارتباك (perplexity) (WikiText, LAMBADA) واختبارات الاستدلال المنطقي الصفرية (PIQA, HellaSwag، إلخ).
• استرجاع السياق الطويل (RULER): لوحظت أكبر المكاسب في مهام الإبرة في كومة القش متعددة المفاتيح (Multi-Key Needle-In-A-Haystack - MK-NIAH). في هذه السيناريوهات، حيث يجب على حالة ثابتة الحجم الفصل بين الارتباطات المتنافسة، تفوق Gated DeltaNet-2 على جميع النماذج المرجعية، خاصة مع زيادة طول السياق (حتى 8 آلاف توكن).
• الاسترجاع في العالم الحقيقي: في المهام التي تتضمن الاستخراج والإجابة على الأسئلة (SQuAD, TriviaQA, DROP)، حقق نموذج Gated DeltaNet-2 الهجين أعلى متوسط دقة، مما أظهر المتانة في السياقات الواقعية المليئة بالضجيج.
• الكفاءة: أظهر تحليل الإنتاجية (throughput) على وحدات GPU من نوع H100 أن Gated DeltaNet-2 يحافظ على توسع شبه مسطح مع نمو طول التسلسل، مع وجود حمل إضافي ثابت بسيط مقارنة بـ KDA بسبب البوابات الإضافية لكل قناة.

الأهمية والادعاءات

تدعي الورقة أن فك الارتباط في عملية تعديل الذاكرة النشطة يستهدف مباشرة نقطة الضغط الرئيسية في التكرار ذي الحالة الثابتة: التداخل بين العديد من الارتباطات المضغوطة.

• المرونة في النمذجة: من خلال فصل المحو عن الكتابة، يمكن للنموذج مسح السياق الواسع عبر الاضمحلال، وإزالة ارتباطات قديمة محددة عبر بوابة المحو، وإدخال قنوات القيمة الضرورية فقط عبر بوابة الكتابة. تسمح هذه المرونة باستعادة نماذج KDA و Gated DeltaNet كحالات خاصة مع تعلم هياكل قنوات أكثر تعقيداً عند الحاجة.
• التحقق التجريبي: تؤكد دراسات الاستئصال (ablation studies) أن كلتا البوابتين تساهمان في الأداء، حيث أن بوابة المحو لكل قناة ($b_t$) هي المسؤولة عن معظم المكاسب في نمذجة اللغة والاسترجاع.
• الواقعية العملية: يوضح هذا العمل أن آليات التحكم المتقدمة في الذاكرة يمكن دمجها في الانتباه الخطي دون التضحية بكفاءة التدريب المتوازي المطلوبة للتدريب واسع النطاق.

يخلص المؤلفون إلى أن Gated DeltaNet-2 يمثل خطوة للأمام في "جبهة الانتباه المتكرر"، حيث يقدم آلية أكثر تعبيراً وكفاءة لإدارة الذاكرة المضغوطة في سيناريوهات السياق الطويل.