ملخص تقني: انتباه كازمارز الخطي (KLA)

بيان المشكلة

يعيق نمذجة اللغة ذات السياق الطويل التكلفة الحسابية والذاكرة التربيعية لآلية "انتباه Softmax" القياسية في نماذج Transformer. وبينما تعالج النماذج التكرارية ذات الزمن الخطي هذه المشكلة عن طريق ضغط السياق في حالة (state) ثابتة الحجم، فإن تصميم قاعدة تحديث الحالة يصبح هو العائق الحرج. تعتمد الأساليب الحالية، مثل Gated DeltaNet (GDN)، على "قاعدة دلتا" (delta-rule) لكتابة المتبقي (residual) بين القيمة المستهدفة وتوقع الحالة الحالي، مما يؤدي إلى تعديل الارتباطات الموجودة بدلاً من مجرد تراكمها.

ومع ذلك، يعتمد GDN على معامل قياسي مُتعلم لموازنة النسيان والتحديث. ويرى المؤلفون أن هذا المعامل هو خيار تصميم تجريبي وليس خطوة (step size) مشتقة نظرياً. فالمعامل غير المناسب يمكن أن يؤدي إلى أحجام تحديث غير مثالية: مبالغة في التصحيح للمفاتيح ذات المعيار الكبير (large-norm keys)، وضعف في التصحيح للمفات keys ذات المعيار الصغير (small-norm keys)، مما يؤدي إلى فساد الحالة وضعف أداء الاسترجاع.

المنهجية: انتباه كازمارز الخطي (KLA)

تقترح الورقة البحثية انتباه كازمارز الخطي (KLA)، وهو تعديل لـ GDN يستبدل المعامل القياسي المُتعلم بحجم خطوة مشتق نظرياً بناءً على طريقة إسقاط كازمارز (Kaczmarz projection method).

الاشتقاق النظري

يصيغ المؤلفون عملية كتابة المفتاح-القيمة (key-value write) كمسأة تحسين مقيدة. بالنسبة للرمز (token) $t$، الهدف هو إيجاد الحالة $S_t$ الأقرب إلى الحالة السابقة المتلاشية $\tilde{S}_{t-1}$ التي تحقق القيد الخطي $S_t^T k_t = v_t$ (حيث $k_t$ هو المفتاح و $v_t$ هي القيمة).

• هدف التحسين: $\min_S \frac{1}{2}\|S - \tilde{S}_{t-1}\|_F^2$ بشرط $S^T k_t = v_t$.
• الحل: الحل الأمثل هو الإسقاط المتعامد لـ $\tilde{S}_{t-1}$ على المستوي الفائق للقيد (constraint hyperplane). وهذا ينتج عنه حجم خطوة (معامل) قدره $\beta_t = 1/\|k_t\|_2^2$.

قاعدة تحديث KLA

يعمم KLA هذا الإسقاط الدقيق في قاعدة تحديث عملية تتضمن بوابة استرخاء قابلة للتعلم $\eta_t$ ومثبتاً عددياً $\epsilon$:
$$\beta_t = \frac{\eta_t}{\|k_t\|_2^2 + \epsilon}$$
يصبح تحديث الحالة:
$$S_t = \tilde{S}_{t-1} + \beta_t k_t e_t^T$$
حيث $e_t = v_t - \tilde{S}_{t-1}^T k_t$ هو خطأ المتبقي (residual error).

الخصائص الرئيسية

تثبت الورقة أن هذا المعامل يحقق ثلاث خصائص مرغوبة في آن واحد (في حالة عدم الاسترخاء حيث $\eta_t=1, \epsilon=0$):

1. الإسقاط المتعامد: يقوم بإجراء أقل تغيير في المعيار (minimum-norm change) للحالة لتلبية القيد.
2. البحث الخطي الدقيق: هو المقلل الأمثل لخسارة الرمز الواحد (per-token loss) على طول اتجاه التحديث.
3. خطوة التدرج الموحدة: يعمل كخطوة تدرج عشوائي (SGD) موحدة المعيار.

التنفيذ

تم تصميم KLA ليكون بديلاً مباشراً (drop-in replacement) لـ GDN. فهو يحافظ على:

• شكل الحالة ($S \in \mathbb{R}^{d_k \times d_v}$).
• آليات البوابات (gates) (التلاشي والتحديث).
• الهيكل التكراري الخطي.
• خوارزمية التدريب المتوازية على دفعات (chunkwise parallel training algorithm).

التغيير الهيكلي الوحيد هو حساب مصفوفة المعاملات القطرية $B = \text{Diag}(\beta_1, \dots, \beta_C)$ ضمن حل الدفعات (chunkwise solver). ولا يتطلب الأمر أي نوى برمجية (kernels) جديدة أو تخطيطات حالة جديدة.

المساهمات الرئيسية

1. قاعدة دلتا ذاتية التوحيد: اشتقاق معامل KLA من إسقاط كازمارز، وإثبات أنه إسقاط متعامد، ومقلل بحث خطي دقيق، وخطوة تدرج موحدة المعيار لخسارة الرمز الواحد.
2. خوارزمية تكرارية جاهزة للاستخدام: إثبات أن KLA يحتفظ بتكرار GDN وحل الدفعات، مما يتطلب فقط تغييراً في مصفوفة المعاملات القطرية.
3. المكاسب التجريبية: إثبات أن KLA يحقق تشتتاً (perplexity) أقل وأداء تتبع حالة أفضل من GDN والأساليب الخطية الأخرى دون توسيع البنية المعمارية.
4. الكفاءة المحفوظة: التأكيد على أن KLA يحافظ على تعقيد زمني ومساحي قدره $O(n)$ ويطابق زمن استجابة (prefill latency) الخاص بـ GDN مع تحسين إنتاجية فك التشفيد (decode throughput).

النتائج التجريبية

أُجريت التجارب عند مقياس 0.4 مليار معلمة مع ميزانية 1 مليار توكن على مجموعة بيانات SlimPajama-672B.

نمذجة اللغة

• تشتت التحقق (Validation PPL): حقق KLA قيمة 8.09 PPL، متفوقاً على GDN (8.50)، وDeltaNet (8.26)، وGLA (8.42)، وLonghorn (8.79)، وMamba2 (9.41).
• الاستقراء للسياق الطويل: بدون ضبط دقيق للسياق الطويل، حافظ KLA على أدنى تشتت عبر أطوال سياق من 1K إلى 65K توكن، مظهرًا تفوقًا مستمرًا بمقدار 3.7–4.1 PPL على GDN.

المهام الاصطناعية

• مهمة الإبرة الواحدة في كومة القش (S-NIAH): وصل KLA إلى دقة 100% عبر جميع أطوال السياق المختبرة (1K–8K)، بينما انخفض أداء GDN قليلاً وفشل Mamba2 بشكل كبير.
• الاستدعاء الترابطي متعدد الاستعلامات (MQAR): حسن KLA دقة استقراء الطول بمقدار 8 أضعاف بمقدار 7.03 نقاط عن GDN (73.84% مقابل 66.81%).
• المهام المتراكمة (Stack) والكلمات المقلوبة (Palindrome): أظهر KLA أداءً تنافسياً أو متفوقاً في مهام تتبع الحالة والعكس.

الكفاءة

• زمن استجابة التعبئة (Prefill Latency): طابق KLA زمن استجابة GDN (مثلاً ~1220 مللي ثانية عند سياق 131K)، مما يؤكد أن حساب معامل كازمارز لا يؤثر على تكلفة نواة الدفعات المهيمنة.
• إنتاجية فك التشفيد (Decode Throughput): عند سياق 32K، حقق KLA معدل 3.54 توكن/ثانية، وهو أعلى بمقدار 2.1 ضعف من GDN (1.65 توكن/ثانية) و1.7 ضعف من Mamba2.

دراسات الاستئصال (Ablation Studies)

قام المؤلفون باستئصال استراتيجية التوحيد، وآلية البوابة، وتوسيع الحالة. أشارت النتائج إلى أن توحيد معيار المفتاح (key-norm normalization) أمر بالغ الأهمية للاستقرار؛ حيث أدى إزالته أو استخدام معامل مُتعلم وحده إلى تدهور كبير في استقرار التدريب المسبق (PPL) وأداء المهام الاصطناعية.

الأهمية والادعاءات

تدعي الورقة أن معامل كازمارز الموحد بمعيار المفتاح هو "محور تصميم من الدرجة الأولى" لنماذج تسلسل قاعدة دلتا. من خلال معاملة عملية الكتابة كإسقاط مقيد، يحل KLA مشكلة أحجام التحديث غير المثالية المتأصلة في المعاملات المُتعلمة تجريبياً.

تكمن الأهمية في أن هذه التحسينات تتحقق دون تغيير الحالة المتكررة، أو النواة البرمجية، أو التعقيد المعماري. يرى المؤلفون أن المعامل نفسه، وليس سعة الحالة أو هيكل البوابة، هو العامل الأساسي في تحديد ما إذا كانت عملية كتابة قاعدة دلتا ستحل بنجاح مشكلة الانحدار المحلية الخاصة بها. وهذا يشير إلى أن النماذج الخطية المستقبلية يمكنها تحقيق مكاسب كبيرة في الدقة، والاستقراء، وكفاءة فك التشفيد ببساطة عن طريق اعتماد هذا الحجم للخطوة المستند إلى أساس نظري.