ملخص تقني: الانتباه الخطي المتغير (VLA)

1. بيان المشكلة

تواجه نمذجة التسلسلات ذات السياق الطويل مقايضة جوهرية بين الكفاءة الحسابية واستقرار الذاكرة. يحقق انتباه المحول (Transformer) القياسي استرجاعاً ترابطياً أمثلاً، لكنه يعاني من تعقيد زمني قدره $O(T^2)$ واستهلاك ذاكرة قدره $O(Td)$، مما يجعله غير قابل للتطبيق على التسلسلات التي تتجاوز $10^5$ توكن. يعالج الانتباه الخيدي (Linear Attention) عنق الزجاجة الحسابي عبر تقليل التعقيد إلى $O(T)$ باستخدام خرائط سمات النواة وتحديثات حالة متكررة. ومع ذلك، فإنه يقدم نمط فشل حرج: تنمو حالة الذاكرة الداخلية $S_t$ بلا حدود في معيار فروبينيوس ($O(T)$) بسبب التراكم الجمعي غير المشروط. هذا النمو غير المحدود يسبب تداخلاً تدريجياً بين الارتباطات المخزنة، مما يؤدي إلى تدهور دقة الاسترجاع مع زيادة طول السياق.

حاولت شبكة DeltaNet التخفيف من ذلك عبر آلية بوابة قياسية (scalar gate) تعمل على اضمحلال الحالة بشكل موحد، لكنها تفتقر إلى التحكم الانتقائي للاتجاهات. لا تستطيع البوابة القياسية تفضيل نسيان الاتجاهات التي تم الكتابة فوقها مؤخراً مع الحفاظ على الارتباطات الأقدم والأكثر استقراراً، مما يؤدي إلى انهيار سريع في الدقة تحت أحمال الذاكرة العالية. يرى المؤلفون أن المشكلة الجوهرية ليست في التكلفة الحسابية بل في استقرار الذاكرة، وتحديداً هندسة تحديث الذاكرة.

2. المنهجية: الانتباه الخطي المتغير (VLA)

يقترح البحث الانتباه الخطي المتغير (VLA)، الذي يعيد صياغة تحديث ذاكرة الانتباه الخطي كمسألة المربعات الصغرى المتغيرة عبر الإنترنت (online regularised least-squares problem).

2.1 الصيغة الجوهرية

بدلاً من التراكم غير المشروط ($S_t = S_{t-1} + v_t k_t^\top$)، يسعى VLA إلى إيجاد مصفوفة ذاكرة $S_t$ تقلل من خطأ التنبؤ المعاقب:
$$S^*_t = \arg \min_S \sum_{s=1}^t \|v_s - S\hat{k}_s\|^2 + \text{tr}(S M_t S^\top)$$
حيث $\hat{k}_s$ هو المفتاح الموحد و $M_t$ هي مصفوفة عقاب متغيرة زمنياً تشفر هندسة المفاتيح التي تمت رؤيتها سابقاً.

2.2 هندسة العقاب التكيفية

يحافظ VLA على مصفوفة عقاب عكسية $A_t = M_t^{-1}$ بدقة باستخدام صيغة شيرمان-موريسون (Sherman-Morrison) من الرتبة 1 بتكلفة $O(d^2)$ لكل خطوة.

• الآلية: تراكم $M_t$ نواتج الضرب الخارجي لاتجاهات العقاب المتعلمة. وبناءً عليه، تتقلص $A_t$ في الاتجاهات التي تلقت مؤخراً "كتلة عقاب" (أي التي تم الكتابة فيها).
• الأثر: تحصل الفضاءات الفرعية التي كُتب فيها مؤخراً على تحديثات أصغر، بينما تظل الفضاءات التي لم تُمس متاحة. يعمل هذا كـ نظير مصفوفي للبوابة القياسية في DeltaNet، مما يسمح بتحديثات ذاكرة انتقائية للاتجاهات.

2.3 قاعدة التحديث المتكرر

قاعدة التحديث المتكررة الدقيقة المستمدة من هذه الصيغة هي:

1. تحديث العقاب العكسي: $A_t = A_{t-1} - \frac{z_t z_t^\top}{1 + u_t^\top z_t}$ (شيرمان-موريسون).
2. حساب متجه البوابة: $\hat{\alpha}_t = \frac{A_t \hat{k}_t}{\|A_t \hat{k}_t\|}$.
3. تحديث الحالة: $S_t = S_{t-1} + (v_t - S_{t-1}\hat{k}_t) \hat{\alpha}_t^\top$.

من الضروري ملاحظ أن كلاً من المفتاح $\hat{k}_t$ ومتجه البوابة $\hat{\alpha}_t$ يتم توحيدهما إلى طول الوحدة. يتم حساب المخرج كنسبة من التكرارات بشكل مشابه للانتباه الخطي القياسي، باستخدام خريطة السمات ELU+1.

2.4 كفاءة التنفيذ

على الرغم من أن تحديث شيرمان-موريسون يضيف عبئاً ثابتاً (حوالي $5\times$ أكثر من عمليات الانتباه الخطي القياسي)، إلا أن المؤلفين قاموا بتنفيذ صيغة مسح Blelloch المتوازية و نواة Triton مدمجة (fused Triton kernel). تقوم هذه النواة بدمج جميع خطوات $T$ في إطلاق نواة واحدة لـ GPU، مما يلغي عبء الإرسال لكل توكن ويحقق تسريعًا قدره $14\times$ مقارنة بالتنفيذات المتسلسلة بلغة بايثون.

3. المساهمات الرئيسية

3.1 الضمانات النظرية

يقدم البحث براهين صارمة لخاصيتين من خصائص الاستقرار:

1. نمو الحالة المحدود (Proposition 1): في ظل المدخلات المحدودة، يكون معيار فروبينيوس $\|S_t\|_F$ محدوداً ذاتياً. على عكس الانتباه الخطي القياسي حيث $\|S_T\|_F = O(T)$، فإن حالة VLA تتقارب نحو هضبة ثابتة مع تلاشي بقايا التنبؤ.
2. معيار طيف جاكوبي للوحدة (Proposition 2): جاكوبي التكرار $J_t = \partial S_t / \partial S_{t-1} = I - \hat{\alpha}_t \hat{k}_t^\top$ له معيار طيفي يساوي 1 تماماً لجميع أطوال التسلسل وأبعاد الرأس، بشرما كانت المتجهات موحدة الطول. يضمن هذا تدفقاً مستقراً للتدرجات (لا انفجار ولا تلاشي) عند أي عمق. بدون التوحيد، ينمو المعيار الطيفي كـ $d_h/\lambda_0$، مما يؤدي إلى تضخيم التدرج (مثلاً $10^{32}$ بعد 25 خطوة لـ $d_h=96$).

3.2 سعة الذاكرة الترابطية

يحافظ VLA على السعة النظرية لـ $d_h$ ارتباط لكل رأس (حيث $d_h$ هو بعد الرأس). ومع ذلك، بخلاف التراكم الجمعي، يقوم VLA بتوجيه الكتابات الجديدة إلى اتجاهات متعامدة مع الفضاءات الفرعية المستخدمة مؤخراً. يسمح هذا بالحفاظ على الارتباطات القديمة دون تخفيف موحد، مما يحافظ على استرجاع دقيق حتى حدود السعة.

3.3 الكفاءة

تحقق نواة Triton المدمجة المقترحة مقياساً قدره $O(T)$ وتتخطى زمن انتقال انتباه Softmax عند حوالي 43,000 توكن، مما يجعلها قابلة للتطبيق في الاستدلال طويل السياق.

4. النتائج التجريبية

أجريت التجارب على هيكل Transformer مكون من طبقتين باستخدام مهمة الاستدعاء الترابطي متعدد الاستعلام (MQAR) ومهمة النسخ (Copy task).

• استقرار معيار الحالة: عند $T=1,000$، يصل الانتباه الخطي القياسي إلى $\|S_T\|_F \approx 1,600$، بينما يظل VLA تحت 15 (انخفاض بمقدار $109\times$). DeltaNet أيضاً محدود لكنه يفتقر إلى الانتقائية الاتجاهية لـ VLA.
• الاستدعاء الترابطي (السعة): في النطاق الذي يكون فيه عدد الأزواج $n_{pairs} < d_h$ (تحديداً $n=24, d_h=32$):
  • VLA: يحافظ على دقة مطابقة تامة قدرها 1.000.
  • DeltaNet: ينهار إلى 0.010.
  • الانتباه الخطي القياسي: ينخفض إلى 0.074.
  • Softmax: ينخفض إلى 0.26.
• الاحتفاظ بالسياق الطويل: مع تثبيت $n=8$ وزيادة $T$ حتى 512، يحافظ VLA على دقة 1.000. ينهار DeltaNet إلى $\approx 0.01$ عبر جميع الأطوال بسبب بوابة القياس التي تسبب اضمحلال الارتباطات الأقدم قبل وصول الاستعلامات.
• نطاق الحمل الزائد: عندما يكون $n > d_h$، يتدهور VLA بشكل أكثر سلاسة من الانتباه الخطي الجمعي لأن مصفوفة العقاب التكيفية تفضل الكتابة فوق الاتجاهات التي كُتب فيها مؤخراً، مما يحافظ جزئياً على الارتباطات الأقدم.

5. الأهمية والادعاءات

يفترض البحث أن موثوقية السياق الطويل هي مشكلة هندسة ذاكرة، وليست مجرد مسألة حسابية.

• التحكم الهندسي: المساهمة الأساسية هي إثبات أن التحكم في الاتجاهات التي يُسمح للحالة بتحديثها هو أمر أكثر أهمية من مجرد تقليل التكلفة الحسابية للتحديث. من خلال استبدال التراكم غير المشروط بتحديث خطأ متبقي محكوم بعقاب عكسي تكيفي، يحقق VLA نمذجة تسلسل مستقرة عددياً وبذاكرة ثابتة.
• الارتباط بالنظرية الكلاسيكية: يربط VLA الانتباه الخطي بمرشحات المربعات الصغرى المتكررة (RLS) التكيفية، مما يوفر اشتقاقاً مبدئياً ونظرية استقرار غائبة في مناهج "الوزن السريع" السابقة.
• النطاق العملي: يزعم المؤلفون أن VLA يوفر ملخصاً ثابتاً الحجم ومستقراً عددياً لـ $d_h$ من الارتباطات التي تم تعزيزها مؤخراً، وهو مناسب للاستدلال المتدفق دون الحاجة لبنية تحتية لذاكرة KV-cache. ويشيرون صراحة إلى أن VLA لا يتجاوز حد السعة الأساسي لـ $d_h$ ارتباط لكل رأس، ولكنه يقدم استقراراً واسترجاعاً فائقين ضمن هذا الحد.

يخلص العمل إلى أنه بينما يتحمل VLA عبئاً إضافياً ثابتاً، فإن الجمع بين الاستقرار النظري (جاكوبي الوحدة، الحالة المحدودة) والأداء التجريبي (الاسترجاء التام حتى السعة) يجعله حلاً قويداً لنماذج Transformer ذات السياق الطويل حيث يفشل الانتباه الخطي القياسي بسبب التداخل.