ملخص تقني: متوسطات المفتاح-القيمة (KVM)

بيان المشكلة

تقدم نماذج المحولات (Transformers) كفاءة في التدريب على الأجهزة الحديثة، لكنها تعاني من التوسع الخطي في الذاكرة والوقت لكل رمز مخرج بالنسبة لطول السياق ($O(N)$ للذاكرة، و$O(N)$ لوقت فك التشفين). وفي المقابل، تحقق الشبكات العصبية المتكررة الخطية الحديثة (LRNNs) ذاكرة ووقتًا ثابتين لكل رمز ($O(1)$)، لكنها عادة ما تعاني من ضعف في استرجاع السياقات الطويلة. تسعى البنيات الحالية التي تحاول سد هذه الفجوة إلى الاعتماد إما على حالات ذات حجم ثابت (مما يحد من القدرة على الاسترجاع) أو على تدريب وقت الاختبار (Test-time training) المعقد باستخدام مُحسّنات وقت التشغيل (مما يؤثر على السرعة). هناك حاجة إلى بنية توازن بين كفاءة الذاكرة، والسرعة، واسترجاع السياق الطويل دون الحاجة إلى نوى (kernels) مخصصة أو ضبط معقد للمعلمات الفائقة لتدريب وقت الاختبار.

المنهجية: متوسطات المفتاح-القيمة (KVM)

تعد KVM آلية انتباه حجرية-متكررة (block-recurrent) مبتكرة تدمج انتباه النافذة المنزلقة الحجرية (BSWA) مع حالة قابلة للتوسع ديناميكيًا ومضغوطة. وهي تعمل ضمن طبقة انتباه "softmax" واحدة، مما يوحد فوائد المحولات التقليدية (السياق القابل للتوسع، والتوازي عبر الكتل) والشبكات العصبية المتكررة الخطية (LRNNs).

الآليات الأساسية

1. النافذة المنزلقة الحجرية مع الحالة المضغوطة:
   تعالج KVM المدخلات في شكل كتل (chunks). وهي تحافظ على نافذة BSWA ثابتة الحجم للرموز الحديثة، وحالة منفصلة يتم تحديثها دوريًا للرموز الأقدم. عندما يتجاوز كتلة من الرموز نافذة BSWA، تتم معالجتها لتحديث الحالة بدلاً من التخلص منها.

2. ضغط ودمج الحالة:
   يتم ضغط الرموز الفائضة (overflow tokens) في الحالة باستخدام قاعدة دمج تشبه "الاستيلاء على الفائز" (winner-take-all) وتعتمد على تشابه جيب التمام.

• مقياس التشابه: بدلاً من الـ softmax القياسي، تستخدم KVM مصفوفة تحديث ذات تشتت أقصى (مستوحاة من التكميم المتجه عبر الإنترنت - Online Vector Quantization)، حيث يتم تخصيص كل مفتاح فائض لواحد فقط من مفاتيح الحالة الأكثر ارتباطًا.
• إعادة التطبيع في الوقت المناسب (JIT Renormalization): لمنع تقلص معيار (norm) متجهات الحالة بمرور الوقت نتيجة لمتوسط المتجهات المتعامدة أو المتعارضة، تطبق Kమైన KVM عملية تطبيع JIT. يتم تطبيع مفاتيح الحالة باستخدام LayerNorm قبل الانتباه. كما يتم تطبيع القيم (values) إلى "نصف قطر قراءة" ($\rho_i$) ثابت تم تحديده عند إنشاء الفتحة (slot)، مما يحافظ على أحجام القيم مع السماح بتغيير الاتجاهات.
• بوابة الدمج (Merge Gate): تتحكم بوابة قياسية تعتمد على البيانات في مقدار المفاتيح والقيم الفائضة الواردة التي يتم امتصاصها في الحالة.

3. استراتيجية توسيع الحالة:
   على عكس الـ RNNs ذات الحجم الثابت، تدعم KVM حالة قابلة للنمو. يتم إلحاق الرموز الفائضة الأكثر "مفاجأة" (الأقل تكرارًا) مباشرة بالحالة، بينما يتم دمج البقية. وهذا يسمح بنمو ذاكرة دون خطي (على سبيل المثال، $O(\sqrt{N})$) مع الحفاظ على استرجاع السياق المبكر.

4. التعامل مع الترميز الموضعي (Positional Encoding):
   للحفاظ على التوافق مع ترميز الموضع الدوار (RoPE) في نافذة BSWA مع تجنب الـ RoPE في الحالة المضغوطة (التي تجمع رموزًا من مواضع متباعدة للغاية)، تستخدم KVM تقنية تصفير الـ RoPE الجزئي. يتم تصفير الفضاء الدوراني لمفاتيح الحالة، بينما تحتفظ نافذة BSWA بـ RoPE الكامل. يسمح هذا للنموذج باستخدام استعلامات (queries) غير مدورة للحالة واستعلامات مدورة للنافذة ضمن نفس تمريرة الانتباه.

5. رموز المصرف (Sink Tokens):
   يتم الحفاظ على مجموعة محمية من صفوف الحالة الأولية (sinks) لمنع تدهور المعلومات الحرجة في السياق المبكر، مما يعالج مشكلة كون رموز المصرف تمتلك أحجام قيم متميزة.

المساهمات الرئيسية

تقدم الورقة البحثية المساهمات المحددة التالية:

• صياغة حجرية-متكررة مبتكرة: طريقة لضغط الرموز الفائضة في حالة معاد تطبيعها ديناميكيًا باستخدام قاعدة دمج "الاستيلاء على الفائز"، مما يلغي الحاجة إلى طبقات ضغط منفصلة.
• استراتيجية توسيع الحالة: آلية لإلحاق الرموز الفائضة الجديدة بالحالة، مما يتيح نموًا ذاكرة دون خطي دون التضحية بالقدرة على الاسترجاع.
• إعادة التطبيع في الوقت المناسب (JIT): مخطط لتطبيع مفاتيح وقيم الحالة في الوقت المناسب للحفاظ على معايد المتجهات ومنع التداخل الهدام أثناء المتوسط الحسابي.
• المشاركة الجزئية للـ RoPE: طريقة لمشاركة الترميز الموضعي عبر المناطق المضغوطة وغير المضغوطة عن طريق تصفير بُعد الـ RoPE في مفاتيح الحالة، مما يتجنب الحاجة إلى معلمات إضافية أو آليات إعادة دمج معقدة.
• بنية موحدة: طبقة انتباه واحدة تتدرج بين الـ RNNs ذات الحالة الثابتة والـ Transformers ذات الانتباه الكامل، مما يوفر مقايضة مستمرة بين كفاءة الذاكرة والقدرة على الاسترجاع.

النتائج التجريبية

قام المؤلفون بتدريب نماذج (120 مليون و350 مليون معلمة) على مجموعة بيانات Prolong بطول سياق 8k.

• أداء السياق الطويل:
  • KVM ثابت الحالة (256 رمزًا): تفوق على نماذج OVQ/SWA ذات الحالة الأكبر في فقدان موقع التسلسل واختبارات السياق القصير. ومع ذلك، عانى في اختبارات "الإبرة في كومة القش" (NIAH) مع المشتتات الجديدة (NIAH-S2/S3) عند الأطوال القصوى، حيث أصبحت سعة الحالة عقبة.
  • KVM القابل للنمو (جداول قانون القوة/التشبع): حقق متغير "KVM sqrt" (حجم الحالة $\propto \sqrt{N}$) نتائج تنافسية في اختبارات السياق الطويل (RULER, LongBench, NIAH)، مساويًا أو متفوقًا على نماذج GPTAlpha الهجبية في مناطق التوسع خارج سياق التدريب البالغ 8k. كما تفوق بشكل كبير على نماذج KVM ثابتة الحالة ونماذج LRNNs النقية (RWKV-7) في المهام التي تتطلب استرجاع معلومات جديدة عبر مسافات طويلة.
• أداء السياق القصير: أدت متغيرات KVM أداءً متسقًا مع المحولات القياسية في اختبارات السياق القصير (LAMBADA, ARC, HellaSwag, إلخ)، مما يؤكد أن نافذة BSWA تحافظ على قدرات الانتباه القياسية.
• دراسات الاستئصال (Ablation Studies): تسبب إزالة تطبيع طول القيمة في أكبر تدهور في الأداء. كما أدى إزالة حماية المصرف (sink protection) وبوابة الدمج إلى إضعاف استرجاع السياق الطويل بشكل كبير.

الأهمية والادعاءات

تدعي الورقة أن KVM نجحت في سد الفجوة بين الـ RNNs ذات الحالة الثابتة والمحولات ذات الانتباه الكامل.

• الكفاءة مقابل الاسترجاع: توفر خيارًا مرنًا لحجم الحالة، مما يسمح للمستخدمين بضبط المقايضة بين كفاءة الذاكرة والقدرة على الاسترجاع. مع حالة ثابتة، توفر سلوكًا متكررًا مقسمًا إلى كتل $O(N)$؛ ومع حالة قابلة للنمو، تحقق نموًا ذاكرة دون خطي مع استرجاع قوي للسياق الطويل.
• بساطة التنفيذ: يمكن تنفيذ KVM باستخدام عمليات قياسية دون نوى مخصصة، وهي تدعم التدريب والملء المسبق (prefill) القابل للتوازي عبر الكتل.
• إمكانات هجينة: يمكن استخدام بنية KVM كحلول هجينة جنبًا إلى جنب مع طبقات LRNN لتعزيزها بتحسين نمو الذاكرة دون الخطي وقدرات فك تشفير السياق الطويل.
• لا توجد مُحسّنات وقت التشغيل: على عكس نهج تدريب وقت الاختبار (TTT)، تعتمد KVM على قاعدة تحديث حالة بسيطة بدلاً من المُحسّنات مثل SGD أو Adam، مما يتجنب تحديات المعلمات الفائقة المرتبطة بها.

يخلص المؤلفون إلى أن KVM تثبت أنه من الممكن التدرج بسلاسة بين الـ RNNs ذات الحالة الثابتة والانتباه الكامل بطريقة بسيطة وفعالة، مما يقدم حزمة موحدة لنمذجة السياق الطويل.