ملخص تقني: الذاكرة المهيكلة للنماذج اللغوية الطرفية عبر حقن حالة نماذج الفضاء الحالة (SSM) بزمن قدره O(1)

1. بيان المشكلة

يواجه النشر العملي لتقنية التوليد المعزز بالاسترجاع (RAG) على الأجهزة الطرفية حالياً قيوداً هيكلية ناتجة عن بنية "المحول" (Transformer) المهيمنة، وتتمثل في:

1. تكلفة التعبئة المسبقة الخطية (Linear Prefill Cost): تتطلب عملية RAG داخل السياق إعادة استيعاب رموز السياق المسترجع رمزاً تلو الآخر خلال مرحلة التعبئة المسبقة. وهذا يفرض تكلفة زمنية وطاقية تتناسب طردياً مع طول السياق ($O(L_{context})$)، وهو أمر غير مجدٍ في الأجهزة الطرفية ذات النطاق الترددي المحدود.
2. تخزين مفاتيح القيم (KV Caches) المرتبط بالموضع: تتضمن مخازن المفتاح-القيمة (KV) في نماذج المحول ترميزات موضعية (دوارة أو مطلقة)، مما يجعلها غير قابلة لإعادة الاستخدام عبر سياقات أو مواضع مختلفة. علاوة على ذلك، ينمو حجم التخزين المؤقت خطياً مع طول السياق، مما يخلق اختناقاً في التخزين يتوسع بشكل سيء مع حجم مجموعة البيانات.

تقدم نماذج الفضاء الحالة (SSMs) بديلاً نظرياً عبر ضغط السياق السابق في حالة مخفية ثابتة الحجم وغير مرتبطة بالموضع. ومع ذلك، لا تزال تطبيقات RAG الحالية تعتمد على الاستيعاب رمزاً تلو الآخر، مما يفشل في استغلال الخصائص الجبرية الفريدة لنماذج SSM التي يمكنها إلغاء تكلفة التعبئة المسبقة تماماً.

2. المنهجية

يقدم البحث آليتين هما PRECOG (حقن السياق المحسوب مسبقاً) و SMC (دمج الذاكرة المهيكلة)، واللتان تستغلان خاصية الثبات بالترجمة الزمنية لنماذج SSM لتجاوز عملية استيعاب السياق.

PRECOG: حقن السياق المحسوب مسبقاً

تعيد PRECOG صياغة عملية RAG من خلال حساب الحالات المخفية للمستندات المسترجعة مسبقاً وحقنها مباشرة عند وقت الاستعلام.

• الفهرسة خارج الخط (Offline Indexing): يتم تقسيم مجموعات المستندات إلى أجزاء (chunks). يقوم نموذج لغوي يعتمد على SSM بمعالجة كل جزء لالتقاط الحالة المخفية النهائية ($\bar{h}^{(i)}$) لكل طبقة. تُخزن هذه الحالات ثابتة الحجم (192 كيلوبايت لنموذج بـ 1.2 مليار بارامتر) في ذاكرة الفلاش، مقترنة بمفاتيح مشفر جمل خفيف الوزن للاسترجاع.
• الحقن عند وقت الاستعلام: عند تلقي استعلام، يسترجع النظام أعلى $k$ من الأجزاء المطابقة عبر مفاتحيها. وبدلاً من إعادة استيعاب النص، يقوم النظام بتحميل الحالات المخفية المحسوبة مسبقاً وحقنها كحالة تكرارية أولية ($\bar{h}_{init}$) للنموذج. بعد ذلك، يعالج النموذج رموز الاستعلام فقط.
• الضمان النظري (النظرية 1): يثبت البحث أنه لأي حالة أولية $h_0$، وسياق $c$، واستعلام $q$، فإن مسار الحالة $S(h_0, c \oplus q)$ متطابق جبرياً مع $S(S(h_0, c), q)$. ولأن تحديثات SSM تعتمد فقط على الرمز الحالي (وليس الموضع المطلق)، فإن حقن حالة محسوبة مسبقاً يكافئ رياضياً معالجة رموز السياق بالتتابع. وهذا يضمن أن PRECOG تطابق جودة الإجابة في RAG داخل السياق تماماً (مع مراعاة ضوضاء التكميم).

SMC: دمج الذاكرة المهيكلة

توسع SMC آلية حقن الحالة لتشمل الذاكرة المستمرة على الجهاز لتراكم تفضيلات المستخدم، وسجل التفاعلات، والسجلات.

• التجميع الهرمي: يتم توجيه أجزاء التفاعل إلى مجموعات معرفية (مثل: العاطفية، الزمنية، المكانية، الواقعية) وإلى مجموعات فرعية بناءً على أنماط الاستدعاء (الذاكرة العرضية مقابل الذاكرة الدلالية).
• مفتاح الدقة والتخزين (Fidelity-Storage Dial): يتحكم المعامل $K$ في الاحتفاظ بالحالات لكل جزء:
  • $K=N_c$: ذاكرة عرضية بدون فقدان (الاحتفاظ بجميع الحالات).
    ما $K=1$: ذاكرة دلالية (الاحتفاظ بالحالة النهائية فقط، تماماً مثل أجزاء PRECOG).
• تهيئة الجلسة بزمن $O(1)$: في بداية الجلسة، يحدد النظام المجال السائد ويحقن الحالة الدلالية المدمجة المقابلة مباشرة في الـ SSM. هذا يهيئ النموذج بتاريخ من التفاعلات دون الحاجة لإعادة استيعاب أي رموز، مما يحافظ على زمن استجابة $O(1)$ بغض النظر عن طول التاريخ المتراكم.

3. المساهمات الرئيسية

1. إعادة هيكلة خوارزمية لـ RAG: يوضح البحث أن تكلفة استيعاب السياق يمكن تقليلها من $O(L_{context})$ إلى $O(1)$ عبر حقن حالات SSM المحسوبة مسبقاً، وهي آلية مستحيلة هيكلياً لنماذج المحول (Transformer) بسبب الارتباط الموضعي.
2. إثبات التكافؤ الدقيق: توفر النظرية 1 ضماناً رسمياً بأن PRECOG تنتج مسارات حالة مطابقة لـ RAG داخل السياق، مما يضمن أن التسريع لا يأتي على حساب جودة الإجابة.
3. ركيزة ذاكرة موحدة: توحد نفس آلية حقن الحالة بين استرجاع المجموعة الثابتة (PRECOG) والذاكرة المستمرة الديناميكية (SMC)، مما يسمح للنماذج الطرفية بدمج المعرفة المسترجعة وتاريخ المستخدم في خطوة استعلام واحدة.
4. قابلية النشر الطرفي: من خلال تطبيق هذه الأساليب على TENNs-LLM (نموذج SSM بوابي بـ 1.2 مليار بارامتر وحالة إجمالية تبلغ 192 كيلوبايت)، يثبت المؤلفون أن استرجاع مستوى الحالة عملي على الأجهزة الطرفية العصبية، حيث تتناسب بصمة الحالة الصغيرة مع قيود الذاكرة داخل الشريحة.

4. النتائج

تم تقييم النظام على مجموعة تطوير SQuAD v1.1 باستخدام نموذج TENNs-LLM بـ 1.2 مليار بارامتر.

• الجودة: حققت PRECOG (حقن top-1) درجة تطابق تام (EM) قدرها 58.0 ودرجة F1 قدرها 73.4، وهو ما يطابق خط الأساس لـ RAG داخل السياق (EM 58.2، F1 73.6) ضمن حدود ضوضاء التكميم من نوع FP16. وهذا يثبت تجريبياً التكافؤ النظري.
• زمن الاستجابة (Latency): على الأجهزة الطرفية (محاكي معالج عصبي)، تقلل PRECOG زمن استجابة التعبئة المسبقة من ~27 ثانية (المطلوبة لاستيعاب جزء مكون من 512 رمزاً) إلى <6 مللي ثانية لعمليات الاسترجاع والحقن نفسها. يبلغ إجمالي "الزمن حتى ظهور أول رمز" (TTFT)، بما في ذلك استيعاب رموز الاستعلام، حوالي 585 مللي ثانية. يشير التسريع البالغ ~4,500× المذكور في البحث تحديداً إلى إلغاء مرحلة استيعاب السياق التي تستغرق ~27 ثانية، وليس إجمالي زمن الاستعلام.
• كفاءة التخزين: بالنسبة لجزء مكون من 512 رمزاً، تتطلب حالة PRECOG حوالي 192 كيلوبايت، بينما يتطلب مخزن KV المقابل في نماذج المحول ~16 ميجابايت (انخفاض بمقدار 85 ضعفاً). لمجموعة بيانات مكونة من 10,000 جزء، تتطلب PRECOG مساحة تخزين تبلغ 1.9 جيجابايت مقابل 160 جيجابايت لنهج مخزن KV الافتراضي، مما يجعل الأخير غير قابل للتطبيق على الأجهزة الاستهلاكية.
• الدراسات الاستقصائية (Ablations):
  • عمق الحقن: حقن الطبقات الـ 12 السفلية فقط (96 كيلوبايت) حافظ على 99% من درجة F1 للطبقات الكاملة، مما يشير إلى إمكانية تحسين التخزين بشكل أكبر.
  • طول الجزء: يتطابق الأداء مع RAG داخل السياق للأجزاء التي تصل إلى ~600 رمز (أفق الذاكرة الفعال للنموذج). بعد ذلك، تتدهور PRECOG تدريجياً مع النسيان الطبيعي لـ SSM للرموز البعيدة، محاكية سلوك RAG داخل السياق بنفس العمود الفقري.

5. الأهمية والادعاءات

يزعم البحث أن PRECOG و SMC تمثل تحولاً جوهرياً في كيفية التعامل مع الاسترجاع والذاكرة للنماذج اللغوية الطرفية. تكمن الأهمية في:

• الحصرية الهيكلية: تعتمد الآلية على خاصية الثبات بالترجمة الزمنية لنماذج SSM، مما يجعلها "مستحيلة هيكلياً" لمخازن KV الخاصة بنماذج المحول.
• الجدوى الطرفية: تعالج المشكلة المتمثلة في "اختناق التعبئة المسبقة" الذي يمنع حالياً RAG التفاعلي على الأجهزة ذات النطاق الترددي المحدود، مما يسمح بالانتقال من الاستدلال المعتمد على السحابة إلى التفاعل على الجهاز بزمن استجابة منخفض.
• مبدأ التصميم: يفترض المؤلفون أنه مع تقليص نماذج SSM للفجوة النوعية مع نماذج المحول، فإن خصائصها الهيكلية (الحالة ثابتة الحجم وغير المرتبطة بالموضع) ستسمح بظهور فئة جديدة من خوارزميات الاسترجاع والتخزين المؤقت وتوسيع الذاكرة التي لا يمكن الوصول إليها عبر بنيات الانتباه (Attention).

يظل البحث متواضعاً بشأن القيود، حيث يقر بأن PRECOG ترث أفق الذاكرة المحدود لـ SSM (لا يمكنها استعادة المعلومات التي قد ينساها النموذج الأساسي) وأن نهج التكوين (top-k) هو تقريب بدون ضمان التكافؤ التام كما في حقن top-1. بالإضافة إلى ذلك، تعتمد أرقام النشر العصبي على قياسات FPGA ومحاكاة طاقة بقدر 12 نانومتر، بانتظار التحقق من التصنيع الفيزيائي.