🤖 AI

$\delta$ -mem: Efficient Online Memory for Large Language Models

تقدم الورقة البحثية $\delta$ -mem، وهي آلية خفيفة الوزن تعزز النماذج اللغوية الكبيرة المجمدة بحالة ذاكرة عبر الإنترنت مدمجة قائمة على قاعدة دلتا (delta-rule) لضغط وإعادة استخدام المعلومات التاريخية بكفاءة، مما يحسن الأداء بشكل كبير في المهام كثيفة الذاكرة دون الحاجة إلى الضبط الدقيق الكامل أو توسيع نافذة السياق.

المؤلفون الأصليون: Jingdi Lei, Di Zhang, Junxian Li, Weida Wang, Kaixuan Fan, Xiang Liu, Qihan Liu, Xiaoteng Ma, Baian Chen, Soujanya Poria

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jingdi Lei, Di Zhang, Junxian Li, Weida Wang, Kaixuan Fan, Xiang Liu, Qihan Liu, Xiaoteng Ma, Baian Chen, Soujanya Poria

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتحدث إلى صديق ذكي جداً (الذكاء الاصطناعي) لديه ذاكرة رائعة للحقائق، ولكنه يشعر بالإرهاق إذا حاولت أن تحكي له قصة حياتك كاملة في نفس واحد.

المشكلة: عنق زجاجة "كثرة المعلومات"
حالياً، إذا أردت أن يتذكر الذكاء الاصطناعي محادثة طويلة، فإن الحيلة المعتادة هي الاستمرار في لصق تاريخ الدردشة بأكمله مرة أخرى في "المطالبة" (Prompt).

التشبيه: تخيل أنك تحاول قراءة كتاب مكون من 1000 صفحة لتجد جملة واحدة محددة. الأمر يستغرق وقتاً طويلاً (وهذا مكلف حاسوبياً)، وبحلول الوقت الذي تصل فيه إلى النهاية، قد تكون قد نسيت البداية (وهذا ما يسمى بـ "تآكل السياق").
وجهة نظر الورقة البحثية: مجرد جعل "الكتاب" أكبر لا يحل المشكلة؛ فما زال الذكاء الاصطناعي يعاني لإيجاد الإبرة الصحيحة في كومة القش.

الحل: $\delta$ -mem (ذاكرة دلتا)
يقترح المؤلفون طريقة جديدة للتعامل مع الذاكرة تسمى $\delta$ -mem. بدلاً من حشو فم الذكاء الاصطناعي بصفحات من النصوص الماضية، فإنهم يعطونه نظام "ملاحظات لاصقة" صغيراً وفائق الكفاءة يحدث نفسه في الوقت الفعلي.

إليك كيف يعمل ذلك، مقسماً باستخدام استعارات بسيطة:

1. الدماغ المتجمد والملاحظة اللاصقة

فكر في دماغ الذكاء الاصطناعي الرئيسي (العمود الفقري) كأنه تمثال متجمد. إنه ذكي للغاية، لكن لا يمكنك تغيير أسلاكه الداخلية أو إعادة تدريبه.

الابتكار: يقوم نظام $\delta$ -mem بإرفاق شبكة صغيرة 8×8 (تخيل أنها دفتر ملاحظات لاصق صغير جداً وعالي التقنية) بهذا التمثال.
كيف يتم التحديث: في كل مرة تقول فيها شيئاً جديداً، لا يقوم النظام بكتابة فقرة كاملة جديدة. بدلاً من ذلك، يحسب "الفرق" (الـ "دلتا") بين ما توقعه مما قلته وما قلته بالفعل، ويقوم بتحديث الملاحظة اللاصقة بهذا التصحيح الصغير فقط.
التشبيه: الأمر يشبه نظام تحديد المواقع (GPS) الذي لا يعيد رسم خريطة العالم بالكامل في كل مرة تنعطف فيها؛ بل يقوم فقط بتحديث موقعك الحالي بالنسبة للمكان الذي كنت فيه قبل ثانية واحدة.

2. "عجلة القيادة" (تصحيحات منخفضة الرتبة)

عندما يستعد الذكاء الاصطناعي للإجابة عليك، فإنه لا ينظر فقط إلى الملاحظة اللاصقة لـ "يقرأ" قصة. بدلاً من ذلك، تعمل الملاحظة اللاصقة مثل عجلة القيادة.

الآلية: ينظر الذكاء الاصطنا ملي إلى الملاحظة اللاصقة ويقول: "أوه، بناءً على تاريخنا، يجب أن أقوم بتعديل انتباهي قليلاً نحو اليسار". إنه يقوم بتعديل بسيط، منخفض الرتبة، لكيفية معالجته لسؤالك الحالي.
النتيجة: لا يحتاج الذكاء الاصطنال إلى إعادة قراءة التاريخ بأكمله. عملية "التوجيه" تحدث فوراً، مما يوجه الدماغ المتجمد لتذكر السياق الصحيح دون ارتباك.

3. ثلاث طرق لكتابة الملاحظة

اختبرت الورقة البحثية ثلاث طرق مختلفة لتحديث هذه الملاحظة اللاصقة:

حالة الرمز (TSW): تحديث الملاحظة بعد كل كلمة تكتبها. (تفصيل دقيق جداً، ولكنه قد يصبح مشوشاً).
حالة التسلسل (SSW): تحديث الملاحظة بعد كل جملة أو رسالة. (أكثر سلاسة، مثل تلخيص فقرة قبل كتابتها).
الحالة المتعددة (MSW): استخدام ثلاث ملاحظات لاصقة منفصلة في وقت واحد. واحدة للحقائق، وواحدة لتفضيلاتك، وواحدة للمهمة الحالية. هذا يمنع الملاحظات من الاختلاط ببعضها البعض.

ماذا وجدوا؟

اختبر الباحثون هذه الطريقة على نماذج ذكاء اصطناعي متنوعة ووجدوا نتائج مبهرة:

صغير ولكن قوي: حتى مع وجود شبكة 8×8 ضئيلة (وهي صغيرة جداً بمقاييس الكمبيوتر)، كان أداء الذكاء الاصطناعي أفضل بشكل ملحوظ في المهام التي تعتمد على الذاكرة.
"الاستعادة السحرية": في أحد الاختبارات، قاموا بإزالة تاريخ الدردشة بالكامل وأعطوا الذكاء الاصطناعي الملاحظة اللاصقة الصغيرة فقط. ومع ذلك، استطاع الذكاء الاصطناعي تذكر ما يكفي للإجابة على الأسئلة بشكل صحيح، مما يثبت أن الملاحظة التقطت "جوهر" المحادثة، وليس مجرد الكلمات.
التفوق على المنافسين: تفوق النظام على الطرق الأخرى التي حاولت حشو المزيد من النصوص في المطالبة أو استخدام قواعد بيانات خارجية. لقد كان أسرع، وأرخص، وأكثر دقة.

الخلا ملخص نهائي

إن $\delta$ -mem يشبه إعطاء روبوت فائق الذكاء ولكنه ينسى "ورقة غش" ديناميكية وتحدث نفسها تلقائياً. بدلاً من إجبار الروبوت على قراءة مكتبة من الكتب ليتذكر محادثة، فإنه يلقي نظرة خاطفة فقط على ملاحظة صغيرة تتحدث باستمرار لتخبره بالضبط كيف يوجه انتباهه. هذا يسمح للذكاء الاصطناعي بتذكر التفاعلات طويلة الأمد بكفاءة دون الحاجة إلى إعادة تدريبه أو امتلاك قدرة حاسوبية هائلة.

ملخص تقني لـ $\delta$ -mem: ذاكرة متصلة فعالة للنماذج اللغوية الكبيرة

1. بيان المشكلة

مع نشر النماذج اللغوية الكبيرة (LLMs) في أنظمة المساعدين طويل الأمد وأنظمة الوكلاء، تواجه هذه النماذج تحديًا حرجًا: الحاجة إلى تراكم وتحديث وإعادة استخدام المعلومات التاريخية عبر التفاعلات الممتدة. تعتمد الاستراتيجيات الحالية غالبًا على مجرد توسيع نافذة سياق المدخلات. ومع ذلك، فإن هذا النهج مكلف حوسبيًا بسبب التكلفة التربيعية لآلية الانتباه القياسية بالنسبة لطول السياق. علاوة على ذلك، فإن مجرد زيادة حجم النافذة لا يضمن الاستخدام الفعال؛ حيث تعاني النماذج غالبًا من "تدهور السياق" أو "تعفن السياق" عند التعامل مع تسلسلات طويلة جدًا، مما يشير إلى أن نوافذ المليون توكن لا تحل مشكلة الذاكرة بشكل جذري.

تقع آليات الذاكرة الموجودة ضمن ثلاثة نماذج، لكل منها قيود:

آليات الذاكرة النصية (TMMs): تخزن الذاكرة كنصوص يتم حقنها في سياق المدخلات. ورغم مرونتها، إلا أنها تعاني من قيود نافذة السياق، وضجيج الاسترجاع، وفقدان الضغط.
آليات الذاكرة خارج القناة (OMMs): تحتفظ بالذاكرة في وحدات خارجية يتم الوصول إليها عبر الاسترجاع. وهذا يؤدي إلى عبء إضافي، وتعقيد في التكامل، وعدم توافق محتمل مع النموذج الأساسي.
آليات الذاكرة البارامترية (PMMs): تشفر الذاكرة في مقدمات (prefixes) أو محولات (adapters). ورغم كفاءتها للنماذج ذات المعلمات المجمدة، إلا أن طبيعتها الثابتة تحد من قدرتها على التكيف مع المعلومات المتطورة ديناميكيًا.

هناك حاجة إلى آلية تحافظ على حالة ذاكرة مدمجة ومتطورة ديناميكيًا وتوجه النموذج الأساسي عبر مسار متوافق تمامًا مع حساب الانتباه الداخلي الخاص به، دون الحاجة إلى ضبط دقيق كامل أو توسيع صريح للسياق.

2. المنهجية: $\delta$ -mem

يقترح المؤلفون $\delta$ -mem، وهي آلية ذاكرة خفيفة الوزن تعزز نموذجًا أساسيًا ذا انتباه كامل ومجمد عبر حالة آنية للذاكرة الترابطية (OSAM) مدمجة. يتبع التصميم الجوهري دورة "قراءة-توجيه-كتابة" (Read-Steer-Write) عند كل موضع، مع ترك معلمات النموذج الأساسي مجمدة.

أ. الحالة الآنية للذاكرة الترابطية (OSAM)
بدلاً من تخزين جميع التوكنات التاريخية، يقوم $\delta$ -mem بضغط المعلومات الماضية في حالة مصفوفة ثابتة الحجم $S \in \mathbb{R}^{r \times r}$ (تحديدًا مصفوفة $8 \times 8$ في التجارب). تخزن هذه الحالة الارتباطات بين المفتاح والقيمة ( $k \to v$ ) من السياق التاريخي.

قاعدة التحديث: يتم تحديث الحالة بالتتابع باستخدام نهج تعلم قاعدة دلتا المستوحى من الانحدار الخطي عبر الإنترنت. بالنظر إلى مفتاح ذاكرة $k_t$ وقيمة $v_t$ ، تتنبأ الحالة بـ $\hat{v}_t = S_{t-1}k_t$ . يعمل التحديث على تقليل خطأ المتبقي:
$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$
هنا، تتحكم $\lambda_t$ (بوابة النسيان) في الاحتفاظ بالذاكرة السابقة، بينما تتحكم $\beta_t$ (بوابة الكتابة) في قوة تحديث المتبقي. يسمح هذا للحالة بتصحيح التباينات التنبؤية ديناميكيًا مع الحفاظ على معلومات تاريخية مستقرة.

ب. إسقاطات الذاكرة
يتم إسقاط الحالة الخفية $x_t$ من النموذج الأساسي المجمد إلى فضاء ذاكرة منخفض الأبعاد ( $r$ من الأبعاد) لتوليد متجهات الاستعلام ( $q^m_t$ )، والمفتاح ( $k^m_t$ )، والقيمة ( $v^m_t$ ) لحالة الذاكرة. يتم تطبيق التطبيع (normalization) على $q^m_t$ و $k^m_t$ لتقليل عدم الاستقرار أثناء التكرار طويل التسلسل.

ج. التوجيه عبر التصحيحات منخفضة الرتبة
أثناء التوليد، يقرأ $\delta$ -mem من الحالة السابقة $S_{t-1}$ باستخدام الاستعلام الحالي $q^m_t$ لإنتاج متجه قراءة $r_t = S_{t-1}q^m_t$ . يوفر هذا المتجه إشارات ذات صلة بالسياق توجه انتباه النموذج الأساسي دون استرجاع التوكنات النصية.

يتم تحويل إشارة القراءة إلى تصحيحات منخفضة الرتبة لجانبي الاستعلام ( $\Delta q_t$ ) والمخرجات ( $\Delta o_t$ ) لآلية الانتباه:
$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$
حيث $q^0_t$ هو الاستعلام الأصلي و $a_t$ هو مخرج الانتباه القياسي. تسمح هذه التصحيحات للذاكرة الترابطية بالمشاركة المباشرة في الحساب الأمامي.

د. استراتيجيات دقة الكتابة
يبحث البحث في ثلاث استراتيجيات لتحديث الحالة:

كتابة التوكن-الحالة (TSW): تحديث الحالة عند كل توكن. يحافظ على التفاصيل الدقيقة ولكنه حساس للضجيج.
كتابة التسلسل-الحالة (SSW): يحسب متوسط الحالات الخفية داخل رسالة/قطعة قبل التحديث. يقلل من التكرار وينعم التطور.
الكتابة متعددة الحالات (MSW): يحافظ على حالات فرعية متوازية (مثل الحقائق، التفضيلات، تقدم المهمة) لتقليل التداخل، ويقوم بتجميع مخرجاتها.

هـ. التدريب
يتم تدريب $\delta$ -mem باستخدام خسارة الضبط الدقيق الخاضع للإشراف (SFT) القياسية. تُكتب توكنات السياق في الحالة الآنية، ولكن الحالة نفسها (وليس توكنات السياق الخام) هي التي توجه النموذج الأساسي المجمد أثناء التنبؤ بالاستجابة.

3. المساهمات الرئيسية

آلية مبتكرة: يقترح $\delta$ -mem، الذي يربط حالة آنية مدمجة ومحدثة ديناميكيًا مباشرة بحساب الانتباه لنموذج أساسي مجمد، متجنبًا الضبط الدقيق الكامل أو استبدال النموذج الأساسي.
كفاءة مدمجة: يثبت أن حالة ذاكرة صغيرة للغاية ( $8 \times 8$ مصفوفة) كافية للاحتفاظ بإشارات تاريخية مفيدة واستعادة المعلومات ذات الصلة بالسياق حتى عند إزالة التاريخ الصريح.
مكاسب الأداء: يظهر تحسينات كبيرة في الاختبارات المعتمدة على الذاكرة مع الحفاظ على القدرات العامة، دون الاعتماد على توسيع السياق الصريح أو وحدات الاسترجاع الخارجية الثقيلة.

4. النتائج التجريبية

تم تقييم الطريقة على اختبارات القدرة العامة (IFEval, GPQA-Diamond, HotpotQA) واختبارات كثيفة الذاكرة (LoCoMo, MemoryAgentBench) باستخدام خلفيات Qwen3-4B-Instruct، وQwen3-8B، وSmolLM3-3B.

الأداء العام: حسن $\delta$ -mem متوسط الدرجات بمقدار 1.10 $\times$ مقارنة بالنموذج الأساسي المجمد، وبمقدار 1.15 $\times$ مقارنة بأقوى نموذج مرجعي غير $\delta$ -mem (وهو Context2LoRA).
المهام كثيفة الذاكرة:
- MemoryAgentBench: حقق تحسنًا بنسبة 1.31 $\times$ (من 29.54% إلى 38.85% كمتوسط).
- LoCoMo: حقق تحسنًا بنسبة 1.20 $\times$ (من 40.79% إلى 49.12% كمتوسط).
- مهمة TTL الفرعية: تضاعفت الدرجة تقريبًا من 26.14 إلى 50.50.
اختلافات النموذج الأساسي:
- في Qwen3-4B، حققت نسخة TSW أفضل متوسط (51.66%).
- في Qwen3-8B، حققت نسخة SSW أفضل أداء (50.86%)، مما يشير إلى أن الكتابة على مستوى القطعة تخفف من الضجيج في النماذج الأقوى.
- في SmolLM3-3B، أدت نسخة MSW إلى قفزة كبيرة (من 26.08% إلى 36.96%)، مما يشير إلى أن النماذج الأصغر تستفيد من فصل أنواع الذاكرة لتقليل التداخل.
استعادة السياق: في إعدادات "بدون سياق" (حيث تمت إزالة التاريخ الصريح)، استعاد $\delta$ -mem أداءً ملحوظًا، حيث رفع درجة HotpotQA EM من 0.08% إلى 6.48%، ورفع متوسط LoCoMo من 3.49% إلى 8.05%، مما يثبت أن الحالة تخزن إشارات قابلة لإعادة الاستخدام.
دراسات الاستئصال (Ablation Studies):
- الرؤوس (Heads): حقق حقن التصحيحات في كل من فرعي الاستعلام والمخرجات ($qo$) أفضل مقايضة بين الأداء وعدد المعلمات.
- العمق (Depth): أدى تطبيق التصحيحات عبر جميع الطبقات إلى أفضل النتائج، مما يشير إلى أن إشارات الذاكرة تستفيد من تسلسل التمثيل الكامل.

5. الأهمية والادعاءات

يدعي البحث أن الذاكرة الفعالة للنماذج اللغوية الكبيرة يمكن تحقيقها من خلال حالة آنية مدمجة مرتبطة مباشرة بحساب الانتباه. تكمن أهمية $\delta$ -mem في قدرته على:

فك الارتباط بين صيانة الذاكرة وإعادة إدخال المطالبات (Prompts): على عكس الذاكرة النصية، لا يقوم بتمرير التاريخ المضغوط عبر مساحة التوكنات، مما يتجنب قيود نافذة السياق وضجيج الاسترجاع.
تمكين التطور الديناميكي: على عكس الذاكرة البارامترية، تتطور الحالة باستمرار مع التسلسل عبر تعلم قاعدة دلتا، مما يسمح بالتكيف مع التفاعلات الجديدة دون خطوات تعديل منفصلة.
الحفاظ على الكفاءة: يحقق هذه المكاسب بحجم حالة ثابت وصغير جدًا ( $8 \times 8$ ) ودون تعديل بنية النموذج الأساسي، مما يوفر واجهة قابلة للتوسع للذاكرة في وقت الاختبار للنماذج المحولة (Transformers) المجمدة.

يخلص المؤلفون إلى أن هذا النهج يقدم بديلًا قويًا لتوسيع السياق، مما يسمح للنماذج بالاستفادة من المعلومات التاريخية بفعالية دون العبء الحوسبي لمعالجة السياق الطويل أو تعقيد أنظمة الاسترجاع الخارجية.