LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference
تقدم الورقة البحثية LiveMem، وهي طريقة ذاكرة جوهرية للنماذج اللغوية الكبيرة ذات الانتباه الكامل مسبقة التدريب، تحافظ على حالة ذاكرة مستمرة وداعمة ومستقلة عن نافذة السياق النشطة، مما يتيح استمرارية الحالة والاحتفاظ بالمعلومات على المدى الطويل في سيناريوهات الاستدلال طويلة الأمد حيث لا تعود الأدلة التاريخية موجودة في السياق المباشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى صديق ذكي للغاية يتذكر كل ما قلته له على الإطلاق. في عالم الذكاء الاصطناعي، هذا الصديق هو "نموذج لغوي كبير" (LLM). عادةً، تكون هذه النماذج مثل الطلاب الذين يؤدون اختباراً: يقرؤون مجموعة محددة من التعليمات وقصة ما، ثم يجيبون على سؤال، وينتهي الاختبار. ولكن ماذا لو أردت لهذا الصديق أن يكون رفيقاً مدى الحياة، يدردش معك لسنوات، يساعدك في التخطيط لرحلة، يتذكر أغانيك المفضلة، ويحل المشكلات عبر مئات المحادثات؟
المشكلة هي أن "الذاكرة العاملة" لهذه الأصدقاء الاصطناعيين صغيرة بشكل مفاجئ. فكر في الأمر كأنها سبورة في فصل دراسي؛ المعلم (الذكاء الاصطناعي) لا يمكنه إلا رؤية ما هو مكتوب على السبورة الآن. إذا استمر الفصل الدراسي لفترة طويلة، يتعين على المعلم مسح الملاحظات القديمة لإفساح المجال للملاحظات الجديدة. وبمجرد مسحها، تضيع تلك الملاحظات القديمة من السبورة. تحاول أنظمة الذكاء الاصطناعي التقليدية حل هذه المشكلة عن طريق الاحتفاظ بدفتر ملاحظات ضخم لكل ما قيل على الإطلاق والبحث فيه كلما طُرح سؤال. لكن هذا الأمر بطيء وغير مرن؛ إنه يشبه الاضطرار إلى إيقاف المحادثة للبحث عن حقيقة ما في مكتبة بدلاً من مجرد تذكرها. السؤال الكبير الذي يسأله العلماء هو: هل يمكننا منح الذكاء الاصطناعي طريقة للاحتفاظ بـ "شعور" أو "ملخص" للماضي على سبورته، حتى بعد مسح الكلمات المحددة، بحيث لا يفقد أبداً خيط المحادثة؟
هذا هو بالضبط ما يعالجه بحث "LiveMem". يقترح الباحثون، بقيادة تشيتشن ليو وريهان سون، طريقة جديدة للتعامل مع المحادثات الطويلة للذكاء الاصطناعي دون أن يفقد صوابه. لقد قدموا نظاماً يسمى LiveMem، والذي يعمل مثل "حقيبة ظهر" سحرية ودائمة لأفكار الذكاء الاصطناعي.
إليك كيف يعمل: تخيل أن للذكاء الاصطناعي طريقتين في التفكير. الجزء الأول هو "دماغه الرئيسي"، الذي ينظر إلى المحادثة الحالية على السبورة. هذه السبورة محدودة الحجم؛ وعندما تمتلئ، يتم مسح أقدم الملاحظات لإفساح المجال لملاحظات جديدة. هذا أمر طبيعي. لكن LiveMem يضيف جزءاً ثانياً: "دماغاً جانبياً" أو حالة ذاكرة متكررة (Recurrent Memory State). هذا الدماغ الجانبي يشبه حقيبة ظهر يرتديها الذكاء الاصطناعي في جميع الأوقات. بينما يقرأ الذكاء الاصطناعي كلمات جديدة، فإنه يقوم بتحديث هذه الحقيبة. عندما تمتلئ السبورة وتُمسح الملاحظات القديمة، فإن المعلومات المهمة من تلك الملاحظات الممسوحة لا تضيع؛ بل يتم تعبئتها في حقيبة الظهر.
لقد درب الباحثون هذا النظام باستخدام تقنية خاصة. لم يكتفوا بجعل الذكاء الاصطناعي يقرأ قصصاً طويلة فحسب، بل أجبروه على ممارسة "النسيان" للسبورة مع الحفاظ على امتلاء حقيبة الظهر. استخدموا طريقة تسمى "تدوير السياق" (context turnover)، حيث يأخذون محادثة طويلة، ويظهرون للذكاء الاصطناعي بدايتها، ثم يمسحون البداية من السبورة، ويسألون الذكاء الاصطناعي سؤالاً عنها. إذا اعتمد الذكال الاصطناعي فقط على السبورة، فسيفشل لأن الملاحظات قد اختفت. ولكن لأن LiveMem قد قام بتعبئة التفاصيل الرئيسية في حقيبة ظهره، استطاع الذكاء الاصطناعي الإجابة بشكل صحيح.
تظهر الورقة البحثية أن LiveMem بارع جداً في ذلك. في اختباراتهم، عندما تم مسح الدليل تماماً من الرؤية المباشرة للذكاء الاصطناعي (السبورة)، استطاع LiveMem الإجابة على السؤال بدقة عالية. على سبيل المثال، في اختبار يسمى "LongMemEval"، عندما تم دفع الدليل الداعم بعيداً جداً عن نافذة المحادثة الحالية، تفوق LiveMem بشكل كبير على الأساليب الأخرى. وبينما انخفضت دقة النماذج التي لا تملك هذه "حقيبة الظهر" (مثل Qwen3-4B القياسي) إلى مستويات منخفضة للغاية، حقق LiveMem نتائج أعلى بأكثر من عشر نقاط مئوية. وهذا يشير إلى أن الذكاء الاصطناعي لا يخمن فحسب؛ بل إنه يحمل التاريخ فعلياً في حالة ذاكرته.
ومع ذلك، يوضح المؤلفون بحذر أن هذه "حقيبة الظهر" ليست استوديو تسجيل مثالي. فهي لا تخزن كل كلمة بدقة كما قيلت تماماً. إذا سألت الذكاء الاصطناعي أن يلقي جملة محددة تم مسحها قبل ثلاثة أيام، فقد لا يحصل على دقتها بنسبة 100%. إنها أشبه بملخص أو شعور بما حدث. تنفي الورقة البحثية صراحةً فكرة أن هذا النظام هو أرشيف كامل وخالٍ من الفقد لكل "توكن" (token). بدلاً من ذلك، هو حالة "فقدت بعض التفاصيل" (lossy) لكنها تبقي الأجزاء المفيدة من الذاكرة حية.
وجد الفريق أيضاً أن كيفية تدريب الذكاء الاصطناعي أمر بالغ الأهمية. إذا قمت فقط بخلط جميع أنواع البيانات معاً، فقد لا يتعلم الذكاء الاصطناعي استخدام حقيبة الظهر بفعالية. اكتشفوا أن جدولاً تدريبياً محدداً — يبدأ بقصص طويلة لـ "إيقاظ" جانب الذاكرة، ثم ينتقل إلى مزيج من المهام المختلفة — كان هو الأفضل. سمح هذا للذكاء الاصطناعي بتعلم كيفية الكتابة والقراءة من حقيبة ظهره بكفاءة.
باختصار، يشير LiveMem إلى طريقة جديدة لبناء مساعدين ذكاء اصطناعي يمكنهم حقاً تذكر تاريخهم. فبدلاً من مجرد البحث عن ملاحظات قديمة في مكتبة أو الاعتماد على سبورة صغيرة، يمنح LiveMem الذكاء الاصطناعي حالة مستمرة تتطور مع كل محادثة. ورغم أنه ليس أرشيفاً مثالياً لكل كلمة، إلا أنه ينجح في إبقاء "قصة" التفاعل حية، مما يسمح للذكاء الاصطناعي بالبقاء متسقاً ومفيداً حتى بعد مسح التفاصيل المحددة للماضي من رؤيته المباشرة. وهذا يقربنا خطوة أخرى من وكلاء الذكاء الاصطناعي الذين يمكنهم أن يكونوا حقاً رفاقاً مدى الحياة، يحافظون على شعور مستمر بالذات والتاريخ بمرور الوقت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.