Memory for Large Language Models
تقدم هذه الدراسة المسحية تصنيفاً منهجياً متمحوراً حول البنية الهيكلية للذاكرة في النماذج اللغوية الكبيرة، موحدةً بذلك الأبحاث المجزأة من خلال إطار عمل ثلاثي المحاور يشمل التمثيل، وديناميكيات التحديث، والاستمرارية، لتوجيه التصميمات المستقبلية القابلة للتوسع والتكيف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم صديقاً عبقرياً ولكنه نساي، كيف يكتب قصة. تجلس معه، وتعطيه مكتبة ضخمة من الكتب، فيقوم بحفظها بالكامل. هكذا تعمل أكثر عقول الكمبيوتر تطوراً اليوم، والتي تسمى "نماذج اللغات الكبيرة" (LLMs). إنهم يشبهون طلاباً أذكياء جداً قرأوا كل شيء تقريباً على الإنترنت. لكن هناك مشكلة: بمجرد انتهائهم من قراءة كتاب، فإنهم عادة ما ينسون التفاصيل ما لم تبقِ الكتاب مفتوحاً أمامهم مباشرة. في عالم الذكاء الاصطناعي، يُطلق على هذا "الكتاب المفتوح على المكتب" اسم الذاكرة.
لفترة طويلة، امتلكت هذه النماذج نوعاً محدداً جداً من الذاكرة. كانت تشبه "ملاحظة لاصقة" لا تدوم إلا طالما كنت تنظر إليها. إذا حاولت قراءة رواية أطول مما يمكن للملاحظة اللاصقة استيعابه، سيبدأ الذكاء الاصطناعي في نسيان بداية القصة بحلول الوقت الذي يصل فيه إلى المنتصف. كان هذا يسمى "الذاكرة الضمنية" (implicit memory) — أي أنها كانت مجرد أثر جانبي لكيفية قيام الكمبيوتر بعملياته الحسابية، وليست أداة مخصصة للتذكر. ولكن مؤخراً، بدأ العلماء يطرحون سؤالاً كبيراً: ماذا لو أعطينا هذه النماذج دفتراً حقيقياً؟ مكاناً يمكنهم فيه تدوين الحقائق المهمة، والاحتفاظ بها للأبد، والبحث عنها لاحقاً، تماماً كما يفعل البشر؟ هذا التحول من "نسيان كل شيء بعد انتهاء المحادثة" إلى "امتلاك دماغ منظم ودائم" هو القصة الكبرى التي تحدث الآن في علوم الكمبيوتر.
هذه الورقة البحثية هي بمثابة دليل إرشادي ضخم لهذا العالم الجديد. لاحظ المؤلفون، وهم فريق من الباحثين، أن الجميع يبتكر طرقاً مختلفة لمنح الذكاء الاصطناعي ذاكرة، لكنهم جميعاً يستخدمون أسماءً مختلفة وخرائط مربكة. البعض يبني "ملاحظات لاصقة"، والبعض الآخر يبني "خزائن ملفات"، والبعض الآخر يحاول تعليم الذكاء الاصطناعي إعادة كتابة دماغه أثناء التحدث. المهمة الرئيسية للورقة هي ترتيب كل هذه الأفكات الفوضوية في نظام منظم وأنيق. إنهم يقترحون طريقة جديدة للنظر إلى ذاكرة الذكاء الاصطناعي باستخدام ثلاثة أسئلة بسيطة: ماذا يتم تخزينه؟ متى يتم تحديثه؟ وكم يستمر في البقاء؟
تشير الورقة إلى أننا ننتقل من الطريقة القديمة، حيث كانت الذاكرة مجرد نتاج عرضي مؤقت للتفكير، نحو عصر جديد تكون فيه الذاكرة أداة مخصصة وقابلة للتحكم. وقد وجدوا أن هناك نوعين رئيسيين من الذاكرة الآن. النوع الأول هو الذاكرة الضمنية، وهي تشبه ذاكرة العمل قصيرة المدى للذكاء الاصطناعي. إنها سريعة ومرنة، لكنها مرتبطة بالمحادثة الفورية وتختفي بمجرد انتهاء الدردشة. فكر في الأمر كأن الذكاء الاصطناعي يجري محادثة في ذهنه؛ يمكنه تذكر ما قلته قبل خمس ثوانٍ، لكنه لا يستطيع تذكر ما قلته بالأمس ما لم تذكره به.
النوع الثاني هو الذاكرة الصريحة (explicit memory)، وهو الشيء المثير الجديد. هذا يشبه إعطاء الذكاء الاصطناعي دفتراً حقيقياً أو قرصاً صلباً رقمياً. هذه الذاكرة منفصلة عن عملية التفكير؛ حيث يمكن للذكاء الاصطناعي كتابة حقيقة في هذا الدفتر، وإغلاق الدردشة، ثم العودة بعد أيام لقراءتها. وتوضح الورقة أن الباحثين يبنون هذه الدفاتر بطرق مختلفة: بعضها "معلمي" (parameterized)، بمعنى أن الذكاء الاصطناعي يتعلم الكتابة مباشرة في أوزان دماغه؛ وبعضها "يعتمد على البحث" (lookup-based)، حيث يبحث الذكاء الاصطناعي في قاعدة بيانات ضخمة من الحقائق؛ وبعضها "مزيج من الخبراء" (mixture-of-experts)، حيث يمتلك الذكاء الاصطناعي متخصصين مختلفين يمكنه الاستعانة بهم لمواضيع مختلفة.
ومع ذلك، فإن الورقة واضحة جداً في أن هذه ليست مشكلة قد حُلت بعد. فرغم أن أنظمة الذاكرة الجديدة هذه قوية، إلا أنها تأتي مع مقايضات كبيرة. يشير المؤلفون إلى أنه ليس بالضرورة أن منح الذكاء الاصطناعي دفتراً أكبر يعني أنه سيتذكر بشكل أفضل. فأحياناً، يرتبك الذكاء الاصطناعي بسبب كثرة المعلومات، أو يكتب أشياء خاطئة ولا يستطيع مسحها. كما يلاحظون أن تحديث هذه الذاكرة أثناء تحدث الذكاء الاصطناعي (ما يسمى بالتحديث "أثناء التشغيل" أو online) هو أمر محفوف بالمخاطر ويمكن أن يجعل الذكاء الاصطناعي غير مستقر، بينما التحديث فقط عند التعلم (ما يسمى بالتحديث "أوفلاين" أو offline) هو أكثر أماناً ولكنه أقل مرونة.
لا تدعي الورقة أننا بنينا دماغاً مثالياً يشبه دماغ الإنسان. بدلاً من ذلك، تقترح أننا في مرحلة تجريبية فوضوية حيث نحاول اكتشاف أفضل القواعد لكيفية تخزين الذكاء الاصطناعي للمعلومات واستخدامها. ويجادلون بأن المستقبل لا يتعلق باختيار نوع واحد فقط من الذاكرة، بل ببناء أنظمة هجينة. تخيل نموذجاً لديه ملاحظة لاصقة سريعة للمحادثة الحالية، ودفتر ملاحظات شخصي للحقائق طويلة المدى، وبطاقة مكتبة للبحث في الإنترنت، وكلها تعمل معاً. وتخلص الورقة إلى أنه لكي يصبح الذكاء الاصطناعي ذكياً ومفيداً حقاً، نحتاج إلى التوقف عن معاملة الذاكرة كحدث عرضي والبدة في تصميمها كميزة أساسية، مع الموازنة بعناية بين مقدار ما يتذكره، وسرعة تحديثه، ومدة بقائه. إنه خارطة طريق لتحويل العبقري النساي إلى رفيق حكيم حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.