ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
تقدم هذه الورقة ForgetBench، وهو معيار مرجعي جديد صُمم لتقييم ديناميكيات النسيان طويل الأمد واستقرار الاستبقاء لنماذج اللغات الكبيرة تحت التحرير المعرفي المستمر، مما يكشف أن الطرق الحالية تكافح لتحقيق التوازن بين التحديثات المعرفية الفعالة والحفاظ على المعلومات المكتسبة سابقاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكن فيه لدماغك أن يتعلم حقيقة جديدة كل ثانية، ولكن في كل مرة تتعلم فيها شيئاً جديداً، تمحو بالخطأ ذاكرة قديمة. هذا ليس مجرد كابوس من الخيال العلمي؛ بل هو قلق متزايد بالنسبة للذكاء الاصطناعي الذي نسميه النماذج اللغوية الكبيرة (LLMs). هذه الأدمغة الرقمية بارعة للغاية في قراءة الكتب وإجراء المحادثات، لكنها تعاني في أمر يفعله البشر بشكل طبيعي: الحفاظ على الذكريات القديمة آمنة أثناء إفساح المجال لذكريات جديدة. لقد درس العلماء لفترة طويلة كيفية عمل الذاكرة البشرية، حيث قسموها إلى "ذاكرة عاملة" (ما تفكر فيه الآن) و"ذاكرة طويلة المدى" (الحقائق التي خزنتها لسنوات). وبينما نعرف كيف نعلم هذه النماذج حِيلاً جديدة، فإننا لا نفهم تماماً كيف تتعامل مع المسألة المعقدة لتحديث معرفتها الداخلية بمرور الوقت دون فقدان كل ما عرفته بالأمس. إذا أردنا للذكاء الاصطناعي أن يكون رفيقاً مفيداً مدى الحياة بدلاً من صديق نساي يحتاج إلى تذكير مستمر، فنحن بحاجة إلى اكتشاف كيفية جعل ذكرياته تترسخ.
هنا يأتي دور ForgetBench، وهو "اختبار جهد" جديد صممه الباحثون لمعرفة كيف ولماذا ينسى نماذج الذكاء الاصطناعي الأشياء عندما يتم تحديثها باستمرار. فكر في ForgetBench ليس كمجرد اختبار بسيط، بل ككاميرا تصوير سريع (time-lapse) لدماغ الذكاء الاصطناعي. فبدلاً من مجرد التحقق مما إذا كان الذكاء الاصطناعي يعرف حقيقة ما في هذه اللحظة، وضع الباحثون سيناريو يتعين على الذكاء الاصطناعي فيه تعلم تدفق من المعلومات الجديدة، واحدة تلو الأخرى، مثل طالب يخضع لاختبار تاريخ جديد كل يوم لمدة شهر. السؤال الكبير الذي طرحوه هو: "إذا علمنا هذا الذكاء الاصطناعي حقيقة جديدة اليوم، فهل سيتذكر الحقيقة التي علمناها إياه قبل أسبوع، أم أن الدرس الجديد سيكون قد محا القديم؟"
وللإجابة على ذلك، بنى الفريق نوعين مختلفين من تحديات الذاكرة. التحدي الأول، المسمى الأسئلة والأجوبة القائمة على المفاهيم (Concept-based QA)، يشبه لعبة البطاقات التعليمية ذات الحقائق المنعزلة. تخيل أنك تقول للذكاء الاصطناعي: "دونالد رودريغيز يبلغ من العمر 22 عاماً"، ثم تقول لاحقاً: "في الواقع، دونالد يبلغ 79 عاماً". أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناعي تبديل العمر دون أن يرتبك أو ينسى أعمار الأشخاص الآخرين. أما التحدي الثاني، الأسئلة والأجوبة القائمة على السيناريوهات (Scenario-based QA)، فهو يشبه إلى حد كبير لعبة تقمص أدوار معقدة. هنا، يتعين على الذكاء الاصطناعي تتبع العلاقات بين الشخصيات، مثل: "من الذي تابع بيل غيتس وأعاد تغريد منشور عن استكشاف الفضاء؟" هذا يختبر ما إذا كان بإمكان الذكاء الاصطراعي التمسك بشبكة من القصص المتصلة، أو ما إذا كانت التحديثات الجديدة ستؤدي إلى انهيار القصة بأكملها.
أجرى الباحثون هذه الاختبارات على عدة نماذج ذكاء اصطناائي باستخدام طرق مختلفة لتحديث معرفتها. وما وجدوه كان مخيباً للآمال بالنسبة للحالة الراهنة للذكاء الاصطناعي: الطرق الحالية سيئة جداً في تحقيق التوازن بين الاثنين. فعندما كانت النماذج تتعلم حقائق جديدة، كانت غالباً ما تنسى الحقائق القديمة، أو تصبح مرتبكة لدرجة أنها بدأت في اختلاق هراء. وقد قاس الباحثون ذلك باستخدام ما يسمى "منحنى النسيان"، والذي يتتبع سرعة تلاشي الذاكرة مع إضافة المزيد من المعلومات الجديدة. ووجدوا أنه بالنسبة لمعظم النماذج الحالية، فإن "عمر النصف" للذاكرة (الوقت الذي يستغرقه الذكاء الاصطناعي لنسيان نصف ما تعلمه) قصير جداً. بعبارة أخرى، الذكاء الاصطناعي بارع في التعلم الآن، لكنه سيء جداً في التذكر لاحقاً.
تشير الورقة البحثية إلى أنه بينما أصبحنا جيدين حقاً في تعليم الذكاء الاصطناعي أشياء جديدة في جلسة واحدة، إلا أننا لم نحل مشكلة كيفية الحفاظ على تلك الذكريات آمنة على مدى فترة طويلة من التحديثات المستمرة. لم يكتشف الباحثون مشكلة فحسب، بل قدموا طريقة جديدة لقياسها، موضحين أن الأدوات الحالية لتحديث معرفة الذكاء الاصطناعي تشبه محاولة كتابة فصل جديد في كتاب عن طريق مسح الصفحات السابقة. وإلى أن نتمكن من بناء "آليات ذاكرة" أفضل تسمح للذكاء الاصطناعي بالنمو دون فقدان ماضيه، ستظل هذه الأدمغة الرقمية عبقرية ولكنها نساية للغاية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.