Mamba with Hierarchical Memory: Solving Representation Bottleneck in Long Sequence Modeling

تخيل أنك تحاول تذكر قصة طولها مليون كلمة. عقلك مذهل، لكن لديه حد في كمية المعلومات التي يمكنه استيعابها في مساحة تفكيره "النشطة" في أي ثانية واحدة. إذا حاولت الاحتفاظ بكل كلمة من تلك القصة الضخمة في ذهنك النشط، فستندفع الأجزاء القديمة للخارج أو تصبح ضبابية، وتفقد تسلسل الأحداث. هذا يشبه التحدي الذي يواجه نماذج الذكاء الاصطناعي الحديثة. لفترة طويلة، كانت أقوى نماذج الذكاء الاصطناعي تُبنى مثل نماذج "المحولات" (Transformers)، وهي نماذج بارعة في فهم السياق ولكنها تصبح بطيئة للغاية ومكلفة للغاية عندما يصبح طول القصة طويلاً جداً. ولإصلاح ذلك، اخترع العلماء نوعاً أحدث وأسرع من النماذج يسمى "الانتباه الخطي المتكرر" (Recurrent Linear Attention) (مثل نموذج Mamba). هذه النماذج تشبه حزام ناقل فائق الكفاءة: فهي تعالج المعلومات كلمة بكلمة، وتقوم بتحديث "ملاحظة" واحدة مدمجة في ذهنها أثناء سير العملية. وهذا يجعلها سريعة للغاية وقادرة على التعامل مع كميات هائلة من النصوص. ومع ذلك، هناك عقبة: نظرًا لأن تلك "الملاحظة" الواحدة ذات حجم ثابت، فهي تعمل مثل دلو صغير يحاول احتواء محيط. ومع ازدياد طول القصة، يفيض الدلو، ويبدأ النموذج في نسيان التفاصيل المهمة، حتى لو كان لا يزال قادراً على تخمين الكلمة التالية بشكل صحيح.

السؤال الكبير الذي كان العلماء يسألون أنفسهم إياه هو: كيف نجعل نماذج الذكاء الاصطري السريعة تتذكر "معنى" قصة طويلة، وليس فقط الكلمات المباشرة؟ كان هناك اعتقاد شائع بأنه إذا جعلنا النموذج أفضل في عدم "النسيان" (عن طريق تقليل التحلل الرقمي)، فإنه سيصبح تلقائياً أكثر ذكاءً في التفكير والاستنتاج عبر النصوص الطويلة. لكن ورقة بحثية جديدة تشير إلى أن هذا قد يكون خدعة. فقد وجد الباحثون أنه حتى عندما يكون النموذج مثالياً من الناحية الرياضية في منع "فيضان" الدلو، فإنه لا يزال يفشل في المهام المعقدة مثل العثور على إبرة محددة في كومة قش أو حل لغز يتطلب فهم القصة بأكملها. ويجادلون بأن المشكلة ليست فقط في امتلاء الدلو؛ بل في أن الدلو يحاول حشر أفكار متميزة ومعقدة في شكل واحد ضبابي. هم يسمون هذا "الالتباس الدلالي" (semantic aliasing)، حيث تبدو قصتان مختلفتان تماماً متطابقتين تماماً داخل ذاكرة النموذج الصغيرة. ولحل هذه المشكلة، استلهم الفريق من الذاكرة البشرية. فتماماً كما يمتلك البشر ذاكرة حسية (ما نراه الآن)، وذاكرة عاملة (ما نفكر فيه حالياً)، وذاكرة طويلة المدى (حيث نخزن الحقائق لوقت لاحق)، بنى الباحثون نظاماً جديداً يسمى Hierarchical Memory Mamba (HMM). هذا النظام لا يعتمد فقط على دلو صغير واحد؛ بل لديه طبقة "حسية" سريعة تقرأ النص، وطبقة "عاملة" تجمع الكلمات في فقرات ذات معنى، ومكتبة "طويلة المدى" حيث يخزن ملخصات مضغوطة لتلك الفقرات. وعندما يحتاج النموذج لحل مشكلة ما، فإنه لا ينظر فقط إلى فكرته الحالية؛ بل يمد يده إلى مكتبته ليأخذ الملخص المناسب ويعيده إلى مقدمة ذهنه.

تُظهر الورقة البحثية أن هذا النهج يعمل بشكل جيد بشكل مفاجئ. فمن خلال إضافة نظام الذاكرة الهرمي هذا فوق نموذج Mamba القياسي، أصبح الذكاء الاصطناعي أفضل بكثير في المهام ذات التسلسلات الطويلة دون الحاجة إلى إعادة تدريبه من الصفر أو استخدام كميات هائلة من قدرة الحاسوب الإضافية. وفي الاختبارات التي كان على النموذج فيها العثور على "مفتاح مرور" مخفي في نص طويل، حسن النظام الجديد معدلات النجاح بنسبة 34.3% إلى 37.1% مقارنة بالنماذج القوية الموجودة. وعندما تعلق الأمر بمهام الاستنتاج (مثل الإجابة على أسئلة بناءً على وثائق طويلة)، قفزت الدقة بنسبة 1.6% إلى 14.2%. ولعل الأمر الأكثر إثارة للإعجاب هو أن كل هذا تم بإضافة 2% فقط من المعلمات (الإعدادات الداخلية التي يتعلمها النموذج) ومع وقت تدريب إضافي ضئيل جداً. كما أظهر الباحثون أن هذه الطريقة لا تبطئ النموذج؛ فهي تحافظ على السرعة العالية لبنية Mamba الأصلية.

وعلى نحو حاسم، تجادل الورقة البحثية ضد فكرة أن مجرد جعل النموذج أكثر استقراراً من الناحية الرياضية (تقليل "التحلل") كافٍ لحل مشكلات السياق الطويل. لقد أثبتوا أنه حتى مع الاستقرار المثالي، فإن حالة الذاكرة ذات الحجم الثابت ستؤدي في النهاية إلى دمج التواريخ المتميزة معاً، مما يجعل من المستحيل التمييز بين قصتين مختلفتين. حلهم ليس بجعل الدلو أكبر، بل بتغيير كيفية تنظيم المعلومات. فمن خلال استخراج "الدلالات على مستوى الفقرة" (الفكرة الرئيسية لمجموعة من النصوص) وتخزينها في ذاكرة منفصلة يمكن استرجاعها، يمكن للنموذج تجاوز عنق الزجاجة في حالته الداخلية. وتشير النتائج إلى أن هذا التصميم المستوحى من الدماغ يسمح للذكاء الاصطناعي بالتعميم عبر مهام مختلفة، مما يعني أنه يمكنه تعلم استرجاع واستخدام المعلومات بفعالية دون الحاجة إلى ضبطه بدقة لكل نوع جديد من الألغاز. وبينما تركز الورقة البحثية على نمذجة اللغة والاستنتاج، فإن الفكرة الجوهرية — وهي أن تنظيم الذاة بشكل هرمي هو المفتاح للتعامل مع كميات هائلة من المعلومات — تقدم مساراً جديداً لبناء ذكاء اصطناعي أكثر ذكاءً وكفاءة لا يضيع في قصصه الطويلة.