MoEMory: Long-Term User Memory as a Routing Policy on Frozen Mixture-of-Experts Language Models
يقدم MoEMory نموذجاً جديداً للذاكرة طويلة المدى لنماذج اللغات من نوع "خليط الخبراء" (Mixture-of-Experts) المجمدة، حيث يقوم بتخزين المعلومات الخاصة بكل مستخدم كتحيز في التوجيه لتنشيط القدرات الحالية بشكل انتقائي دون حقن رموز أو معاملات جديدة، مما يحقق تسريباً شبه معدوم في الاستعلامات غير ذات الصلة مع بقائه متعامداً ومكملاً لطرق الذاكرة التقليدية القائمة على الحقن.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مساعداً رقمياً يتذكرك. إنه يستحضر طلب قهوتك المفضل، والطريقة التي تفضل بها التحدث، والمواضيع المحددة التي تستمتع بها. لسنوات، كانت الفكرة السائدة لمنح الحواسيب هذا النوع من الذاية طويلة المدى هي إجبار المعلومات الجديدة على دخول عقولها. لقد حاول الباحثون طريقتين رئيسيتين للقيام بذلك. الأولى تشبه قراءة مذكرات بصوت عالٍ للحاسوب قبل كل سؤال، عبر حقن النص مباشرة في انتباهه اللحظي. والثانية تشبه إعادة توصيل الدوائر الداخلية للحاسوب، وتعديل أوزانه بشكل دائم لدمج الذاكرة في بنيته الجوهرية. كلتا الطريقتين تعملان إلى حد ما، لكنهما تشتركان في عيب خفي: هما طريقتان اقتحاميتان. فبإضافة مادة جديدة إلى حسابات الحاسوب، فإنهما تخاطران بإرباك الآلة. فقد تتسرب ذاكرة عن كرة القدم بالخطأ إلى سؤال عن الموسيقى، مما يجعل الحاسوب يجيب على استفسار حول مغنٍ مشهور باسم لاعب كرة قدم. هذا ليس مجرد خلل تقني؛ بل هو أثر جانبي جوهري لكيفية بناء هذه الأنظمة، وهو ما يثير تساؤلاً جديًا حول ما إذا كان بإمكاننا امتلاك مساعد شخصي مفيد حقاً لا يفقد بوصلته باستمرار.
اقترح باحث في جامعة كامبريدج مساراً مختلفاً، مساراً يتجنب هذا الارتباك عبر تغيير قواعد الاشتباك تماماً. فبدلاً من حقن محتوى جديد في عقل الحاسوب، يقترح استخدام الذاكرة كأداة للاختيار. يعتمد نهجه، الذي يطلق عليه اسم "MoEMory"، على نوع محدد من بنية الذكاء الاصطناعي تُعرف باسم "خليط الخبراء" (Mixture of Experts). فكر في هذه البنية ليس كعقل واحد ضخم، بل كمكتبة واسعة من الأدوات المتخصصة، أو "الخبراء"، حيث يتم سحب عدد قليل فقط منها للعمل على أي مهمة معينة. في النسخة القياسية من هذه النماذج، يكون قرار اختيار الأدوات التي ستُستخدم ثابتاً وغير قابل للتغيير. وقد أدرك الباحث أنه يمكنه تخزين ذاكرة المستخدم ليس عبر تغيير الأدوات نفسها، بل عبر ضبط "المفتاح" الذي يقرر أي الأدوات سيتم اختيارها بدقة. هذا المفتاح هو عبارة عن "انحياز" بسيط يُطبق قبل عملية الاختيار، وهو دفعة صغيرة تخبر النظام: "بالنسبة لهذا المستخدم تحديداً، أعطِ الأولوية لهذه الأدوات المعينة".
تكمن عبقرية هذه الطريقة فيما لا تفعله. فبما أن الأدوات الأساسية وبنية الحاسوب الجوهرية تظل ثابتة ولمسها تماماً، فإن الذاكرة لا يمكنها ابتكار قدرات جديدة أو إجبار النظام على قول أشياء لا يعرف بالفعل كيف يقولها. يمكنها فقط إعادة ترتيب الطريقة التي تُستخدم بها القدرات الموجودة. فإذا كان الحاسوب قادراً بالفعل على الكتابة بنبرة رسمية أو مناقشة الرياضة، فإن الذاكرة تضمن ببساطة أن هذه الأنماط المحددة ستكون أكثر عرضة للتفعيل لهذا المستخدم. وإذا طرح المستخدم سؤالاً عن موضوع غير متعلق بتفضيلاته المخزنة، فإن النظام يعود إلى سلوكه الافتراضي، دون أن يتأثر. وهذا يخلق شكلاً من أشكال "عدم التدخل" بالتصميم. فالذاكرة محصورة داخل حدود ما يمكن للحاسوب الثابت القيام به بالفعل، مما يمنع نوع "الإفراط في الحفظ" حيث قد يفسد هوس مستخدم معين الإجابات غير المتعلقة به.
لاختبار هذه الفكرة، قارن الباحث نظامهم القائم على التوجيه (routing) مقابل الطرق التقليدية لحقن الذاكرة. فقد أعد سيناريو حيث تم تثبيت ذاكرة مستخدم، ثم طُلب من الحاسوب الإجابة على سلسلة من الأسئلة، بعضها مرتبط بهذه الذاكرة والعديد منها غير مرتبط بها تماماً. كانت النتائج صارخة. فالطرق التقليدية، التي تضيف محتوى إلى سياق الحاسوب أو أوزانه، سربت الذاكرة المخزنة إلى أسئلة غير ذات صلة في نسبة تتراوح بين 45 و62 بالمائة. كان الحاسوب يستحضر باستمرار اهتمامات المستخدم حتى عندما كانت غير ملائمة. في المقابل، لم يسرب أسلوب التوجيه الجديد الذاكرة إلى الاستفسارات غير المرتبطة إلا بنسبة 0.7 بالمائة فقط. يمثل هذا انخفاضاً هائلاً في التداخل، وهو أنقى بنحو تسعين مرة من أفضل الأساليب السابقة. وفي المرات القليلة التي أظهر فيها النظام الجديد أثراً للذاكرة، كان ذلك بالضبط في الحالات التي تنبأت النظرية بإمكانية حدوثها، مما أكد أن النظام كان يعمل تماماً كما هو مصمم.
كما استكشف الباحث كيف يمكن تطبيق هذه الذاكرة بطريقتين مختلفتين. الأولى هي نهج ثابت، حيث تعمل الذاكرة كنزعة دائمة، مثل أسلوب مستخدم عام أو شخصيته، مما يؤثر على كل تفاعل. والثانية هي نهج ديناميكي، حيث يتم تفعيل الذاكرة فقط بواسطة الكلمات المحددة في السؤال الحالي، لتعمل كبوابة تفتح فقط عندما يتم تدوير المفتاح الصحيح. كلا الطريقتين تعملان دون الحاجة إلى إعادة تدريب الحاسوب أو إضافة وقت معالجة إضافي أثناء المحادثة. فالحاسوب ببساطة يقرأ تاريخ المستخدم مرة واحدة لضبط الانحياز، ثم يعمل بهذا الانحياز بشكل دائم. وهذا يعني أن الحاسوب يمكنه تذكر تفضيلات المستخدم دون الحاجة أبداً إلى تخزين سجل تاريخي أو إعادة تشغيل المحادثات الماضية. إنها طريقة خفيفة وفعالة لتخصيص الآلة، تحافظ على المعرفة الجوهرية للآلة وسلوكها قابلاً للتنبؤ.
تشير النتائج إلى أن مستقبل الذكاء الاصطناعي الشخصي قد لا يكمن في جعل النماذج أكبر أو أكثر تعقيداً، بل في إيجاد طرق أذكى لتوجيه قوتها الموجودة بالفعل. فمن خلال معاملة الذاكرة كسياسة اختيار بدلاً من كونها حقناً للبيانات، أظهر الباحث أنه من الممكن إنشاء مساعدين يتذكرون من أنت دون أن ينسوا كيف يكونون مفيدين في سياقات أخرى. هذا النهج يحترم حدود قدرات الآلة، مما يضمن أن التخصيص يعزز التجربة بدلاً من تشويهها. وبينما لا يمكن للنظام تخزين حقائق جديدة لا يعرفها الحاسوب بالفعل، فإنه يتفوق في المهام السلوكية الدقيقة التي تحدد المساعد الشخصي الجيد: معرفة نبرتك، وأسلوبك، وتفضيلاتك، وتطبيقها في اللحظة المناسبة تماماً. وفي مجال مهووس غالباً بإضافة المزيد من البيانات، تقدم هذه الدراسة تذكيراً هادئاً وقوياً بأن الطريقة الأكثر فعالية للتذكر أحياناً هي ببساطة معرفة الأجزاء التي يجب أن تستحضرها من نفسك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.