Editable Multimodal Memory with Reinforcement Learning Management for Long-Horizon Personalized Agents

تخيل أنك تتحدث إلى صديق آلي فائق الذكاء يتذكر كل ما قلته له على الإطلاق. في البداية، يبدو هذا مذهلاً، ولكن هناك عقبة: إذا حاول هذا الروبوت تذكر كل كلمة من كل محادثة أجريتها معه على الإطلاق، فإن دماغه سينفجر في النهاية، أو سيصبح مزدحماً بالتفاصيل القدية وغير المفيدة لدرجة أنه لن يستطيع العثور على الأشياء المهمة. هذه هي المشكلة الكبيرة التي تواجه "وكلاء الذكاء الاصطناعي" اليوم — وهي برامج حاسوبية مصممة لتعمل مثل البشر. هم بحاجة لتذكر الماضي ليكونوا مفيدين، لكن لديهم مساحة "دماغ" محدودة (تسمى نافذة السياق)، ولا يمكنهم ببساء تكديم المعلومات للأبد. يحاول العلماء اكتشاف كيفية بناء نظام ذاكرة لا يكتفي بمجرد جمع البيانات مثل سنجاب يجمع الكثير من البلوط، بل يعرف فعلياً ما الذي يجب الاحتفاظ به، وما الذي يجب التخلص منه، وكيف يقوم بتحديث ذكرياته عندما تغير رأيك.

تقدم هذه الورقة البحثية طريقة جديدة لبناء نظام الذاكرة هذا. فكر في الأمر كأنك تعطي صديقك الروبوت "أميناً ذكياً للمكتبة" و"دفتر ملاحظات سحرياً" يمكن تعديله. بدلاً من مجرد رص الكتب على الرف حتى تنهار المكتبة، يستخدم هذا النظام مديراً خاصاً (يعمل بتقنية التعلم المعزز، وهي تشبه لعبة فيديو حيث يتعلم الكمبيوتر من خلال التجربة والحصول على نقاط للاختيارات الجيدة) ليقرر ما الذي يجب الاحتفاظ به. هو يتعامل مع النصوص، والصور، والأصوات، والأهم من ذلك، أنه يسمح لك، أنت المستخدم، بالتدخل والقول: "في الواقع، لم أكن أعني ذلك"، أو "احذف تلك الذاكرة بالكامل"، والنظام يطيعك فوراً. اختبر الباحثون هذا في محاكاة ضخمة تضم 30,000 تفاعل، ووجدوا أن "أمين مكتبتهم الذكي" كان أفضل بكثير في تذكر الأشياء الصحيحة ونسيان الأشياء الخاطئة مقارنة بالطرق القديمة.

المشكلة: الدماغ الذي لا يستطيع النسيان

تخيل أنك تحاول تذكر قصة أخبرت بها صديقك الأسبوع الماضي. إذا حاولت تذكر كل تفصيل — لون القميص الذي كنت ترتديه، نبرة صوتك الدقيقة، الضوضاء في الخلفية — سيصبح من المستحيل العثور على الفكرة الرئيسية للقصة. وكلاء الذكاء الاصطناعي الحاليون يشبهون ذلك تماماً. يمكنهم التحدث معك، ولكن إذا طالت المحادثة، يبدأون في نسيان البداية أو يرتبكون بسبب حقائق قديمة لم تعد ذات أهمية. كما أنهم يواجهون صعوبة عندما تغير رأيك. إذا قلت للذكاء الاصطناعي: "أنا أحب البيتزا"، ثم قلت لاحقاً: "في الواقع، أنا أعاني من حساسية تجاه الجبن"، فقد يستمر الذكاء الاصطناعي القياسي في محاولة طلب البيتزا لك لأنه عالق في الذاكرة الأولى.

تجادل الورقة البحثية بأننا بحاجة إلى نظام ذاكرة يكون قابلاً للتعديل ومتعدد الوسائط. "متعدد الوسائط" يعني ببساطة أنه يمكنه التعامل مع أنواع مختلفة من المعلومات: الكلمات، والصور، والأصوات. و"قابل للتعديل" يعني أنه يمكنك إصلاح الأخطاء أو حذف الأشياء، تماماً كما يمكنك تعديل مستند Google Docs. أراد المؤلفون بناء نظام لا يقوم فقط بتخزين كل شيء للأبد، بل يدير ذاكرته بنشاط، ويقرر ما هو مهم للاحتفاظ به وما ينبغي التخلص منه، كل ذلك مع الاستماع إلى أوامر المستخدم.

الحل: أمين مكتبة ذكي ودفتر ملاحظات سحري

أنشأ المؤلفون نظاماً يتكون من جزأين رئيسيين: ذاكرة متعددة الوسائط ذات إصدارات (الدفتر السحري) ومدير (Actor-Critic) (أمين المكتبة الذكي).

الدفتر السحري (الذاكرة)
فكر في هذا الدفتر كأنه يحتوي على صفحات خاصة لأنواع مختلفة من الذكريات. عندما تخبر الوكيل بشيء ما، فإنه يدونه. ولكن الجزء المذهل هنا هو أنه لا يكتب نسخة واحدة فقط؛ بل ينشئ سجلاً "بإصدارات". إذا قلت "أنا أحب اللون الأزرق"، ثم قلت لاحقاً "أنا أفضل اللون الأحمر"، فإن الدفتر لا يمسح الصفحة الأولى، بل يضع علامة على الصفحة الأولى بأنها "قديمة" ويكتب صفحة جديدة تقول "الأحمر هو المفضل حالياً". كما يحتفظ بـ "شاهد قبر" (tombstone) للأشياء التي تريد حذفها. "شاهد القبر" هو مثل علامة حمراء صغيرة تقول: "هذا الشيء انتهى للأبد؛ لا تنظر هنا".

الدفتر ذكي أيضاً بشأن المساحة. إذا كانت الذاكرة طويلة جداً أو مفصلة، يمكن للنظام "ضغطها". تخيل أخذ قصة مكونة من 10 صفحات وتحويلها إلى ملخص من 4 صفحات يحتفظ بالنقاط الرئيسية ولكنه يقص الحشو الزائد. تقول الورقة إن الذاكرة الكاملة تشغل 1.00 وحدة من المساحة، بينما الذاكرة المضغوطة تشغل 0.42 وحدة فقط. هذا يوفر مساحة لذكريات جديدة دون فقدان الحقائق المهمة.

أمين المكتبة الذكي (المدير)
هنا يأتي دور التعلم المعزز. "أمين المكتبة" هو ذكاء اصطناعي يراقب الدفتر ويقرر ماذا يفعل. هو ينظر إلى 12 دليلاً مختلفاً، مثل:

• كم من المساحة المتبقية في الدفتر؟
• هل هذه الذاكرة تتعلق بشيء غير فيه المستخدم رأيه للتو؟
• هل هذه الذاكرة تتعارض مع شيء آخر؟
• ما مدى احتمالية أن يسأل المستخدم عن هذا الأمر قريباً؟

بناءً على هذه الأدلة، يقرر أمين المكتبة: "احتفظ بهذا كاملاً"، "اضغط هذا"، "ارمهِ بعيداً"، أو "حدث هذا". وهو يتعلم من خلال تجربة استراتيجيات مختلفة في محاكاة والحصول على "نقاط" للقرارات الجيدة. إذا رمى ذاكرة احتاج إليها المستخدم لاحقاً، فإنه يخسر نقاطاً. وإذا احتفظ بذاكرة ساعدت المستخدم، فإنه يحصل على نقاط.

ما وجدوه: أمين المكتبة هو الفائز

اختبر الباحثون هذا النظام في "اختبار جهد" باستخدام 10 تدفقات مختلفة من المحادثات، بإجمالي 30,000 تفاعل و6,000 سؤال. قارنوا "أمين مكتبتهم الذكي" بطرق أخرى، مثل قاعدة "الوارد أولاً يخرج أولاً" (FIFO) البسيطة (التي تقوم فقط برمي أقدم ذاكرة لتوفير مساحة لذاكرة جديدة) وبعض القواعد الأساسية الأخرى.

كانت النتائج واضحة:

• قدرة أفضل على الاسترجاع: وجد أمين المكتبة الذكي الذاكرة الصحيحة بنسبة 27.7% عندما طُلب منه تقديم الإجابة الأولى. كانت هذه قفزة هائلة مقارنة بالطريقة التالية في الأفضلية، والتي نجحت فقط بنسبة 17.6%.
• تذكر التفضيلات: عندما غير المستخدم رأيه (تحول في التفضيلات)، تذكر أمين المكتبة التفضيل الجديد بنسبة 47.5%، بينما عانت الطرق القديمة وكانت نسبتها حول 35.4%.
• لا توجد ذكريات قديمة: النتيجة الأكثر إثارة للإعجاب هي أن أمين المكتبة الذكي لم يرجع أي "ذكريات قديمة" (ذكريات كانت منتهية الصلاحية أو محذوفة). أما الطرق الأخرى فاستمرت في ارتكاب الأخطاء عبر عرض معلومات قديمة وغير صحيحة.
• كفاءة المساحة: على الرغم من أن أمين المكتبة كان أذكى، إلا أنه لم يملأ الدفتر بسرعة أكبر من الآخرين. في الواقع، قام بإخراج (طرد) ذكريات أقل من طريقة FIFO البسيطة لأنه عرف كيف يضغط الذكريات الأقل أهمية.

لماذا يهم هذا الأمر؟

تظهر هذه الورقة البحثية أننا لسنا مضطرين للاختيار بين روبوت يتذكر كل شيء (ويصاب بالارتباك) وروبوت ينسى الكثير جداً. من خلال استخدام "أمين مكتبة ذكي" لإدارة "دفتر ملاحظات سحري"، يمكننا بناء وكلاء يمكنهم التخصص حقاً. يمكنهم التعامل مع النصوص، والصور، والأصوات، ويحترمون حقك في تغيير رأيك أو حذف بياناتك.

يؤكد المؤلفون بحذر أن هذا تم اختباره في محاكاة محكومة، وليس في العالم الحقيقي مع بشر حقيقيين بعد. لكن النتائج تشير إلى أنه إذا أردنا وكلاء ذكاء اصطناعي يمكنهم أن يكونوا رفاقنا على المدى الطويل، فنحن بحاجة لمنحهم نظام ذاكرة مرن، وقابل للتعديل، ومدار بعقل ذكي يعرف متى يتمسك بالأشياء ومتى يتركها. هذا يحول الذاكرة من مجرد كومة ثابتة من البيانات إلى شريك محادثة حي ومتنفس.