MemORAI: Memory Organization and Retrieval via Adaptive Graph Intelligence for LLM Conversational Agents
يُعد MEMORAI إطار عمل مبتكر يعزز المحادثات طويلة الأمد المخصصة مع النماذج اللغوية الكبيرة من خلال دمج التصفية الانتقائية للذاكرة، والرسوم البيانية متعددة العلاقات الغنية بالمصدر، والاسترجاع الفرعي المتكيف مع الاستعلام للتغلب على قيود أنظمة الذاكرة الحالية.
المؤلفون الأصليون:Hung Pham Van, Nguyen Manh Hieu, Khang Pham Tran Tuan, Nam Le Hai, Linh Ngo Van, Nguyen Thi Ngoc Diep, Trung Le
تخيل أنك تتحدث إلى صديق ذكي ومطلع للغاية، لكنه يعاني من ذاكرة سيئة للغاية. في كل مرة تنهي فيها محادثة وتعود في اليوم التالي، يتصرف وكأنه لم يقابلك من قبل. ينسى اسمك، وطلب القهوة المفضل لديك، والمشروع الكبير الذي كنت تعمل عليه الأسبوع الماضي. هذه هي المشكلة الحالية مع معظم برامج الدردشة الآلية المتقدمة (نماذج اللغات الكبيرة). فهي بارعة في التفكير المنطقي في اللحظة الراهنة، لكنها تفتقر إلى الذاكرة المستمرة.
تقدم الورقة البحثية نظامًا جديدًا يسمى MemORAI (تنظيم الذاكرة والاسترجاع عبر الذكاء الرسومي التكيفي) لإصلاح ذلك. فكر في MemORAI كأنك تعطي هذا الصديق النساي خزانة ملفات سحرية ومنظمة للغاية تتعلم كيف تجد بالضبط ما تحتاجه، في الوقت الذي تحتاجه فيه تمامًا.
إليك كيف يعمل MemORAI، مقسمًا إلى ثلاث خطوات بسيطة باستخدام تشبيهات من الحياة اليومية:
1. "الحارس الذكي" (تصفية الذاكرة الانتقائية)
تخيل أنك تسجل كل كلمة في محادثة مدتها 10 ساعات مع صديق. إذا حاولت قراءة هذا النص الكامل في كل مرة تريد فيها تذكر شيء ما، فستغرق في الضجيج (مثل "مرحبًا"، "كيف حالك"، أو "لنذهب لتناول الغداء").
المشكلة: تحاول الأنظمة القديمة حفظ كل شيء أو مجرد تلخيص المحادثة بأكملة، مما يؤدي إما إلى إضاعة المساحة أو فقدان التفاصيل المهمة.
حل MemORAI: يعمل كـ حارس ذكي. عندما تتحدث، يستمع ويقرر: "هل هذا يتعلق بالحياة الشخصية للمستخدم، أو تفضيلاته، أو أهدافه؟"
إذا قلت: "أنا أحب التنزه سيرًا على الأقد𝑛 في أيام السبت"، فإن الحارس يحفظ ذلك.
إذا قلت: "الطقس جميل اليوم"، فإن الحارس يتجاهل ذلك باعتباره ضجيجًا عامًا.
الخدعة: هو لا يقوم فقط بحذف الأجزاء التي تم تجاهلها؛ بل يكتب ملخصًا صغيرًا من جملة واحدة للأشياء "المملة" حتى يتذكر الذكاء الاصطناعي سياق المحادثة دون أن يغرق في التفاصيل. هذا يحافظ على نظافة الذاكرة وتركيزها عليك.
بمجرد أن يحفظ الحارس الذكي الحقائق المهمة، لا يقوم MemORAI بمجرد كتابتها في قائمة، بل يرسم خريطة.
المشكلة: أنظمة ذاكرة الذكاء الاصطناعي معظمها تشبه كومة من بطاقات الفهرس. إذا سألت: "من هو مدير أليكس؟"، يتعين على الذكاء الاصطناعي تخمين أي بطاقة يسحبها. وغالبًا ما ينسى أين سمع تلك المعلومة، مما يؤدي إلى "الهلوسة" (اختلاق أشياء من العدم).
حل MemORAI: يبني شبكة ثلاثية الأبعاد من الاتصالات (رسم بياني).
العُقد (النقاط): ينشئ نقاطًا لـ الأشخاص (مثل "أليكس")، ولحظات زمنية (مثل "الثلاثاء الساعة 2 مساءً")، والمواضيع (مثل "رحلة التنزه").
الخطوط (الروابط): يرسم خطوطًا بينها. خط واحد يربط "أليكس" بـ "التنزه". وخط آخر يربط "التنزه" بـ "الثلاثاء".
"وسم المصدر" (الأصل): هذا هو السر. كل نقطة وخط لديه وسم صغير يوضح بالضبط أي جولة من المحادثة جاء منها. إنه مثل امتلاك إيصال لكل حقيقة. إذا قال الذكاء الاصطناي: "أليكس يحب التنزه"، يمكنك فورًا التحقق من الإيصال لترى: "نعم، أليكس قال ذلك يوم الثلاثاء". هذا يجعل الذاكرة شفافة وجديرة بالثقة.
المشكلة: الأنظمة القديمة تشبه محققًا يسير عبر المكتبة بأكملها، ويفحص كل كتاب بنفس الكثافة، بغض النظر عما إذا كان الكتاب ذا صلة أم لا. إنهم يعاملون جميع الروابط بالتساوي.
حل MemORAI: يعمل كـ محقق يحمل كشافًا ضوئيًا.
عندما تطرح سؤالًا، لا ينظر النظام إلى المكتبة بأكملها. بل يستخدم سؤالك لإضاءة القسم المحدد من الخريطة الذي يهم (الرسم البيما الفرعي).
التوزين الديناميكي: بينما يسير المحقق على طول خطوط الخريطة، فإنه يعدل تركيزه بناءً على سؤالك. إذا كان سؤالك عن "الوظائف"، فإن الخط الذي يربط "أليكس" بـ "الوظيفة" يحصل على وزن ثقيل (يضيء بوضوح)، بينما يتم تعتيم الخط المتصل بـ "التنزه".
يضمن هذا أن يعطي الذكاء الاصطناعي الأولوية للحقائق التي تجيب بالفعل على سؤالك المحدد، بدلاً من مجرد الحقائق التي تصادف أنها مرتبطة بأكبر عدد من الأشياء الأخرى.
النتيجة
اختبرت الورقة البحثية MemORAI في اثنين من الاختبارات المعيارية الصعبة (LOCOMO و LongMemEval) حيث كان على وكلاء الذكاء الاصطناعي تذكر التفاصيل عبر العديد من جلسات المحادثة المختلفة.
النتيجة: تفوق MemORAI على جميع الطرق الموجودة الأخرى. لقد كان أفضل في العثور على الذاكرة الصحيحة (الاسترجاع) وأفضل في استخدام تلك الذاكرة لتقديم إجابة صحيحة وشخصية (التوليد).
لماذا يهم هذا: لقد أثبت أنه من خلال كونها انتقائية (تصفية الضجيج)، ومنظمة (استخدام خريطة مع إيصالات)، وتكيّفية (التركيز على البحث بناءً على السؤال)، يمكن للذكاء الاصطناعي أخيرًا أن يمتلك ذاكرة طويلة الأمد وشخصية، تبدو بشرية.
باختصار، يوقف MemORAI الذكاء الاصطناعي عن كونه غريبًا نسايًا ويحوله إلى صديق يتذكر قصتك، ويعرف أين سمعها، ويمكنه إخبارك بالضبط بما تحتاج لمعرفته.
ملخص تقني: MemORAI
بيان المشكلة تفتقر النماذج اللغوية الكبيرة (LLMs) حاليًا إلى قدرات الذاكرة المستمرة المطلوبة للمحادثات طويلة الأمد والمخصصة. وبينما حققت تقنيات التوليد المعزز بالاسترجاع (RAG) والأنظمة القائمة على المتجهات تقدمًا في ترسيخ الحقائق، إلا أنها لا تزال تعاني في التعامل مع البنى العلاقاتية والزمنية المتأصلة في الحوارات متعددة الجلسات. وتظهر الأنظمة القائمة على الرسوم البيانية (Graph-based memory systems) قيودًا حرجة: فهي غالبًا ما تعاني من تخفيف المعلومات بسبب الفشل في تصفية الحوارات العامة من المحتوى ذي الصلة بشخصية المستخدم؛ كما تفتقر إلى تتبع المصدر الدقيق، مما يجعل من الصعب تدقيق الأصول الواقعية للمعلومات المسترجعة؛ وتستخدم آليات استرجاع موحدة (مثل PageRank القياسي) تتجاهل سياق الاستعلام، مما يؤدي إلى تصنيف دون المستوى للرؤوس (nodes) ذات الصلة دلاليًا ولكنها شحيحة هيكليًا.
المنهجية يعالج نظام MemORAI (تنظيم الذاكرة واسترجاعها عبر الذكاء الرسومي التكيفي) هذه الفجوات من خلال مسار مكون من ثلاث مراحل مصمم لدمج التخزين الانتقائي، والتمثيل المعزز، والاسترجاع التكيفي.
تجزئة الجلسات والضغط الانتقائي: يقوم النظام أولًا بتفكيك المحادثات الخام متعددة الجلسات إلى أجزاء متماسكة دلاليًا. ثم يطبق "بوابة ذاكرة" (memory gate) تصفية انتقائية، حيث تحتفظ فقط بالرسائل التي تحتوي على محتوى تجريبي خاص بالمستخدم (مثل الحقائق الشخصية، التفضيلات، الالتزامات) مع استبعاد الخطاب العام. ولمنع فقدان السياق العالمي، يقوم النظام بإنشاء ملخصات على مستوى الجزء للمحتوى المستبعد. يضمن هذا النهج ثنائي الطبقات تخزين المحتوى الشخصي الدقيق جنبًا إلى جنب مع الركائز السياقية العالمية، مما يقلل بشكل كبير من عبء التخزين والضجيج.
بناء رسم بياني معزز بالمصدر: من المحتوى المصفى، يبني MemORAI رسمًا بيانيًا معرفيًا غير متجانس متعدد العلاقات (G=(V,E)). يتضمن الرسم البياني ثلاثة أنواع من العقد:
عقد الكيانات (Entity nodes): تخزن الأسماء والأوصاف اللغوية الطبيعية الدقيقة (مثل "أليكس—مهندس برمجيات...") المرتبطة بمعرفات أدوار محددة (turn IDs).
عقد الأدوار (Turn nodes): تخزن النص الخام لدور المحادثة.
عقد الأجزاء (Segment nodes): تخزن الملخصات على مستوى الجزء. تربط الحواف بين الكيانات وإشاراتها، وبين الأدوار والأجزاء، وبين الكيانات والكيانات الأخرى عبر علاقات محددة النوع. ومن الأهمية بمكان أن كل ثلاثية (triplet) وعقدة تتضمن مصدرًا صريحًا على مستوى الدور، مما يسمح بالتدقيق الشفاف للأصول الواقعية.
استرجاع وتصنيف الرسوم البيوية الفرعية التكيفي مع الاستعلام: عند تلقي استعلام مستخدم، لا يقوم النظام بمسح كامل رسم الذاكرة البياني. بدلاً من ذلك، يقوم بإجراء استرجاع متوازي متعدد الجوانب لتحديد أفضل k من العقد البذرية (الأجزاء، الكيانات، والعلاقات) بناءً على التشابه الدلالي. بعد ذلك، يقوم بإنشاء رسم بياني فرعي ضحل ومركز على الاستعلام من خلال التوسع خطوة واحدة (one-hop) من هذه البذور. يتم التصنيف باستخدام PageRank الديناميكي الموزون (DW-PR). وخلافًا لـ PageRank التقليدي أو طرق الانتشار الموحدة، يقوم DW-PR بتعديل انتشار الدرجات بناءً على أوزان الحواف المشروطة بالاستعلام. تُحسب أوزان الحواف كتشابه جيب التمام (cosine similarity) بين الاستعلام ووصف العقدة أو العلاقة المتصلة. يضمن هذا إعطاء الأولوية للأدلة المتوافقة دلاليًا حتى لو كانت العقدة شحيحة الاتصال، مما يمنع التحيز الهيكلي من طغيان السياق الحرج.
المساهمات الرئيسية تحدد الورقة ثلاث ابتكارات أساسية:
تصفية الذاكرة الانتقائية: آلية تحتفظ فقط بالمحتوى ذي الصلة بشخصية المستخدم مع الحفاظ على السياق العالمي عبر ملخصات الأجزاء، مما يحسن كفاءة التخزين ودقة الاسترجاع.
الرسم البياني المعرفي المعزز بالمصدر: بنية غير متجانسة تتميز بتتبع المصدر الصريح على مستوى الدور، مما يتيح الاسترجاء الدقيق والتدقيق الشفاف للأصول الواقعية.
PageRank الديناميكي الموزون: طريقة استرجاع تكيفية مع الاستعلام تطبق أوزان الحواف المشروطة بالاستعلام أثناء المسح، مما يسمح للنظام بإعطاء الأولوية للأدلة المتوافقة دلاليًا دون الحاجة لمسح شامل للرسم البياني.
النتائج التجريبية تم تقييم MemORAI باستخدام معايير LongMemEval-s و LOCOMO-10، والتي تستهدف ذاكرة المحادثة طويلة الأمد. تمت مقارنة الإطار مع مجموعة متنوعة من النماذج المرجعية، بما في ذلك نماذج السياق الكامل، ونماذج الاسترجاع الكثيف (مثل Contriever و BGE-M3)، ونهج RAG المهيكلة (مثل HippoRAG 2 و RAPTOR).
أداء الاسترجاع: حقق MemORAI أداءً رائدًا (SOTA) في كل من استرجاع مستوى الجلسة ومستوى الدور. في LongMemEval-s، وصل إلى استدعاء (Recall@3) على مستوى الجلسة بنسبة 90.17% وعلى مستوى الدور بنسبة 71.13%، متفوقًا على النماذج المرجعية القوية القائمة على الرسوم البيانية مثل HippoRAG 2 (75.53% للجلسة و 27.80% للدور).
أداء التوليد: من حيث توليد الاستجابة، حقق MemORAI أعلى درجات في تقييم GPT-4o (بنسبة 75.55% في LongMemEval-s و 60.22% في LOCOMO-10) ومقاييس معجمية متفوقة (F1، BLEU، ROUGE) مقارنة بجميع النماذج المرجعية.
دراسات الاستئصال (Ablation Studies): أكدت التجارلات المنضبطة أن تجزئة الموضوع توفر أقوى أولوية هيكلية لتنظيم الذاكرة، بينما حسن الوزن الديناميكي للحواف باستمرار دقة الاسترجاع مقارنة بالوزن الموحد. كما قلل استخدام الرسوم البيانية الفرعية المركزة على الاستعلام من زمن الاستجابة (latency) دون التضحية بالاستدعاء.
الأهمية والادعاءات تزعم الورقة أن MemORAI يثبت أن التخزين الانتقائي، والتمثيل المعزز، والاسترجاع التكيفي هي عناصر أساسية لوكيل LLM متماسك وشخصي. ومن خلال دمج هذه المكونات، يسد الإطار الفجوة بين دقة الاسترجاع وأمانة التوليد. ويؤكد المؤلفون أن نهجهم يتغلب على قيود الأنظمة الحالية من خلال تصفية تخفيف المعلومات، وتتبع المصدر على مستوى الدور، وتكييف أوزان الاسترجاع مع دلالات الاستعلام.
تقر الورقة بالقيود، مشيرة إلى أن الاعتماد على المصدر على مستوى الدور والربط الثابت للكيانات قد يحد من القدرة على التكيف في السياقات شديدة الديناميكية حيث تتغير نية المستخدم فجأة. علاوة على ذلك، يتحمل النظام حاليًا تكلفة حوسبية أعلى أثناء مرحلة الفهرسة مقارنة بمسارات التضمين (embedding) خفيفة الوزن، رغم أن هذا لا يؤثر على زمن الاستجابة أثناء الاستدلال الفعلي. ويقترح المؤلفون أن العمل المستقبلي يمكن أن يستفيد من تقطير المعرفة (knowledge distillation) لتحسين الإطار للبيئات محدودة الموارد.