💬 NLP

HiGMem: A Hierarchical and LLM-Guided Memory System for Long-Term Conversational Agents

يُعد HiGMem نظام ذاكرة هرمي موجه بنماذج اللغات الكبيرة (LLM) يعمل على تحسين الوكلاء الحواريين طويلي الأمد عبر استخدام ملخصات الأحداث كمرتكزات دلالية لاسترجاع مجموعات أدلة موجزة وعالية الدقة، متفوقاً بشكل كبير على الأساليب الحالية في معيار LoCoMo10 مع استرجاع عدد أقل بكثير من جولات الحوار.

المؤلفون الأصليون: Shuqi Cao (East China Normal University, Shanghai, China), Jingyi He (Shanghai Jiao Tong University, Shanghai, China), Fei Tan (East China Normal University, Shanghai, China)

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuqi Cao (East China Normal University, Shanghai, China), Jingyi He (Shanghai Jiao Tong University, Shanghai, China), Fei Tan (East China Normal University, Shanghai, China)

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز بناءً على مذكرات تمتد لعشر سنوات. المذكرات ضخمة، مليئة بالملايين من الكلمات، وتقارير الطقس اليومية، وقوائم البقالة، والدردشات العابرة حول حالة الطقس.

إذا سألت مساعد ذكاء اصطناعي قياسي: "ما نوع السيارة التي كان صديقي يقودها في عام 2019؟"، فقد يصاب الذكاء الاصطناعي بالذعر. فهو يحاول قراءة كامل المذكرات دفعة واحدة للعثور على الإجابة. أو إذا استخدم "البحث بالكلمات المفتاحية"، فقد يستخرج كل صفحة تذكر كلمات مثل "سيارة"، أو "يقود"، أو "2019". يؤدي هذا إلى تكدس كومة هائلة من الأوراق (مجموعة الأدلة المتضخمة) حيث تكون الإجابة الفعلية مدفونة تحت آلاف الصفحات غير ذات الصلة. هذا الأمر بطيء، ومكلف في القراءة، ومربك.

HiGMem هو طريقة أذكى لتنظيم والبحث في هذه المذكرات. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: نهج "شبكة الصيد"

أنظمة الذاكرة الحالية للذكاء الاصطناعي تشبه إلقاء شبكة صيد عملاقة في المحيط.

كيف تعمل: أنت ترمي الشبكة على نطاق واسع للإمساك بكل ما يبدو كسمكة (كلمات مفتاحية أو كلمات متشابهة).
العيب: أنت تصطاد الكثير من الأعشاب البحرية، والزجاجات البلاستيكية، والأسماك الصغيرة التي ليست هي ما تريده حقاً. وللعثور على السمكة الكبيرة الواحدة (الإجابة)، يتعين عليك الفرز من خلال كومة ضخمة وفوضوية. هذا يهدر الوقت والمال.

2. الحل: "المكتبة مع أمين مكتبة" (HiGMem)

يغير HiGMem قواعد اللعبة من خلال تنظيم المذكرات في مكتبة ذات مستويين وتعيين أمين مكتبة ذكي (النموذج اللغوي الكبير - LLM) لمساعدتك.

المستوى الأول: "ملخصات الفصول" (طبقة الأحداث)

بدلاً من مجرد جدار من النصوص، يقوم HiGMem بتجميع المذكرات في أحداث.

التشبيه: تخيل أن المذكرات ليست مجرد صفحات؛ بل هي كتاب يحتوي على ملخصات فصول في بداية كل قسم.
مثال: بدلاً من قراءة 50 صفحة عن رحلة طريق، ترى ملخصاً: "الفصل الخامس: الرحلة الكبرى إلى الساحل (يونيو 2019)."
يعمل هذا الملخص كـ مرساة دلالية. فهو يخبر الذكاء الاصطناعي بـ "جو" الموضوع والموضوع الرئيسي لذلك القسم دون الحاجة لقراءة كل كلمة.

المستوى الثاني: "الصفحات المحددة" (طبقة الدورات/التحولات)

تحت كل ملخص فصل، توجد الصفحات الفعلية (دورات الحوار المحددة).

هذه هي التفاصيل الخام: "اشتريت سيارة بريوس"، "المحرك أصدر صوتاً"، "توقفنا لتناول القهوة".

3. كيف يعمل البحث: "أمين المكتبة الذكي"

عندما تطرح سؤالاً، لا يقوم HiGMem بمجرد رمي شبكة. بل يستخدم عملية استنتاج:

أمين المكتبة يقرأ السؤال: أنت تسأل: "ما هي السيارة التي كنا نقودها؟"
أمين المكتبة يفحص ملخصات الفصول: ينظر الذكاء الاصطناعي أولاً إلى الملخصات (المستوى 1). هو لا يحتاج لقراءة الكتاب بأكمله. يكتشف بسرعة: "آه، 'الرحلة الكبرى إلى الساحل' تذكر سيارة!"
التنبؤ: يفكر الذكاء الاصطناعي: "بما أن الملخص يذكر رحلة طريق، فمن المرجح أن الصفحة المحددة المتعلقة بشراء السيارة موجودة داخل هذا الفصل."
الغوص المستهدف: بدلاً من قراءة الكتاب بأكمله، يذهب الذكاء الاصطناعي مباشرة إلى ذلك الفصل المحدد ويقرأ الصفحات الثلاث أو الأربع ذات الصلة فقط (المستوى 2).

لماذا هذا أفضل؟

إنه دقيق: يتجنب "الأعشاب البحرية". فهو لا يستدعي صفحات تتحدث عن "قيادة حافلة" أو "قيادة شاحنة" لمجرد أنها تشترك في كلمة "قيادة". إنه يستخدم المنطق للعثور على السيارة الصحيحة.
إنه أرخص: قراءة كتاب كامل تكلف الكثير من المال (قوة حوسبة). قراءة 3 صفحات فقط لا تكلف شيئاً تقريباً. يوفر HiGMem المال من خلال قراءة أقل.
إنه أسرع: لا يصاب الذكاء الاصطناعي بالارتباك بسبب جبل من النصوص. هو يعرف بالضبط أين يبحث.

النتيجة في العالم الحقيقي

في اختبارات الورقة البحثية، كان HiGMem مثل محقق وجد الإجابة من خلال قراءة 8 صفحات من مذكرات، بينما اضطرت الطرق القديمة لقراءة 100 صفحة للعثور على نفس الإجابة.

الدقة: كان في الواقع أكثر دقة لأنه لم يرتبك بسبب الضجيج الإضافي.
التكلفة: وفر حوالي 60% من الأموال اللازمة لتشغيل الذكاء الاصطناعي لأنه لم يضطر لمعالجة الكثير من النصوص.

باختصار

أنظمة الذاكرة القديمة تشبه اكتناز كل شيء والأمل في العثور على الإبرة في كومة القش.
HiGMem يشبه تنظيم كومة القش إلى بالات مصنفة، وتعيين مساعد ذكي لتخمين أي بالة تحتوي على الإبرة، ثم النظر فقط داخل تلك البالة الواحدة. إنه أذكى، وأسرع، وأرخص بكثير.

إليك ملخص تقني مفصل لورقة البحث بعنوان "HiGMem: نظام ذاكرة هرمي وموجه بنماذج اللغات الكبيرة للوكلاء الحواريين طويلي الأمد."

1. بيان المشكلة

تتطلب الوكلاء الحواريون طويلو الأمد أنظمة ذاكرة قوية لاسترجاع الأدلة ذات الصلة دون إثقال مرحلة توليد الإجابة بسياق غير ذي صلة. تعتمد أنظمة الذاكرة الحالية، بما في ذلك الأنظمة الهرمية (مثل A-Mem وMemoryBank)، بشكل أساس ذلك على التشابه المتجهي (Vector Similarity) للاسترجاع. ويعاني هذا النهج من عدة قيود حرجة:

مجموعات أدلة متضخمة: غالبًا ما يسترجع الاسترجاع المتجهي عددًا كبيرًا من جولات الحوار المتشابهة ظاهريًا. وبمجرد العثور على الذكريات الأكثر صلة، فإن إضافة المزيد من الأجزاء المتشابهة لا يؤدي إلى مكاسب كبيرة في الاستدعاء (Recall)، بل يؤدي بشكل كبير إلى تآكل الدقة (Precision).
تكاليف سياق عالية: تؤدي مجموعات الأدلة المتضخمة إلى زيادة عدد الرموز (Tokens) التي يتم تغذيتها لنموذج اللغة الكبير (LLM) في مرحلة توليد الإجابة، مما يؤدي إلى تكاليف استدلال باهظة.
الافتقار إلى الاستنتاج: لا يمكن للتشابه المتجهي وحده أن يحكم على فائدة ذكرى معينة لسؤال محدد. فهو يفتقر إلى آلية للاستنتاج عبر مستويات مختلفة من التجريد لتحديد التفاصيل الدقيقة الضرورية فعليًا للإجابة على سؤال ما.

2. المنهجية: نظام HiGMem

يعالج HiGMem هذه التحديات من خلال بنية هرمية ثنائية المستويات مدمجة مع استراتيجية استرجاع موجهة بنماذج اللغات الكبيرة (LLM). تم تصميم النظام لموازنة الاستدعاء العالي للأدلة مع دقة الاسترجاع العالية وتكاليف الرموز المعقولة.

أ. بنية الذاكرة الهرمية

ينظم النظام الذاكرة في طبقتين مترابطتين:

طبقة الدورات (تفصيلية):
- تخزن جولات الحوار الخام المعززة بالبيانات الوصفية (Metadata) المولدة بواسطة LLM (مثل الكلمات المفتاحية، العلامات، الطوابع الزمنية، والسياق).
- تعمل كقاعدة أدلة أساسية للتفاصيل المحددة.
طبقة الأحداث (عالية المستوى):
- تجمع عقد الدورات المرتبطة في وحدات سردية متماسكة تسمى "الأحداث".
- يحتوي كل حدث على ملخص قصير وورقة حقائق مهيكلة (جدول زمني وفهارس محددة تربط بعقد الدورات).
- روابط ثنائية الاتجاه: تضمن إمكانية التتبع بين الملخصات عالية المستوى والتفاصيل منخفضة المستوى.

ب. آلية بناء الذاكرة

عند استيعاب دورة حوار جديدة ( $D_t$ ):

تحليل الدورات: يقوم LLM بتحليل الدورة ضمن نافذة منزلقة محلية لاستخراج البيانات الوصفية، مما ينشئ عقدة دورة مهيكلة.
التبعية للحدث: يحسب النظام التشابه المتجهي بين الدورة الجديدة وعقد الأحداث الموجودة. ثم يحدد دالة قرار تعتمد على LLM أي الأحداث الموجودة تنتمي إليها هذه الدورة (أو ما إذا كان يجب إنشاء حدث جديد).
التحديث التكيفي: يتم تحديث ملخصات الأحداث وأوراق الحقائق بناءً على حجم الدورات المرتبطة. إذا كان الحدث صغيرًا، يتم تحديثه بالكامل؛ وإذا كان كبيرًا، يتم إلحاق مدخلات جديدة للحفاظ على الكفاءة.

ج. استراتيجية الاسترجاع الموجهة بـ LLM

على عكس الاسترجاع المتجهي السلبي، يستخدم HiGMem عملية استرجاع متعددة المراحل قائمة على الاستنتاج:

الترسيخ الدلالي (Semantic Anchoring): يسترجع النظام أولاً أفضل $k$ من عقد الأحداث ذات الصلة بناءً على الاستعلام. تعمل هذه الملخصات كـ "مرتكزات دلالية".
التنبؤ النشط: بدلاً من استرجاع جميع الدورات المرتبطة بهذه الأحداث، يقوم LLM بالتنبؤ بنشاط بالدورات الدقيقة المحددة داخل تلك الأحداث التي تستحق القراءة للإجابة على الاستعلام.
التصفية: يجمع النظام بين الدورات المسترجعة مباشرة (من البحث المتجهي) والدورات المتنبأ بها. تقوم آلية تصفية نهائية تعتمد على LLM ببناء مجموعة أدلة نهائية ( $T_{final}$ ) مدمجة قبل تمريرها إلى نموذج توليد الإجابة.

3. المساهمات الرئيسية

نموذج استرجاع جديد: يقترح نموذجًا يجمع بين التجريد الهرمي والتصفية الموجهة بـ LLM. يسمح هذا للنظام بتقديم مجموعات أدلة موجزة وعالية الدقة من خلال الاستنتاج، متجنبًا الحاجة إلى تطبيق استنتاج LLM على كل ذاكرة مخزنة.
تنفيذ مفتوح المصدر (HiGMem): قام المؤلفون بتنفيذ هذا النموذج كنظام مفتوح المصدر تم تقييمه باستخدام معيار LoCoMo10.
الكفاءة والدقة: يثبت أن الاسترجاع الهرمي الموجه بـ LLM يمكنه تحقيق أداء متفوق مع استرجاع عدد أقل بمراحل من الدورات مقارنة بالنماذج المرجعية (Baselines) الحديثة.

4. النتائج التجريبية

تم تقييم النظام على معيار LoCoMo10 (10 محادثات طويلة، متوسط 587 دورة) عبر خمس فئات من الأسئلة: خطوة واحدة (Single-Hop)، متعدد الخطوات (Multi-Hop)، زمنية (Temporal)، مجال مفتوح (Open-Domain)، وهجومية/تضليلية (Adversarial).

الأداء (درجة F1): حقق HiGMem أفضل درجة F1 في 4 من أصل 5 فئات، بما في ذلك تحسن كبير في الأسئلة الهجومية (0.78 مقابل 0.54 لـ A-Mem).
كفاءة الاسترجاع:
- تقليل الدورات: استرجع HiGMem متوسط 8.09 دورات لكل سؤال مقارنة بـ 99.84 دورة لـ A-Mem (انخفاض بمراحل).
- الدقة: تحسنت الدقة عند $K$ (Precision@K) بشكل كبير من 0.0101 (A-Mem) إلى 0.1909 (HiGMem).
- الاستدعاء: ظل الاستدعاء (Recall) متقاربًا (0.7241 مقابل 0.7502)، مما يثبت أن عدد الدورات الأقل لا يعني فقدان المعلومات الحرجة.
تحليل التكلفة:
- بينما يتكبد HiGMem تكاليف أعلى أثناء بناء الذاكرة واستنتاج الاسترجاع (بسبب استنتاج LLM)، إلا أنه يقلل بشكل كبير من استخدام الرموز في مرحلة الإجابة المكلفة (من 25.38 مليون إلى 1.62 مليون رمز في النشر الهجين).
- تقليل التكلفة الإجمالية: انخفضت تكلفة النشر التقديرية بمقدار 2.7 ضعف (من 17.43 دولار إلى 6.43 دولار لكل محادثة).
دراسة الاستئصال (Ablation Study): أدت إزالة طبقة الأحداث (جعل الهيكل مسطحًا) إلى انخفاض في F1 والاستدعاء، مما يؤكد أن ملخصات الأحداث تعمل كمرتكزات دلالية فعالة تقلل من مساحة البحث.

5. الأهمية والقيود

الأهمية:
يُظهر HiGMem أن اختيار الأدلة القائم على الاستنتاج هو بديل قابل للتطبيق ومتفوق على مجرد التشابه المتجهي للذاكرة طويلة الأمد. من خلال استخدام الملخصات عالية المستوى لتوجيه البحث عن التفاصيل منخفضة المستوى، يحقق النظام "نقطة التوازن المثالية" بين الدقة العالية وتكلفة السياق المنخفضة، مما يجعل الوكلاء المستقلين طويلي الأمد أكثر قابلية للتوسع والجدوى الاقتصادية.

القيود:

العبء الحسابي: يتطلب النظام استدعاءات إضافية لـ LLM لبناء الذاكرة واستنتاج الاسترجاع، مما يزيد من زمن الاستجابة (Latency) واستخدام الرموز في المراحل الأولى. وتكون ميزته أكثر وضوحًا عندما يتعامل نموذج خفيف مع عمليات الذاكرة بينما يتعامل نموذج أكبر وأغلى مع الإجابة النهائية.
الحوار متعدد الأطراف: أظهرت الاختبارات الأولية على مجموعة بيانات DialSim (حوارات برامج تلفزيونية متعددة الأطراف) درجات F1 أقل مقارنة بـ A-Mem، مما يشير إلى أن الهيكل ثنائي المستويات الحالي قد يحتاج إلى تحسين للتفاعلات المعقدة بين المتحدثين المتعددين.
الفروق الزمنية الدقيقة: أظهر النظام أداءً أقل قليلاً في الأسئلة الزمنية (Temporal)، مما يشير إلى أن تجريد الأحداث عالية المستوى قد يحجب أحيانًا الإشارات الزمنية الدقيقة.

في الختام، يمثل HiGMem خطوة مهمة للأمام في بناء وكلاء حواريين أكفاء وطويلي الأمد من خلال الانتقال من الاسترجاع السلبي إلى إدارة الذاكرة النشطة القائمة على الاستنتاج.