Toward a Theory of Hierarchical Memory for Language Agents

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو نظرية للذاكرة الهرمية للوكلاء اللغويين" (Toward a Theory of Hierarchical Memory for Language Agents) المنشورة في مؤتمر ICLR لعام 2026.

1. بيان المشكلة

تعتمد الوكلاء اللغوية بشكل متزايد على مجموعات ضخمة من البيانات الخارجية وسجلات التفاعل الطويلة. ومع ذلك، فإن مجرد زيادة حجم نافذة السياق (Context Window) لا يضمن أداءً أفضل. تعاني النماذج من:

• تخفيف/تآكل السياق (Context Dilution/Rot): يتدهور الأداء مع نمو السياق، حيث تضع النماذج وزناً أقل للأدلة الموجودة في منتصف السياق.
• فشل الاسترجاع (Retrieval Failure): صعوبة في استرجاع الحقائق الفردية من الوثائق الطويلة.
• الافتقار إلى الصياغة الرسمية: بينما تنفذ العديد من الأنظمة (مثل RAPTOR وGraphRAG وH-MEM) ذاكرة هرمية لإدارة ميزانيات الرموز (Tokens)، إلا أنها تُقدم كنقاط تصميم معزولة. لا يوجد إطار رياضي مشترك لمقارنة خيارات التصميم الخاصة بها، وتحديداً فيما يتعلق بكيفية ضغط المعلومات وكيفية عبور الهيكل الناتج.

2. المنهجية: إطار العمل $(\alpha, C, \tau)$

يقترح المؤلفون إطار عمل توحيدي يفكك أي نظام ذاكرة هرمية إلى ثلاثة عوامل تشغيل أساسية:

أ. الاستخراج ($\alpha$)

• الوظيفة: يحول البيانات الخام $D$ إلى رسم بياني من وحدات المعلومات الذرية $G_0 = (U_0, E_0)$.
• العملية: تشمل جميع عمليات المعالجة المسبقة (التقطيع، التعرف على الكيانات المسماة NER، وتعيين المسارات).
• المخرج: رسم بياني للوحدات حيث تكون العقد عبارة عن وحدات معلومات ذاتية الاحتواء (مثل كتل النصوص، أو أدوار المحادثة، أو آثار التنفيذ) وتمثل الحواف العلاقات (الدلالية، الزمنية، أو الهيكلية).

ب. التخشين/التعريض ($C = (\pi, \rho)$)

يقوم عامل التشغيل هذا ببناء الهرمية عبر التكرار على الرسم البياني لإنشاء طبقات ذات مستوى أعلى.

• التقسيم ($\pi$): دالة شاملة (Surjective) تقوم بتجميع الوحدات $U$ في عناقيد $\{G_j\}$.
• دالة الممثل ($\rho$): تعين عقدة ممثلة لكل مجموعة.
  • بناء الهرمية: إن تكرار العملية $C$ ينتج طبقات $G_1, G_2, \dots, G_L$، حيث تمثل كل طبقة رسماً بيانياً مجرداً يلخص الطبقة التي تحتها.
  • فقدان المعلومات: العملية هي عملية فقدان للمعلومات ($H(V_0) > H(V_1) > \dots$)، وذلك التزاماً بمبدأ عدم زيادة البيانات (Data Processing Inequality).

ج. العبور ($\tau$)

• الوظيفة: يأخذ الهرمية $H$، والاستعلام $q$، وميزانية الرموز $B$.
• المخرج: يعيد مجموعة فرعية من الوحدات الذرية $S \subseteq V_0$ بحيث يتناسب إجمالي عدد الرموز مع $B$.
• الهدف: تقليص مساحة البحث من $O(n)$ (البحث المسطح) إلى $O(\log n)$ باستخدام الهيكل الهرمي.

3. المساهمات الرئيسية

أ. طيف الاكتفاء الذاتي (Self-Sufficiency Spectrum)

تحدد الورقة أن دالة الممثل $\rho$ تتفاوت على طول طيف من "الاكتفاء الذاتي" ($SS$)، والذي يُعرف بأنه المعلومات المتبادلة بين المجموعة وممثلها مقسومة على إنتروبيا المجموعة:
$$SS(\rho, G_j) = \frac{I(G_j; \rho(G_j))}{H(G_j)}$$

• الاكتفاء الذاتي العالي: يكون الممثل عبارة عن ملخص مفصل (مثل ملخص مولد بواسطة LLM) يحتوي على معظم معلومات المجموعة. يمكنه الإجابة على الاستعلامات مباشرة.
• الاكتفاء الذاتي المنخفض: يكون الممثل عبارة عن تسمية توجيهية (مثل اسم فئة أو هاش) لا تحتوي على معلومات محتوى تقريباً. هي تشير فقط إلى ما قد تحتويه المجموعة.

ب. الاقتران بين التخشين والعبور (C–T Coupling)

يضع المؤلفون قيداً نظرياً يربط نوع الممثل ($\rho$) باستراتيجية العبور القابلة للتطبيق ($\tau$):

1. الممثلون ذوو الاكتفاء الذاتي العالي: يدعمون البحث المنهار (Collapsed Search). بما أن العقد الخشنة تحتوي على معلومات كافية، يمكن للنظام البحث عبر جميع المستويات في وقت واحد وفك التشفير للإجابات مباشرة دون الحاجة للتوسع إلى العناصر الأبناء.
2. الممثلون المرجعيون (ذوو الاكتفاء الذاتي المنخفض): يتطلبون التنقيح من الأعلى إلى الأسفل (Top-Down Refinement). بما أن العقد الخشنة هي مجرد تسميات، يجب على النظام التنقل من الجذر إلى الأسفل، وتوسيع العقد فقط عندما تشير التسمية إلى الصلة، لاستعادة التفاصيل المفقودة.

• تكلفة عدم التطابق: استخدام البحث المنهار على العقد المرجعية يهدر الرموز على التسميات غير المعلوماتية؛ واستخدام التنقيح من الأعلى إلى الأسفل على العقد ذات الاكتفاء الذاتي العالي يهدر الرموز على التوسع غير الضروري.

ج. التجسيد الرسمي (Formal Instantiation)

تم تطبيق الإطار على 11 نظاماً موجوداً تغطي مجالين:

• أنظمة ذاكرة البيانات: (مثل RAPTOR، وGraphRAG، وxMemory، وH-MEM، وSimpleMem). تعمل هذه الأنظمة على الوثائق المخزنة أو المحادثات.
• أنظمة آثار تنفيذ الوكيل: (مثل MemoBrain، وStackPlanner، وAgeMem، وInfiAgent). تعمل هذه الأنظمة على خطوات الاستدلال، وآثار الإجراءات، وتواريخ الحالة.
• النتيجة: توضح الورقة أنه رغم اختلاف الدوافع (الاسترجاء الدلالي مقابل الاستدلال السببي)، فإن جميع هذه الأنظمة تجسد نفس خط أنابيب $(\alpha, C, \tau)$.

4. النتائج والتحليل

• التصنيف الموحد: يربط الجدول 1 في الورقة الأنظمة الـ 11 باستراتيجيات الاستخراج والتخشين والعبور الخاصة بها، مما يكشف أن أنظمة "البيانات" و"الآثار" تلتقي عند نفس الخط الهيكلي.
• الحدود النظرية:
  • حد فانو (Fano Bound): تشتق الورقة حداً لعامل التفرع في الهرمية بناءً على جودة التمييز (المحتوى المعلوماتي) للممثل. الممثلون منخفضو الجودة يجبرون التقسيمات على أن تكون أكثر خشونة للحفاظ على دقة التوجيه.
  • العمق الأمثل: يحسب المؤلفون العمق الهرمي الأمثل وعامل التفرع ($b \approx e$) لتقليل تكلفة الاسترجاع تحت قيود الرموز.
• الألفة والتماسك: تقدم الورقة مفهوم التقسيم المتماسك مع $W$ ($W$-coherent partition)، وتجادل بأن استراتيجية التجميع يجب أن تحافظ على هندسة الصلة المحلية (أي أن الوحدات في نفس المجموعة يجب أن تكون "متشابهة" بطريقة تجعل صلة الأب تنبؤية بصلة الابن).

5. الأهمية والتوجهات المستقبلية

• لغة مشتركة: توفر أول لغة رياضية رسمية لمقارنة أنظمة الذاكرة المتباينة، متجاوزة الأوصاف العشوائية.
• توجيه التصميم: يوفر اقتران (C–T) قاعدة تصميم عملية: يجب على مهندسي الأنظمة تحسين استراتيجية الضغط ($\rho$) واستراتيجية الاسترجاع ($\tau$) بشكل مشترك.
• ذاكرة الآثار (Trace Memory): توسع نظرية الذاكرة الهرمية لتشمل آثار تنفيذ الوكيل، مما يشير إلى أن آثار الاستدلال والمعرفة المخزنة تتبع ديناميكيات ضغط واسترجاع متشابهة.
• المشكلات المفتوحة:
  • الهياكل الهرمية الديناميكية: تفترض النظرية الحالية هياكل هرمية ثابتة. يجب أن تعالج الأعمال المستقبلية الهياكل الهرمية التكيفية حيث تعيد عمليات الإدخال/إعادة الهيكلة والتعلم المعزز تشكيل الذاكرة.
  • الاكتفاء الذاتي المعتمد على الاستعلام: تطوير مقاييس لـ $SS_Q$ (الاكتفاء الذاتي بالنسبة لاستعلام محدد) لتعديل استراتيجيات العبور ديناميكياً.
  • الرسوم البيانية الموزونة/غير المؤكدة: توسيع عامل التشغيل $\pi$ للتعامل مع الحواف الموزونة والحقائق غير المؤكدة (مثل رسوم المعرفة البيانية).

باختاًصار، تنقل هذه الورقة مجال الذاكرة الهرمية من مجموعة من الاستدلالات الهندسية إلى تخصص نظري صارم، حيث تحدد المقايضات الأساسية بين ضغط المعلومات، وجودة الممثل، وكفاءة الاسترجاع.