ملخص تقني: BudgetMem

بيان المشكلة

تعتمد وكلاء النماذج اللغوية الكبيرة (LLM) بشكل متزايد على الذاكرة للعمل بما يتجاوز نوافذ السياق الفردية للتفاعلات طويلة الأمد والاستدلال القائم على المعرفة المكثفة. ومع ذلك، تعتمد الأنظمة الحالية بشكل أساسي على بناء ذاكرة غير مرتبط بالاستعلام (query-agnostic) وتتم عملية البناء في مرحلة ما قبل التشغيل (offline). في هذه النماذج، يتم معالجة السياق السابق، أو ضغطه، أو فهرسته بطريقة ثابتة دون اشتراط بناءً على استعلام محدد لاحقاً. هذا النهج القائم على "البناء لمرة واحدة، والاستخدام دائماً" غالباً ما يكون غير فعال، حيث يهدر الحوسبة بغض النظر عن احتياجات استعلام معين، ويخاطر بالتخلص من المعلومات الضرورية لاستعلامات محددة.

بينما يوفر استخدام الذاكرة في وقت التشغيل (runtime memory utilization) (الاستخراج عند الطلب) بديلاً مرناً، إلا أنه يفرض عبئاً زمنياً وتكاليف تشغيلية كبيرة. تقدم أنظمة LLM الصناعية الحالية بشكل متزايد ضوابط صريحة للحوسبة متعددة المستويات (مثل أوضاع "التفكير" أو مستويات الاستدلال) لموازنة الجودة مقابل التكلفة، ومع ذلك تفتقر أنظمة ذاكرة الوكيل إلى إطار عمل منهجي لـ المقايضات الصريحة والقابلة للتحكم بين الأداء والتكلفة أثناء الاستخراج في وقت التشغيل. وتتمثل التحديات الجوهرية في:

1. تخصيص الميزانية: تحديد الوحدة المناسبة للميزانية في بيئة وقت التشغيل، حيث إن معاملة الذاكرة كخط أنابيب أحادي (monolithic pipeline) بميزانية حوسبة ثابتة يجعل المقايضات خشنة وصعبة التحكم.
2. تحقيق الميزانية: تحديد كيفية تشغيل التحكم في الميزانية بشكل منهجي، بدلاً من الاعتماد على خفض التكلفة العشوائي أو تصعيد الحوسبة البسيط.

المنهجية: BudgetMem

يقترح المؤلفون BudgetMem، وهو إطار عمل لذاكرة الوكيل في وقت التشغيل مصمم لتمكين التحكم الصريح في الأداء والتكلفة بناءً على الاستعلام. يهيكل الإطار معالجة الذاكرة كـ خط أنابيب معياري متعدد المراحل (multi-stage modular pipeline) حيث تكون الحوسبة قابلة للتحكم على مستوى الوحدة (module level).

1. بنية خط الأنابيب المعياري (Modular Pipeline Architecture)

ينفذ BudgetMem استخراج الذاكرة ($f_{mem}$) كسلسلة من الوحدات. في تقييمهم المرتكز على الحوار، يتبع خط الأنابيب المسار التالي:
$$M_{fil} \rightarrow \{M_{ent}, M_{tmp}, M_{top}\} \rightarrow M_{sum}$$

• وحدة التصفية ($M_{fil}$): تعمل على تنقية أجزال (chunks) البيانات الخام المسترجعة.
• وحدات الاستخراج المتوازية: تستخرج سياقات متكاملة:
  • $M_{ent}$: حقائق متمحورة حول الكيانات (Entity-centric).
  • $M_{tmp}$: إشارات زمنية (Temporal cues).
  • $M_{top}$: ملخصات موضوعية (Topical summaries).
• وحدة التلخيص ($M_{sum}$): تجمع السياقات الوسيطة في الذاكرة المستخرجة النهائية ($m$).

من الأهمية بمكان أن الإطار لا يفترض مجموعة وحدات محددة، بل يتطلب من كل وحدة أن توفر واجهة مستويات ميزانية مشتركة (common budget-tier interface).

2. مستويات الميزانية واستراتيجيات التحقيق

توفر كل وحدة ثلاثة مستويات للميزانية: منخفض (LOW)، متوسط (MID)، وعالي (HIGH). تتوافق هذه المستويات مع زيادة الميزانيات الحوسبية وتحسن جودة الاستخراج عادةً. يبحث البحث في ثلاث استراتيجيات متكاملة لتحقيق هذه المستويات:

• تدرج التنفيذ (Implementation Tiering): يغير تنفيذ الوحدة.
  • منخفض: قواعد خفيفة (heuristics) (قواعد، تعبيرات نمطية، spaCy).
  • متوسط: نماذج متعلمة مدمجة (مثل BERT-based).
  • عالي: معالجة قائمة على LLM.
• تدرج الاستدلال (Reasoning Tiering): يغير سلوك الاستدلال مع بقاء الهيكل الأساسي للنموذج ثابتاً.
  • منخفض: توليد مباشر.
  • متوسط: أسلوب سلسلة الأفكام (CoT).
  • عالي: استدلال متعدد الخطوات أو قائم على التأمل (reflection-style).
• تدرج السعة (Capacity Tiering): يغير سعة النموذج (الحجم) المستخدم داخل الوحدة.
  • منخفض: نماذج صغيرة (مثلاً 3B بارامتر).
  • متوسط: نماذج متوسطة (مثلاً 8B–32B بارامتر).
  • عالي: نماذج ضخمة (مثلاً 70B+ بارامتر).

3. التوجيه المدرك للاستعلام عبر التعلم التعزيزي (Reinforcement Learning)

للتنقل بين هذه الخيارات المتدرجة ديناميكياً، يستخدم BudgetMem موجهًا خفيف الوزن مشتركًا (shared lightweight router) تم تدريبه باستخدام التعلم التعزيزي (RL).

• السياسة ($\pi_\theta$): عند كل خطوة استدعاء للوحدة $k$، يراقب الموجه حالة $s_k$ (تتكون من الاستعلام، مدخلات الوحدة الحالية، ووصف الوحدة) ويختار إجراءً $a_k \in \{LOW, MID, HIGH\}$.
• الهدف: يتم تحسين الموجه للمفاضلة بين أداء المهمة وتكلفة استخراج الذاكرة. تُعرف دالة المكافأة كما يلي:
  $$r = r_{task} + \lambda \cdot \alpha \cdot r_{cost}$$
  حيث $r_{task}$ هي مكافأة أداء المهمة (F1 أو LLM-Judge)، و $r_{cost}$ هي مكافأة التكلفة المعيارية، و $\lambda$ تتحكم في تفضيل المقايضة، و $\alpha$ هو عامل محاذاة قائم على التباين لاستقرار التدريب.
• التدريب: يتم تدريب الموجه باستخدام خوارزمية PPO. يتم نمذجة التكلفة بناءً على استخدام الرموز (tokens) وأسعار واجهة برمجة التطبيقات (API)، مع توحيدها عبر نافذة منزلقة لضمان قابلية المقارنة مع مكافآت المهام.

المساهمات الرئيسية

1. تقديم الإطار العملي: قدم المؤلفون BudgetMem، وهو إطار عمل ذاكرة وكيل في وقت التشغيل، يسمح بالتحكم الصريح في الأداء والتكلفة عبر وحدات ميزانية متدرجة.
2. آلية التوجيه: اقترحوا توجيه مستويات الميزانية (budget-tier routing)، حيث يقوم موجه خفيف الوزن مشترك، تم تدريبه عبر RL، باختيار مستويات الميزونة ديناميكياً أثناء الاستخراج. وقد تم تطبيق ذلك عبر ثلاث استراتيجيات متكاملة (التنفيذ، الاستدلال، والسعة) ضمن إطار عمل موحد.
3. التحليل التجريبي: من خلال التجارب على LoCoMo وLongMemEval وHotpotQA، أظهرت ورقة البحث أن BudgetMem يحقق أداءً قوياً في الإعدادات التي تعطي الأولوية للأداء، ويضع منحنيات واضحة وقابلة للتحكم للمقايضة بين الأداء والتكلفة تحت الميزانيات الضيقة. يوضح التحليل نقاط قوة استراتيجيات التدرج المختلفة، مما يقدم رؤى حول أي الآليات تحقق أفضل النتائج تحت أنظمة الميزانية المتغيرة.

النتائج التجريبية

قيم المؤلفون BudgetMem مقابل نماذج مرجعية قوية (مثل ReadAgent وMemoryBank وLightMem) باستخدام نماذج LLaMA-3.3-70B وQwen3-Next-80B كركائز أساسية.

• الأولوية للأداء (ميزانية عالية): في الإعدادات التي تعطي الأولوية للأداء ($\lambda=0$)، تفوقت متغيرات BudgetMem باستمرار على النماذج المرجعية. على سبيل المثال، في LongMemEval باستخدام LLaMA، حقق متغير BudgetMem-CAP درجة حكم (Judge score) بلغت 60.50، متجاوزاً بشكل كبير أفضل نموذج مرجعي، LightMem (48.51).
• المقايضة بين الأداء والتكلفة: من خلال تغيير وزن التكلفة $\lambda$، يرسم BudgetMem حدوداً (frontiers) سلسة تحيط بالنماذج المرجعية.
  • تدرج التنفيذ وتدرج السعة: يغطيان نطاق تكلفة أوسع. يوفر تدرج التنفيذ مكاسب سريعة في ظل الميزانيات المتوسطة، بينما يدفع تدرج السعة الحدود نحو الخارج في أنظمة الميزانية العالية.
  • تدرج الاستدلال: يُظهر تركيزاً واضحاً في التكلفة. يعمل كمفتاح ضبط دقيق للجودة ضمن نطاق تكلفة محدود، حيث يقدم تحسينات عند تكاليف متشابهة ولكن بمرونة أقل في حالات الميزانية المنخفضة جداً أو العالية جداً مقارنة بالاستراتيجيتين الأخريين.
• كفاءة التكلفة: حتى في أنظمة الأولوية للأداء، يظل BudgetMem كفؤاً من حيث التكلفة من خلال معالجة أجزال البيانات ذات الصلة بالاستعلام فقط عند الطلب، مما يتجنب العبء الناتج عن المعالجة الشاملة للتاريخ (history) في مرحلة ما قبل التشغيل.

الأهمية والادعاءات

تزعم الورقة أن BudgetMem يعالج فجوة حرجة في أنظمة ذاكرة الوكيل من خلال الانتقال من "الاستدلالات الموحدة" أو "تصعيد الحوسبة الثقيلة" إلى رؤية منهجية للتحكم في الأداء والتكلفة.

• القابلية للتحكم: يوفر آلية عملية للمقايضات الصريحة والقابلة للتحكم، بما يتماشى مع توجه الصناعة نحو خيارات الحوسبة المتعددة المستويات (مثل أوضاع "التفكير").
• مقارنة موحدة: من خلال استخدام منصة اختبار موحدة، يوضح العمل متى تقدم استراتيجيات التدرج المختلفة (التنفيذ، الاستدلال، السعة) أفضل المقايضات، مما يقدم إرشادات للنشر تحت قيود الميزانية المتغيرة.
• التركيز على وقت التشغيل: على عكس الأعمال السابقة التي ركزت على البناء في مرحلة ما قبل التشغيل، يركز BudgetMem على الاستخراج في وقت التشغيل، مما يضمن صرف الحوسبة فقط عند الضرورة وبما يتناسب مع متطلبات الاستعلام.

يخلص المؤلفون إلى أن BudgetMem يحسن من قابلية الاستخدام والتحكم في ذاكرة الوكيل تحت قيود الميزانية الواقعية، مما يجعل حسابات الذاكرة قابلة للإدارة بشكل صريح دون التضحية بجودة الاستدلال طويل الأمد.