ملخص تقني: ExpGraph

بيان المشكلة

أظهرت وكلاء النماذج اللغوية الكبيرة (LLM) قدرات قوية في الاستنتاج، واستخدام الأدوات، والتفاعل مع البيئات متعددة الخطوات. ومع ذلك، لا تزال هناك عقبة حرجة: معظم الوكلاء يعملون كـ "منفذين من المرة الأولى" (one-shot executors)، حيث يحلون كل مهمة من الصفر دون إعادة استخدام الاستراتيجيات الناجحة أو الدروس المستفادة من الفشل بشكل منهجي. وبينما يعد ضبط النموذج (fine-tuning) للمنفذ بناءً على الخبرة المجموعة علاجاً شائعاً، إلا أنه يصبح غير مرن بشكل متزايد مع التطور السريع للنماذج اللغوية الكبيرة. فعند ظهور نموذج منفذ أقوى أو أكثر ملاءمة، تتطلب عملية تعلم الخبرة غالباً إعادة تدريب نسخة محددة من النموذج، مما يجعل النظام مرتبطاً ارتباطاً وثيقاً بنموذج معين. علاوة على ذلك، فإن العديد من النماذج اللغية الكبيرة القادرة هي نماذج مغلقة المصدر، أو ضخمة جداً، أو مكلفة للغاية، مما يجعل التعديل على مستوى المعلمات (parameters) أمراً غير عملي.

التحدي الجوهري الذي يعالجه هذا العمل هو: كيف يمكن لوكيل النماذج اللغية الكبيرة أن يتعلم من الخبرات المتراكمة مع إبقاء المنفذ نفسه ثابتاً وقابلاً للاستبدال؟ تعامل الطرق الحالية الخبرة القابلة لإعادة الاستخدام كأرشيفات معزولة أو تعتمد على مطابقة "أقرب جار" المسطحة، مما يفشل في التقاط الطبيعة العلاقاتية للاستراتيجيات والقيود وأنماط الفشل. بالإضافة إلى ذلك، لا تعني الصلة الدلالية السطحية دائماً المنفعة في الخطوات اللاحقة؛ فقد تقدم تجربة تبدو متشابهة فائدة ضئيلة، بينما قد توفر تجربة أخرى مرتبطة هيكلياً استراتيجية قابلة للنقل بالغة الأهمية.

المنهجية: ExpGraph

يقترح المؤلفون ExpGraph، وهو إطار عمل لتعلم الخبرة مستقل عن النموذج، يعمل على تحسين المنفذين الثابتين للنماذج اللغية الكبيرة من خلال ذاكرة علاقاتية ذاتية التطور ومساعد استرجاع (retrieval copilot) قابل للتدريب. يقوم الإطار بفصل التنفيذ عن تعلم الخبرة، مما يسمح لنفس النظام الخارجي بتحسين منفذين مختلفين وثابتين دون تعديل معلماتهما.

المكونات الأساسية

1. بناء مخطط الخبرة (Experience Graph Construction):

   • يتم تلخيص مسارات الحركة التاريخية ($\tau = (x, \xi, y, s)$) إلى وحدات خبرة موجزة بلغة طبيعية ($e$).
   • يتم استخلاص المهارات (الأنماط الناجحة، والاستدلالات) من المسارات ذات الدرجات العالية، بينما تُستخلص الدروس (أنماط الفشل، والقيود) من المسارات ذات الدرجات المنخفضة.
   • تشكل هذه الوحدات عقدًا في رسم بياني (graph) متناثر وغير موجه. تربط الحواف التجارب المرتبطة دلالياً أو استراتيجياً بناءً على عتبات تشابه جيب التمام (cosine similarity)، مما يخلق بنية تتجاوز القوائم المسطحة.

2. الاسترجاع الموجه بالمنفعة (Utility-Guided Graph Retrieval):

   • مساعد الاسترجاع (Retrieval Copilot): سياسة خفيفة الوزن وقابلة للتدريب ($\pi_{ret}$) تتنبأ بمتغيرين تحكميين متكيفين لكل مهمة:
     • $R$ (عمق الانتشار/Diffusion Depth): يتحكم في اتساع استكشاف الرسم البياني.
     • $W$ (الموازنة بين المنفعة والمنفعة/Utility-Utility Trade-off): يتحكم في التوازن بين التشابه الدلالي والمنفعة التاريخية.
   • البذر الدلالي (Semantic Seeding): يحدد النظام أولاً عقد البذور العليا ($M$) عبر تشابه جيب التمام مع تضمين المهمة (task embedding).
   • انتشار الرسم البياني (Graph Diffusion): باستخدام خوارزمية "براندج بيرسون الشخصي" (Personalized PageRank)، يقوم النظام بالتوسع من مجموعة البذور عبر الرسم البياني. يتم التحكم في احتمالية إعادة البدء بواسطة $R$، مما يسمح للاسترجاع إما بالبقاء محلياً أو الانتشار بعيداً للعثور على تجارب مرتبطة هيكلياً.
   • التصنيف الواعي بالمنفعة (Utility-Aware Ranking): يتم إعادة تصنيف المرشحين باستخدام درجة "الحد الأعلى للثقة" (UCB) التي تجمع بين الصلة الدلالية ودرجة المنفعة المقدرة ($u_v$). وهذا يشجع على استغلال التجارب عالية القيمة مع استكشاف العقد التي لم تُختبر كفاية.

3. التعلم من تغذية المنفعة الراجعة (Learning from Utility Feedback):

   • يستخدم النظام آلية مكافأة قائمة على المنفعة. لكل مهمة، يتم تقييم المنفذ الثابت مرتين: مرة مع التجارب المسترجعة ($s_{with}$) ومرة بدونها ($s_{without}$).
   • تُحسب المكافأة كـ $r = (s_{with} - s_{without}) + \eta s_{with}$، وهي تقيس الربح الهامشي للاسترجاع مع ضمان جودة المهمة المطلقة.
   • تحسين المساعد (Copilot Optimization): يتم تحسين مساعد الاسترجاع باستخدام خوارزمية "التحسين المباشر لسياسة البروكسيمال" (PPO) لتعظيم هذه المكافأة، مما يعلمه استرجاع التجارب التي تحسن التنفيذ فعلياً بدلاً من مجرد مطابقة الدلالات.
   • التطور الرسومي عبر الإنترنت (Online Graph Evolution): يتم تحديث العقد المسترجعة بإحصائيات منفعة جديدة بناءً على المكافأة. يتم تلخيص المسارات الجديدة وإدراجها في الرسم البياني، بينما يتم حذف العقد ذات المنفعة المنخفضة، مما يسمح للذاكرة بالتطور ذاتياً.

المساهمات الرئيسية

• تصميم مستقل عن النموذج (Model-Agnostic Design): يعد ExpGraph أول إطار عمل يدعم بشكل مشترك الخبرة المهيكلة في رسوم بيانية، وانتشار الرسم البياني، والتصنيف الواعي بالمنفعة، والاسترجاع المتكيف للمنفذين الثابتين. إنه لا يتطلب إعادة تدريب النموذج اللغوي الأساسي.
• الذاكرة العلاقاتية (Relational Memory): على عكس أنظمة الذاكرة المسطحة، ينظم ExpGraph التجارب كرسوم بيانية، مما يتيح اكتشاف الاستراتيجيات القابلة للنقل وأنماط الفشل التي لا تظهر كجيران دلاليين مباشرين.
• سياسة استرجاع متكيفة (Adaptive Retrieval Policy): إن تقديم مساعد استرجاع يتحكم ديناميكياً في عمق الانتشار والموازنة بين الصلة والمنفعة يسمح للنظام بالتكيف مع كل من تعقيد المهمة وقدرات المنفذ.
• التعلم القائم على المنفعة (Utility-Grounded Learning): من خلال تحسين الاسترجاع بناءً على مكاسب الأداء الفعلي (بدلاً من مجرد التشابه)، يتعلم النظام التمييز بين ما هو ذو صلة دلالية وما هو مفيد حقاً.

النتائج التجريبية

قيم المؤلفون ExpGraph باستخدام ExpSuite، والذي يغطي المهام الساكنة أحادية الخطوة (الإجابة على الأسئلة، الاستنتاج الرياضي، توليد الكود) والبيئات الوكيلة متعددة الخطوات (ALFWorld, AppWorld).

• مكاسب الأداء:
  • المهام الساكنة: حسن ExpGraph متوسط الدرجة فوق أقوى خط أساس بنسبة 12.2% مع منفذ أصغر (Llama-3.2-3B) وبنسبة 4.7% مع منفذ أكبر (Llama-3.1-8B).
  • البيئات الوكيلة: كانت المكاسب أكثر وضوحاً، حيث حسنت متوسط الدرجة الموزونة بنسبة 21.4% (للمنفذ الصغير) و 12.7% (للمنفذ الكبير) مقارم أقوى خط أساس.
  • الكفاءة: قلل ExpGraph من متوسط خطوات التفاعل بنسبة 12.7% و 21.6% مقارنة بأكثر خطوط الأساس المنافسة كفاءة في البيئات الوكيلة.
• التعميم (Generalization): أظهر الإطار قدرات نقل قوية في وضع "الصفر محاولة" (zero-shot). انتقلت مكونات الخبرة المتعلمة من المنفذين الأصغر إلى الأكبر بفعالية، كما تعمم المكونات من المنفذين غير المخصصين للاستنتاج بشكل جيد على النماذج القادرة على الاستنتاج.
• دراسات الاستئصال (Ablation Studies): أدى إزالة أي مكون رئيسي (الهيكل الرسومي، الانتشار، تصنيف المنفعة، أو تصفية التشابه) إلى تدهور الأداء باستمرار، مما يؤكد أن التصميم المشترك ضروري لإعادة استخدام الخبرة بفعالية.

الأهمية والادعاءات

يزعم البحث أن ExpGraph يوفر مساراً عملياً ومستقلاً عن المنفذ لوكلاء النماذج اللغية الكبيرة للتعلم من الخبرة دون إعادة تدريب المنفذ الأساسي. ويؤكد المؤلفون على أن:

1. إعادة استخدام الخبرة أمر حاسم للمنفذين الأضعف: المكاسب النسبية أعلى بكثير بالنسبة للنماذج الأصغر والأقل قدرة، مما يشير إلى أن الخبرة الخارجية يمكن أن تعوض قدرات الاستنتاج أو التخطيط المدمجة الضعيفة.
2. القيمة في المهام طويلة الأمد: تظهر الفوائد بشكل أوضح في البيئات الوكيلة التي تتطلب اتخاذ قرار طويل الأمد، حيث يمكن للمسارات السابقة توجيه الإجراءات مباشرة وتقليل الاستكشاف غير الضروري.
3. فصل التعلم عن التنفيذ: من خلال التعامل مع المنفذ كمحلل مهام قابل للاستبدال وتعلم كيفية توفير السياق عبر نظام خارجي، يعالج ExpGraph عدم المرونة في النهج القائمة على الضبط الدقيق (fine-tuning) في مشهد النماذج اللغية الكبيرة سريع التطور.

يخلص المؤلفون إلى أن نمذجة العلاقات بين التجارب وتعلم الاسترجاع المتكيف الواعي بالمنفعة أمر ضروري لتمكين وكلاء النماذج اللغية الكبيرة من تراكم ونقل المعرفة بالمهام بفعالية، خاصة في الإعدادات التي لا يمكن فيها تحديث المنفذ.