ملخص تقني: PREPING – بناء ذاكرة الوكيل دون مهام

1. بيان المشكلة

تتطلب وكلاء النماذج اللغوية الكبيرة (LLM) المنشورة في بيئات قابلة للتنفيذ (مثل واجهات برمجة التطبيقات للأدوات، أو خوادم بروتوكول سياق النموذج - MCP) ذاكرة إجرائية للنجاح. تلتقط هذه الذاكرة سير العمل الخاص بالبيئة، وقواعد تكوين الأدوات، واستراتيجيات التعافي من الفشل. ومع ذلك، تواجه طرق بناء الذاكرة الحالية فجوة البداية الباردة (cold-start gap):

• الطرق غير المتصلة (Offline methods): تعتمد على عروض توضيحية منسقة بشرياً أو مسارات تم حلها، وهي مكلفة للغاية في التوليد وغالباً ما تكون غير متوفرة للبيئات الجديدة قبل النشر.
• الطرق المتصلة (Online methods): تراكم الذاكرة من تفاعلات المستخدم بعد النشر. وهذا يجبر الوكيل على البدء بذاكرة فارغة، مما يعرض المستخدمين للإخفاقات المبكرة، والتأخر في تحديثات الذاكرة، وتكاليف إضافية عند وقت النشر.

تعالج الورقة البحثية مشكلة بناء الذاكرة قبل المهام (pre-task memory construction): هل يمكن للوكيل بناء ذاكرة إجرائية قابلة لإعادة الاستخدام قبل ملاحظة أي مهام في البيئة المستهدفة، باستخدام الممارسة الاصطناعية المولدة ذاتياً فقط؟ يكمن التحدي في أنه بدون تعليمات للمهام، يمكن للممارسة الاصطناعية أن تصبح سهلة التكرار، أو غير مجدية، أو غير مستندة إلى واقع، مما يؤدي إلى تلوث الذاكرة بدلاً من تحسينها.

2. المنهجية: PREPING

يقترح المؤلفون إطار عمل PREPING (Pre-Task REusable Playbook MakING)، الذي يعامل بناء الذاكرة كمسألة تحكم في ما يجب ممارسته وما يجب تخزينه. يعمل PREPING من خلال حلقة ممارسة اصطناعية تتضمن ثلاث وحدات مدعومة بنماذج لغوية كبيرة ووظيفتين مختلفتين لحالة الذاكرة:

2.1 حالات الذاكرة المزدوجة

1. ذاكرة المقترح ($M_{prop}$): حالة تحكم أثناء عملية البناء. تتتبع تاريخ المهام الاصطناعية، وإحصائيات استخدام الأدوات، ونتائج التحقق، والحقائق البيئية المستندة إلى الواقع (الكيانات، الحالات، القيود). وهي توجه توليد المهام المستقبلية لضمان التغطية والجدوى.
2. ذاكرة الحلّال ($M_{sol}$): الذاكرة الإجرائية المواجهة للنشر. تحتوي فقط على الرؤى التي تم التحقق منها والقابلة لإعادة الاستخدام والمستخلصة من المسارات الناجحة.

2.2 حلقة البناء

في كل تكرار $t$:

1. المقترح ($A_{prop}$): يولد مهمة اصطناعية $x_t$ مشروطة بوثائق البيئة ($D$) وذاكرة المقترح الحالية ($M_{prop}$). تم تصميم المقترح لتجنب التكرار واستهداف الأدوات غير المستكشفة جيداً مع ربط المهام بحقائق البيئة المرصودة.
2. الحلّال ($A_{sol}$): ينفذ المهمة $x_t$ في البيئة المستهدفة ($E$) لإنتاج مسار $\tau_t$.
3. المُتحقق ($A_{val}$): يقيم زوج (المهمة-المسار) $(x_t, \tau_t)$ من حيث الجدوى (هل المهمة مستندة إلى واقع وقابلة للتنفيذ؟) والاكتمال (هل تم تحقيق الهدف؟).
4. التحديثات غير المتماثلة:
   • تحديث المقترح: كل تجربة (بما في ذلك المهام الفاشلة أو غير القابلة للتنفيذ) تُحدث $M_{prop}$. وهذا يسمح للنظام بتعلم ما لا يجب ممارسته وتعديل نطاق التغطية.
   • تحديث الحلّال: يتم فقط قبول المسارات التي اعتُبرت قابلة للتنفيذ وتم إكمالها بنجاح في $M_{sol}$. ويتم استخلاص هذه المسارات إلى نقاط إجرائية موجزة (على طراز كتاب القواعد/Playbook) بدلاً من السجلات الخام.

3. المساهمات الرئيسية

• صياغة رسمية للذاكرة قبل المهام: تُعرف الورقة إعداداً يجب فيه على الوكلاء بناء ذاكرة دون الوصول إلى توزيعات المهام المستهدفة، مما يميزها عن التعلم القياسي عبر الإنترنت أو الضبط الدقيق عبر الإنترنت.
• التحكم الموجه بالمقترح: على عكس اللعب الذاتي الساذج أو الاستكشاف العشوائي، يقدم PREPING حالة تحكم مهيكلة ($M_{prop}$) تشكل بنشاط توزيع الممارسة الاصطناعية لتعظيم تغطية الأدوات والجدوى مع تقليل التكرار.
• القبول المشروط بالتحقق: يقوم إطار العمل صراحةً بتصفية المسارات الاصطناعية غير القابلة للتنفيذ قبل أن تلوث ذاكرة الحلّال، مما يمنع استخلاص توجيهات إجرائية مضللة.
• تهيئة فعالة من حيث التكلفة: ينقل PREPING بناء الذاكرة من كونه عبئاً متكرراً أثناء النشر إلى استثمار لمرة واحدة قبل النشر، مما يقلل بشكل كبير من التكلفة لكل مهمة خلال مرحلة البداية الباردة.

4. النتائج التجريبية

تم تقييم PREPING على AppWorld (سير عمل التطبيقات ذات الحالة)، و BFCL v3 (استدعاء الدوال المهيكل)، و MCP-Universe (استخدام أدوات خادم MCP الواقعي).

• مكاسب الأداء: يتفوق PREPING بشكل كبير على النماذج المرجعية التي تعتمد على الوثائق وحدها أو الاستكشاف الحر.
  • AppWorld: زيادة قدرها +17.1 نقطة عن نموذج "بدون ذاكرة" (Base).
  • BFCL v3: زيادة قدرها +19.3 نقطة عن Base.
  • MCP-Universe: زيادة قدرها +5.4 نقطة عن Base.
  • يحقق أداءً منافساً للطرق المعلومة بالمهام (Task-Informed) القوية (مثل ACE-Offline و ACE-Online) التي تستخدم مهاماً محددة بشرياً أو بيانات مستخدم أثناء النشر، على الرغم من عدم استخدامه لأي من هذه البيانات للبناء.
• دراسات الاستئصال (Ablation Studies): تعود المكاسب إلى الجمع بين القبول المشروط بالتحقق والتحكم من جانب المقترح. تؤدي إزالة المُتحقق إلى تلوث الذاكرة؛ بينما تؤدي إزالة ذاكرة المقترح إلى ممارسة مكررة أو غير قابلة للتنفيذ.
• تخفيف البداية الباردة: عند استخدامه لتهيئة التعلم عبر الإنترنت (PREPING+ACE)، يقلل إطار العمل بشكل كبير من معدلات الفشل المبكرة. في AppWorld، يطابق تغطية الأدوات لـ ACE-Online بعد 58 مهمة فور النشر، بينما يحتاج ACE-Online إلى 58 مهمة للوصول إلى نفس التغطية.
• تقليل التكلفة: يقلل PREPING من تكاليف النشر بمقدار 2.99 ضعفاً في AppWorld و 2.23 ضعفاً في BFCL v3 مقارنة ببناء الذاكرة عبر الإنترنت (ACE-Online)، لأنه يتجنب استدعاءات تحديث الذاكرة المتكررة أثناء تفاعلات المستخدم.
• التعميم: يتعمم الأسلوب عبر نماذج خلفية مختلفة (GPT-5.1، GPT-OSS-120B، Qwen3-235B)، مما يشير إلى أن الفائدة تنبع من إجراء البناء وليس من بنية نموذج محددة.

5. الأهمية والادعاءات

تدعي الورقة أن ذاكرة الوكيل لا يجب أن تتراكم بشكل سلبي من تفاعلات وقت النشر. بدلاً من ذلك، يمكن إعدادها بنشاط من خلال ممارسة اصطناعية محكومة ومستندة إلى الواقع قبل النشر.

• الأثر العملي: يقدم PREPING حلاً قابلاً للتطبيق لمشكلة "البداية الباردة" في البيئات الجديدة حيث لا توجد بيانات مهام تاريخية. فهو يسمح للوكلاء بالنشر مع "كتاب قواعد" من الإجراءات القابلة لإعادة الاستخدام، مما يحسن الأداء الفوري ويقلل من تكلفة التكيف عبر الإنترنت.
• الادعاءات المتواضعة: يشير المؤلفون إلى أن الطريقة تفترض إمكانية الوصول إلى وثائق كافية لـ API أو الأدوات لربط المهام بالواقع. كما يقرون بأنه في البيئات ذات الوثائق الضعيفة، قد تكون جدوى توليد مهام اصطناعية مستندة إلى الواقع محدودة. لا تدعي الورقة أنها تحل مشكلة بناء الذاكرة للبيئات غير الموثقة تماماً، بل للبيئات ذات الواجهات المهيكلة (مثل خوادم MCP) حيث تتوفر الوثائق ولكن توزيعات المهام غير معروفة.

باختصار، يثبت PREPING أنه من خلال التحكم المشترك في توليد المهام الاصطناعية واختيار المسارات المراد تخزينها، يمكن للوكلاء بناء ذاكرة إجرائية فعالة دون بيانات مهام بشرية مسبقة، مما يسد الفجوة بين التحضير في مرحلة ما قبل التشغيل والتكيف عبر الإنترنت.