ملخص تقني: تدهور القدرات والحفاظ عليها في التكيف المستمر للوكلاء القائمين على النماذج اللغوية الكبيرة (LLM)

تعريف المشكلة: تآكل القدرات في الوكلاء ذاتيي التطور

لقد مكنت الأطر الحديثة الوكلاء القائمين على النماذج اللغوية الكبيرة (LLM) من تحسين سير عمل الاستدلال لديهم بشكل مستقل، وتراكم المهارات القابلة لإعادة الاستخدام، وتحديث معلمات النموذج الأساسية، والحفاظ على ذاكرة مستمرة. وبينما تعد هذه الأنظمة بمستقبل يمتلك فيه الوكلاء كفاءة تتوسع باستمرار، تحدد هذه الورقة نمط فشل جوهري: تآكل القدرات تحت ظروف التطور الذاتي.

يوضح المؤلفون أن التطور الذاتي غالبًا ما يكون غير رتيب (non-monotonic). فعندما يتكيف الوكيل مع توزيع مهام جديد ($Y$)، فإن عملية التحسين من أجل $Y$ تؤدي في كثير من الأحيان إلى تدهور القدرات المكتسبة سابقًا في توزيعات المهام السابقة ($X$). ويتجلى هذا الظاهرة هيكليًا عبر ثلاثة أبعاد:

1. تدهور القدرة الاسترجاعية: تنخفض الأداء في المهام التي تم إتقانها سابقًا بعد الضبط الدقيق أو التحديث لمهام جديدة.
2. انحراف السياسة السلوكية: تصبح سير العمل معقدة وغير ضرورية ومتضخمة، مما يؤدي إلى إدخال ضوضاء وخطوات تنفيذ لم تكن موجودة في السلوكيات الناجحة السابقة.
3. تآكل التعميم: يؤدي التكيف إلى تضييق مساحة الاستدلال الفعالة، مما يتداخل مع المهارات المكتسبة سابقًا أو أنماط استرجاع الذاكرة.

وتجادل الورقة بأن هذا ليس مجرد فشل لخوارزميات محددة، بل هو نتيجة هيكلية للتعديل الذاتي المستمر غير المقيد. وسواء كان المستودع القابل للتغيير هو رسم بياني لسير العمل، أو بنك مهارات، أو معلمات النموذج، أو مخزن الذاكرة، فإن التحسين الموجه فقط لتوزيع المهمة الحالية يؤدي إلى تداخل مدمر، حيث يمحو أو يقلل من الهياكل التي دعمت السلوك الناجح في المهام السابقة.

المنهجية: التطور الحافظ للقدرات (CPE)

لمعالجة ذلك، يقترح المؤلفون التطور الحافظ للقدرات (Capability-Preserving Evolution - CPE)، وهو مبدأ استقرار عام. يقوم CPE بتعديل هدف التطور الذاتي القياسي ليشمل منظم استبقاء صريح.

الإطار النظري

يصيغ المؤلفون التطور الذاتي كعملية متسلسلة حيث يقوم الوكيل بتحديث حالة القدرة $R_t$ لتقليل الخسارة في التوزيع الجديد $D_t$. التطور التقليدي يقلل فقط من الخسارة الحالية $L_t(R)$، بينما يقوم CPE بدلاً من ذلك بحل المعادلة التالية:
$$R^{CPE}_t \in \arg \min_{R \in \mathcal{R}} L_t(R) + \lambda \Omega_t(R, R_{t-1})$$
حيث تقيس $\Omega_t$ مدى الانحراف عن الهياكل السابقة الداعمة للقدرة، و $\lambda$ تتحكم في المقايضة بين الاستقرار واللدونة (stability-plasticity trade-off).

ويظهر التحليل المحلي (الافتراض 1 و 2) أن التحديثات التقليدية تزيد من المخاطر المستبقاة كلما تداخل اتجاه التحديث مع الاتجاهات ذات الانحناء العالي (الحساسية) للمهام السابقة. ويقوم CPE بكبح ذلك عن طريق معاقبة التحديثات على طول هذه الاتجاهات الحساسة، مما يقيد الوكيل فعليًا للتحرك نحو التوزيع الجديد دون تدمير "دعم القدرة" المطلوب للمهام القديمة.

تجليات خاصة بالأبعاد

تطبق الورقة نظام CPE عبر أربعة قنوات تطور متميزة، لكل منها منظم مخصص:

1. تطور سير العمل (Workflow Evolution):
   • المستودع: رسوم بيانية قابلة للتنفيذ لسير العمل/برامج الأوامر (prompts).
   • الآلية: يمنع المنظم $\Omega_{wf}$ الانحراف عن "بصمات السلوك المرجعية" المستخرجة من سير عمل أصلي. وهو يمنع تراكم خطوات التحقق المعقدة للغاية والتعرجات الهيكلية التي تضعف أداء المهام البسيطة.
2. تطور المهارة/الأداة (Skill/Tool Evolution):
   • المستودع: بنك مهارات محدود السعة من القوالب الإجرائية.
   • الآلية: يمنع المنظم $\Omega_{sk}$ طرد المهارات المفيدة بسبب حدود السعة. فهو يستخدم دمجًا حافظًا للقدرة، حيث يدمج المهارات ذات الصلة دلاليًا ويحمي المدخلات التاريخية عالية المنفعة من الحذف المباشر عند قبول مهارات جديدة.
3. تطور النموذج (Model Evolution):
   • المستودع: معلمات النموذج القابلة للتدريب (مثل محولات LoRA).
   • الآلية: يستخدم المنظم $\Omega_{md}$ عقوبة بأسلوب "توطيد الوزن المرن" (EWC). فهو يقدر أهمية المعلمات (عبر معلومات فيشر) للمجالات السابقة ويعاقب الحركة على طول تلك الاتجاهات، مما يسمح بالتكيف فقط في الاتجاهات منخفضة الأهمية.
4. تطور الذاكرة (Memory Evolution):
   • المستودع: بنوك ذاكرة خارجية مستمرة.
   • الآلية: يستخدم المنظم $\Omega_{mem}$ الحفظ المعتمد على الأدلة. الذكريات التي تجمع دعمًا متكررًا تم التحقق منه ذاتيًا تُعامل كعناصر مستقرة ومحمية من الطرد أو إعادة الكتابة المدمرة، بينما تظل المدخلات ذات الأدلة المنخفضة قابلة للتكيف.

النتائج الرئيسية

يقيم المؤلفون نظام CPE مقابل التطور "التقليدي" (Vanilla) غير المقيد عبر أربعة اختبارات مرجعية رئيسية وعدة نماذج أساسية (بما في ذلك GPT-5.1، وGPT-5 nano، وGPT-4o mini، وQwen3-0.6B، وLlama3.2-3B).

• تطور سير العمل (EvoAgentX على $\tau^2$-Bench):
  • أدى التطور التقليدي إلى تضخم سير العمل وانخفاض في أداء المهام البسيطة (على سبيل المثال، من 57.1% إلى 41.8% في مهام شركات الطيران باستخدام GPT-5.1).
  • حافظ CPE على هيكل تنفيذ أكثر إيجازًا، مما حسن أداء المهام البسيطة المستبقاة إلى 52.8% مع الحفاظ على أو تحسين التكيف مع المهام المعقدة.
• تطور المهارة (MemSkill على MATH):
  • أدى التطور التقليدي تدريجيًا إلى استبدال المهارات السابقة (مثل الهندسة) مع انتقال التوزيع إلى نظرية الأعداد، مما تسبب في تدهور مستمر في مجموعات تقييم الجبر والهندسة.
  • حافظ CPE على الاستخدام المستقر للمهارات السابقة، مما أدى إلى دقة مستبقاة أعلى عبر جميع المجالات المتسلسلة (على سبيل المثال، تحسنت دقة الهندسة من 58.9% إلى 59.3% باستخدام GPT-5 nano).
• تطور النموذج (STaR على MedMCQA):
  • أظهر التدريب الذاتي التقليدي نسيانًا كارثيًا للمجالات الطبية السابقة (التشريح، الكيمياء الحيوية) مع تكيف النموذج مع مجالات جديدة.
  • حسن CPE باستمرار الدقة المستبقاة عبر جميع المجالات وأحجام النماذج (على سبيل المثال، ارتفعت دقة التشريح في Qwen3-0.6B من 29.4% إلى 30.5%).
• تطور الذاكرة (Dynamic Cheatsheet):
  • أدت تحديثات الذاكرة غير المقيدة إلى تدهور الاحتفاظ بالمهام القديمة بمتوسط 2.3%.
  • قلل CPE هذه الفجوة في الاحتفاظ إلى 0.7%، مما أدى إلى استقرار أنماط الاسترجاع للمجالات المتعلمة سابقًا دون إعاقة التكيف مع المهام الجديدة.

الأهمية والادعاءات

تدعي الورقة أنها الأولى التي تحدد بشكل منهجي تآكل القدرات كنمط فشل هيكلي عبر جميع الأبعاد الرئيسية للوكلاء ذاتيي التطور (سير العمل، المهارة، النموذج، والذاكرة).

• منظور موحد: يقدم المؤلفون منظور تداخل موحد، موضحين أنه رغم اختلاف التنفيذات، تعاني جميع الأبعاد الأربعة من نفس الآلية: التحسين من أجل المهام الجديدة يمحو الهياكل الداعمة للمهام القديمة.
• مبدأ الاستقرار: تفترض الورقة أن التطور الذاتي المستقر طويل الأمد لا يتطلب فقط اكتساب قدرات جديدة، بل يتطلب أيضًا الحفاظ صراحةً على القدرات المتعلمة سابقًا. ويُقدم CPE كمبدأ تصميم عام لتحقيق ذلك.
• نطاق متواضع: يقر المؤلفون بأن آليات الحفظ الحالية خفيفة الوزن ومتخصصة في مجالات معينة. وهم يضعون عملهم كتحقق من ظاهرة التآكل ودليل على أن التنظيم الصريح يمكن أن يخفف من حدتها، وليس كحل كامل لجميع تحديات الوكلاء المستقلة في المستقبل. كما يشيرون إلى أن الوكلاء في العالم الحقيقي قد يواجهون مسارات أكثر تعقيدًا ومفتوحة النهايات مما تم اختباره هنا في التحولات المتسلسلة المحكومة.

في الختام، تجادل الورقة بأنه بدون قيود حفظ صريحة، ستنزاح الوكلاء ذاتية التطور حتمًا بعيدًا عن السلوك الموثوق، وأن التطور الحافظ للقدرات هو مكون ضروري لبناء وكلاء قادرين على التعلم الحقيقي مدى الحياة.