🤖 machine learning

APEX: Autonomous Policy Exploration for Self-Evolving LLM Agents

تقترح الورقة البحثية إطار عمل APEX، وهو إطار لاستكشاف السياسات المستقلة يستخدم خريطة استراتيجية وآلية اكتشاف التفرع للتغلب على انهيار الاستكشاف في وكلاء النماذج اللغوية الكبيرة (LLM) ذاتية التطور، مما يمكنهم من اكتشاف استراتيجيات متفوقة من خلال الذاكرة والتفكير دون تحديث أوزان النموذج.

المؤلفون الأصليون: Yibo Li, Jiashuo Yang, Zhi Zheng, Zhiyuan Hu, Yuan Sui, Shizun Wang, Yufei He, Bryan Hooi

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yibo Li, Jiashuo Yang, Zhi Zheng, Zhiyuan Hu, Yuan Sui, Shizun Wang, Yufei He, Bryan Hooi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث APEX، مقسمة إلى مفاهحات بسيطة مع تشبيهات من الحياة اليومية.

المشكلة: فخ "منطقة الراحة"

تخيل أنك تلعب لعبة فيديو معقدة (مثل مغامرة نصية حيث تكتب أوامر لاستكشاف عالم ما). لديك مساعد ذكاء اصطناعي ذكي يساعدك.

في البداية، يحاول الذكاء الاصطناعي تجربة أشياء مختلفة: فتح الأبواب، التقاط العناصر، التحدث إلى الشخصيات غير اللاعبة (NPCs). ولكن بعد فترة، يجد مساراً يمنحه درجة جيدة. فيشعر بالراحة. يدرك قائلاً: "مهلاً، إذا مشيت فقط في هذا الممر المحدد والتقطت هذا المفتاح الواحد، سأحصل على نقاط في كل مرة".

لذا، يتوقف عن تجربة أي شيء جديد. يعلق في حلقة مفرغة، ويكرر نفس الروتين الآمن مراراً وتكراراً.

المشكلة: الذكاء الاصطناعي يؤدي بشكل جيد في المتوسط، لكنه توقف عن البحث عن "غرفة الكنز السرية" التي تمنحه ضعف النقاط لأنها مخبأة خلف باب لم يفكر أبداً في تجربته.
مصطلح الورقة البحثية: يُسمى هذا انهيار الاستكشاف (Exploration Collapse). يتوقف العميل عن الاستكشاف ويكتفي باستغلال ما يعرفه بالفعل، مما يجعله يفوت استراتيجيات أفضل.

الحل: APEX ("خريطة المستكشف")

يقترح المؤلفون نظاماً يسمى APEX (الاستكشاف الذاتي للسياسات - Autonomous Policy Exploration). بدلاً من ترك الذكاء الاصطناعي يتجول عشوائياً أو يحفظ أخطاء الماضي، يمنح APEX الذكاء الاصطناعي خريطة استراتيجية.

فكر في هذه الخريطة ليس كرسم لمبنى، بل كـ قائمة تحقق للأهداف مرتبطة بقواعد.

المعالم (Milestones): هي أهداف محددة، مثل "ابحث عن المفتاح" أو "افتح الصندوق".
التبعية (Dependencies): الخريطة تعرف أنك لا تستطيع "فتح الصندوق" حتى "تجد المفتاح".

تعمل هذه الخريطة كدماغ مشترك للذكاء الاصطناعي، حيث تتبع بدقة ما جربه وما لم يجربه بعد.

كيف يعمل APEX: نظام المحرك المزدوج

يستخدم APEX آليتين رئيسيتين لمنع الذكاء الاصطناعي من التعثر، تعملان معاً مثل المرشد السياحي والمحقق.

1. المحقق: "اكتشاف التفرعات" (Fork Discovery)

تخيل أنك تسير في متحف. ترى باباً موارباً قليلاً، لكنك تمر بجانبه لأنك تركز على اللوحة التي أمامك.

ماذا يحدث: يرى الذكاء الاصطناعي الباب، لكنه لا يفتحه.
وظيفة اكتشاف التفرعات: بعد انتهاء اللعبة، ينظر "المحقق" إلى إعادة العرض. ويقول: "مهلاً، لقد رأينا ذلك الباب! كانت لدينا الفرصة لفتحه، لكننا لم نفعل ذلك أبداً. لنضف 'فتح الباب' إلى قائمتنا كهدف جديد".
النتيجة: تنمو الخريطة. فهي تجد بنشاط الاتجاهات التي تجاهلها الذكاء الاصطناعي وتضيفها إلى الخطة، مما يضمن عدم تفويت الفرص المخفية.

2. المرشد السياحي: "اختيار السياسة" (Policy Selection)

الآن بعد أن أصبح لدى الخريطة قائمة بالأهداف، يحتاج الذكاء الاصطناعي إلى تحديد الهدف التالي الذي سيتعامل معه.

المشكلة: إذا اختار الذكاء الاصطناعي فقط الهدف الذي يعرف أنه يمنحه أكبر قدر من النقاط، فلن يجرب الأهداف الجديدة والمخاطرة أبداً.
وظيفة اختيار السياسة: يعمل هذا كمرشد سياحي ذكي يوازن بين الأمان والمغامرة. يستخدم خدعة رياضية (تسمى أخذ عينات تومسون - Thompson Sampling) ليقرر: "لقد جربنا هدف 'المفتاح' 10 مرات وهو يعمل. لكننا جربنا هدف 'الباب' مرة واحدة فقط. لنذهب لتجربة الباب مجدداً لأننا لا نعرف بعد ما إذا كان كنزاً مخفياً!".
النتيجة: يُجبر الذكاء الاصطناعي على زيارة الأجزاء "غير المستكشفة" من الخريطة، مما يضمن عدم وقوعه في الروتين.

دورة التحسين

كل بضع ألعاب، يأخذ النظام استراحة لتحديث خريطته:

التنقيح (Refine): يقوم بإصلاح الأخطاء. (مثال: "ظننا أننا بحاجة إلى سيف لفتح الباب، لكننا في الواقع احتجنا فقط إلى مفتاح").
الانتشار (Propagate): يقوم بتحديث الإحصائيات. (مثال: "هدف 'البحث عن المفتاح' مهم جداً لأنه يؤدي إلى الكنز الكبير").
الاكتشاف (Discover): يجد "المحقق" أبواباً جديدة لإضافتها إلى الخريطة.

لماذا ينجح (النتائج)

اختبر الباحثون هذا على نوعين من "الألعاب":

المغامرات النصية (Jericho): قصص معقدة حيث تكتب أوامر.
التفاعل مع الويب (WebArena): مهام واقعية مثل تصفح المواقع لشراء أشياء أو البحث عن معلومات.

النتائج:

الطرق القديمة (مثل Reflexion): كانت هذه الوكلاء تتعثر في مناطق راحتها. حصلوا على درجة متوسطة جيدة، لكنهم نادراً ما وجدوا الحل الأمثل.
APEX: نظرًا لأنه يتتبع صراحةً ما لم يجربه، فقد وجد باستمرار استراتيجيات أفضل. لم يحصل فقط على متوسط أعلى، بل وجد "الكنز السري" الذي فات الآخرين.

تشبيه ملخص

تخيل أنك تحاول إيجاد أفضل طريق للذهاب إلى العمل.

الطريقة القديمة: تسلك نفس الطريق كل يوم لأنه سريع عادةً. لن تتحقق أبداً مما إذا كان قد تم افتتاح طريق مختصر جديد.
طريقة APEX: لديك دفتر ملاحظات (الخريطة الاستراتيجية).
- اكتشاف التفرعات هو أنت تنظر إلى الخريطة وتقول: "رأيت طريقاً جديداً بالأمس، لكنني لم أسلكه. سأدون ذلك لأجربه غداً".
- اختيار السياسة هو أنت تقرر: "لقد سلكت الطريق الرئيسي 20 مرة. لنحاول الطريق الجديد اليوم لنرى ما إذا كان أسرع".

من خلال الاحتفاظ بقائمة منظمة لما جربوه وما لم يجربوه، يمنع APEX الذكاء الاصطناعي من التكاسل ويضمن استمراره في اكتشاف طرق أفضل لحل المشكلات.

ملخص تقني: APEX (الاستكشاف الذاتي لسياسات الاستكشاف المستقلة للوكلاء ذوي النماذج اللغوية الكبيرة ذاتية التطور)

1. بيان المشكلة: انهيار الاستكشاف في الوكلاء ذاتيي التطور

بينما أظهرت الوكلاء المعتمدة على النماذج اللغوية الكبيرة (LLM) كفاءة في المهام المعقدة طويلة الأمد، لا يزال هناك قصور حرج قائم: وهي عدم قدرتها على التعلم أثناء الاختبار (on the fly) دون تحديث أوزان النموذج. تحاول الوكلاء ذاتية التطور الحالية التغلب على ذلك من خلال تراكم الذاكرة والقيام بالتأمل (reflection) عبر الحلقات (episodes). ومع ذلك، حدد المؤلفون ظاهرة تسمى انهيار الاستكشاف (Exploration Collapse).

مع تراكم خبرات الوكيل، يميل سلوكه إلى التركيز حول روتين مألوف وعالي المكافأة. وبينما قد تظل العوائد المتوسطة مستقرة أو حتى تزداد، فإن التنوع الاستكشافي للوكيل يتناقص، مما يجعله يستقر في أنماط سلوكية ضيقة. ونتيجة لذلك، يفشل الوكيل في اكتشاف استراتيجيات مختلفة نوعياً وأكثر تفوقاً تقع خارج نطاق "المعروف" الحالي لديه. تجادل الورقة بأن آليات الذاكرة والتأمل الحالية توفر توجيهاً محلياً ولكنها تفشل في الحفاظ على فضاء استراتيجية صريح ومستمر، مما يترك الوكيل غير مدرك لما لم يجربه بعد.

2. المنهجية: إطار عمل APEX

لمعالجة انهيار الاستكشاف، يقترح المؤلفون APEX (الاستكشاف الذاتي للسياسات). الابتكار الجوهري هو الحفاظ على خريطة استراتيجية (Strategy Map) صريحة، وهي عبارة عن رسم بياني موجه غير حلقي (DAG) يهيكل معرفة الوكيل ويوجه استكشافه.

2.1 خريطة الاستراتيجية

خريطة الاستراتيجية $G = (V, E, \theta)$ هي رسم بياني موجه غير حلقي (DAG) حيث:

العقد ( $V$ ): تمثل المعالم (milestones)، والتي تُعرف كأهداف فرعية منفصلة موصوفة بلغة طبيعية مع الإجراءات الرئيسية المرتبطة بها (مثال: "جمع الفانوس النحاسي").
الحواف ( $E$ ): تشفر تبعات المتطلبات المسبقة (مثال: يجب تحقيق العقدة $u$ قبل العقدة $v$ ).
الإحصائيات ( $\theta$ ): تتبع كل عقدة عدد الزيارات ( $n$ )، ومتوسط المكافأة ( $\bar{r}$ )، وتباين المكافأة ($Var$).

تحول هذه الخريطة فضاء العمل المفتوح إلى مشكلة تخطيط مهيكلة، حيث تكون حالة الوكيل هي مجموعة المعالم التي تم تحقيقها.

2.2 المكونات الأساسية

يعمل APEX من خلال دورة من أربع آليات متميزة:

اختيار السياسة (الاستكشاف على مستوى الحلقة):
خلال الحلقة، يختار الوكيل المعلم التالي من مجموعة المعالم المؤهلة (تلك التي استوفيت متطلباتها المسبقة). يتم صياغة هذا كمسألة "الذراع متعددة الأذرع" (multi-armed bandit). يقيم المؤلفون ثلاث استراتيجيات:
- أخذ عينات تومسون (الافتراضي - Thompson Sampling): يأخذ عينات من توزيع خلفي بناءً على المتوسط والتباين. وهو يفضل بشكل طبيعي المعالم ذات عدم اليقين العالي (غير المستكشفة) دون الحاجة إلى ضبط المعلمات الفائقة.
- حد الثقة العلوي (UCB): يضيف مكافأة تفاؤل بناءً على عدد الزيارات.
- $\epsilon$ -Greedy: يستكشف عشوائياً باحتمالية $\epsilon$ .
- الآلية: الاختيار تسلسلي؛ إذا فشل معلم ما، يعيد الوكيل تقييم المعالم المؤهلة بدلاً من أن يظل مقيداً بتسلسل محدد مسبقاً.
تحسين الخريطة (تصحيح المعرفة):
بشكل دوري (كل $N$ من الحلقات)، يقوم نموذج لغوي كبير بتحليل الملخصات المهيكلة للحلقات الأخيرة لتحديث الخريطة الموجودة. يقوم بتحسين الإجراءات الرئيسية، وتصحيح حواف التبعية الخاطئة، وتقليم العقد المكررة بناءً على الحقائق المرصودة. يضمن ذلك بقاء الخريطة دقيقة بالنسبة لميكانيكيات البيئة.
نشر العائد (تخصيص الائتمان/الاستحقاق):
يعمل هذا المكون أيضاً بشكل دوري، ويقوم بتحديث الإحصائيات ( $\theta$ ) للمعالم. باستخدام تمرير طوبولوجي عكسي على الـ DAG، يقوم بنشر المكافآت من المعالم اللاحقة وصولاً إلى متطلباتها المسبقة. يضمن ذلك أن المعالم المُمكّنة (مثل "إيجاد المفتاح") تحصل على الائتمان لإتاحة المعالم عالية المكافأة (مثل "فتح الصندوق")، حتى لو لم يحقق المعلم المُمكّن نفسه مكافأة فورية.
اكتشاف التفرع (توسيع فضاء الاستراتيجية):
هذه هي الآلية الأساسية لمنع انهيار الاستكشاف. على عكس "التحسين" الذي يصحح المسارات المعروفة، يعمل اكتشاف التفرع بنشاط على توسيع حدود الخريطة. يقوم نموذج لغوي كبير بتحليل ملخصات الحلقات لتحديد الإجراءات أو الاتجاهات التي تم رصدها أو كانت متاحة ولكن لم يتم السعي وراءها قط. يقترح معالم جديدة وحواف تبعية لترميز هذه الاحتمالات غير المستكشفة، مما يجبر الوكيل فعلياً على النظر في استراتيجيات لم يحاولها من قبل.

3. المساهمات الرئيسية

تحديد انهيار الاستكشاف: تثبت الورقة تجريبياً أن الوكلاء ذاتيي التطور (مثل Reflexion) غالباً ما ينحصرون في روتينات سلوكية ضيقة، مما يؤدي لفقدان استراتيجيات متفوقة قد يعثر عليها الوكلاء غير المتعلمين (الثابتين) بمجرد الصدفة عبر التنوع.
فضاء استراتيجية صريح: يقدم APEX أول إطار عمل للوكلاء ذاتيي التطور يحافظ على خريطة صريحة ومهيكلة لفضاء الاستراتيجية (المعالم والتبعيات)، بدلاً من الاعتماد فقط على الذاكرة غير المهيكلة أو التأمل.
حلقة استكشاف مزدوجة: يفصل الإطار بين توسيع مستوى الخريطة (اكتشاف التفرع) والاختيار على مستوى الحلقة (اختيار السياسة)، مما يخلق حلقة مغلقة حيث يتم فتح مناطق جديدة وزيارتها بشكل منهجي.
تخصيص ائتمان قوي: يضمن نشر العائد القائم على الـ DAG أن الأفعال المُمكّنة تُقيم بشكل صحيح، مما يعالج مشكلة المكافآت الشحيحة في المهام المعقدة.

4. النتائج التجريبية

قيم المؤلفون APEX في اثنين من المعايير: Jericho (9 ألعاب مغامرات نصية) و WebArena (812 مهمة تفاعل ويب واقعية).

الأداء: تفوق APEX باستمرار على جميع النماذج المرجعية (Static, Memory, Reflexion, EvoTest, ACE) في جميع البيئات.
- في Jericho، حقق APEX أعلى درجات (Final-5) في جميع الألعاب التسع. ومن الجدير بالذكر أنه في الألعاب التي تتطلب استراتيجيات متنوعة (مثل Ztuu)، تفوق APX بشكل كبير على Reflexion، الذي غالباً ما استقر عند قمم محلية غير مثالية.
- في WebArena، تصدر APEX في جميع الفئات الخمس (Shopping, Reddit, GitLab, CMS, Map)، مع مكاسب كبيرة بشكل خاص في Reddit و GitLab حيث تتطلب المهام تسلسلات متعددة الخطوات وغير واضحة.
دراسات الاستئصال (Ablation Studies):
- الرسم البياني (DAG) مقابل القائمة المسطحة: كان هيكل التبعية (DAG) حاسماً؛ حيث كان أداء القائمة المسطحة للمعالم أسوأ بكثير، مما يؤكد أن التفكير في المتطلبات المسبقة هو المفتاح.
- اكتشاف التفرع: أدى إزالة اكتشاف التفرع إلى انخفاض كبير في الأداء، خاصة في الألعاب المعقدة، مما يثبت أن التوسع النشط لفضاء الاستراتيجية ضروري لتجنب الانهيار.
- اختيار السياسة: تفوق أخذ عينات تومسون على UCB و $\epsilon$ -Greedy، مما يسلط الضوء على أهمية الاستكشاف الواعي بالتباين.
- نشر العائد: تفوق نشر الائتمان القائم على الـ DAG على النشر القائم على المسار التسلسلي، مما يضمن تقديراً دقيقاً لقيمة المعالم المُمكّنة.
التعميم: أظهر APEX قدرة قوية على التعميم عبر المهام في WebArena، حيث نقل المعرفة من المهام المرئية إلى المهام غير المرئية دون الحاجة لخبرات سابقة خاصة بالمهمة.
التكلفة: على الرغم من وجود مكونات تأمل إضافية، إلا أن تكلفة واجهة برمجة التطبيقات (API) لـ APEX كانت قابلة للمقارنة مع الطرق الأخرى بسبب الطبيعة الموجزة للمطالبات (prompts) الموجهة بالمعالم.

5. الأهمية والادعاءات

تدعي الورقة أن APEX يحل بفعالية مشكلة انهيار الاستكشاف في الوكلاء ذوي النماذج اللغوية الكبيرة من خلال الانتقال من التعلم الضمني القائم على الذاكرة إلى الاستكشاف الصريح القائم على الخريطة.

الأهمية: يوضح العمل أنه لكي يتمكن الوكلاء من الحفاظ على التحسن بمرور الوقت، لا يجب عليهم فقط التأمل فيما فعلوه، بل يجب عليهم أيضاً بناء وملاحة خريطة لما لم يفعلوه بعد.
التواضع: يقر المؤلفون بالقيود: جودة خريطة الاستراتيجية محدودة بقدرة النموذج اللغوي الكبير على تحديد المعالم واستنتاج الاتجاهات غير المستكشفة. ميكانيكيات الألعاب العميقة أو الاستراتيجيات التي تقع تماماً خارج المعرفة السابقة للوكيل قد تظل غائبة. علاوة على ذلك، تعتمد الطريقة الحالية على المهام التي يمكن تقسيمها طبيعياً إلى معالم منفصلة، مما يشير إلى أن البيئات المستمرة أو الأقل هيكلة قد تتطلب تعديلات في تعريف المعالم.

في الختام، يوفر APEX إطار عمل قوياً للاستكشاف المستدام، مما يمكّن الوكلاء ذاتيي التطور من اكتشاف استراتيجيات متفوقة تفشل طرق التأمل التقليدية في إيجادها.