🤖 AI

Learning to Explore: Scaling Agentic Reasoning via Exploration-Aware Policy Optimization

تقترح هذه الورقة إطار عمل للتعلم المعزز المدرك للاستكشاف يُمكّن وكلاء النماذج اللغوية الكبيرة من التمييز التكيفي بين سيناريوهات عدم اليقين العالية التي تتطلب الاستكشاف والسياقات الواضحة المناسبة للتنفيذ، مما يحقق تحسينات مستمرة في الأداء عبر معايك قياس الوكلاء القائمة على النصوص وواجهات المستخدم الرسومية.

المؤلفون الأصليون: Xingyuan Hua, Sheng Yue, Ju Ren

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xingyuan Hua, Sheng Yue, Ju Ren

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التعلم من أجل الاستكشاف: توسيع نطاق التفكير الوكيل عبر تحسين السياسة الواعية بالاستكشاف" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: فخ "التخمين والتحقق"

تخيل أنك تحاول حل لغز معقد في غرفة جديدة، لكن لا يمكنك رؤية الصورة كاملة في وقت واحد. عليك أن تتحرك حول الغرفة، تلمس الأشياء، وتفتح الأدراج لتفهم أين توضع القطع.

الوكلاء الحاليون في الذكاء الاصطناعي (البرامج الحاسوبية الذكية) يشبهون الأشخاص الذين يخافون من النظر حولهم. لقد تم تدريبهم على الاندفاع مباشرة نحو خط النهاية. إذا لم يكونوا متأكدين بنسبة 100% مما يجب فعله، فإنهم إما:

يستسلمون ويخمنون بشكل خاطئ.
يتجولون بلا هدف، يفتحون كل درج في الغرفة حتى عندما يعرفون الإجابة بالفعل، مما يهدر الوقت والطاقة.

تجادل الورقة البحثية بأن البشر أفضل في هذا؛ فعندما نكون غير متأكدين، نتوقف، وننظر حولنا لجمع الأدلة، ثم نقوم بحركتنا. وإذا ارتكبنا خطأً، يمكننا التراجع وتجربة مسار مختلف. يعاني الذكاء الاصطناعي الحالي في القيام بذلك بشكل طبيعي.

الحل: EAPO (المستكشف الذكي)

ابتكر المؤلفون طريقة تدريب جديدة تسمى EAPO (تحسين السياسة الواعية بالاستكشاف). فكر في EAPO كمدرب يعلم الذكاء الاصطناعي "رقصة" مكونة من ثلاث خطوات محددة: استكشف، تذكر، ثم تصرف.

إليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة:

1. "حقيبة الظهر" و"الدفتر" (الذاكرة والاستكشاف)

تخيل أن الذكاء الاصطناعي هو رحالة.

حقيبة الظهر (الذاكرة): يحمل الذكاء الاصطناعي "حقيبة ظهر" حيث يدون كل ما يراه. إذا فتح باباً ورأى جداراً أحمر، يكتب في دفتره: "جدار أحمر خلف الباب".
وضع "الاستكشاف": عندما يشعر الذكاء الاصطناعي بالحيرة، فإنه لا يخمن فحسب، بل ينتقل إلى "وضع الاستكشاف". يقول لنفسه: "لست متأكداً مما يوجد خلف هذا الباب. دعني ألقي نظرة بالداخل، وأدون ذلك في دفتري، ثم أعود للخارج."

تقدم الورقة البحثية تنسيقاً خاصاً حيث يجب على الذكاء الاصطناعي أن يكتب صراحةً:

(استكشاف): "سأتحقق من هذا الزر لأرى ماذا سيحدث."
(ذاكرة): "حسناً، لقد تحققت منه. إنه يشعل الضوء. سأتذكر ذلك."
(إجراء): "الآن بعد أن عرفت أن الضوء يعمل، سأضغط على الزر الأخضر."

2. خدعة "السفر عبر الزمن" (التراجع/Rollback)

هذا هو الجزء الأكثر سحراً. في العديد من ألعاب الفيديو، إذا مشيت داخل فخ، تموت وعليك إعادة المستوى بأكه. هذا أمر محبط وغير فعال.

تعلمت الورقة البحثية كيفية تعليم الذكاء الاصطناعي السفر عبر الزمن (التراجع).

إذا استكشف الذكاء الاصطناعي مساراً وأدرك: "أوه لا، كان هذا الباب الخاطئ"، فإنه لا يصاب بالذعر.
يستخدم زر "الرجوع" (مثل متصفح الويب) للعودة فوراً إلى النقطة الدقيقة التي سبقت ارتكابه للخطأ.
والأهم من ذلك، أنه يحتفظ بالملاحظات التي دونها أثناء الاستكشاف. يتذكر قائلاً: "لقد جربت الباب الأحمر، وكان مغلقاً. لذا لن أجربه مرة أخرى."

هذا يحول الاستكشاف من "طريق مسدود" إلى "فرصة للتعلم".

3. نظام "المكافأة الذكية"

كيف تعلم الذكاء الاصطناعي الاستكشاف دون أن يظل يتجول للأبد؟ أنت بحاجة إلى نظام مكافآت جيد.

الطريقة القديمة: يحصل الذكوا الاصطناعي على مكافأة فقط عندما ينهي المهمة. يتعلم أن الاستكشاف هو مضيعة للوقت لأنه يؤخر المكافأة.
طريقة EAPO: يحصل الذكاء الاصطناعي على "نقاط إضافية" مقابل جمع معلومات مفيدة.
- إذا بحث الذكاء الاصطناعي في درج ووجد مفتاحاً، فإنه يحصل على مكافأة حتى لو لم يستخدم المفتاح بعد.
- إذا بحث في درج ولم يجد شيئاً، فإنه يحصل على عقوبة صغيرة لإضاعة الوقت.
- هذا يعلم الذكاء الاصطناعي أن يكون انتقائياً: "سأستكشف فقط إذا كنت أعتقد أنني قد أجد شيئاً مفيداً".

ماذا حدث في التجارب؟

اختبر الباحثون هذا "المستكشف الذكي" في أربعة أنواع مختلفة من التحديات:

المهام القائمة على النصوص: مثل اتباع وصفة طعام أو حل لعبة مغامرات نصية.
التسوق عبر الإنترنت: العثور على عناصر محددة على موقع إلكتروني.
تطبيقات الهاتف (أندرويد): التنقل في قوائم الهاتف لتغيير الإعدادات.
أجهزة الكمبيوتر المكتبية (نظام التشغيل): استخدام الكمبيوتر لفتح الملفات وتحريك النوافذ.

النتائج:

أداء أفضل: نجح الذكاء الاصطناعي المدرب بـ EAPO في حل مهام أكثر بكثير من طرق الذكاء الاصطناعي الأخرى (مع تحسن في معدلات النجاح بنسبة 20% إلى 60% في بعض الحالات).
نماذج صغيرة، عقول كبيرة: نموذج ذكاء اصطناٍ صغير جداً (2 مليار بارامتر) تم تدريبه باستخدام EAPO، تفوق في أدائه على نماذج أكبر بكثير وأكثر تكلفة لم تستخدم هذه الطريقة. لقد أثبت أن كيفية التفكير أهم من مجرد حجم دماغك.
القدرة على التكيف: تعلم الذكاء الاصطناعي الاستكشاف فقط عندما كان مرتبكاً. عندما كان يعرف الإجابة، كان يتصرف بسرعة. وعندما كان تائهاً، كان يتوقف ويجمع الأدلة.

الخلا الخلاصة

توضح هذه الورقة البحثية أنه يمكننا تعليم وكلاء الذكاء الاصطناعي أن يكونوا فضوليين ولكن منضبطين. بدلاً من التخمين الأعمى أو النقر بجنون على كل شيء، يتعلمون كيف:

يتوقفون عندما لا يكونون متأكدين.
يجمعون المعلومات (الاستكشاف).
يدونونها (الذاكرة).
يتراجعون إذا ارتكبوا خطأً (التراجع).
يستخدمون تلك المعرفة الجديدة لاتخاذ الخطوة الصحيحة.

إنه الفرق بين السائح الذي يركض في المدينة وهو يصرخ "أين المتحف؟!" وبين المسافر الذكي الذي يتحقق من الخريطة، ويسأل شخصاً محلياً، ويدون الاتجاهات، ثم يمشي بثقة نحو وجهته.

ملخص تقني: التعلم من أجل الاستكشاف: توسيع نطاق الاستدلال الوكيل عبر تحسين السياسة المدركة للاستكشاف

بيان المشكلة

تسمح التطورات الأخيرة في توسيع نطاق الاختبار الزمني للوكلاء (Agentic Test-Time Scaling) للنماذج اللغوية الكبيرة (LLMs) بجمع التغذية الراجعة من البيئة قبل الالتزام بالأفعال النهائية، مما يتيح الاستدلال متعدد الخطوات أثناء النشر. ومع ذلك، تعاني الأساليب الحالية من قصور حرج: فهي تستخدم استراتيجيات استكشاف غير متمايزة. عادةً ما تدمج النهج الحالية بين الاستكشاف واختيار الإجراء ضمن سياسة واحدة، مما يفتقر إلى القدرة على التمييز التكيفي بين متى يكون الاستكشاف مطلوبًا حقًا. ونتيجة لذلك، ينخرط الوكلاء في استكشاف عشوائي حتى في الحالات المفهومة جيدًا، مما يؤدي إلى تراكم معلومات منخفضة القيمة وحجب الإشارات الحرجة. وعلى العكس من ذلك، قد يفشلون في الاستكشاف بشكل كافٍ في الحالات غير المألوفة، مما يؤدي إلى اتخاذ قرارات دون المستوى الأمثل. التحدي الجوهري هو تعليم الوكلاء كيفية تخصيص خطوات التفاعل بشكل تكيفي بناءً على عدم اليقين، والتمييز بين متى يكون الاستكشاف الباحث عن المعلومات ضروريًا ومتى يكون السعي المباشر نحو الهدف كافيًا.

المنهجية

تقترح الورقة البحثية تحسين السياسة المدركة للاستكشاف (EAPO)، وهو إطار عمل مصمم لتمكين الوكلاء من الاستكشاف بشكل انتقائي في الحالات المناسبة والاستفادة من المعلومات المكتسبة لاتخاذ القرار. تتكون المنهجية من ثلاثة مكونات رئيسية:

1. نمط استدلال الاستكشاف والذاكرة

لهيكلة عملية الاستدلال، قدم المؤلفون تنسيق مخرجات محددًا حيث يقوم الوكيل بتوليد ما يلي صراحةً:

توجيه الاستكشاف ( $e_t$ ): استراتيجية مهيكلة تحدد المعلومات المراد الحصول عليها والإجراءات المرشحة لاتخاذها.
الذاكرة التراكمية ( $m_t$ ): ملخص للمعلومات ذات الصلة بالمهمة المستخرجة من التفاعلات الماضية والحالات المرصودة حديثًا.
الإجراء القابل للتنفيذ ( $a_t$ ): الإجراء النهائي المتخذ.

يسمح هذا الفصل للوكيل بالتداول حول ديناميكيات البيئة قبل الالتزام بالتنفيذ، ويحافظ على سجل مستمر للحالات التي تمت زيارتها، مما يسهل إعادة استخدام المعلومات المكتسبة.

2. نمذجة المكافأة دقيقة التفاصيل عبر الاستدلال التبايني

لتحفيز الاستكشاف القيم دون الاعتماد على عمليات التدحرج (rollouts) المكلفة عبر الإنترنت، صمم المؤلفون دالة مكافأة تقيم فائدة الإجراءات الاستكشافية.

المنظور البايزي: تعامل الطريقة الاستكشاف مع الذاكرة كمتغيرات كامنة. فقد حددت مكافأة استكشاف بايزية بناءً على الاحتمال البعدي لنجاح المهمة بالنظر إلى الحالة الحالية، واستراتيجية الاستكشاف، والذاكرة.
الوكيل التبايني: نظرًا لأن الاحتمال البعدي الحقيقي غير قابل للحساب، فقد تم تدريب وكيل تبايني قابل للتعلم $q_\phi$ لتقريب توزيع تكوينات الاستكشاف والذاكرة المثلى.
تعريف المكافأة: تُعرف المكافأة $R_{explore}$ $R_{e x pl or e}$ بأنها الحد الأقصى من:
1. فائدة الاستغلال الفوري (باستخدام الذاكرة الحالية).
2. فائدة الاستكشاف الاستباقي (دمج حالة مرصودة حديثًا في الذاكرة)، مخصومًا منها $\gamma^2$ لتقليل التأخير ومنع الإفراط في التحفظ.
إجمالي المكافأة: المكافأة النهائية هي مزيج مرجح من إشارة نجاح المهمة، ومكافأة التنسيق (لضمان المخرجات المهيكلة)، والمكافأة الاستكشافية.

3. استراتيجية تدريب من مرحلتين مدركة للاستكشاف

لمعالجة تحديات تخصيص الائتمان (credit assignment) وتحسين السياسة في ظل وجود الاستكشاف، يستخدم EAPO نهجًا من مرحلتين:

المرحلة 1: تعلم التراجع (SFT): يتم ضبط الوكلاء بدقة تحت الإشراف على مجموعة بيانات خبير لاكتساب القدرة على "التراجع" إلى الحالات السابقة (مثل النقر على زر "الرجوع") بعد أن يؤدي إجراء استكشافي إلى حالة غير مرغوب فيها. يعامل هذا الاستكشاف كسلوك قابل للتراجع وليس كمخاطرة نهائية.
المرحلة 2: تحسين السياسة المدركة للاستكشاف (GRPO): قام المؤلفون بتعديل تحسين السياسة النسبي للمجموعات (GRPO) عن طريق إدخال عمق الزيارة ( $\kappa$ ) كمعيار للتجميع. يتم تجميع الانتقالات ليس فقط حسب الحالة، بل حسب عدد المرات التي زار فيها الوكيل تلك الحالة. يضمن هذا مقارنة الإجراءات الاستكشافية بأفعال أخرى في مراحل معلوماتية مماثلة، مما يمنع التقليل من قيمة الاستكشاف الذي يحدث عند مقارنة خطوات الاستكشاف المبكرة بخطوات التنفيذ النهائية في نفس المجموعة.

المساهمات الرئيسية

إطار عمل مدرك للاستكشاف: طريقة جديدة لتحسين السياسة تعلم الوكلاء صراحةً التمييز بين متى يستكشفون ومتى ينفذون، متجاوزةً استراتيجيات الاستكشاف الموحدة.
نمذجة مكافأة تباينية: نهج مبدئي لقياس فائدة الإجراءات الاستكشافية باستخدام الاستدلال التبايني، مما يتجنبه التكاليف الحسابية العالية لأخذ العينات عبر الإنترنت مع توفير إشارات مكافأة مستقرة.
الاستدلال المهيكل والذاكرة: تقديم علامات <explore> و <memory> صريحة تدمج جمع المعلومات وتلخيص الحالة مباشرة في حلقة الاستدلال للوكيل.
تجميع عمق الزيارة: آلية لتثبيت تقدير الميزة من خلال تجميع الانتقالات بناءً على عدد مرات زيارة الحالة، مما يضمن مقارنة عادلة بين مراحل الاستكشاف والاستغلال.
قدرة التراجع: دمج آلية تراجع تحت الإشراف تسمح للوكلاء بالتعافي من الأخطاء الاستكشافية، مما يجعل الاستكشاف عملية آمنة وقابلة للتراجع.

النتائج التجريبية

قيم المؤلفون EAPO عبر أربع بيئات تحدي: ALFWorld و WebShop (نصية)، و AndroidWorld و OSWorld (واجهة مستخدم رسومية).

مكاسب الأداء: تفوق EAPO باستمرار على النماذج المرجعية القوية (بما في ذلك GRPO، وDAPO، وGiGPO، وLAMER، ونماذج متنوعة مغلقة المصدر) عبر جميع البيئات. تراوحت التحسينات بين 20% إلى 60% مقارنة بالطرق الحالية.
كفاءة النموذج: حقق نموذج بمقياس 2B مدرب باستخدام EAPO أداءً مشابهًا أو متفوقًا على نماذج عامة ووكيلة أكبر بكثير (مثل نماذج بـ 72 مليار معلمة)، مما يثبت أن استراتيجيات الاستكشاف الفعالة يمكن أن تعوض عن حجم المعلمات.
السلوك التكيفي: أظهر التحليل أن الوكلاء المدربين باستخدام EAPO يظهرون استكشافًا تكيفيًا: حيث يزيدون درجات الاستكشاف في الحالات غير المؤكدة وينتقلون إلى الاستكشاف الانتقائي مع تعلمهم للبيئة، متجنبين التجربة والخطأ العشوائي.
التعميم: تعمم النماذج المدربة على AndroidWorld بفعالية على بيئة OSWorld غير المرئية مع انخفاض طفيف فقط في الأداء، مما يشير إلى أن سياسات الاستكشاف المتعلمة مستقلة عن المجال.
الكفاءة: لم يتسبب الأسلوب في سوى حوالي 30% من عبء التدريب الإضافي (بشكل أساسي من تدريب نموذج المكافأة التبايني) مقارنة بـ GRPO القياسي، مع تجنب أخذ العينات المكلفة عبر الإنترنت المطلوبة من قبل النهج البديلة. شهد وقت الاستدلال زيادة طفيفة (10 خطوات إضافية في المتوسط كحد أقصى) بسبب الاستكشاف، والتي يتم التحكم فيها بواسطة عامل الخصم.

الأهمية والادعاءات

تزعم الورقة أن EAPO يمثل خطوة مهمة للأمام في توسيع نطاق الاختبار الزمني للوكلاء. من خلال نمذجة فائدة الاستكشاف صراحةً وفصل البحث عن المعلومات عن اتخاذ القرار، يُمكّن الإطار الوكلاء من:

الاستدلال حول عدم اليقين: يتعلم الوكلاء تحديد متى تكون الحالة الحالية أو الذاكرة غير كافية لاتخاذ قرار والبحث عن المعلومات بشكل استباقي.
تحسين تخصيص الموارد: يتجنب الوكلاء إضاعة خطوات التفاعل في استكشاف مكرر في الحالات المعروفة بينما يجمعون البيانات الحرجة بفعالية في السيناريوهات الجديدة.
تحقيق تعميم قوي: تسمح القدرة على الاستكشاف التكيفي للوكلاء بالتعامل مع البيئات خارج التوزيع (مثل تخطيطات واجهة المستخدم المحدثة) دون الحاجة إلى إعادة تدريب خاصة بالبيئة.

خلص المؤلفون إلى أن تعلم متى و كيف نستكشف هو قدرة أساسية يمكن أن تحسن جودة القرار وفهم البيئة بشكل كبير، وغالبًا ما يكون ذلك أكثر فعالية من مجرد توسيع معلمات النموذج. يوفر العمل إطارًا مبدئيًا لدمج الاستكشاف في عملية الاستدلال للنماذج اللغوية الكبيرة الوكيلية، متجاوزًا استراتيجيات الاستكشاف التجريبية أو الموحدة.