🤖 AI

A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

تقترح هذه الورقة إطار عمل مدفوعاً بالأهداف الفرعية يجمع بين التخطيط عبر الإنترنت من خلال تفكيك الأهداف الفرعية ومنهج التعلم المعزز MiRA القائم على مكافآت المعالم، مما يعزز بشكل كبير أداء وكلاء النماذج اللغوية الكبيرة في المهام طويلة المدى على تصفح الويب، مما يمكّن النماذج مفتوحة المصدر من التفوق على الأنظمة المملوكة الرائدة.

المؤلفون الأصليون: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Taiyi Wang, Sian Gooding, Florian Hartmann, Oriana Riva, Edward Grefenstette

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جداً، ولكنه نافد الصبر قليلاً، كيف يتنقل في مدينة ضخمة وفوضوية (الإنترنت) للعثور على كنز محدد ومخفي (إنجاز مهمة معقدة مثل "ابحث عن أقرب مقهى على بعد 50 ميلاً من جامعة كارنيجي ميلون").

المشكلة هي أن الروبوت غالباً ما يضيع، أو يدور في حلقات مفرغة، أو يستسلم في منتصف الطريق لأن التعليمات غامضة والمدينة شاسعة.

تقدم هذه الورقة طريقة جديدة لتدريب هذه الروبوتات حتى لا تكتفي بمجرد "التخمين" أثناء عبورها الطريق، بل تتعلم بالفعل كيف تخطط وتنهي المهمة.

إليك تفصيل حلهم، MiRA، باستخدام تشبيهات بسيطة:

1. المشكلة: الروبوت "الضائع في المنتصف"

الوكلاء الحاليون للذكاء الاصطناعي يشبهون السياح الذين يمتلكون خريطة ممتازة لأول كتلة سكنية، ثم يصابون بالارتباك بعد ذلك.

المشكلة: عندما تكون المهمة طويلة (مثل التنقل عبر 10 مواقع إلكترونية مختلفة)، ينسى الروبوت أين بدأ. يعلق في حلقات مفرغة (ينقر على نفس الزر مراراً وتكراراً) أو يتوه في طريق مسدود.
النتيجة: حتى أذكى الروبوتات تفشل بنسبة 50% تقريباً في المهام الطويلة لأنها تفقد "خيط أفكارها".

2. الحل: تقسيم الرحلة إلى "نقاط تفتيش"

أدرك المؤلفون أنه إذا قلت للروبوت "اذهب إلى القمر"، فقد يتجمد مكانه. ولكن إذا قلت له: "أولاً، اذهب إلى المطار. ثم، اركب الطائرة. ثم، اهبط"، فبإمكانه التعامل مع الأمر.

يطلقون على نقاط التفتيش هذه اسم الأهداف الفرعية (Subgoals) أو المعالم (Milestones).

الجزء (أ): "المساعد الذكي" (التخطيط عبر الإنترنت - Online Planning)

التشبيه: تخيل أن الروبوت يقود سيارة، ولكن لديه مساعد ذكي (نموذج ذكاء اصطناعي فائق الذكاء مثل Gemini) يجلس في مقعد الرخوة بجانبه.
كيف يعمل: كل بضع خطوات، يسأل المساعد: "مهلاً، هل وصلنا بالفعل إلى نقطة التفتيش الأخيرة؟ هل لا نزال على الطريق الصحيح؟ ما هي اللوحة الإرشادية التالية التي يجب أن نبحث عنها؟"
الفائدة: إذا بدأ الروبوت بالدوران في دوائر، يقول المساعد فوراً: "توقف! أنت تسير في الاتجاه الخاطء. لنعد أدراجنا". هذا يمنع الروبوت من إضاعة الوقت والتعلق في مكان ما.

الجزء (ب): "مدرب ألعاب الفيديو" (MiRA - طريقة التدريب)

هذا هو السحر الحقيقي. عادةً ما يكون تدريب الروبوت مثل لعب لعبة فيديو حيث لا تحصل إلا على شاشة "Game Over" أو "لقد فزت" في النهاية فقط. إذا فشلت بعد المستوى الخمسين، فلن تحصل على أي ملاحظات حول سبب فشلك.

الطريقة القديمة (المكافآت الشحيحة - Sparse Rewards): يحاول الروبوت تسلق جبل. ينزلق ويسقط. لا يحصل على أي نقاط. يحاول مرة أخرى، ينزلق مجدداً. إنه لا يتعلم أبداً كيف يتسلق.
طريقة MiRA (المكافآت الكثيفة - Dense Rewards): قام المؤلفون ببناء شريط تقدم للروبوت.
- بدلاً من الانتظار حتى الوصول إلى قمة الجبل، يحصل الروبوت على "تربيتة على الكتف" (مكافأة) في كل مرة يصل فيها إلى مخيم قاعدة (هدف فرعي).
- "الناقد المحتمل" (The Potential Critic): فكر في هذا كجهاز GPS يزداد سطوعاً كلما اقتربت من نقطة التفتيش التالية. يخبر الروبوت: "أنت الآن أقرب إلى الهدف بنسبة 20%!" أو "لقد قطعت 80% من المسافة!".
- لماذا يساعد هذا: هذا يوفر للروبوت تغذية راجعة مستمرة. إنه يتعلم أن "النقر على هذا الزر" أمر جيد لأنه يحرك شريط التقدم للأمام، حتى لو لم يكمل المهمة بأكملها بعد.

3. النتائج: روبوتات صغيرة تهزم العمالقة

اختبر الفريق هذه الطريقة على نوعين من الروبوتات:

"الأدمغة الكبيرة" (النماذج المملوكة لشركات مثل Gemini): أضافوا إليها "المساعد الذكي" (التخطيط عبر الإنترنت). أصبح الروبوت أفضل بكثير في عدم الضياع، مما حسن معدل نجاحه بنسبة 10% تقريباً.
"الأدمغة الصغيرة" (النماذج مفتوحة المصدر مثل Gemma): استخدموا "مدرب ألعاب الفيديو" (MiRA) لتعليم الروبوت الصغير.
- قبل: كان الروبوت الصغير ينجح بنسبة 6.4% فقط من الوقت.
- بعد: مع MiRA، نجح بنسبة 43.0%.
- الصدمة: هذا الروبوت الصغير مفتوح المصدر، الذي تم تدريبه بهذه الطريقة الجديدة، تفوق فعلياً على الروبوتات الضخمة والمكلفة (مثل GPT-4o) والتي حققت نسبة نجاح حوالي 14% فقط.

4. لماذا هذا مهم؟

فكر في هذا كتعليم طفل كيفية خبز كعكة.

الطريقة القديمة: تقول له "اصنع كعكة". فيخلط الدقيق والماء والتراب، ويضعها في الفرن، فتتحرق. تقول له "كعكة سيئة". يحاول مرة أخرى ويحرقها مجدداً. إنه لا يتعلم أبداً.
طريقة MiRA: تعطي له وصفة بخطوات. "الخطوة 1: اخلط المكونات الجافة". (مكافأة: عمل جيد!). "الخطوة 2: أضف البيض". (مكافأة: عمل جيد!). إذا تخطى خطوة ما، فأنت توجهه بلطف للعودة للمسار.
النتيجة: يتعلم الطفل العملية، وليس فقط النتيجة. وبذلك يصبح خبازاً ماهراً بسرعة أكبر بكثير.

ملخص

تقدم هذه الورقة إطار عمل يسمى MiRA يساعد وكلاء الذكاء الاصطناعي على عدم الضياع في المهام الطويلة. يفعل ذلك من خلال:

تقسيم الأهداف الكبيرة إلى خطوات صغيرة قابلة للتحقق (الأهداف الفرعية).
تقديم تغذية راجعة مستمرة (المكافآت) لكل خطوة صغيرة يتم إكمالها، وليس فقط النتيجة النهائية.
استخدام "مساعد" (Co-Pilot) لمراجعة عمل الروبوت في الوقت الفعلي.

النتيجة؟ يمكننا الآن تدريب نماذج ذكاء اصطناعي أصغر وأرخص لتكون بارعة للغاية في التنقل في العالم الرقمي المعقد، متفوقة حتى على أكبر نماذج الذكاء الاصطناعي وأكثرها تكلفة.

إليك ملخص تقني مفصل لورقة البحث "إطار عمل مدفوع بالأهداف الفرعية لتحسين الوكلاء ذوي النماذج اللغوية الكبيرة للمهام طويلة المدى" (A Subgoal-driven Framework for Improving Long-Horizon LLM Agents) من إعداد وانغ وآخرون (Google DeepMind).

1. بيان المشكلة

أظهرت الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM agents) واعداً في البيئات الرقمية (التنقل عبر الويب، التحكم في نظام التشغيل)، لكنها تعاني بشكل كبير من المهام طويلة المدى (long-horizon tasks). وتتمثل التحديات الجوهرية المحددة فيما يلي:

فقدان التخطيط: أثناء التنفيذ الفعلي، غالباً ما يفقد الوكلاء تتبع الهدف النهائي مع وصول معلومات جديدة، مما يؤدي إلى سلوكيات "التعثر في منتصف المهمة" (حلقات تكرارية) أو مسارات غير مثالية.
المكافآت الشحيحة: في الضبط الدقيق باستخدام التعلم التعزيزي (RL)، تكون إشارة المكافأة عادةً ثنائية (نجاح/فشل) ومتأخرة حتى نهاية تسلسل طويل. وهذا يجعل تحديد المسؤولية (credit assignment) صعباً، مما يمنع الوكلاء من تعلم أي الخطوات الوسيطة أدت إلى النجاح.
فجوة الأداء: حتى النماذج المملوكة المتطورة (مثل Gemini 2.5 Pro) والنماذج مفتوحة المصدر تعاني من تدهور حاد في الأداء مع زيادة تعقيد المهمة وطول التسلسل. في اختبارات مثل WebArena-Lite، تفشل الوكلاء بشكل متكرر في التقدم لما بعد الخطوات القليلة الأولى.

2. المنهجية: الإطار المدفوع بالأهداف الفرعية

يقترح المؤلفون إطار عمل موحداً يدمس تفكيك الأهداف الفرعية الصريح في كل من مرحلتي الاستدلال (التخطيط) والتدريب (التعلم التعزيزي). يتكون الإطار من ثلاثة مكونات:

أ. تحليل الفشل الآلي

قبل تصميم الحل، بنى المؤلفون محللاً آلياً باستخدام نموذج معلم قوي (Gemini-2.5-Flash) لفحص مسارات الوكيل.

الوظيفة: يقوم بتصنيف حالات الفشل إلى أنماط (مثل "التعثر في المنتصف"، "الإنهاء الخاطئ"، "الفشل في المحاولة") ويحدد بدقة خطوة القرار الرئيسية (Key Decision Step) التي انحرف عندها الوكيل عن المسار الناجح.
النتيجة: نمط الفشل المهيمن عبر جميع النماذج هو "التعثر في المنتصف" (حوالي 42-49% من حالات الفشل)، مما يشير إلى نقص في التخطيط القوي طويل المدى والتصحيح الذاتي.

ب. التخطيط أثناء الاستدلال: وضع العلامات المرحلية الديناميكية (SGO)

لتحسين التنفيذ عبر الإنترنت، يقدم الإطار مولد الأهداف الفرعية (SGG) وحلقة تخطيط في الوقت الفعلي.

توليد الأهداف الفرعية: يقوم نموذج معلم (Gemini-2.5-Pro) بتفكيك نوايا المستخدم عالية المستوى إلى قائمة مهيكلة من الأهداف الفرعية الوسيطة (العلامات المرحلية).
التأمل الاسترجاعي: عند كل خطوة، يستعلم الوكيل عن تاريخ تفاعله مقابل قائمة الأهداف الفرعية. ويسأل:
1. ما هي العلامات المرحلية التي حققتها؟
2. هل أكملت الهدف الفرعي الحالي؟
3. ما هي العلامات المرحلية المستقبلية المتبقية؟
الآلية: هذا يخلق حلقة "وعي بالموقف". إذا لم يتحقق هدف فرعي، يعيد الوكيل التخطيط؛ وإذا تحقق، يثبت الحالة وينتقل إلى التالي. هذا يمنع الهلوسة ويكسر الحلقات التكرارية.

ج. الضبط الدقيق للتعلم التعزيزي خارج الإنترنت: MiRA (تعزيز وكيلك بالتعلم التعزيزي عبر وضع العلامات المرحلية)

لمعالجة مشكلة المكافأة الشحيحة في التدريب، يقدم المؤلفون MiRA، وهو إطار عمل للتعلم التعزيزي يستخدم تشكيل المكافأة القائم على الإمكانات (Potential-Based Reward Shaping).

بنية الناقد المزدوج (Dual-Critic Architecture):
1. ناقد القيمة ( $V_\phi$ ): يتنبأ باحتمالية نجاح المهمة النهائية (نتيجة ثنائية).
2. ناقد الإمكانات ( $P_\psi$ ): نموذج تقدم كثيف مُدرب للتنبؤ بكسر الأهداف الفرعية المكتملة. يعمل كـ "شريط تقدم" للوكيل.
تشكيل المكافأة: بدلاً من انتظار المكافأة النهائية، يتلقى الوكيل مكافأة مساعدة كثيفة عند كل خطوة بناءً على التغير في دالة الإمكانات:
$r'_t = r_t + \alpha [P_\psi(s_{t+1}, g) - P_\psi(s_t, g)]$
هذا يوجه الوكيل نحو العلامات المرحلية الوسيطة، مما يؤدي فعلياً إلى تنعيم مشهد التحسين.
تحسين السياسة: يتم تحديث الفاعل (actor) باستخدام انحدار متوسط مربعات الخطأ (MSE regression) على نسب الاحتمالية اللوغاريتمية (مشابه لـ DPO ولكن مكيف لـ RL)، مما يوفر استقراراً أفضل وكفاءة عينات خارج السياسة مقارنة بتقليل تباعد KL القياسي.
المنهج التعليمي التكراري: حلقة التدريب ديناميكية. يتم تحليل المسارات الفاشلة لتوليد توزيعات مهام أصعب للمرحلة التالية، مما يعالج نقاط ضعف الوكيل تدريجياً.

3. المساهمات الرئيسية

التحليل الآلي للفشل: أداة منهجية تقيس ظاهرة "التعثر في منتصف المهمة"، مما يوفر دافعاً قائماً على البيانات للتدخل القائم على الأهداف الفرعية.
وضع العلامات المرحلية الديناميكي (الاستدلال): آلية تخطيط في الوقت الفعلي تستخدم قوائم الأهداف الفرعية لترسيخ استدلال الوكيل، مما يقلل الهلوسة ويمكّن التصحيح الذاتي دون زمن انتقال باهظ.
MiRA (التدريب): إطار عمل جديد للتعلم التعزيزي يدمج نماذج مكافأة العمليات (PRMs) مع علامات مرحلية صريحة وقابلة للتحقق. يستبدل المكافآت الثنائية الشحيحة بإشارات تشكيل كثيفة قائمة على العلامات المرحلية، مما يحسن بشكل كبير تحديد المسؤولية في المهام طويلة المدى.
أداء رائد (State-of-the-Art): إثبات أن نموذج Gemma-3 بحجم 12B مفتوح المصدر تم تدريبه باستخدام MiRA يمكنه التفوق على النماذج المملوكة الأكبر بكثير.

4. النتائج التجريبية

تم تقييم الإطار على WebArena-Lite (165 مهمة عبر 5 مجالات: التسوق، الخرائط، Reddit، Gitlab، CMS).

أداء النماذج مفتوحة المصدر:
- حقق Gemma-3-12B + MiRA معدل نجاح متوسط قدره 43.0%.
- هذا يتفوق بشكل كبير على السجل السابق لأفضل النماذج مفتوحة المصدر WebRL (38.4%) ونماذج SFT القياسية.
- والأهم من ذلك، أنه يتفوق على العمالقة المملوكين: GPT-4-Turbo (17.6%) و GPT-4o (13.9%).
أداء النماذج المملوكة:
- تطبيق إطار الاستدلال SGO (الموجه نحو الأهداف الفرعية) على Gemini-2.5-Pro رفع معدل نجاحه من 23.0% إلى 32.1% (زيادة مطلقة بنحو 10%).
تحليل نمط الفشل:
- انخفض معدل خطأ "التعثر في المنتصف" من ~48% (Base Gemini Pro) إلى 39.87% باستخدام SGO.
- قلل MiRA من معدل "التعثر" في النماذج المفتوحة من 33% (SFT) إلى **21%**.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة ناقد الإمكانات (التشكيل الكثيف) إلى استقرار الأداء عند ~35%، مما يؤكد ضرورة المكافآت الكثيفة.
- استخدام تباعد KL بدلاً من انحدار MSE أدى إلى تقارب أبطأ وأداء نهائي أقل.

5. الأهمية والأثر

سد الفجوة: تثبت الورقة أن التخطيط الصريح (عبر الأهداف الفرعية) مقترناً بـ تشكيل المكافأة الكثيف أكثر فعالية من مجرد زيادة حجم بارامترات النموذج. يمكن لنموذج مفتوح بحجم 12B أن يتفوق على الأنظمة المملوكية الضخمة عندما يتم تجهيزه ببنية التدريب والاستدلال الصحيحة.
حل الاستدلال طويل المدى: تعالج الورقة الاختناق الأساسي المتمثل في "تحديد المسؤولية" في اتخاذ القرار المتسلسل، وتظهر أن تقسيم المهام إلى علامات مرحلية قابلة للتحقق هو استراتيجية قوية لكل من التدريب والاستدلال.
الطريق نحو الوكلاء ذاتيي التطور: يوضح الإطار نظاماً مغلق الحلقة حيث يمكن لنموذج قوي تشخيص إخفاقاته، وتوليد مناهج تعليمية، وتدريب خلف له، مما يمهد الطريق لوكلاء رقميين مستقلين وذاتيي التحسين.
العملية: النهج فعال حاسوبياً؛ حيث يخصص استراتيجية الاستدلال الديناميكية "ميزانية التفكير" فقط عند الضرورة، مما يوازن بين زمن الاستجابة والأداء.

في الختام، يثبت هذا العمل أن وضع العلامات المرحلية (Milestoning) —سواء كأداة تخطيط أو كإشارة تدريب— هو مكون حاسم لبناء وكلاء مستقلين أقوياء وعامّين قادرين على التنقل في البيئات الرقمية المعقدة وطويلة المدى.