🤖 machine learning

Co-Evolution of Policy and Internal Reward for Language Agents

تقترح الورقة البحثية إطار عمل "Self-Guide"، وهو إطار حيث تقوم الوكلاء اللغوية بتطوير مشترك لسياساتها وإشارة مكافأة داخلية مُولدة ذاتياً لتوفير توجيه للأفعال أثناء وقت الاستدلال وإشراف أكثر كثافة أثناء وقت التدريب، مما يتغلب على قيود المكافآت الخارجية الشحيحة ويحقق مكاسب أداء كبيرة.

المؤلفون الأصليون: Xinyu Wang, Hanwei Wu, Jingwei Song, Shuyuan Zhang, Jiayi Zhang, Fanqi Kong, Tung Sum Thomas Kwok, Xiao-Wen Chang, Yuyu Luo, Chenglin Wu, Bang Liu

نُشر 2026-04-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinyu Wang, Hanwei Wu, Jingwei Song, Shuyuan Zhang, Jiayi Zhang, Fanqi Kong, Tung Sum Thomas Kwok, Xiao-Wen Chang, Yuyu Luo, Chenglin Wu, Bang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية التنقل في متاهة ضخمة ومربكة للعثور على كنز مخفي. المشكلة هي أن المتاهة ضخمة، والروبوت لا يتلقى سوى رسالة "عمل جيد!" أو "لقد فشلت!" في نهاية الرحلة تماماً. ليس لديه أدنى فكرة عما إذا كان القرار الذي اتخذه قبل خمس دقائق ذكياً أم أنه مجرد إضاعة للوقت في الدوران حول نفسه. هذه هي مشكلة "المكافأة الشحيحة" (sparse reward) التي تؤرق وكلاء الذكاء الاصطناعي اليوم.

تقدم ورقة بحثية بعنوان "التطور المشترك للسياسة والمكافأة الداخلية" (Co-Evolution of Policy and Internal Reward) حلاً ذكياً يسمى Self-Guide. فكر في الأمر كأنك تعلم الروبوت كيف يتحدث مع نفسه.

إليك كيف يعمل ذلك، مقسماً بتبسيط عبر التشبيهات:

1. المشكلة: "المتاهة الصامتة"

في التدريب التقليدي، يتخذ الروبوت (وكيل الذكاء الاصطناي) خطوات، ويبقى المحيط صامتاً حتى النهاية.

التشبيه: تخيل أنك تلعب لعبة فيديو حيث لا يمكنك رؤية نتيجتك إلا بعد إنهاء المستوى بالكامل. إذا سقطت في حفرة في الخطوة الثالثة، فلن تعرف ذلك حتى تخسر اللعبة في الخطوة المئة. قد تستمر في السقوط في الحفر لأنك لا تعرف أي حركة محددة تسببت في الفشل.

2. الحل: "المونولوج الداخلي" (Self-Guide)

يقترح المؤلفون أن يتوقف الروبوت قبل كل حركة وييسأل نفسه: "هل أنا على المسار الصحيح؟"

كيف يعمل: قبل اتخاذ أي إجراء، يولد الروبوت فكرة لفظية قصيرة (مثل "أنا أقترب"، "أنا عالق"، أو "هذا يبدو سيئاً").
السر: هذه الفكرة ليست لمجرد العرض فقط؛ فهي تخدم غرضين في آن واحد:
1. في اللحظة الراهنة (الاستدلال): تعمل كبوصلة، تساعد الروبوت على اتخاذ الخطوة التالية فوراً.
2. من أجل التعلم (التدريب): يقوم الروبوت بحفظ هذه الأفكار كـ "بطاقة تقييم". لاحقاً، عندما يحين وقت التعلم من الأخطاء، يستخدم هذه الدرجات التي ولدها بنفسه ليعرف أي الخطوات كانت جيدة وأيها كانت سيئة، حتى بدون النتيجة النهائية للعبة.

3. مشكلة "البيضة والدجاجة"

هناك عقبة. في البداية، يكون الروبوت مثل الطفل؛ "صوته الداخلي" من المرجح أن يكون خاطئاً. إذا تركت طفلاً يقيم أداءه بنفسه، فقد يعتقد أنه عبقري بينما هو في الواقع يفشل، مما يؤدي إلى تدريب سيء.

التشبيه: تخيل طالباً يتعلم للتو عزف البيانو. إذا قام بتقييم جلسات تدريبه فوراً، فقد يعتقد أنه مثالي لأنه لا يعرف بعد ما هو "العزف الجيد".

4. الحل: "جدول الثقة"

لحل هذه المشكلة، استخدم المؤلفون "جدول ثقة مرحلي" (Stage-Wise Trust Schedule). هم لا يثقون في صوت الروبوت الداخلي منذ البداية، بل يعاملونه كمتدرب:

المرحلة 1 (الإحماء): يتحدث الروبوت إلى نفسه للمساعدة في اتخاذ القرارات، لكن لا أحد يستمع إلى "درجاته". هو يتعلم فقط من إشارة "نهاية اللعبة" أو "النجاح" النهائية. هذا يسمح للروبوت بأن يصبح أفضل في التحدث إلى نفسه دون أن ينخدع بأحكامه السيئة.
المرحلة 2 (الترقية): بمجرد أن يتدرب الروبوت بما يكفي ويصبح صوته الداخلي أكثر موثوقية، يبدأ النظام في الاستماع إلى تقييمه الذاتي. يقوم النظام بدمج درجات الروبوت الذاتية مع درجات اللعبة النهائية لتدريبه بشكل أسرع.
المرحلة 3 (التلاشي): مع اقتراب النهاية، يتوقفون تدريجياً عن الاعتماد على الدرجات الذاتية ويعودون إلى قواعد اللعبة الحقيقية. هذا يضمن عدم إصابة الروبوت بـ "الغرور" ونسيان الهدف الفعلي.

5. النتيجة: حلقة تحسين ذاتي

الجزء الأكثر إثارة هو "التطور المشترك" (Co-Evolution).

كلما أصبح الروبوت أفضل في اللعبة، أصبح "صوته الداخلي" أكثر ذكاءً.
وكلما أصبح "صوته الداخلي" أكثر ذكاءً، قدم نصائح أفضل، مما يجعل الروبوت أفضل في اللعبة.
إنها حلقة تغذية راجعة إيجابية حيث يعلم الوكيل نفسه كيف يعلم نفسه.

التأثير في العالم الحقيقي

اختبر الباحثون هذا على ثلاث "متاهات" مختلفة:

ALFWorld: منزل افتراضي حيث يتعين على الروبوت العثة على أشياء (مثل "ضع الطماطم في الثلاجة").
ScienceWorld: مختبر افتراضي حيث يتعين على الروبوت خلط المواد الكيميائية وإجراء التجارب.
WebShop: متجر إلكتروني محاكي حيث يتعين على الروبوت البحث عن عناصر محددة وشرائها.

النتيجة:
الروبوتات التي استخدمت Self-Guide لم تتعلم بشكل أسرع فحسب، بل ارتكبت أخطاءً أقل سخافة (مثل الدوران في دوائر أو شراء العنصر الخاطئ). وحتى بدون أي معلمين بشريين إضافيين، تعلمت الروبوتات توليد إشاراتها الخاصة مثل "عمل جيد" و"حاول مرة أخرى"، مما حسن أداءها بنسبة تقارب 8% مقارنة بالطرق القياسية.

الخلاصة الكبرى

بدلاً من انتظار معلم ليخبر الذكاء الاصطناعي ما إذا كان قد أبلى بلاءً حسناً، تعلم هذه الطريقة الذكاء الاصطناعي كيف يستمع إلى حدسه الخاص. من خلال السماح للذكاء الاصطناعي بتوليد تغذيته الراجعة الخاصة والثقة في هذه التغذية الراجدة تدريجياً، فإن ذلك يخلق وكيلاً أكثر ذكاءً واعتماداً على نفسه، قادراً على حل المشكلات المعقدة وطويلة الأمد بفعالية أكبر بكثير.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التطور المشترك للسياسة والمكافأة الداخلية للوكلاء اللغويين" (Co-Evolution of Policy and Internal Reward for Language Agents).

1. بيان المشكلة

تواجه وكلاء النماذج اللغوية الكبيرة (LLM) التي تعمل في بيئات تفاعلية طويلة المدى (مثل تصفح الويب، أو التجارب العلمية) مشكلة أساسية وهي عنق زجاجة المكافأة المتناثرة (Sparse Reward Bottleneck).

التحديد: عادة ما يتلقى الوكلاء التغذية الراجعة فقط في نهاية المسار (المكافأة النهائية)، مما يجعل من الصعب تحديد المسؤولية عن القرارات البينية. وهذا يعيق كلاً من اتخاذ القرار أثناء الاستدلال (عدم وضوح ما إذا كان المسار الحالي صحيحاً) وتحسين السياسة أثناء التدريب (نقص الإشارات الكثيفة لتحديثات التدرج).
قصور الطرق الحالية:
- تحديد المسؤولية البعدي (Post-hoc credit assignment): يعيد توزيع المسؤولية بعد جمع المسارات، لكنه لا يقدم أي توجيه أثناء الاستدلال.
- نماذج المكافأة الخارجية: تسبب عبئاً إضافياً، واحتمالية حدوث انزياح في التوزيع، وتفصل عملية توليد المكافأة عن السياسة، مما يمنع وجود حلقة تعلم موحدة.
- التأمل الذاتي الثابت (Static Self-Reflection): الطرق التي تستخدم إشارات توجيه ذاتية ثابتة غالباً ما تفشل لأن جودة التوجيه تعتمد على نضج السياسة، مما يخلق مشكلة "البيضة والدجاجة".

2. المنهجية: التوجيه الذاتي (Self-Guide)

يقترح المؤلفون إطار عمل Self-Guide، وهو إطار موحد حيث يولد الوكيل إشارة مكافأة داخلية خاصة به تعمل لغرضين مزدوجين: التوجيه أثناء الاستدلال والإشراف أثناء التدريب.

الآلية الجوهرية

يعمل الوكيل في حلقة، حيث يقوم في كل خطوة $t$ بما يلي:

التوليد الذاتي: يولد النموذج إشارة توجيه ذاتي لفظية $z_t$ (تقييم لغوي طبيعي للتقدم) بناءً على التاريخ $h_{t-1}$ والملاحظة الحالية $o_t$ .
$z_t \sim \pi_\theta(\cdot | h_{t-1}, o_t)$
اختيار الإجراء: يختار النموذج الإجراء التالي $a_t$ مشروطاً بكل من التاريخ وإشارة التوجيه المولدة ذاتياً.
$a_t \sim \pi_\theta(\cdot | h_{t-1}, o_t, z_t)$
تحويل المكافأة: يتم تحويل الإشارة اللفظية $z_t$ إلى مكافأة داخلية عددية $r^{sg}_t$ (على سبيل المثال: +0.1 لـ "إيجابي/تقدم"، 0 لـ "محايد"، -0.1 لـ "سلبي/ضار").
المكافأة المركبة: يتم تجميع المكافأة الداخلية ودمجها مع مكافأة البيئة المتناثرة $R_{env}$ لتشكيل إشارة تدريب موحدة:
$R(\tau; u) = R_{env}(\tau) + \lambda(u) \sum_{t=1}^{T} r^{sg}_t$
حيث أن $\lambda(u)$ هو معامل يعتمد على المرحلة ويتحكم في وزن المكافأة الداخلية.

الابتكار الرئيسي: جدول الثقة المرحلي (Stage-Wise Trust Schedule)

لمعالجة عدم استقرار استخدام المكافآت المولدة ذاتياً غير الناضجة في وقت مبكر من التدريب، قدم المؤلفون جدول ثقة شبه منحرف لـ $\lambda(u)$ :

المرحلة الأولى (الإحماء): $\lambda = 0$ . يستخدم الوكيل التوجيه الذاتي للاستدلال (لتوجيه الإجراءات) ولكنه لا يتلقى مكافأة داخلية. هذا يسمح للسياسة بتعلم توليد توجيه مفيد بناءً على التغذية الراجعة البيئية فقط دون أن تُعاقب بسبب أحكامها غير الناضجة.
المرحلة الثانية (التنشيط): يرتفع $\lambda$ خطياً من 0 إلى 1. يتم إدخال المكافأة الداخلية تدريجياً لتجنب صدمة التحسين.
المرحلة الثالثة (التطور المشترك الكامل): $\lambda = 1$ . يستخدم الوكيل المكافأة الداخلية الكثيفة بالكامل، مما يخلق حلقة تعزيز ذاتي حيث تؤدي السياسة الأفضل $\leftarrow$ إلى توجيه أفضل $\leftarrow$ إلى مكافأة أفضل $\leftarrow$ إلى سياسة أفضل.
المرحلة الرابعة (التخميد/التقليل): ينخفض $\lambda$ من 1 إلى 0. يضمن هذا توافق السياسة النهائية مع هدف البيئة الحقيقي، مما يمنع السياسة من الإفراط في التكيف (overfitting) مع إشارة المكافأة الداخلية (التي ليست قائمة على الإمكانات وقد تسبب انحيازاً للحل).

3. المساهمات الرئيسية

إطار عمل Self-Guide: طريقة مبتكرة حيث يولد الوكيل إشارة واحدة ( $z_t$ ) تعمل كآلية توجيه أثناء الاستيداد وآساس مكافأة كثيفة أثناء التدريب.
التدريب بالتطور المشترك: يوضح أن السياسة والمكافأة الداخلية يجب أن تتحسنا معاً عبر الإنترنت (online). تظهر الورقة أن التقطير غير المتصل (offline distillation) للتوجيه الذاتي من نموذج معلم أكبر يفشل في الانتقال بشكل موثوق بسبب عدم تطابق التوزيع، بينما ينجح التطور المشترك عبر الإنترنت.
جدول الثقة المرحلي: آلية جدولة قوية تعمل على استقرار تدريب المكافآات المولدة ذاتياً، مما يحل مشكلة التمهيد (bootstrap problem) لاستخدام الإشارات غير الناضجة في التحسين.
التحسين الموحد: هذه الطريقة متوافقة مع خوارزميات التعلم التعزيزي المختلفة (تم التحقق منها باستخدام GRPO و DAPO) ولا تتطلب نماذج مكافأة خارجية أو مقيمين منفصلين.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة اختبارات مرجعية: ALFWorld (المهام المنزلية)، و ScienceWorld (الاستدلال العلمي)، و WebShop (التجارة الإلكترونية). شملت النماذج المختبرة Qwen3-1.7B، و Qwen3-4B، و Qwen2.5-7B.

مكاسب وقت الاستدلال: حتى بدون تدريب التعلم التعزيزي، أدى إضافة Self-Guide إلى ReAct (أي ReAct w/ SG) إلى تحسين الأداء بشكل كبير في المهام المنظمة (على سبيل المثال: +10.9% في ALFWorld لنموذج Qwen3-1.7B) من خلال تقليل التكرار والاستكشاف غير الضروري.
مكاسب وقت التدريب:
- تفوق GRPO w/ SG & GR (الطريقة الكاملة) باستمرار على نموذج GRPO الأساسي عبر جميع النماذج والبيئات.
- التحسن الكمي: حققت الطريقة الكاملة على نموذج Qwen3-4B تحسناً متوسطاً بنحو 8% مقارنة بـ GRPO المدرب فقط على مكافآت البيئة.
- دراسات الاستبعاد (Ablation Studies):
  - المكافأة الفورية: تقديم المكافأة الداخلية فوراً (بدون مرحلة الإحماء) أعطى نتائج أسوأ من النموذج الأساسي، مما يؤكد الحاجة إلى جدول الثقة.
  - التقطير غير المتصل: فشل استخدام نموذج توجيه ذاتي مستخلص من نموذج معلم أكبر في تقديم مكاسب مستقرة، مما يثبت ضرورة التطور المشترك عبر الإنترنت.
  - التخميد (Annealing): أدى إزالة مرحلة التخميد المتأخرة إلى تراجع طفيف في الأداء، مما يسلط الضوء على أهمية مواءمة السياسة النهائية مع هدف البيئة الحقيقي.

5. الأهمية

تغير هذه الورقة بشكل جذري نموذج تدريب الوكلاء من الاعتماد فقط على التغذية الراجعة الخارجية إلى تعلم التقييم الذاتي.

الكفاءة: تلغي الحاجة إلى نماذج مكافأة خارجية أو نماذج مكافأة عملياتية (PRMs)، مما يقلل من العبء الحسابي والتعقيد الهندسي.
القابلية للتوسع: من خلال تمكين الوكلاء من توليد إشارات إشراف كثيفة خاصة بهم، تعالج الورقة مشكلة المكافأة المتناثرة المتأصلة في المهام المعقدة وطويلة المدى.
الاستقرار: يوفر جدول الثقة المرحلي وصفة عملية لاستقرار العملية غير المستقرة بطبيعتها المتمثلة في تدريب وكيل على مكافآته المولدة ذاتياً.
العمومية: النهج مستقل عن الخوارزمية (يعمل مع GRPO و DAPO) ومستقل عن النموذج، مما يشير إلى قابلية تطبيق واسعة لتحسين الوكلاء اللغويين في مجالات تفاعلية متنوعة.

في الختام، تثبت الورقة أن الوكلاء اللغويين يمكنهم تحسين أدائهم بشكل كبير ليس فقط من خلال جمع المزيد من الخبرات، ولكن من خلال تعلم توليد وصقل إشارات المكافأة الداخلية الخاصة بهم أثناء عمليات العمل والتعلم.