💬 NLP

Self-Distilled Agentic Reinforcement Learning

تقدم الورقة البحثية إطار عمل SDAR، وهو إطار عمل مبتكر يدمج التقطير الذاتي المعتمد على السياسة (On-Policy Self-Distillation) كهدف مساعد محكوم ببوابة (gated auxiliary objective) في التعلم التعزيزي لتوفير توجيه كثيف ومستقر على مستوى الرمز (token-level) للمهام الوكيلية طويلة الأمد، متفوقاً بشكل كبير على التعلم التعزيزي القياسي والأساليب الهجينة البدائية عبر عدة معايير ونطاقات نماذج.

المؤلفون الأصليون: Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, Zi-Han Wang, Jinyang Wu, Qi Gu, Xunliang Cai, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, Zi-Han Wang, Jinyang Wu, Qi Gu, Xunliang Cai, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم متدرب ذكي ولكن غير خبير (المتدرب) كيفية التنقل في متاهة معقدة متعددة الخطوات للعثور على كنز. لديك طريقتان رئيسيتان لتعليمه:

مدرب "التجربة والخطأ" (التعلم التعزيزي): تترك المتدرب يتجول في المتاهة. إذا اصطدم بحائط، يتلقى إشارة "آه". إذا اقترب من الكنز، يتلقى إشارة "عمل جيد". هذا الأسلوب رائع لتعلم الصورة الكبيرة، لكن التغذية الراجعة بطيئة وغامضة. أنت لا تعرف إلا في النهاية تماماً أين وقع الخطأ، وليس أي خطوة محددة كانت خاطئة.
الموجه "المساعد الفائق" (التقطير الذاتي): لديك نسخة من المتدرب تمتلك "ورقة غش" سرية (سياق متميز، مثل خريطة أو قائمة مهارات). يراقب هذا الموجه المتدرب ويهمس له: "لا تنعطف يساراً هنا، بل انعطف يميناً!" أو "عمل رائع!" مقابل كل كلمة ينطقها.

المشكلة:
تشير الورقة البحثية إلى أن مجرد جعل الموجه يهمس باستمرار هو أمر خطير.

الانحراف (The Drift): بينما يتحرك المتدرب في عمق المتاهة، قد يبدأ في ارتكاب الأخطاء. إذا استمر الموجه في الهمس بناءً على "ورقة الغش" الأصلية الخاصة به، فقد يبدأ في تقديم نصائح سيئة لأن الموقف قد تغير. هذا يجعل المتدرب مرتبكاً، ويؤدي إلى انهيار عملية التدريب بأكملها.
الهمس السيئ (The Bad Whisper): أحياناً يقول الموجه: "لا تفعل ذلك!" لأن ورقة الغش خاطئة أو غير ذات صلة بهذا المنعطف تحديداً. إذا استمع المتدرب بعمى لكل "لا تفعل"، فقد يتوقف عن القيام بالأشياء الجيدة لمجرد أن الموجه كان مرتبكاً.

الحل: SDAR (التعلم التعزيزي الوكيل المقطر ذاتياً)
ابتكر المؤلفون طريقة جديدة تسمى SDAR. فكر في SDAR كمن يعطي المتدرب مقبض تحكم ذكي وقابل للتعديل لصوت الموجه.

بدلاً من أن يصرخ الموجه بالتعليمات في كل لحظة، يستخدم النظام "بوابة" (فلتر ذكي) لتقرير مدى علو صوت الموجه لكل كلمة ينطقها المتدرب.

عندما يكون الموجه محقاً: إذا اتفق الموجه مع المتدرب وقال: "نعم، هذه حركة رائعة!" (إشارة إيجابية)، يتم رفع مستوى الصوت. يستمع المتدرب بتركيز ويتعلم من تلك اللحظة المحددة.
عندما يكون الموجه مرتبكاً أو مخطئاً: إذا قال الموجه: "لا، لا تفعل ذلك!" بينما المتدرب في الواقع على المسار الصحيح، أو إذا كانت ورقة الغش الخاصة بالموجه فوضوية لهذا المنعطف، يتم خفض مستوى الصوت إلى همس أو كتم صوت الموجه تماماً. هنا يتجاهل المتدرب النصيحة السيئة ويستمر في الاستماع إلى مدربه الخاص بأسلوب "التجربة والخطأ".

تشبيه "الفلتر الذكي"
تخيل أن الموجه هو محطة إذاعية.

الطريقة القديمة (Naive GRPO+OPSD): تعمل الإذاعة على مدار الساعة. أحياناً تبث موسيقى مفيدة، وأحياناً أخرى تبث ضجيجاً أو أغاني خاطئة. يحاول المتدرب الرقص على كل شيء، فيصاب بالدوار ويسقط.
SDAR: تمتلك الإذاعة مستشعراً. فهي لا تعزف الموسيقى إلا عندما تتوافق النغمات مع حركات رقص المتدرب تماماً. إذا كانت الموسيقى خارج الإيقاع (نصيحة سيئة)، يقوم المستشعر بكتم صوتها. يتعلم المتدرب فقط في اللحظات التي تكون فيها الموسيقى جيدة حقاً.

ما وجدته الورقة البحثية
اختبر الباحثون هذه الطريقة على ثلاث "متاهات" (مهام) مختلفة:

ALFWorld: لعبة نصية حيث يتعين عليك تنظيف غرفة ووضع الأشياء في أماكن محددة.
WebShop: محاكاة للتسوق عبر الإنترنت حيث يتعين عليك العثور على عناصر معينة وشرائها.
Search-QA: مهمة تتطلب البحث في الإنترنت للإجابة على أسئلة صعبة.

وقد وجدوا أن:

SDAR هو الفائز: لقد تعلم بشكل أسرع وحقق درجات أفضل من استخدام مدرب "التجربة والخطأ" وحده، وكان أكثر استقراراً بكثير من ترك الموجه يصرخ باستمرار.
يتعامل جيداً مع الخرائط السيئة: حتى لو كانت "ورقة الغش" (المهارات) عشوائية أو منخفضة الجودة، فإن SDAR ظل يعمل بنجاح. لقد تجاهل الفلتر الذكي النصائح السيئة من الخريطة العشوائية واستمع فقط إلى الأجزاء الجيدة.
يعمل مع الأدمغة الصغيرة والكبيرة: اختبروا هذه الطريقة على أحجام مختلفة من نماذج الذكاء الاصطناعي (من الصغيرة إلى الكبيرة)، وقد نجحت مع جميعها.

باختصار
SDAR هي طريقة تدريب تجمع بين نهج "التعلم من خلال الفعل" ونهج "التعلم من خلال الاستماع"، ولكنها تضيف فلترًا ذكيًا لضمان أن المتدرب يستمع إلى المعلم فقط عندما يكون المعلم مفيداً بالفعل. هذا يمنع المتدرب من الارتباك بسبب النصائح السيئة ويؤدي إلى وكيل أكثر موثوقية وذكاءً.

ملخص تقني: التعلم المعزز الوكيل بالتقطير الذاتي (SDAR)

بيان المشكلة

أصبح التعلم المعزز (RL) نموذجًا مركزيًا للتدريب اللاحق لوكلاء النماذج اللغوية الكبيرة (LLM)، لا سيما في التفاعلات متعددة الأدوار وطويلة الأمد. ومع ذلك، يعتمد التعلم المعزز القياسي على إشارات مكافأة على مستوى المسار (trajectory-level)، والتي توفر إشرافًا سطحيًا فقط للمهام المعقدة متعددة الخطوات. ولمعالجة ذلك، تم اقتراح التقطير الذاتي داخل السياسة (On-Policy Self-Distillation - OPSD) لتقديم توجيه كثيف على مستوى الرمز (token-level) من فرع "المعلم" المعزز بسياق متميز (مثل المهارات المسترجعة).

على الرغم من جاذبيته النظرية، فإن نقل OPSD إلى الوكلاء متعددي الأدوار يواجه تحديين حرجين حددهما هذا العمل:

عدم الاستقرار في تعدد الأدوار: مع ابتعاد الوكيل "الطالب" عن المسار المدعوم من قِبل "المعلم"، يصبح الإشراف على مستوى الرمز غير موثوق به بشكل متزايد. يؤدي هذا إلى تراكم الأخطاء، وارتفاع حاد في تباعد KL لكل دور، وتدهور كارثي في أداء المهمة.
الثقة غير المتماثلة في التوجيه المتميز: في حالة OPSD المشروط بالمهارة، يكون المعلم هو نفس السياسة المعززة بسياق متميز (مثل المهارات المسترجعة)، وليس نموذجًا أقوى بطبيعته. وبناءً عليه، فإن "الفجوة السلبية" (حيث يمنح المعلم احتمالية أقل للرمز مقارنة بالطالب) لا تعني دائمًا وجوب كبح هذا الرمز. قد ينتج ذلك بدلاً من ذلك عن استرجاع غير كامل للمهارات، أو مهارات غير ذات صلة، أو فشل المعلم في ربط المهارات بتفضيلات موثوقة. إن معاملة جميع إشارات المعلم بالتساوي يؤدي إلى عدم الاستقرار، خاصة عندما تشكل الرموز ذات الفجوة السلبية جزءًا كبيرًا من بيانات التدريب (لوحظ أنها تتجاوز 50% في الدراسات الأولية).

تفشل النهج الهجينة الحالية (مثل مجرد إضافة خسارة OPSD إلى التعلم المعزز RL) أو أساليب المنهج الدراسي الصارمة في حل هذه المشكلات، حيث تعاني غالبًا من تدرجات تقطير غير محدودة تطغى على إشارة التعلم المعزز، أو تعتمد على جداول زمنية مصممة يدويًا لا تتكيف مع ديناميكيات مستوى الرمز.

المنهجية: SDAR

يقترح المؤلفون التعلم المعزز الوكيل بالتقطير الذاتي (SDAR)، وهو إطار عمل يعامل OPSD كهدف مساعد يتم التحكم فيه بعناية مع الحفاظ على التعلم المعزز (RL) كعمود فقري أساسي للتحسين. الابتكار الجوهري هو آلية بوابات تكيفية على مستوى الرمز تعمل على تنظيم شدة إشارة التقطير بناءً على موثوقية توجيه المعلم.

1. إطار التحسين

يجمع هدف التدريب الإجمالي بين خسارة تحسين السياسة النسبي للمجموعات (GRPO) القياسية وخسارة التقطير الذاتي ذات البوابة:
$\mathcal{L}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda_{SDAR} \cdot \mathcal{L}_{SDAR}(\theta)$

$\mathcal{L}_{GRPO}$ : خسارة التعلم المعزز الأساسية، المدفوعة بمكافآت البيئة وردود فعل الموثق، وتظل دون تغيير للحفاظ على تحسين السياسة غير المنحاز.
$\mathcal{L}_{SDAR}$ : خسارة التقطير المساعدة، والتي يتم تطبيقها بشكل انتقائي.

2. آلية البوابة على مستوى الرمز

بدلاً من تطبيق التقطير بشكل موحد، يحسب SDAR بوابة $g_t \in [0, 1]$ لكل رمز $t$ للتحكم في شدة تأثير المعلم.

الفجوة بين المعلم والطالب ( $\Delta_t$ ): تُعرف بأنها فرق اللوغاريتم الاحتمالي بين المعلم المتميز والطالب: $\Delta_t = \log \pi_T(y_t | s^+_t) - \log \pi_\theta(y_t | s_t)$ .
بوابة السجمويد (Sigmoid Gating): يتم تمرير الفجوة عبر دالة سجمويد مع معامل حدة $\beta$ $β$ :
$g_t = \sigma(\beta \cdot \Delta_t)$
يخلق هذا وزنًا سلسًا وقابلاً للاشتقاق يعمل على:
- تضخيم التقطير للرموز ذات الفجوة الإيجابية (حيث يؤيد المعلم خيار الطالب)، والتعامل معها كإرشاد عالي الثقة.
- تخفيف التقطير للرموز ذات الفجوة السلبية (حيث يختلف المعلم)، مما يمنع النموذج من اتباع المهارات التي قد تكون ضوضائية أو غير ذات صلة بشكل أعمى.
إيقاف التدرج (Stop-Gradient): يتم فصل البوابة $g_t$ عن حساب التدرج. يضمن ذلك أن تعمل البوابة كمجرد وزن للثقة، مما يمنع حلقات التحسين ذاتية المرجعية ويضمن تحديثات مستقرة من الدرجة الأولى.

3. استرجاع المهارة والسياق

يستخدم SDAR فرع "المعلم الذاتي" الذي يشترط السياق المتميز $c^+$ (مثل المهارات المسترجعة من SkillBank). يقيم الإطار المتانة عبر أربعة استراتيجيات استرجاع: UCB (حد الثقة العلوي)، ومطابقة الكلمات المفتاحية، والاسترجاع الكامل، والاسترجاع العشوائي. تم تصميم آلية البوابة لتصفية الضوضاء الناتجة عن المهارات منخفضة الجودة أو غير ذات الصلة.

المساهمات الرئيسية

تحديد الثقة غير المتماثلة: يثبت البحث أن التوجيه المتميز في تدريب الوكلاء متعددي الأدوار هو بطبيعته غير متماثل. فالتأييدات الإيجابية من معلم يمتلك سياقًا متميزًا هي موثوقة، لكن الرفض السلبي قد ينبع من عدم استقرار السياق وليس من جودة الرمز.
البوابة التكيفية على مستوى الرمز: يقدم SDAR استراتيجية بوابة مبتكرة تسمح لكل رمز بتنظيم شدة التقطير الخاصة به ذاتيًا. هذا يستبدل الجداول الزمنية الصارمة المصممة يدويًا بمنهج دراسي دينامي ذاتي الوتيرة يعمل عند أدق التفاصيل.
الاستقرار والمتانة: من خلال فصل إشارة التقطير عن هدف التعلم المعزز الأساسي وتطبيق التخفيف الناعم للإشارات السلبية، يتجنب SDAR عدم الاستقرار الكارثي الملاحظ في تركيبات GRPO+OPSD الساذجة.
استيعاب المعرفة: على عكس الأساليب التي تعتمد على مهارات خارجية وقت الاستدلال، ينجح SDAR في استيعاب المعرفة المتميزة داخل معاملات السياسة، مما يتيح أداءً قويًا حتى بدون مهارات مسترجعة أثناء الاختبار.

النتائج التجريبية

قيم المؤلفون SDAR في ثلاثة معايض متنوعة: ALFWorld (الذكاء الاصطรรมي المتجسد)، وSearch-QA (الاستدلال المعزز بالبحث)، وWebShop (التفاعل في التجارة الإلكترونية). أُجريت التجارب على عائلات نماذج Qwen2.5 (3B, 7B) وQwen3 (1.7B).

مكاسب الأداء: يتفوق SDAR بشكل كبير على خط الأساس GRPO.
- ALFWorld: تحسن بنسبة +9.4% في Qwen2.5-3B.
- Search-QA: تحسن بنسبة +7.0%.
- WebShop: تحسن بنسبة +10.2% في الدقة (Qwen2.5-7B).
المقارنة مع النماذج الهجينة: يتفوق SDAR باستمرار على النماذج الهجينة مثل Skill-SD وRLSD عبر جميع أحجام النماذج. والجدير بالذكر أنه يتجنب الانهيار في الأداء الذي يشهده GRPO+OPSD الساذج (والذي يتدهور بشكل كبير في النماذج الأصغر مثل Qwen3-1.7B).
المتانة تجاه جودة الاسترجاع: من النتائج الحاسمة أن SDAR يتدهور تدريجيًا مع جودة الاسترجاع. حتى مع الاسترجاع العشوائي (صفر وعي بالمهمة)، يتفوق SDAR على خط الأساس GRPO النقي. هذا يؤكد أن آلية البوابة تعمل بفعالية على تصفية الضوضاء من المهارات منخفضة الجودة، واستخراج الإشارات المفيدة فقط.
الاستقلال عن الاستدلال: يحقق SDAR نتائج هي الأفضل في فئته دون الحاجة إلى استرجاع المهارات في وقت الاستدلال، مما يدل على الاستيعاب الحقيقي للمعرفة. على سبيل المثال، في ALFWorld مع Qwen2.5-3B، يتفوق SDAR (84.4%) على Skill-GRPO* (80.5%)، الذي يعتمد على المهارات في وقت الاختبار.

الأهمية والادعاءات

يزعم البحث أن SDAR يقدم حلاً مبدئيًا لعدم الاستقرار في تطبيق التقطير الذاتي في التعلم المعزز الوكيل متعدد الأدوار. ومن خلال معاملة التقطير كهدف مساعد ذي بوابة بدلاً من كونه محركًا أساسيًا أو قيدًا صارمًا، يوفق SDAR بين التحسين واسع النطية المدفوع بالبيئة في التعلم المعزز وبين التوجيه الكثيف على مستوى الرمز من السياق المتميز.

يؤكد المؤلفون أن نهجهم لا يتطلب نموذج معلم منفصل وأقوى؛ بل يستفيد من نفس السياسة المعززة بسياق متميز، مما يجعله قابلاً للتوسع وعمليًا. وتُقدم قدرة آلية البوابة على التعامل مع التوجيه غير المتماثل — عبر الوثوق بالإشارات الإيجابية مع التخفيف المتحفظ للإشارات السلبية — كعامل رئيسي لاستقرار التدريب متعدد الأدوار وتمكين التعميم القوي عبر أحجام النماذج ومجالات المهام المختلفة. يشير العمل إلى أنه بالنسبة للوكلاء متعددي الأدوار، يجب أن يظل التعلم المعزز هو العمود الفقري الأساسي، مع كون التقطير منظمًا ديناميكيًا على مستوى الرمز وليس مشرفًا ثابتًا.