💬 NLP

Learning to Self-Evolve

تقدم الورقة البحثية إطار "التعلم للتطور الذاتي" (LSE)، وهو إطار عمل للتعلم التعزيزي يدرب النماذج اللغوية الكبيرة على تحسين سياقاتها ذاتياً بشكل تكراري أثناء وقت الاختبار، مما يمكّن نموذجاً بـ 4 مليارات معلمة من التفوق بشكل ملحوظ على النماذج الأكبر حجماً وطرق التحسين الحالية في مهام الاستدلال المعقدة.

المؤلفون الأصليون: Xiaoyin Chen, Canwen Xu, Yite Wang, Boyi Liu, Zhewei Yao, Yuxiong He

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaoyin Chen, Canwen Xu, Yite Wang, Boyi Liu, Zhewei Yao, Yuxiong He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً عبقرياً ولكنه عنيد قليلاً. تعطيه مهمة، فيبذل قصارى جهده، ثم تقول له: "مهلاً، هذا الجزء كان جيداً، لكن ذلك الجزء كان مربكاً".

في عالم الذكاء الاصطناعي، معظم النماذج تشبه المساعدين الذين يستمعون إلى ملاحظاتك، يومئون برؤوسهم بأدب، ثم ينسونها فوراً بمجرد بدء المهمة التالية. إنهم نماذج ثابتة؛ لا يصبحون "أذكى" بمرور الوقت لمجرد القيام بمزيد من العمل. هم يكتسبون الذكاء فقط خلال فترة تدريبهم الأولية، وبمجرد تخرجهم، يبقون كما هم تماماً للأبد.

تقدم هذه الورقة البحثية إطار عمل جديداً يسمى التعلم من أجل التطور الذاتي (LSE). فكر في الأمر كأنك تعلم هذا المساعد قدرة خارقة جديدة: القدرة على إعادة كتابة دليل تعليماته الخاص بناءً على أخطائه.

إليك كيف يعمل الأمر، مقسماً عبر بعض التشبيهات من الحياة اليومية:

1. المشكلة: "زر إعادة الضبط"

تخيل طباخاً يعد ألف وجبة. بعد كل وجبة، يقدم الزبون ملاحظاته: "مالح جداً"، "يحتاج لمزيد من الثوم".

الذكاء الاصطناعي القديم: يكتب الطباخ الملاحظات في دفتر ملاحظات، لكنه يرمي الدفتر بعيداً قبل طهي الوجبة التالية. تُطهى الوجبة التالية بنفس الطريقة تماماً كما كانت الوجبة الأولى، بغض النظر عن الملاحظات.
الهدف: نريد طباخاً يقرأ الدفتر، ويغير الوصفة قبل الوجبة التالية، ويصبح أفضل في كل مرة.

2. الحل: "التعلم من أجل التطور الذاتي" (LSE)

ابتكر الباحثون نظاماً لا يكتفي فيه الذكاء الاصطناعي بـ "التخمين" لكيفية تحسين تعليماته؛ بل هو يدرب نفسه ليكون محرراً بارعاً.

عملية "التعديل": بدلاً من تغيير دماغ الذكاء الاصطناعي (أوزانه الرياضية المعقدة)، يقوم LSE بتغيير السياق (المطالبة أو دليل التعليمات). الأمر يشبه تعديل بطاقة الوصفة بدلاً من محاولة إعادة توصيل أسلاك دماغ الطباخ.
نظام المكافأة (لوحة النتائج): هذا هو السر الحقيقي. عادةً، تكافئ الذكاء الاصطناعي إذا حصل على درجة عالية (مثلاً: "لقد أصبت بنسبة 90%!").
- الخلل: إذا بدأ الذكاء الاصطناعي بوصفة سيئة للغاية (20% درجة) وأصبحت أفضل قليلاً (30%)، فقد يتجاهله نظام المكافأة القياسي لأن 30% لا تزال منخفضة. ولكن إذا بدأ الذكاء الاصطناعي بوصفة مثالية (90%) وأفسدها بالخطأ (80%)، فسيُعاقب بشدة.
- إصلاح LSE: يكافئ LSE التحسن. هو يسأل: "هل جعلت الوصفة أفضل مما كانت عليه قبل أن تلمسها؟"
- التشبيه: تخيل مدرب غولف. المدرب التقليدي يمدحك فقط إذا حققت "البار" (Par). أما مدرب LSE فيمدحك إذا قللت ضرباتك عن جولتك السابقة، حتى لو كنت لا تزال تسجل "بوجي" (Bogey). هذا يعلم الذكاء الاصطناعي التركيز على التحسن، وليس فقط على الوصول للكمال.

3. استراتيجية "الشجرة": لا تسلك الطريق الخاطئ

إذا استمررت في تعديل الوصفة واحدة تلو الأخرى، فقد تفسد بالخطأ وصفة جيدة بإجراء تغيير واحد سيء. الأمر يشبه السير في طريق ما ثم تدرك متأخراً أنك اتخذت منعطفاً خاطئاً.

البحث الشجري: يستخدم LSE نهجاً "موجهاً بالشجرة". تخيل كتاب مغامرات تختار مسارك فيه.
- يجرب الذكاء الاصطناعي تغييراً (الفرع أ).
- يجرب تغييراً مختلفاً (الفرع ب).
- يختبر كليهما. إذا أدى الفرع (أ) إلى كارثة، فإن النظام لا يعلق هناك، بل "يتراجع" ويجرب الفرع (ب).
- يحتفظ بخريطة لكل المسارات الجيدة التي وجدها، مما يضمن عدم علوقه في "طريق مسدود" من التعليمات السيئة.

4. المفاجأة الكبرى: الصغير هو القوي

الجزء الأكثر إثارة في الورقة البحثية هو النتيجة.

استخدموا نموذج ذكاء اصطناعي صغير نسبياً (4 مليارات بارامتر).
قاموا بتدريبه باستخدام طريقة "التطور الذاتي" هذه.
النتيجة: تفوق هذا النموذج الصغير والمدرب على نماذج ضخمة وفائقة الذكاء (مثل GPT-5 و Claude Sonnet) التي لم تُدرب على التطور الذاتي.

التشبيه: الأمر يشبه متدرباً صغيراً ومُدرباً جيداً يعرف كيف يتعلم من أخطائه، يهزم عبقرياً ضخماً غير مدرب يرفض التغيير. المتدرب يفوز لأنه يمتلك مهارة التحسن، وليس مجرد الذكاء الخام.

لماذا يهم هذا؟

حالياً، إذا أردت أن يكون الذكاء الاصطناعي أفضل في وظيفة محددة (مثل كتابة أكواد SQL أو الإجابة على أسئلة طبية)، يجب عليك إعادة تدريب النموذج بالكامل من الصفر، وهو أمر مكلف وبطيء.

مع LSE، يمكنك أخذ نموذج صغير، وتعليمه كيف يتعلم من ملاحظاته الخاصة، وتركه يتكيف أثناء العمل. إنه يحول "التحسن الذاتي" من حادثة حظ إلى مهارة قابلة للتعلم.

باختصار:
تعلم هذه الورقة نماذج الذكاء الاصطناعي أن تكون أفضل نقاد لأنفسهم. فبدلاً من انتظار إنسان لإصلاحهم، يتعلمون كيفية النظر إلى أخطائهم، وإعادة كتابة تعليماتهم، والتحسن في كل مرة يعملون فيها. والأفضل من ذلك؟ لا تحتاج إلى عقل عملاق للقيام بذلك؛ أنت فقط بحاجة إلى التدريب الصحيح لمعرفة كيف تتطور.

إليك ملخص تقني مفصل لورقة البحث "تعلم التطور الذاتي" (Learning to Self-Evolve - LSE).

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) الحالية من قصور جوهائي عند التشغيل: فهي ثابتة (Static). فبمجرد انتهاء التدريب، يطبق النموذج نفس السياسة بغض النظر عن عدد المشكلات التي يحلها، ويتخلص من الخبرة المتراكمة بمجرد إعادة ضبط السياق. وبينما توجد طرق حالية لـ "التطور الذاتي في وقت الاختبار" (مثل تحسين المطالبات التلقائي، أو الوكلاء ذاتي المرجعية)، إلا أنها تعتمد كليًا على قدرة الاستدلال المتأصلة في النموذج لتحليل التغذية الراجعة واقتراح التحسينات. لا يتم تدريب النموذج صراحةً على المهمة المحددة المتمثلة في التحسين الذاتي.

حدد المؤلفون فجوة: التطور الذاتي هو تحدٍ استدلالي متميز يتطلب تقييم فائدة السياق، وتوقع الآثار اللاحقة، والموازنة بين الاستكشاف والاستغلال—وهي مهام مثالية لـ التعلم التعزيزي (RL) ولكنها تُدار حاليًا بشكل ضمني عبر الاستدلال باللغة الطبيعية وحدها.

2. المنهجية: تعلم التطور الذاتي (LSE)

إطار عمل LSE هو إطار تعلم تعزيزي مصمم لتدريب نموذج لغوي كبير صراحةً ليعمل كـ سياسة تطور ذاتي. يعمل إطار العمل في سياق التطور الذاتي القائم على المطالبات بين الحلقات (inter-episode)، حيث يقوم النموذج بتحديث سياقه (التعليمات/المطالبات) بين مجموعات المشكلات دون تغيير معاملاته المجمدة.

أ. الصياغة الرسمية

الهدف: تعظيم المكافأة التراكمية عبر $T$ من جولات التطور.
السياسة: دالة تطور ذاتي $f_\psi$ (نموذج لغوي كبير) تأخذ السياق الحالي $c_t$ وملخص الأداء $S_t$ (مدخلات المشكلات، المخرجات، الحقيقة الأرضية، والدرجات) لتوليد سياق محدث $c_{t+1}$ .
نموذج الإجراء: نموذج لغوي كبير منفصل ومجمد ( $\pi_\theta$ ) ينفذ المهام باستخدام السياق الحالي.

ب. التطور الموجه بالشجرة (Tree-Guided Evolution)

لتجنب فخ "الجشع" في التطور الخطي (حيث يمكن لتعديل سيئ واحد أن يؤدي إلى تدهور الأداء بشكل دائم)، يستخدم LSE بحثًا موجهًا بالشجرة:

يحافظ النظام على شجرة تطور حيث تمثل العقد السياقات.
في كل خطوة، وبدلاً من مجرد تمديد العقدة الأخيرة دائمًا، يستخدم النظام حد الثقة العلوي (UCB) لاختيار العقدة (السياق) التي سيتم تطويرها بعد ذلك.
يسمح هذا للنظام بالتراجع إلى الأسلاف الواعدين الذين تم اكتشافهم سابقًا، مما يوازن بين استكشاف السياقات الجديدة واستغلال السياقات الجيدة المعروفة.

ج. هدف تدريب LSE (الابتكار الجوهري)

يقترح المؤلفون هدف تعلم تعزيزي أحادي الخطوة بدلاً من تحسين المسار متعدد الخطوات بالكامل، مما يسهل عملية تخصيص الائتمان (credit assignment).

تصميم المكافأة: بدلاً من مكافأة الأداء المطلق بعد التعديل ( $\bar{R}(c_1)$ )، يكافئ LSE التحسن بالنسبة لنقطة البداية.
$r_{LSE} = \bar{R}(c_1) - \bar{R}(c_0)$
حيث $\bar{R}(c_0)$ هو أداء ما قبل التعديل (الأساس) و $\bar{R}(c_1)$ هو أداء ما بعد التعديل.
حساب الميزة (Advantage): تسمح هذه الصيغة لاستخدام مكافأة ما قبل التعديل مباشرة كخط أساس (baseline) في تحديث تدرج السياسة، مما يلغي الإزاحات الخاصة بالمطالبة ويوفر إشارة تعلم أكثر نقاءً.
$A_{LSE} = \bar{R}(c_1) - \bar{R}(c_0)$
بيانات التدريب: لضمان تعلم السياسة كيفية تحسين السياقات التي تولدها بنفسها (وليس فقط المطالبة الأولية)، يتم بناء مجموعة بيانات التدريب عن طريق أخذ عينات من العقد من شجرة التطور $G$ عبر جولات متعددة.

3. المساهمات الرئيسية

صياغة التطور الذاتي في وقت الاختبار: تحدد الورقة التطور الذاتي بين الحلقات كمهارة قابلة للتعلم، متميزة عن الاستدلال القياسي، وتعمل من خلال تحديثات المطالبات.
إطار عمل LSE: يقدم إطار عمل للتعلم التعزيزي يدرب النموذج صراحةً ليكون سياسة تطور ذاتي باستخدام مكافأة قائمة على التحسن وآلية بحث موجهة بالشجرة.
الكفاءة والقابلية للنقل: يثبت أن نموذجًا صغيرًا تم تدريبه صراحةً (بـ 4 مليارات معلمة) يمكنه التفوق على النماذج الرائدة الأكبر بكثير وغير المدربة وخوارزميات تحسين المطالبات المتخصصة.

4. النتائج التجريبية

قيم المؤلفون LSE في مجالين: Text-to-SQL (مجموعة بيانات BIRD) و الإجابة العامة على الأسئلة (MMLU-Redux).

إعداد النموذج: كانت سياسة الإجراء وسياسة التطور الذاتي كلاهما يعتمد على Qwen3-4B-Instruct (4 مليارات معلمة).
المقارنات:
- النماذج الرائدة: تفوق LSE على نماذج GPT-5 و Claude Sonnet 4.5 غير المدربة المستخدمة كسياسات تطور ذاتي.
  - BIRD: LSE (67.3%) > GPT-5 (65.2%) > Claude (64.5%).
  - MMLU-Redux: LSE (73.3%) > GPT-5 (72.5%) > Claude (72.0%).
- طرق تحسين المطالبات: تفوق LSE على GEPA و TextGrad.
  - BIRD: LSE (67.3%) > GEPA (62.8%) > TextGrad (63.1%).
- القابلية للنقل: عند تطبيقه على نموذج متخصص مُضبط بالتعلم التعزيزي بقدر 7 مليارات معلمة (Arctic-Text2SQL-R1) دون مزيد من التدريب، نجحت سياسة LSE المدربة في تحسين الأداء بنسبة 6.7%، مما يثبت أن الاستراتيجية تعمم عبر نماذج إجراء مختلفة.
- دراسات الاستئصال (Ablation Studies):
- المكافأة: تفوقت المكافأة القائمة على التحسن ( $r_{LSE}$ ) بشكل كبير على مكافآت الدقة القياسية لما بعد التعديل.
- البحث: تفوق البحث الموجه بالشجرة (UCB) على التطور السلسلي الخطي من خلال منع التدهور غير القابل للإصلاح الناتج عن التعديلات السيئة.

5. الأهمية والآثار المترتبة

التطور الذاتي كمهارة: تجادل الورقة بأن التحسين الذاتي ليس مجرد خاصية ناشئة للنماذج الكبيرة، بل هو مهارة قابلة للتعلم يمكن تحسينها عبر التعلم التعزيزي.
النماذج الصغيرة مقابل النماذج الكبيرة: يسمح التدريب الصريح لنموذج بـ 4 مليارات معلمة بمضاهاة أو تجاوز أداء النماذج الرائدة (GPT-5، Claude) في مهمة تنقيح السياق المحددة، مما يشير إلى أن "كيفية التعلم" قد تكون أكثر أهمية من "مقدار ما تعرفه" في البيئات الديناميكية.
التكامل: تظهر النتائج أن تحسين مستوى المعلمات (تدريب الأوزان) وتحسين مستوى المطالبات (تطوير السياق) هما أمران متكاملان. يمكن لـ LSE تعزيز النماذج التي تم ضبطها بالفعل.
النشر العملي: يتجنب هذا النهج النسيان الكارثي (بما أن المعلمات مجمدة) ويقدم طريقة قابلة للتوسع لتكييف النماذج مع مجالات جديدة أو تغيرات في التوزيع عند وقت الاختبار دون إعادة تدريب النموذج الأساسي.

في الختام، يوضح بحث "تعلم التطور الذاتي" أنه من خلال معاملة تنقية السياق كمسألة تعلم تعزيزي مع مكافأة محددة قائمة على التحسن وبحث استكشافي موجه بالشجرة، يمكن تدريب النماذج الصغيرة على التكيف ديناميكيًا وتجاوز النماذج الأكبر بكثير غير المدربة.