🤖 AI

Confidence-Orchestrated Self-Evolution against Uncertain LLM Feedback

تقترح الورقة البحثية COSE، وهو إطار عمل ذاتي التطور يستفيد من الثقة الجوهرية للنماذج اللغوية الكبيرة لتعديل التعلم عبر تحديثات خوارزمية PPO الموزونة بالثقة وإعادة التشغيل ذات الأولوية، مما يقلل بفعالية من مخاطر الأحكام الذاتية الخاطئة ويحقق أداءً فائقاً عبر معايير الاستدلال والرياضيات.

المؤلفون الأصليون: Bowen Wei, Nan Wang, Yuqing Zhou, Jinhao Pan, Ziwei Zhu

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bowen Wei, Nan Wang, Yuqing Zhou, Jinhao Pan, Ziwei Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل طالباً يحاول تعلم الرياضيات، ولكن بدلاً من وجود معلم، يقوم بتعليم نفسه. يكتب هو بنفسه مسائل التدريب، ويحاول حلها، ثم يصحح عمله بنفسه. هذا هو مفهوم نماذج اللغات الكبيرة ذاتية التطور (Self-Evolving LLMs).

تجادل الورقة البحثية بأنه بينما تعد فكرة "التعليم الذاتي" هذه قوية، إلا أنها تعاني من عيب رئيسي: الطالب ليس دائماً حكماً جيداً على عمله. فأحياناً، يكتب الطالب سؤالاً سيئاً، أو يعتقد أن إجابة خاطئة هي إجابة صحيحة، وبالتالي يكافئ نفسه بالخطأ عن غير قصد. ومع مرور الوقت، يؤدي ذلك إلى إرباك الطالب ويجعله أسوأ حالاً.

تقترح المؤلفة طريقة جديدة تسمى COSE (التطور الذاتي الموجه بالثقة). وإليك كيف تعمل باستخدام تشبيهات بسيطة:

المشكلة: "الطالب الواثق بزيادة"

في التعليم الذاتي التقليدي، إذا قال الطالب: "لقد أجبت بشكل صحيح!" ومنح نفسه نجمة ذهبية، فإن الكمبيوتر يأخذ هذه النجمة كحقيقة مطلقة ويقوم بتحديث دماغه للقيام بذلك أكثر.

المخاطرة: إذا كان الطالب في الواقع يخمن وصادف أنه مخطئ، ولكنه يشعر بثقة كبيرة، فإنه يمنح نفسه نجمة ذهبية على أي حال. عندها يتعلم الكمبيوتر كيف يكون مخطئاً بثقة.

الحل: COSE (مقياس الثقة)

تضيف COSE قاعدة بسيطة: "لا تستمع فقط لما يقوله الطالب؛ بل استمع إلى مدى تأكده مما يقوله."

بدلاً من معاملة كل إجابة تم تصحيحها ذاتياً بالتساوي، تقوم COSE بفحص "مقياس ثقة" الطالب (والذي يتم حسابه من خلال النظر في مدى عدم يقين العمليات الحسابية الداخلية للكمبيوتر عند إنشاء الدرجة).

1. "مقبض التحكم في الصوت" (التحديثات الموزونة بالثقة)

تخيل أن الطالب يصرخ: "لقد أجبت بشكل صحيح!"

ثقة عالية: إذا كان الطالب يصرخ بيقين تام، تقوم COSE برفع مستوى الصوت. يستمع الكمبيوتر بتركيز ويتعلم من هذا التقييم.
ثقة منخفضة: إذا كان الطالب يتمتم أو يبدو غير متأكد (حتى لو قال "لقد أجبت بشكل صحيح")، تقوم COSE بخفض مستوى الصوت. هي تعامل التقييم كهمس؛ يسمعه الكمبيوتر، لكنه لا يغير دماغه بشكل جذري.
النتيجة: إذا كان الطالب مخطئاً ولكنه واثق، يكون مستوى الصوت منخفضاً، لذا لا تفسد الأخطاء عملية التعلم. وإذا كان الطالب غير متأكد ولكنه مصيب، يكون مستوى الصوت منخفضاً أيضاً، لذا لا يتجاهل الكمبيوتر درساً قد يكون مفيداً.

2. "قائمة تشغيل التدريب" (إعادة التشغيل ذات الأولوية للثقة)

تخيل أن لدى الطالب قائمة تشغيل لمسائل التدريب للمراجعة.

الطريقة القديمة: يختار الطالب المسائل بشكل عشوائي.
طريقة COSE: يختار الطالب المسائل التي هي "مثالية تماماً".
- يتخطى المسائل السهلة جداً (التي يعرفها الطالب بالفعل).
- يتخطى المسائل الصعبة جداً أو التي تم تقييمها بثقة منخفضة (حيث يكون الطالب مجرد مخمن).
- يركز على "منطقة جولدي لوكس" (المنطقة المثالية): المسائل التي تم التحقق منها بثقة عالية وكانت صعبة قليلاً. هذا يضمن أن يتدرب الطالب على المواد الأكثر فائدة.

ما وجدته الورقة البحثية

اختبر الباحثون هذه الطريقة على 19 اختباراً مختلفاً (تغطي الاستنتاج العام، والرياضيات، والبرمجة) باستخدام أربعة نماذج ذكاء اصطناعي مختلفة.

الفوز الكبير: جعلت COSE نماذج الذكاء الاصطناعي أكثر ذكاءً في الاستنتاج والرياضيات باستمرار مقارنة بطرق التعليم الذاتي الأخرى. وكانت جيدة بشكل خاص في مساعدة النماذج الأضعف على التحسن دون أن ترتبك بسبب أخطائها الخاصة.
شبكة الأمان: بالنسبة لمهام البرمجة، حيث يمكن للكمبيوترات فعلياً تشغيل الكود لرؤية ما إذا كان يعمل (وهو حكم خارجي مثالي)، لم تضر COSE في الأداء. لقد أظهرت أن هذه الطريقة آمنة؛ فهي تغير فقط كيفية تعلم الذكاء الاصطناعي عندما يضطر للاعتماد على حكمه الخاص.
القصور: تعترف الورقة بأن COSE ليست سحراً. إذا كان الذكاء الاصطناعي مخطئاً بثقة بشأن شيء معقد (مثل برهان رياضي صعب)، فقد تسمح COSE بمرور القليل من هذا الخطأ، ولكن بمستوى صوت منخفض. إنها تقلل الضجيج، لكنها لا تقضي عليه تماماً.

باختة شديدة

فكر في COSE كـ مدرب تعليم ذاتي ذكي. هي لا تمنع الذكاء الاصطناعي من تعليم نفسه، ولكنها تضيف مرشحاً (فلتر): "إذا لم تكن متأكداً من تقييمك لنفسك، فلا تدع هذا التقييم يغير دماغك كثيراً." هذا يمنع الذكاء الاصطناعي من اكتساب عادات سيئة عن طريق الخطأ لمجرد أنه شعر بالثقة تجاهها.

ملخص تقني: التطور الذاتي الموجه بالثقة (COSE)

بيان المشكلة

تهدف نماذج اللغات الكبيرة (LLMs) ذاتية التطور إلى تحسين قدرات الاستدلال من خلال توليد مهام تدريب خاصة بها، وحلها، والتعلم من التغذية الراجعة المولدة ذاتيًا دون الاعتماد كليًا على الإشراف البشري المنسق. ومع ذلك، تبرز عقبة حرجة في المجالات التي لا يمكن فيها التحقق من الحلول عبر التنفيذ (مثل الكود البرمجي) أو المطابقة الدقيقة (مثل الرياضيات). في هذه الإعدادات "ذات النطاق المفتوح"، يجب على النموذج أن يعمل كـ مُحقق (Validator) (لتقييم صلاحية المهمة) وكـ قاضٍ (Judge) (لتقييم صحة الإجابة) في آن واحد.

التحدي الجوهري هو التغذية الراجعة ذاتية التوليد المشوبة بالضجيج. فالنموذج القادر على توليد مهام صعبة قد يفتقر إلى القدرة على التحقق من صحتها بشكل صحيح أو الحكم على صحة الإجابات المقترحة. عندما يؤيد النموذج عن طريق الخطأ مهمة معيبة أو يحكم خطأً بصحة إجابة خاطئة، تتحول هذه الأخطاء إلى إشارات مكافأة. في حلقات التطور الذاتي القياسية، تؤدي هذه الإشارات الخاطئة إلى دفع تحديثات التدرج (gradient updates) التي تعزز أنماط الاستدلال غير الصحيحة، مما يؤدي إلى عدم استقرار التحسين أو تدهور الأداء. تعتمد الأساليب الحالية إما على مُحقِّقين خارجيين (مما يحد من العمومية) أو تعامل جميع التغذية الراجعة المولدة ذاتيًا كإشراف موثوق به تمامًا، متجاهلةً حالة عدم اليقين المتأصلة في عملية توليد التغذية الراجعة.

المنهجية: COSE

يقترح المؤلفون إطار عمل COSE (التطور الذاتي الموجه بالثقة)، وهو إطار يستخدم الثقة الجوهرية للنموذج كإشارة عدم يقين خفيفة الوزن لتنظيم عملية التعلم. يستخدم COSE نموذجًا أساسيًا واحدًا $\pi_\theta$ يتم توجيهه للقيام بأربعة أدوار: المقترح (Proposer) (يولد الأسئلة)، المُحقق (Validator) (يسجل جودة السؤال)، الحلال (Solver) (يولد الإجابات)، والقاضي (Judge) (يسجل صحة الإجابة).

الابتكار الجوهري يكمن في تقدير الثقة مباشرة من توزيع مخرجات مستوى الرمز (token-level output distribution) للمُحقق والقاضي أثناء توليد التغذية الراجعة، بدلاً من معاملة التغذية الراجعة كعلامة (label) حقيقية.

1. تقدير الثقة

يحسب COSE الثقة ( $c$ ) بناءً على الإنتروبيا المعيارية لتوزيع مخرجات الرموز للنموذج. بالنسبة لرمز مولد $t$ بتوزيع احتمالي $P_t$ على المفردات $\mathcal{V}$ :
$c_t = 1 - \frac{H(P_t)}{\log |\mathcal{V}|}$
تكون ثقة التسلسل ( $c_{seq}$ ) هي متوسط ثقات مستوى الرموز. يعمل هذا المقياس كمؤشر استرشادي لعدم اليقين: الإنتروبيا المنخفضة (الثقة العالية) تعني أن النموذج واثق من حكمه، بينما الإنتروبيا العالية (الثقة المنخفضة) تشير إلى عدم اليقين.

2. تحسين PPO الموزون بالثقة

يدمج COSE درجات الثقة هذه في هدف تحسين السياسة القريبة (PPO) لضبط مساهمة كل عينة في التدرج.

وزن المقترح ( $w_P$ ): يضبط التحديثات بناءً على جودة السؤال ( $v$ ) وثقة المُحقق ( $c_V$ ):
$w_P(q) = \text{clip}(v(q) \cdot c_V(q), 0.1, 1.0)$
وزن الحلال ( $w_S$ ): يضبط التحديثات بناءً على جودة السؤال، وثقة المُحقق، وثقة القاضي ( $c_J$ ):
$w_S(q, a) = \text{clip}(v(q) \cdot c_V(q) \cdot c_J(q, a), 0.1, 1.0)$
من خلال وضع حد أدنى للوزن عند 0.1 بدلاً من استبعاد العينات غير المؤكدة تمامًا، يحافظ COSE على الاستكشاف مع منع التغذية الراجعة عالية التباين ومنخفضة الثقة من الهيمنة على عملية التحسين.

3. إعادة التشغيل ذات الأولوية للثقة

تعطي ذاكرة إعادة التشغيل (replay buffer) الأولوية للأسئلة التي ليست صالحة فحسب، بل تقع أيضًا بالقرب من حدود قدرة النموذج الحالية. تُعرف الأولوية كالتالي:
$\text{priority}(q) \propto v(q) \cdot c_V(q) \cdot \max(4p(q)(1-p(q)), 0.1)$
هنا، $p(q)$ هو متوسط معدل الحل. يتم تعظيم الحدث $4p(q)(1-p(q))$ عندما يكون $p(q) \approx 0.5$ ، مما يركز التدريب على الأسئلة التي يستطيع النموذج حلها نصف الوقت تقريبًا ("حد التعلم"). تضمن مصطلحات الثقة عدم الإفراط في أخذ عينات الأسئلة ذات التحقق غير المؤكد.

المساهمات الرئيسية

تحديد عقبة التحسين: يحدد البحث أن التغذية الراجعة ذاتية التوليد المشوبة بالضوضاء (سواء في التحقق أو الحكم) هي عقبة مركزية في تحسين عملية التطور الذاتي لنماذج اللغات الكبيرة، وهي تختلف عن مجرد ندرة البيانات.
صياغة التحكم في التدريب: صاغ المؤلفون المشكلة كمسأية تحكم في التدريب لكل عينة، حيث يتم تنظيم تأثير إشارة التغذية الراجعة على التعلم بواسطة الثقة الجوهرية لها.
التحقق التجريبي: من خلال تجارب واسعة النطاق عبر 19 اختبارًا مرجعيًا محجوزًا وأربعة نماذج أساسية (من عائلات Qwen وLlama، ببارامترات تتراوح بين 0.6B و4B)، أثبت COSE أنه يحسن الأداء باستمرار مقارنة بالنماذج الأساسية ويتفوق على أو يضاهي النماذج المرجعية السابقة للتطور الذاتي (مثل AZR وMAE وR-Zero).

النتائج التجريبية

يغطي التقييم الاستدلال العام، والرياضيات، وتوليد الكود البرمجي.

الاستدلال العام: يحقق COSE أعلى متوسط أداء عبر النماذج الأربعة. ومن الملاحظ أنه في النماذج الأضعف مثل Qwen3-0.6B وLlama-3.2-3B، يحقق COSE مكاسب كبيرة (على سبيل المثال، +28.5 نقطة في Qwen3-0.6B)، متفوقًا بشكل كبير على النماذج المرجعية. ويعزو المؤلفون ذلك إلى أن النماذج الأضعف تنتج تغذية راجعة أكثر ضجيجًا؛ حيث يعمل وزن الثقة في COSE بفعالية على تخفيف تأثير هذه الأخطاء، بينما تقوم النماذج المرجعية بتعزيزها.
الرياضيات: يظهر COSE أكبر التحسينات في الاختبارات المرجعية الرياضية الصعبة (مثل Olympiad-Bench وMinerva). تشير النتائج إلى أن التحكم في الثقة حيوي بشكل خاص عندما يتعين على القاضي التمييز بين الاشتقاقات التي تبدو منطقية ولكنها خاطئة، وهو سيناريو غالبًا ما تفشل فيه عملية الحكم الذاتي الساذجة.
توليد الكود البرمجي: في المجالات التي تتوفر فيها عملية تحقق قابلة للتنفيذ (الكود)، يظل COSE منافسًا. وبينما قد تؤدي الطرق التي تعتمد على مُحقِّقين خارجيين (مثل AZR) إلى أداء أفضل قليلاً في نماذج معينة، إلا أن COSE لا يعاني من تراجع كبير. يشير هذا إلى أن وزن الثقة لا يضر بالأداء في المجالات التي تكون فيها التغذية الراجعة موثوقة بالفعل.
دراسات الاستبعاد (Ablation Studies): تسبب إزالة تحسين PPO الموزون بالثقة أكبر انخفاض في الأداء، لا سيما في الرياضيات، مما يؤكد أن التحكم في قوة التدرج هو المحرك الرئيسي للنجاح. أما إزالة أولوية إعادة التشغيل فقد أدت إلى تأثير سلبي أصغر ولكنه مستمر.

الأهمية والادعاءات

يزعم البحث أن التطور الذاتي يصبح أكثر فعالية عندما لا تكتفي النماذج بالتعلم من تغذيتها الراجعة الخاصة، بل تتحكم أيضًا في مدى قوة تأثير التغذية الراجعة غير المؤكدة على التدريب.

المتانة: يوفر COSE آلية لمنع تضخيم الأخطاء في حلقات التطور الذاتي. فهو يسمح للنماذج بالاستفيد من البيانات المولدة ذاتيًا حتى عندما يكون المُحقق/القاضي غير مثالي، بشرط أن يتمكن النموذج من إدراك عدم اليقين الخاص به.
القدرة على التعميم: على عكس الأساليب المقيدة بالمجالات القابلة للتنفيذ، يتيح COSE التطور الذاتي في مهام الاستدلال ذات النطاق المفتوح حيث لا تتوفر مُحقِّقون خارجيون.
التواضع: يصرح المؤلفون صراحةً بأن الثقة هي إشارة استرشادية لعدم اليقين، وليست ضمانًا للصحة. ويقرون بأن المخرجات عالية الثقة يمكن أن تظل خاطئة، خاصة في المسائل العدائية أو الخارجة عن التوزيع. علاوة على ذلك، تعتمد الطريقة على الوصول إلى احتمالات مستوى الرمز (logits)، مما يحد من تطبيقها المباشر على الواجهات البرمجية (APIs) التي تعمل بنظام الصندوق الأسود دون استراتيجيات أخذ عينات إضافية. كما أن التجارب أُجريت على نماذج مفتوحة الأوزان صغيرة نسبيًا (0.6B–4B)، ولا يزال سلوك التوسع مع النماذج الأكبر سؤالًا مفتوحًا للعمل المستقبلي.

باختاء، يمثل COSE تحولًا من معامل التغذية الراجعة ذاتية التوليد كإشراف موحد إلى معاملتها كإشارة موزونة، حيث يتم تحديد الوزن بناءً على ثقة النموذج في إنتاج تلك الإشارة. هذا النهج يثبت عملية التطور الذاتي، خاصة في المرحلة المتوسطة الصعبة حيث تتحسن النماذج ولكن قدراتها في التقييم الذاتي لا تزال مشوبة بالضجيج.