💬 NLP

General learned delegation by clones

تقدم الورقة البحثية SELFCEST، وهو إطار عمل يستخدم التعلم التعزيزي الوكيل لتدريب نموذج لغوي أساسي على إنشاء وتنسيق نسخ متوازية ذات أوزان متماثلة بشكل ديناميكي، مما يؤدي إلى تحسين كفاءة الدقة مقابل التكلفة والقدرة على التعميم في مهام الاستدلال المعقدة مقارنة بالنماذج أحادية البنية.

المؤلفون الأصليون: Darren Li, Meiqi Chen, Chenze Shao, Fandong Meng, Jie Zhou

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Darren Li, Meiqi Chen, Chenze Shao, Fandong Meng, Jie Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق بارع ولكنك مثقل بالأعباء، تحاول حل لغز ضخم ومعقد. لديك وقت محدد بدقة وإمدادات محدودة من الطاقة (الرموز/Tokens).

الطريقة القديمة:
تقليديًا، إذا تعثر المحقق (الذكاء الاصطناعي)، فإنه يحاول القيام بشيئين:

أسلوب "التفكير بعمق أكبر": يجلس وحيدًا في غرفة ويفكر في المشكلة لفترة طويلة جدًا، ويكتب صفحات وصفحات من الملاحظات. هذا بطيء ويستهلك كل طاقتك.
أسلوب "التخمين والتحقق": يصنع 100 نسخة من نفسه، ويرسلها جميعًا إلى الغرفة لمحاولة حل اللغز بالكامل من الصفر، ثم يختار أفضل إجابة. هذا أسلوب هدّار لأن 99 نسخة منها ستكرر نفس الأخطاء أو تضيع الوقت في أجزاء من اللغز لا تحتاج لحلها.

الطريقة الجديدة (SELFCEST):
تقدم الورقة استراتيجية جديدة تسمى SELFCEST. بدلًا من العمل بمفرده أو صنع 100 نسخة للقيام بالمهمة كاملة، يتعلم المحقق الرئيسي (الوكيل الجذر - Root Agent) كيف يكون مديرًا ذكيًا.

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

1. مفهوم "الاستنساخ" (The Clone Concept)

تخيل أن المحقق الرئيسي لديه قدرة سحرية على إنشاء نسخ (Clones) من نفسه فورًا. هذه النسخ متطابقة في الذكاء (تستخدم نفس "الدماغ" أو أوزان النموذج)، ولكن يتم إرسالها للعمل على مهام أصغر ومحددة.

المشكلة: "احسب التكلفة الإجمالية لمشروع معقد يتضمن 10 عناصر مختلفة."
الذكاء الاصطناعي القديم: يحاول حساب الـ 10 عناصر في قائمة واحدة طويلة ومربكة.
الذكاء الاصطناعي بنظام SELFCEST:
- الوكيل الجذر (Root Agent) ينظر إلى القائمة ويقول: "هذا كبير جدًا على شخص واحد".
- يقوم بإنشاء النسخة (أ) لحساب تكلفة أول 3 عناصر.
- يقوم بإنشاء النسخة (ب) لحساب الثلاثة التالية.
- يقوم بإنشاء النسخة (ج) للتعامل مع الضرائب.
- بمجرد انتهاء النسخ من مهامها الصغيرة، ترسل نتائجها إلى الوكيل الجذر.
- يأخذ الوكيل الجذر تلك الإجابات الثلاث الصغيرة، ويجمعها، ويحل المشكلة النهائية.

2. تعلم التفويض (المدرب)

السحر لا يكمن فقط في صنع النسخ؛ بل في تعلم متى وكيف تستخدمها.

فكر في الذكاء الاصطناعي كـ مدرب رياضي لم يلعب اللعبة من قبل، لكنه يشاهد ملايين المباريات.

في البداية، قد يتخذ المدرب قرارات سيئة: "أرسل 50 نسخة للقيام بمسألة رياضية صغيرة واحدة!" (هذا هدر).
أو، "أرسل نسخة واحدة للقيام بكل شيء!" (هذا بطيء للغاية).
من خلال التعلم التعزيزي (Reinforcement Learning) (التجربة والخطأ)، يحصل المدرب على "درجة" فقط عندما تكون الإجابة النهائية صحيحة.
بمرور الوقت، يتعلم المدرب: "آه، عندما تكون المشكلة عبارة عن معادلة رياضية طويلة، يجب علي تقسيمها. وعندما تكون قصة قصيرة، يجب أن أقرأها بنفسي فقط".

يتعلم الذكاء الاصطناعي كيف يكون مدير موارد ذكي. هو يقرر:

ماذا يقسم؟
كم عدد النسخ التي يرسلها؟
كم مقدار الوقت (السياق/Context) الذي يعطيه لكل نسخة؟

3. مشكلة "تحديد المسؤولية" (من يستحق الفضل؟)

هذا هو الجزء الأصعب في الورقة البحثية. إذا فاز الفريق، فمن يستحق الكأس؟

إذا قامت النسخة (أ) بعمل رائع، لكن النسخة (ب) أخطأت في عملية الجمع النهائية، وفشل الوكيل الجذر، فهل يُعاقب النسخة (أ)؟
تحل الورقة هذا الأمر باستخدام قاعدة "الحارس" (Gatekeeper). إذا خرجت نسخة عن المسار (مثل الدخول في حلقة مفرغة أو نفاد الوقت)، فإن النظام يقول فعليًا: "نتجاهل محاولة هذه النسخة في جولة التدريب هذه". هذا يحافظ على استقرار التدريب حتى لا يرتبك الذكاء الاصطناعي بسبب أخطائه الخاصة.

لماذا يعد هذا أمرًا مهمًا؟

الكفاءة: يحل المشكلات الصعبة باستخدام كلمات أقل (رموز/Tokens) ووقت أقل مما لو حاول القيام بها دفعة واحدة.
التعميم: هو لا يتعلم فقط حل المسائل الرياضية؛ بل يتعلم مهارة التفويض. وهذا يعني أنه يمكنه تطبيق هذه المهارة على أنواع جديدة من المشكلات، مثل قراءة كتاب طويل للعثور على حقيقة محددة (Multi-hop QA) أو حل لغز منطقي معقد.
التكلفة: في العالم الحقيقي، يكلف الذكاء الاصطناعي مالاً مقابل كل كلمة يتم إنتاجها. يعلم SELFCEST الذكاء الاصطناعي أن يكون مقتصدًا، بحيث يحصل على أفضل إجابة بأقل سعر.

الخلاصة

يحول SELFCEST الذكاء الاصطناعي من مجرد كيان منعزل إلى قائد فريق. إنه يعلم الذكاء الاصطناعي التوقف عن محاولة حمل العالم كله على عاتقه، وبدلاً من ذلك، يتعلم كيفية بناء فريق مؤقت وفعال من "النسخ" للتعامل مع أجزاء محددة من المهمة، ثم إعادة النتائج معًا. إنه الفرق بين ذئب وحيد يصارع في الثلج وبين قطيع ذئاب منظم جيدًا يصطاد معًا.

إليك ملخص تقني مفصل لورقة البحث "General learned delegation by clones" (SELFCEST).

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) تحسينات كبيرة في القدرات من خلال توسيع وقت الاختبار (مثل: سلسلة الأفك‏ - Chain-of-Thought، والاتساق الذاتي - self-consistency، والاستدلال الوكيل - agentic reasoning). ومع ذلك، تواجه النهج الحالية عدم كفاءة حرج تحت ميزانيات الاستدلال الثابتة:

الاستدلال المتسلسل: يزيد من زمن الاستجابة واستهلاك الرموز (tokens) بشكل خطي.
التوازي غير المنسق: تتبع طرق مثل "الاتساق الذاتي" عينات عديدة من المسارات المتكررة مع سياق كامل، مما يهدر الحوسبة.
اختناقات السياق الطويل: تعاني النماذج في استخدام المعلومات التي تظهر في منتصف السياق، وغالبًا ما يكون السياق القابل للاستخدام الفعلي أصغر من النافذة الاسمية.

التحدي الجوهري هو التفويض (delegation): كيف يمكن للنموذج أن يتعلم تخصيص عرض نطاق السياق وميزانية الاستدلة المحدودة ديناميكيًا للمشكلات الفرعية الصحيحة، والعمل بالتوازي بفعالية، وإعادة دمج النتائج دون الحاجة إلى هياكل (scaffolding) مصممة يدويًا؟

2. المنهجية: SELFCEST

يقترح المؤلفون إطار عمل SELFCEST (التعزيز الذاتي عبر التدريب بالوزن المشترك)، وهو إطار يجهز النموذج الأساسي بالقدرة على استدعاء "نسخ" (clones) (خيوط استدلال متوازية) باستخدام مجموعة بارامترات مشتركة.

البنية الأساسية

الوكيل الجذر والنسخ (Root Agent & Clones): يعمل وكيل "جذر" واحد كمنسق. يمكنه استدعاء نسخ مساعدة في سياقات متوازية منفصلة.
البارامترات المشتركة: تشترك جميع الوكلاء (الجذر والنسخ) في نفس أوزان النموذج ( $\theta$ ). يسمح هذا بالتدريب من النهاية إلى النهاية حيث تتعلم السياسة (policy) كلاً من ماذا تحسب بالتوازي وكيف تنسق.
التفويض القائم على الأدوات: يستخدم النموذج أداة مخصصة لـ "استدعاء" نسخة مع مهمة فرعية محددة وميزانية سياق مخصصة. يقوم الجذر بعد ذلك بتجميع النتائج الوسيطة لتشكيل الحل النهائي.

إطار التدريب (التعلم التعزيزي)

يتم تدريب النظام من النهاية إلى النهاية باستخدام تحسين السياسة النسبي للمجموعات (GRPO) تحت مكافأة مهمة عالمية.

المكافأة العالمية: المكافأة ثنائية (1 إذا كانت إجابة الجذر النهائية صحيحة، و0 خلاف ذلك)، مطروحًا منها عقوبات لتجاوز حدود الرموز أو ميزانيات السياق.
تحدي تخصيص الائتمان (Credit Assignment): في بيئات الوكلاء المتعددين ذات البارامترات المشتركة، لا تضمن الإجابة النهائية الناجحة مساهمة كل نسخة بشكل إيجابي (قد تكون بعضها فشلت أو كانت مكررة). يمكن أن تؤدي المكافآت العالمية القياسية إلى تخصيص ائتمان زائف.
بوابة التدفق (Rollout Gating) (إجراء استقرار): لمعالجة تخصيص الائتمان وعدم استقرار التدريب، قدم المؤلفون آلية بوابة التدفق (rollout gating).
- يحسبون بوابة $w_i(\tau) \in [0, 1]$ لكل نسخة.
- بوابة البروتوكول الصارم: إذا فشلت النسخة في تقديم إجابة نهائية قابلة للتحليل (على سبيل المثال، اصطدمت بحدود الرموز أو أعادت بيانات غير مفهومة)، يتم تصفير مساهمة التدرج الخاص بها ( $w_i=0$ ).
- يعمل هذا كتقريب خفيف لأسس المقارنة المضادة (counterfactual baselines)، مما يقلل من التدرجات الناتجة عن مسارات غير مساهمة بوضوح لضمان الاستقرار.

الأساس النظري

صاغ المؤلفون العملية كعملية ماركوف لاتخاذ القرار (MDP) عالمية. وأوضحوا أنه بينما يكون تدرج المسار المشترك هو مجموع تدرجات التدفق الفردية، فإن تطبيق بوابة التدفق يُدخل انحيازًا ضروريًا للمقايضة بين التباين والاستقرار، حيث يعمل فعليًا كـ "فرق مكافأة بدائي".

3. المساهمات الرئيسية

صياغة قائمة على الأدوات بحد أدنى: نهج جديد للتفويض المتعلم باستخدام نسخ ذات أوزان مشتركة، حيث يتم التعامل مع التفكيك كأداة استدلال قابلة للتعلم بدلاً من كونه نموذجًا ثابتًا.
وصفة تعلم تعزيزي شاملة: خط تدريب للاستدلال متعدد الخيوط التكيفي تحت ميزانية تكلفة موحدة، مما يمكّن النموذج من تعلم متى يستدعي النسخ، وكم يخصص من السياق، وكيف يجمع النتائج.
تحليل تخصيص الائتمان: تحليل للمقايضة بين الانحياز والتباين في عمليات التدفق متعددة الوكلاء ذات البارامترات المشتركة، واقتراح بوابة التدفق كإجراء استقرار يتفوق على انتشار المكافأة العالمية القياسي في هذا السياق.
التحقق التجريبي: إثبات تحسن حدود "الدقة-التكلفة" (accuracy-cost Pareto frontiers) عبر مهام الاستدلال الرياضي ومهام الأسئلة والأجوبة ذات السياق الطويل.

4. النتائج التجريبية

تم تقييم الطريقة على نموذج Qwen3-4B-Instruct عبر عدة اختبارات مرجعية:

مجموعة بيانات حسابية مخصصة:
- الكفاءة: حقق SELFCEST دقة بنسبة 83% في مجموعة بيانات حسابية صعبة باستخدام متوسط 1,705 رمزًا.
- المقارنة: حقق النموذج الأساسي دقة 68% باستخدام 2,028 رمزًا. بينما حقق متغير "التفكير" (Thinking variant) دقة 69% ولكنه تطلب 6,306 رمزًا.
- زمن الاستجابة (Latency): قلل SELFCEST زمن الاستجابة الإجمالي بشكل كبير مقارنة بالاتساق الذاتي (الذي يتطلب 8 عينات) والنموذج الأساسي.
الاستدلال الطويل والسياق الطويل (AIME, MATH-Hard, 2WikiMultiHopQA, MuSiQuE):
- تفوق SELFCEST باستمرار على النموذج الأساسي ونماذج التوازي غير المنسقة من حيث نسبة الدقة إلى عدد الرموز.
- في مهام الأسئلة متعددة الخطوات (multi-hop QA)، عمل كخط إنتاج استرجاع معزز بالوكيل (RAG)، حيث تعلم استدعاء النسخ لاسترجاع قطع سياقية محددة، محققًا دقة 0.70 في 2WikiMultiHopQA (مقابل 0.65 للنموذج الأساسي) مع عدد رموز أقل.
دراسات الاستئصال (Ablation Studies):
- بوابة التدفق (Rollout Gating): حاسمة للاستقرار. بدون البوابة، غالبًا ما يفشل التدريب (النسيان الكارثي) أو يظهر عدم استقرار شديد.
- بيانات التدريب: أدى التدريب الهجين (Arithmetic + AIME + MATH-Hard) إلى تعميم أفضل من التدريب على AIME وحدها.

5. الأهمية والتوجهات المستقبلية

تحول في النموذج المعرفي: ينتقل SELFCEST من مجرد "زيادة العينات" (الاتساق الذاتي) إلى "التخصيص الأذكى". فهو يعامل السياق والتوليد كموارد يجب تخصيص ميزانيتها ديناميكيًا عبر استدعاءات فرعية متخصصة.
التعميم: تظهر سياسة التفويض المتعلم قدرة على التعميم خارج نطاق البيانات (out-of-distribution)، مما يشير إلى أن الحجم يمكن أن يطلق سلوكيات تفويض عامة دون هندسة خاصة بالمهمة.
سهولة الوصول: من خلال تحسين مقايضة "الدقة-التكلفة"، يمكن لـ SELFCEST تمكين الاستدلال عالي الجودة على الأجهزة ذات الموارد المحدودة (مثل أجهزة الحافة/edge devices) عن طريق تقليل استهلاك الرموز وزمن الاستجابة.
العمل المستقبلي: يقترح المؤلفون استبدال البوابة الاستدلالية بمقدرات مساهمة متعلمة (مثل استخدام النماذج اللغوية الكبيرة كحكام) لتقليل الانحياز وتحسين تخصيص الائتمان بشكل أكبر.

في الختام، يوفر SELFCEST مسارًا عمليًا لما بعد التدريب للنماذج الرائدة لتعلم التخصيص الأمثل للحوسبة من خلال التفويض، مما يعزز الكفاءة بشكل كبير في سيناريوهات الاستدلال المعقدة والسياق الطويل.