🤖 machine learning

G-Zero: Self-Play for Open-Ended Generation from Zero Data

إن G-Zero هو إطار عمل تطوري مشترك وخالٍ من المتحقق (verifier-free)، يتيح التحسين الذاتي مفتوح النهاية للنماذج اللغوية الكبيرة عبر استخدام مكافأة "تلميح- $\delta$ " (Hint- $\delta$ ) جوهرية لتدريب نموذج "المقترح" (Proposer) على توليد استعلامات وتلميحات تحدّية، والتي يتعلم منها نموذج "المولد" (Generator) عبر خوارزمية التفضيل المباشر (DPO)، مما يتجاوز قيود الحكام الخارجيين.

المؤلفون الأصليون: Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً (المولّد - Generator) يحاول أن يصبح أكثر ذكاءً، لكنه عالق في غرفة بلا معلم، ولا كتب مدرسية، ولا نموذج إجابة. عادةً، لكي يتعلم الطالب، يحتاج إلى معلم يقول له: "هذا خطأ، جرب هذا بدلاً من ذلك". بدون معلم، قد يكتفي الطالب بالتخمين أو يظل عالقاً في تكرار نفس الأخطاء.

تقدم هذه الورقة البحثية طريقة جديدة لنماذج الذكاء الاصطناعي لتتعلم دون معلم بشري أو "حكم" خارجي يقيم عملهم. لقد أطلقوا على هذا النظام اسم G-Zero.

إليك كيف يعمل، باستخدام تشبيه بسيط:

الشخصيتان: "المدرب" و"الطالب"

بدلاً من وجود طالب وحيد، يستخدم G-Zero نموذجين للذكاء الاصطناعي يعملان معاً في حلقة مستمرة:

المولّد (الطالب): هو النموذج الذي نريد تحسينه. يحاول الإجابة على الأسئلة.
المقترح (المدرب): هو نموذج ثانٍ مهمته اكتشاف نقاط ضعف الطالب وكيفية مساعدته.

السلاح السري: "التلميح-δ" (الشرارة)

المشكلة الكبرى في التعلم الذاتي هي: كيف يعرف النموذج أنه يتحسن إذا لم يكن هناك نموذج إجابة؟

يحل G-Zero هذه المعضلة بحيلة ذكية تسمى التلميح-δ (Hint-δ). إليك العملية:

التحدي: يضع المدرب (المقترح) سؤالاً صعباً وتلميحاً.
الاختبار: يحاول الطالب (المولّد) الإجابة على السؤال بدون التلميح. لنسمِّ هذا "إجابة المعاناة".
التحول: بعد ذلك، يحاول الطالب مرة أخرى، ولكن هذه المرة مع التلميح. لنسمِّ هذا "إجابة لحظة الإدراك!".
القياس: يقيس النظام "الصدمة" أو التحول في عقل الطالب. هل جعل التلميح الطالب يفهم الإجابة بشكل أفضل فجأة؟
- إذا كان الطالب جيداً بالفعل، فلن يغير التلميح الكثير. (درجة منخفضة).
- إذا كان التلميح عديم الفائدة، فلن يتغير الطالب كثيراً. (درجة منخفضة).
- النقطة المثالية: إذا كان السؤال صعباً وكان التلميح هو بالضبط ما يحتاه الطالب لفتح قفل الإجابة، فإن عقل الطالب سيتحول بشكل دراماتيكي. هذا يخلق درجة عالية.

التشبيه: تخيل أنك تحاول حل لغز.

إذا حللته بسهولة، فلن يساعد التلميح كثيراً.
إذا كان التلميح غير منطقي، فستظل عاجزاً عن الحل.
ولكن إذا كنت عالقاً، وهمس لك أحدهم بـالقطعة المفقودة بالضبط من المنطق، فسيحدث في عقلك "نقرة" (Click). هذه "النقرة" هي التلميح-δ. إنها تثبت أن التلميح كان قيماً وأن السؤال كان تحدياً.

حلقة التدريب: كيف يصبحون أفضل؟

يعمل النظام في مرحلتين، مراراً وتكراراً:

المرحلة 1: يصبح المدرب أكثر ذكاءً في إيجاد نقاط الضعف.
يتم مكافأة المدرب عندما يجد سؤالاً يحير الطالب ويقدم تلميحاً يصلح هذا الحير. يتعلم المدرب التوقف عن طرح الأسئلة السهلة والتوقف عن تقديم تلميحات سيئة. إنه يتعلم البحث عن "النقاط العمياء" لدى الطالب.

المرحلة 2: يتعلم الطالب من "لحظات الإدراك!".
يُعرض على الطالب أزواج من الإجابات: "إجابة المعاناة" (المرفوضة) و"إجابة لحظة الإدراك!" (المختارة). يتم تدريب الطالب على تفضيل النسخة التي استخدمت التلميح.

السحر: بمرور الوقت، يتعلم الطالب أسلوب ومنطق التلميحات. في النهاية، يستطيع الطالب إنتاج تلك الإجابات عالية الجودة دون الحاجة إلى التلميح بعد الآن. لقد استوعب الطالب توجيهات المدرب داخلياً.

لماذا يعد هذا أمراً بالغ الأهمية؟

لا حاجة لحكام خارجيين: عادةً، يحتاج الذكاء الاصطناعي إلى إنسان أو ذكاء اصطناعي أكثر ذكاءً ليقول له: "هذه الإجابة جيدة". وهذا يضع سقفاً؛ فلا يمكن للذكاء الاصطناعي أن يصبح أذكى من الحَكَم. G-Zero يزيل الحَكَم تماماً. فالذكاء الاصطناعي يحكم نفسه بناءً على مدى تحول فهمه الخاص.
يعمل في المهام الإبداعية: الطرق السابقة كانت تعمل فقط في الرياضيات والبرمجة (حيث توجد إجابة صحيحة أو خاطئة واضحة). أما G-Zero فيعمل في المهام المفتوحة مثل كتابة القصص، أو تقديم النصائح، أو الدردشة، حيث لا توجد إجابة واحدة "صحيحة".
التحسين الذاتي: تُظهر الورقة البحثية أنه بعد جولتين فقط من هذه الحلقة، أصبح النماذج أفضل بكثير في الرياضيات والبرمجة والكتابة، رغم أنهم بدأوا من الصفر دون أي بيانات خارجية.

العقبة (القيود)

تشير الورقة إلى أن هذا "السباق بين المدرب والطالب" قد يسوء أحياناً. إذا أصبح المدرب مخادعاً جداً، فقد يرتبك الطالب أو ينهار النظام (انهيار/Collapse). كما وجدوا أن النظام يعمل بشكل أفضل عند تصفية الأمثلة الأسهل والأصعب، والتركيز على مستوى الصعوبة "المناسب تماماً".

الملخص

فكر في G-Zero كسيارة ذاتية القيادة تتعلم القيادة بشكل أفضل من خلال إدراكها: "واو، عندما نظرت إلى الطريق بهذه الطريقة، فهمت المنعطف بشكل أفضل بكثير". هي لا تحتاج إلى مدرب قيادة؛ هي فقط تحتاج إلى ملاحظة اللحظات التي يؤدي فيها تغيير بسيط في المنظور إلى تحسن كبير في الفهم. ومن خلال مطاردة لحظات الوضوح تلك، يعلم الذكاء الاصطناعي نفسه كيف يصبح أكثر ذكاءً.

ملخص تقني: G-Zero

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) ذات التطور الذاتي نجاحاً كبيراً في المجالات القابلة للتحقق (مثل الرياضيات والبرمجة) حيث توفر المصدقات البرمجية (programmatic oracles) حقيقة أرضية للتعلم التعزيزي من المكافآت القابلة للتحقق (RLVR). ومع ذلك، تعاني هذه النماذج في المجالات مفتوحة النهايات (مثل الكتابة الإبداعية، الحوار، واتباع التعليمات) حيث لا توجد مصدقات موضوعية.

تعتمد النهج الحالية لهذه المهام غير القابلة للتحقق بشكل كبير على آليات "النموذج كحكم" (LLM-as-a-Judge) لتوليد إشارات مكافأة بديلة. وتحدد الورقة البحثية قصورين حرجين في هذا النموذج:

اختناقات القدرة (Capability Bottlenecks): سقف أداء النموذج المتطور محدود جوهرياً بقدرات نموذج الحكم.
التلاعب بالمكافأة (Reward Hacking): تميل النماذج إلى استغلال نقاط الضعف الأسلوبية لدى الحكم (مثل التحيز، تفضيلات التنسيق، أو الإسهاب) بدلاً من تحسين جودة الاستجابة فعلياً.

السؤال المركزي الذي تعالجه الورقة هو: كيف يمكن للتطور الذاتي أن يتوسع في المجالات غير القابلة للتحقق دون الاعتماد على أحكام خارجية أو استيعاب عيوب إشارات المكافأة البديلة؟

2. المنهجية: إطار عمل G-Zero

G-Zero هو إطار عمل تطوري مشترك وخالٍ من المصادقات (verifier-free) يستمد الإشراف بالكامل من الديناميكيات التوزيعية الداخلية. وهو يعمل من خلال التفاعل بين نموذجين: المقترح (Proposer) ( $\pi_P$ ) والمولد (Generator) ( $\pi_G$ ).

2.1 الإشارة الجوهرية: Hint- $\delta$

الابتكار الأساسي هو Hint- $\delta$ ، وهي إشارة مكافأة جوهرية تقيس التحول التنبؤي في توزيع المولد عند تكييفه مع تلميح مُولّد ذاتياً.

الآلية: بالنسبة للاستعلام $q$ ، ينتج المولد استجابة غير مدعومة $a_{hard}$ . ثم يتم تقديم تلميح $h$ ، وينتج المولد استجابة مشروطة بالتلميح $a_{assisted}$ .
الحساب: Hint- $\delta$ هي متوسط فرق لوغاريتم الاحتمالية لكل رمز (per-token mean log-likelihood difference) بين التوزيعين غير المدعوم والمشروط بالتلميح:
$\delta(q, h, a_{hard}) = \frac{1}{T} \sum_{t=1}^{T} \left[ \log \pi_G(a_t | q, a_{<t}) - \log \pi_G(a_t | q, h, a_{<t}) \right]$
الخصائص: تحدث قيمة $\delta$ الكبيرة فقط عندما يكون الاستعلام $q$ تحدياً حقيقياً للمولد (الاستجابة غير المدعومة معيبة) وَيوفر التلميح $h$ معلومات ضرورية ومفقودة. هذه الإشارة ثابتة تجاه طول الاستجابة ويتم حسابها بالكامل من احتمالات اللوغاريتم الخاصة بالمولد نفسه، مما يلغي تحيز الحكم الخارجي.

2.2 حلقة التطور المشترك

يعمل إطار العمل في جولات تكرارية تتضمن مرحلتين:

المرحلة 1: تدريب المقترح (GRPO)

الهدف: تدريب $\pi_P$ لتخليق استعلامات ( $q$ ) مقترنة بتلميحات ( $h$ ) معلوماتية تزيد من قيمة $\delta$ للمولد.
التحسين: يستخدم تحسين السياسة النسبي للمجموعات (GRPO).
دالة المكافأة: $r(q, h) = \delta(q, h, a_{hard}) - P_{length} - P_{BLEU}$ $r (q, h) = δ (q, h, a_{ha r d}) - P_{l e n g t h} - P_{B L E U}$ .
- $P_{length}$ : يعاقب التلميحات التي تتجاوز ميزانية عدد الحروف (~200 حرف) لمنع التلاعب بالإسهاب.
- $P_{BLEU}$ : يعاقب تكرار توليد الاستعلام لضمان تغطية الاستكشاف.
النتيجة: يستهدف المقترح "النقاط العمياء" للمولد، مما يخلق منهجاً تعليمياً (curriculum) لمهام تزداد صعوبة بمرور الوقت.

المرحلة 2: تدريب المولد (DPO)

الهدف: تدريب $\pi_G$ لاستيعاب التحسينات الهيكلية والمنطقية التي تقترحها التلميحات.
تنسيق البيانات:
- يقوم المقترح بتوليد أزواج $(q, h)$ .
- ينتج المولد $a_{hard}$ (بدون تلميح) و $a_{assisted}$ (مع تلميح).
- استراتيجية التصفية: على عكس المقترح الذي يسعى لقيم $\delta$ $δ$ عالية، يحتفظ نظام تدريب المولد ( $D_{R+1}$ $D_{R + 1}$ ) بالأزواج الموجودة في النصف الأدنى من توزيع $\delta$ $δ$ .
  - التعليل: تمثل أزواج $\delta$ العالية غالباً "تسريب الإجابة" (التلميحات تكشف الحل مباشرة)، مما ينتهك قيود KL الضمنية لـ DPO. أما أزواج $\delta$ المنخفضة فتمثل إشارات "صعبة التمييز" حيث يؤدي التلميح إلى تحسينات هيكلية دقيقة بدلاً من التصحيحات التافهة.
التحسين: يستخدم تحسين التفضيل المباشر (DPO) مع فقدان طبيعي الطول.
- المختار ( $y_w$ ): $a_{assisted}$ (الموجه بالتلميح).
- المرفوض ( $y_l$ ): $a_{hard}$ (غير المدعوم بالتلميح).
- النموذج المرجعي: نسخة مجمدة من $\pi_G$ من بداية الجولة.

3. التحليل النظري

تقدم الورقة ضماناً نظرياً لنسخة مثالية من Standard-DPO لـ G-Zero.

الافتراضات: يفترض إطار العمل بنية مكافأة خطية، ونموذج تفضيل Bradley-Terry، وأن المقترح يحفز تغطية استكشاف كافية (عبر مكافأة BLEU) بينما يحافظ الفلتر على انخفاض ضوضاء التسميات المستعارة ( $\eta_\delta$ ).
النتيجة (Theorem 1): تحت هذه الظروف، توجد دورة $t_0$ بحيث تكون فجوة نقص المثالية $J(\pi^*) - J(\pi_{t_0})$ محدودة بحدود تتعلق بتعقيد العينة ومستوى الضوضاء. وتحديداً، يعتمد الحد على التغطية المستحثة من المقترح وضوضاء درجة التسمية المستعارة المعتمدة على $\delta$ . وهذا يثبت أن حلقة التطور المشترك يمكن أن تتقارب نحو سياسة قريبة من المثالية دون مصدقات خارجية.

4. النتائج التجريبية

أُجريت التجارب على Qwen3-8B-Base و Llama-3.1-8B-Instruct عبر جولتين من التطور الذاتي.

المهام مفتوحة النهايات:
- AlpacaEval 2.0 (Chat): حقق G-Zero مكاسب كبيرة. بالنسبة لـ Llama-3.1، ارتفع معدل الفوز المتحكم فيه في الطول من 24.12% (الأساسي) إلى 27.86% (الجولة 2).
- IFEval (اتباع التعليمات): لوحظت تحسينات في الالتزام الصارم والمرن بالتعليمات عبر كلا النموذجين.
المهام القابلة للتحقق (النقل):
- الرياضيات (AIME24/AIME25): رغم التدريب أساساً على بيانات غير قابلة للتحقق ومفتوحة النهايات، أظهر G-Zero تحسينات كبيرة في الاستدلال.
  - Qwen3-8B-Base: قفزت درجة AIME25 من 7.19% إلى 12.40% بعد الجولة 2.
  - Llama-3.1-8B-Instruct: تحسنت AIME25 من 0.42% إلى 0.63% (مع ملاحظة أن الأساس كان منخفضاً جداً، لكن المكاسب كانت متسقة).
- المقارنة مع R-Zero:
  - أظهر R-Zero (منهج يعتمد على المصادقات) مكاسب قوية في الرياضيات، لكنه عانى من انهيار القدرة في المهام الحوارية واتباع التعليمات (على سبيل المثال، انخفض Qwen3 Chat من 8.94% إلى 8.04%).
  - حافظ G-Zero على الأداء أو حسنه عبر جميع المقاييس (Chat, IFEval, Math)، مما أظهر قدرة تعميم قوية دون المقايضات التي تشهدها الطرق القائمة على الحكم.

النتائج الرئيسية للتحليل:

النقل الهيكلي: كانت البيانات التدريبية تهيمن عليها المهام غير القابلة للتحقق (>70%) (نصائح، كتابة). نُسبت التحسينات في الاستدلال الرياضي إلى استيعاب العمق المنطقي والتعقيد التركيبي من هذه المهام مفتوحة النهايات، وليس الحفظ الخاص بالمجال.
سباق التسلح التطوري المشترك: انزاحت توزيعات Hint- $\delta$ نحو اليمين في الجولة 2، مما يشير إلى أنه مع تحسن المولد، نجح المقترح في تخليق تلميحات أكثر تعقيداً وتأثيراً للحفاظ على إشارة التعلم.

5. الأهمية والمساهمات

تدعي الورقة ثلاث مساهمات رئيسية:

إطار عمل تطوري مشترك خالٍ من المصادقات: يتيح G-Zero تحسيناً ذاتياً مستمراً في المجالات مفتوحة النهايات عبر استبدال الأحكام الخارجية بإشارة جوهرية (Hint- $\delta$ ) مشتقة من التحولات التنبؤية للنموذج نفسه.
التوصيف النظري: صاغ المؤلفون حلقة التطور المشترك وأثبتوا ضمان أفضل دورة (best-iterate suboptimality guarantee)، مما يوضح أن التطور الذاتي سليم نظرياً طالما ضمن المقترح الاستكشاف وحافظ الفلتر على جودة البيانات.
التحقق التجريبي من نقل المجالات: يوضح العمل أن النماذج يمكنها استيعاب أنماط الاستدلال المنطقي من المهام غير القابلة للتحقق والمفتوحة النهايات ونقلها بنجاح إلى المجالات الصارمة والقابلة للتحقق مثل الرياضيات. وهذا يتحدى فكرة أن التطور الذاتي يتطلب مصدقات قابلة للتحقق أو أحكاماً خارجية للنمو.

الخلاصة:
يوفر G-Zero مساراً قابلاً للتوسع والمتانة للتطور الذاتي المستقل للنماذج اللغوية الكبيرة. ومن خلال اشتقاق الإشراف من الديناميكيات التوزيعية الداخلية، فإنه يتجاوز سقف القدرات وثغرات التلاعب بالمكافأة التي تسببها الأحكام الخارجية، مما يثبت أن النماذج يمكنها رفع قدراتها باستخدام التغذية الراجعة الجوهرية فقط.