ملخص تقني: اللعب بالكلمات، والتحسن من خلال المكافآت

بيان المشكلة

تُكلف النماذج اللغوية الكبيرة (LLMs) بشكل متزايد بحل مشكلات معقدة تتطلب الإبداع، والذي يُعرَّف بأنه القدرة على التنقل عبر مساحات حل واسعة وتوليد حلول غير تقليدية لكنها فعالة. ومع ذلك، فإن تدريب النماذج اللغوية الكبيرة على الإبداع يعوقه الطبيعة الذاتية لهذا المفهوم؛ حيث إن الحكم البشري على ما يشكل عملاً "إبداعياً" هو حكم غير متسق، مما يجعل التعلم المعزز من التغذية الراجعة البشرية (RLHF) صعب القياس ومليئاً بالضجيج. التحدي المركزي هو كيفية تدريب النماذج اللغوية الكبيرة صراحةً لتكون مبدعة حقاً دون الاعتماد على تعليقات التفضيل البشرية المكلفة والذاتية.

المنهجية

يقترح المؤلفون إطار عمل يعيد صياغة الإبداع كـ "لعبة" ذات نتائج يمكن التحقق منها موضوعياً، مما يتجاوز الحاجة إلى الحكم البشري.

1. بيئة التدريب: كود نيمز (Codenames)
تستخدم الدراسة لعبة Codenames، وهي لعبة ربط الكلمات، كبيئة للتدريب. تمارس اللعبة بطبيعتها محورين مركزيين للإدراك الإبداعي:

• التفكير التباعدي (Divergent Thinking): توليد ارتباطات بعيدة تمتد عبر مفاهيم متعددة.
• التفكير التقاربي (Convergent Thinking): اختيار الارتباط الأفضل والوحيد الذي يحدد الأهداف بدقة مع تجنب الكلمات غير المستهدفة.

يبسط إعداد التدريب اللعبة الكاملة إلى عملية قرار ماركوف (MDP) تتكون من مهمتين في خطوة واحدة:

• توليد التلميح (Clue Generation): بالنظر إلى مجموعة من الكلمات المستهدفة ($T$) والكلمات غير المستهدفة ($N$)، يقوم النموذج بتوليد كلمة تلميح واحدة ($w_{clue}$) ترتبط بأكبر عدد ممكن من الأهداف مع تجنب الارتباط بالكلمات غير المستهدفة.
• توليد التخمين (Guess Generation): بالنظر إلى لوحة من الكلمات ($B = T \cup N$) وتلميح مُعد مسبقاً، يخمن النموذج الكلمات التي يشير إليها التلميح.

2. تركيب البيانات والمنهج التعليمي
لضمان القابلية للتنفيذ والتنوع، قام المؤلفون بتوليد مجموعة بيانات مكونة من 3,680 مثالاً تدريبياً. أنشأوا مجموعة من 1,000 موضوع متنوع وكلمات مرتبطة بها (مصنفة حسب التكرار إلى كلمات شائعة ونادرة). يتبع بيانات التدريب منهجاً تعليمياً ذا صعوبة متزايدة:

• بسيط: الكلمات المستهدفة مستمدة من الكلمات الشائعة.
• متوسط/متقدم: زيادة نسبة الكلمات النادرة.
• خبير: الكلمات المستهدفة مستمدة من كلمات نادرة ممزوجة بمشتتات من موضوع غير مستهدف.

3. التعلم المعزز بالمكافآت القابلة للتحقق (RLVR)
بدلاً من التغذية الراجعة البشرية، يتم تدريب النماذج باستخدام RLVR. يقوم "نموذج حكم" مجمد (Google Gemini Flash-2.5) بتقييم مخرجات النموذج.

• دالة المكافأة: تُحسب المكافأة بناءً على دقة حلقة توليد التخمين. فهي تكافئ الإصابات الصحيحة للأهداف وتفرض عقوبات على الإصابات غير المستهدفة أو التخمينات الخارجة عن اللوحة. وتتراوح المكافأة بين $[-2, 1]$.
• الخوارزمية: يستخدم المؤلفون هدف DAPO (تحسين السياسة المتكيفة مع Deepseek) مع مُقدر الميزة GRPO. يقومون بضبط نماذج Qwen3 الثلاثة (1.7B، 4B، و8B) باستخدام الضبط الدقيق لكامل المعلمات على مدار دورتين (230 خطوة تحديث). لم يتم استخدام تنظيم تباعد KL.

المساهمات الرئيسية

1. تدريب الإبداع عبر المكافآت القابلة للتحقق: تثبت الورقة أن الإبداع يمكن تدريبه بفعالية باستخدام بيئة لعبة مهيكلة ومكافآت موضوعية، مما يلغي الحاجة إلى تعليقات التفضيل البشرية.
2. المقايضة بين الدقة والتنوع المعتمدة على الحجم: تكشف الدراسة عن نتيجة بالغة الأهمية: تأثير التدريب الترابطي على قدرات النموذج يعتمد على حجم النموذج.
   • النماذج الأصغر (1.7B، 4B): تحقق تحسينات جوهرية في دقة الاستدلال (مهام الرياضيات والعلوم) ولكنها غالباً ما تشهد انهياراً في التنوع الإبداعي (حجم المفردات والتنوع الدلالي).
   • النموذج الأكبر (8B): يحقق مكاسب متسقة في مقاييس الإبداع (التفكير التباعدي، وتوليد السرد) مع تدهور طفيف فقط في دقة الاستدلال.
3. حل قابل للتوسع: يوفر النهج رافعة عملية لتعزيز النماذج اللغوية الكبيرة بمختلف أحجامها، مما يقدم مكاسب في الاستدلال للنماذج الصغيرة ومكاسب في الإبداع للنماذج الكبيرة باستخدام وصفة تدريب موحدة.

النتائج

تم تقييم النماذج على 10 اختبارات مرجعية للإبداع (تغطي التفكير التباعدي/التقاربي، الفكاهة، الاستعارة، والكتابة الإبداعية) و4 اختبارات مرجعية للاستدلال (الحساب، رياضيات المنافسات، والعلوم الجامعية).

• مكاسب الإبداع: أظهر نموذج 8B مكاسب متواضعة ولكن متسقة في 8 من أصل 10 اختبارات مرجعية للإبداع. كان هو النموذج الوحيد الذي تحسن في تنوع التفكير التباعدي (DAT DSI وحجم المفردات). ومع ذلك، تراجع في اختبار NYT Connections، وهو ما عُزي إلى ميل "الإفراط في التفكير" حيث انتهك النموذج قيود المهمة بسبب مسارات الاستدلة الطويلة.
• مكاسب الاستدلال: أظهرت النماذج الأصغر (1.7B و4B) تحسينات كبيرة في مهام الاستدلال. تحسن نموذج 1.7B في جميع الاختبارات الأربعة للاستدلال (على سبيل المثال، ارتفعت دقة AIME24 من 0.43 إلى 0.57). وتحسن نموذج 4B في ثلاثة اختبارات. وعلى العكس من ذلك، شهد نموذج 8B انخفاضات في أداء الاستدلال (على سبيل المثال، انخفضت AIME24 من 0.80 إلى 0.67).
• الآلية: يعزو المؤلفون هذا الانقسام إلى التفاعل بين التعلم الترابطي وRLVR. النماذج الأصغر، التي كانت تعاني سابقاً من المشكلات الصعبة، تتعلم حل المشكلات "الأسهل" المتاحة لها بدقة عالية. أما النماذج الأكبر، التي تمتلك القدرة بالفعل على حل هذه المشكلات، فقد دفعها إشارة المكافأة لاستكشاف ارتباطات متنوعة وأكثر صعوبة، مما يعزز الإبداع على حساب الدقة الصارمة.

الأهمية والادعاءات

تدعي الورقة تقديم حل قابل للتوسع وفعال لتدريب النماذج اللغوية الكبيرة على الإبداع دون تدخل بشري. ومن خلال صياغة الإبداع كلعبة ذات مكافأة قابلة للتحقق، يوضح المؤلفون أن منهجية تدريب واحدة يمكن أن تؤدي إلى نتائج متميزة ومفيدة اعتماداً على حجم النموذج:

• بالنسبة للنماذج الأصغر، تعمل هذه الطريقة كمحرك دقة، مما يشحذ قدرات الاستدلال.
• بالنسبة للنماذج الأكبر، تعمل هذه الطريقة كمحرك تنوع، مما يوسع الارتباطات الإبداعية.

يخلص المؤلفون إلى أن هذه المقايضة المعتمدة على الحجم هي خاصية رئيسية لتدريب RLVR الترابطي. ويؤكدون أن نهجهم يقلل من حواجز الموارد لأبحاث الإبداع من خلال الاعتماد على البيانات الاصطناعية والمكافآت القابلة للتحقق بدلاً من التعليقات البشرية المكلفة، مما يجعله متاحاً للنماذج التي لا يتجاوز حجمها 1.7 مليار معلمة. وتحذر الدراسة من أنه بينما يتحسن التنوع الإبداعي، قد تحدث مقايضة في الدقة، مما يشير إلى ضرورة عدم استخدام هذه النماذج في السياقات التي تتطلب دقة واقعية صارمة (مثل المشورة الطبية أو القانونية).