Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics
تقدم هذه الورقة البحثية "السؤال يولد سؤالاً" (QbQ)، وهو منهج تعليمي ذاتي التطور يعمل بشكل تكراري على توليد متغيرات للمسائل من نقاط القوة الحالية للنموذج للتغلب على ندرة البيانات ومحدودية مسارات الاستدلال، مما نجح في كسر مستويات الأداء الثابتة في الضبط الدقيق للرياضيات التنافسية عبر تحقيق درجة 16.5% في مقياس pass@1 على اختبار AIME.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم طالب عبقري لكنه يفتقر إلى الخبرة كيفية حل أصعب الألغاز في العالم. لديك مكتبة من الألغاز، لكنها صغيرة جدًا، ولا تملك مفاتيح الإجابات التي تحتوي على شروحات خطوة بخطوة — بل فقط الإجابات النهائية. تحاول تعليم الطالب عبر إعطائه المزيد من الألغاز، ولكن مهما أضفت من ألغاز، يصطدم الطالب بحائط مسدود. يتعثر عند مستوى معين من المهارة ويرفض التحسن، حتى مع كثرة التدريب. هذه مشكلة شائعة تؤرق العلماء العاملين في مجال الذكاء الاصطناي. إنهم يريدون من الذكاء الاصطناعي تعلم مهارات معقدة مثل الرياضيات أو القانون، لكنهم غالبًا ما ينفدون من مسائل التدريب الجيدة، ويفتقرون إلى "عمليات التفكير" التفصيلية التي توضح للذكاء الاصطناعي كيفية التفكير، ويراقبون الذكاء الاصطناعي وهو يصطدم بـ "سقف" محبط حيث يتوقف عن التحسن ببساطة.
يتعمق هذا البحث في تلك المشكلة تحديدًا. أراد الباحثون معرفة ما إذا كان بإمكانهم كسر سقف التعلم هذا دون الحاجة إلى معلم بشري يكتب كل خطوة من الحل. استخدموا برنامجًا حاسوبيًا ذكيًا (نموذج ذكاء اصطناعي) ومجموعة من مسائل المسابقات الرياضية الصعبة. وبدلاً من تغذية الذكاء الاصطناعي بمزيد من المسائل نفسها، ابتكروا خدعة ذكية تسمى "السؤال يولد سؤالًا" (Question-begets-Question). فكر في الأمر كشيف ماهر لا يكتفي بإعطاء المتدرب وصفات أكثر، بل يأخذ وصفة يكاد المتدرب يتقنها بالفعل ويقوم بتعديل المكونات فيها بدقة كافية لصنع طبق جديد مختلف قليلاً. ومن خلال إنشاء هذه المسائل الجديدة والمتنوعة باستمرار بناءً على ما يكاد الذكاء الاصطناعي يتقنه، وجد الباحثون طريقة لدفع الذكاء الاصطناعي لتجاوز حدوده.
قصة المنهج الدراسي ذاتي التطور
بدأ الباحثون بنموذج حاسوبي يسمى Qwen2.5-Math-7B. في البداية، كان هذا النموذج سيئًا للغاية في نوع معين من مسابقات الرياضيات للمرحلة الثانوية يسمى AIME. كان بإمكانه حل حوالي 5.6% فقط من المسائل بمفرده. أراد الفريق معرفة ما إذا كان بإمكانهم تعليمه ليصبح أفضل، لكنهم واجهوا ثلاث عقبات كبيرة: عدم كفاية مسائل التدريب، وغياب "مفاتيح الإجابات" التي تشرح عملية التفكير مكتوبة، والخوف من أن النموذج سيصطدم بجدار ويتوقف عن التعلم.
ولمعالجة نقص المسائل، استخدموا طريقة تسمى "السؤال يولد سؤالًا" (QbQ). تخيل أن لديك مسألة رياضية حول حساب مساحة مثلث. الطريقة العادية لإنشاء المزيد من مسائل التدريب هي مجرد تغيير الأرقام (جعل المثلث أكبر أو أصل). لكن "المعلم" (الذكاء الاصطناعي) لدى الباحثين فعل شيئًا أذكى. لقد أخذ مسألة كان الطالب يكاد يحلها بشكل صحيح وطبق عليها "قواعد تحويل" محددة. على سبيل المثال، قد يغير السؤال من إيجاد المساحة إلى إيجاد نصف قطر دائرة داخل ذلك المثلث نفسه، أو قد يطلب الإجابة في نظام عددي مختلف. كانت هذه المسائل الجديدة طازجة ومتنوعة، لكنها كانت تختبر نفس المهارة الأساسية تمامًا.
ومع ذلك، لم يكن مجرد توليد كومة ضخمة من هذه المسائل الجديدة كافيًا. فعندما قاموا بتدريب النموذج على مزيج ثابت من المسائل الحقيقية والاصطناعية، اصطدم النموذج بسقف. لقد تحسن من 5.6% إلى حوالي 12.5% أو 14.5%، ثم توقف. ومهما زادت كمية البيانات التي يغذونها به، لم يستطع النموذج التحسن أكثر من ذلك. كان الأمر يشبه طالبًا حفظ إجابات اختبارات تدريبية محددة لكنه لم يستطع التعامل مع تغيير بسيط في نفس السؤال.
جاء الاختراق عندما توقفوا عن معاملة بيانات التدريب ككومة ثابتة وبدأوا في معاملتها كـ منهج دراسي ذاتي التطور. بدلاً من إعطاء النموذج حقيبة ضخمة من المسائل المختلطة، قاموا بتنظيم التدريب في جولات. إليكم كيف حدث السحر:
- التحقق: في نهاية كل جولة، قاموا باختبار النموذج على المسائل التي تعلمها للتو.
- النقطة المثالية: بحثوا عن المسائل التي يستطيع النموذج حلها في معظم الأوقات، ولكن ليس في كل الأوقات. أطلقوا على هذا "منطقة النجاح الوشيك".
- البذرة: أخذوا تلك المسائل "الناجحة تقريبًا" واستخدموها كبذور لتوليد الدفعة التالية من المتغيرات الجديدة والأكثر صعوبة قليلاً.
- الحلقة: قاموا بتدريب النموذج على هذه الدفعة الجديدة، وتحققوا مرة أخرى، ووجدوا المسائل "الناجحة تقريبًا" الجديدة، وكرروا العملية.
الجزء الأكثر إثارة للدهشة؟ وجد الباحثون أن النموذج يتحسن بأسرع ما يمكن عندما يتدرب على المسائل التي هو جيد في حلها بالفعل، وليس على المسائل التي يفشل فيها فشلاً ذريعًا. عادةً، نعتقد أنك تتعلم من خلال إصلاح أكبر أخطائك. لكن هنا، تعلم الذكاء الاصطناعي بشكل أفضل من خلال أخذ "إخفاقاته الوشيكة"، وتعديلها قليلاً، وإتقانها. كان الأمر يشبه لاعب تنس يحسن مستواه ليس من خلال ضرب الكرة في الشبكة مرارًا وتكرارًا، بل من خلال أخذ كرة ينجح عادة في ردها وإضافة القليل من الدوران إليها في كل مرة.
باستخدام هذه الحلقة ذاتية التطور لمدة 20 جولة، لم يصطدم النموذج بالحائط. بل استمر في الصعود. وبينما استقرت الطرق الأخرى عند حوالي 14.5%، دفع هذا النهج ذاتي التطور نسبة نجاح النموذج إلى 16.5% (تحديدًا 16.46% في اختباراتهم النهائية) دون أن يظهر أي علامات على التوقف. والأكثر إثارة للإعجاب هو أن النموذج تعلم حل مسائل أكثر صعوبة لم يسبق له رؤيتها، مما أثبت أن "السقف" لم يكن حدًا لعقل النموذج، بل كان حدًا لكيفية تنظيم التدريب.
كما تأكد الباحثون من أن الذكاء الاصطناعي لا يقوم فقط بنسخ "عملية التفكير" الخاصة بالمعلم. لم يظهروا للذكاء الاصطناعي أبدًا عملية التفكير خطوة بخطوة الخاصة بالمعلم؛ بل أظهروا له السؤال والإجابة النهائية فقط. وهذا يعني أن الذكاء الاصطناعي تعلم كيف يفكر بنفسه، وليس مجرد محاكاة البشر. تشير الدراسة إلى أن السبب في تعثر الذكاء الاصطناعي غالبًا ليس لأنه غبي جدًا بحيث لا يمكنه تعلم المزيد، بل لأننا غالبًا ما نقدم له النوع الخاطئ من التدريب. ومن خلال تشكيل المنهج الدراسي باستمرار ليتناسب تمامًا مع المستوى الذي وصل إليه الذكاء الاصطناعي الآن، يمكننا مساعدته على كسر حدوده الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.