R1-Code-Interpreter: LLMs Reason with Code via Supervised and Multi-stage Reinforcement Learning
تُقدم الورقة البحثية R1-Code-Interpreter، وهو نموذج لغوي كبير متعدد الأغراض تم تدريبه عبر تعلم تعزيزي متعدد المراحل وضبط دقيق تحت الإشراف على مجموعة بيانات متنوعة تضم 144 مهمة، مما يحسن دقة الاستنتاج بشكل كبير ويُمكّن سلوكيات التحقق الذاتي الناشئة، متفوقاً بذلك على نماذج GPT-4o التي تعتمد على النصوص فقط أو تلك المعززة بالأدوات.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً عبقرياً ولكنه عنيد قليلاً يُدعى R1. يتميز R1 بقدرته على التحدث، وسرد القصص، وفهم المنطق العام. ومع ذلك، عندما يتعلق الأمر بالقيام بعمليات حسابية فعلية، أو حل الألغاز المعقدة، أو تنظيم غرفة فوضوية، يميل R1 إلى الغرق في أفكاره، والمبالغة في التفكير، وارتكاب أخطاء في الحسابات.
لفترة طويلة، حاولنا تعليم R1 استخدام آلة حاسبة ومجموعة من الأدوات (تسمى "مفسر الكود" أو Code Interpreter) لمساعدته في حل هذه المشكلات. ولكن كانت هناك عقبة: لم يكن R1 يعرف متى يستخدم الأدوات ومتى يكتفي بالتفكير فقط. فأحياناً يحاول حل مسألة رياضية بالكلمات ويفشل؛ وأحياناً أخرى يكتب برنامجاً حاسوبياً معقداً لسؤال بسيط لا يحتاج إليه.
تقدم هذه الورقة البحثية طريقة تدريب جديدة تسمى R1-Code-Interpreter، والتي علمت R1 أخيراً كيف يكون بارعاً في حل المشكلات، بحيث يعرف تماماً متى ينتقل بين "التفكير" و"التنفيذ".
إليك كيف فعلوا ذلك، مشروحاً عبر تشبيهات بسيطة:
1. المشكلة: معضلة "السكين السويسري"
تخيل أنك تدرب روبوتاً على إصلاح الأشياء. أعطيته صندوق أدوات يحتوي على مطرقة، ومفك براغي، ومفتاح ربط.
- الطريقة القديمة: كنت تخبر الروبوت فقط: "هنا كرسي مكسور. أصلحه". كان الروبوت يخمن عشوائياً. أحياناً يضرب الكرسي بمفتاح الربط (فكرة سيئة)، وأحياناً يحاول فك مسمار باستخدام المطرقة (وهذا سيء أيضاً).
- الطريقة الجديدة: أدرك الباحثون أن مجرد إلقاء الروبوت في العمق أمام 144 نوعاً مختلفاً من الأشياء المكسورة (ألغاز رياضية، ألعاب منطقية، تخطيط مكاني) دفعة واحدة كان أمراً مربكاً للغاية. شعر الروبوت بالارتباك لأن بعض المهام كانت سهلة جداً (كان يعرف الإجابة بالفعل) وبعضها كان صعباً جداً (لم يكن لديه أدنى فكرة من أين يبدأ).
2. الحل: "حصة تربية بدنية" مع مدرب ذكي
بدلاً من إلقاء الروبوت في صالة رياضية فوضوية، صمم الباحثون منهجاً تدريبياً متعدد المراحل. فكر في الأمر كمدرب شخصي يصمم خطة تمرين بناءً على مستوى لياقتك الحالي.
- الخطوة 1: الإحماء (الضبط الدقيق تحت الإشراف): أولاً، عرضوا على الروبوت 6,500 مثال لكيفية حل المشكلات بشكل صحيح. علموه: "عندما ترى مسألة رياضية، اكتب نصاً برمجياً بلغة Python. عندما ترى لغزاً منطقياً، فكر خطوة بخطوة". منح هذا الروبوت أساساً بسيطاً.
- الخطوة 2: نظام التقييم الذكي (إمكانية التحسن): هذا هو السر الحقيقي. لم يقم الباحثون باختبار الروبوت بمسائل عشوائية، بل اختبروه في كل مسألة ليروا مدى أدائه.
- إذا أجاب الروبوت بشكل صحيح بنسبة 100%، فهذا يعني أن المسألة سهلة جداً. لا داعة للتدريب عليها.
- إذا أخطأ الروبوت بنسبة 100%، فهذا يعني أن المسألة صعبة جداً. سيصاب بالإحباط ولن يتعلم شيئاً.
- المنطقة المثالية: ركزوا على المسائل التي يجيب فيها الروبوت بشكل صحيح بنسبة 50% تقريباً. كانت هذه هي مسائل "غولديلوكسز" (الوسط الذهبي) — صعبة بما يكفي للتعلم منها، ولكن ليست مستحيلة.
- الخطوة 3: التدريب المرحلي (التعلم المنهجي):
- المرحلة 1: تدرب الروبوت فقط على مسائل "المنطقة المثالية". وأصبح بارعاً جداً فيها.
- المرحلة 2: بمجرد إتقانه لها، قدم له المدرب مسائل أصعب قليلاً.
- المرحلة 3 و4: أخيراً، واجه الروبوت المسائل السهلة جداً والصعبة جداً، والتي أصبح قادراً على التعامل معها الآن لأن مهاراته قد تحسنت.
3. قوة "التحقق الذاتي" الخارقة
أحد أروع الأشياء التي حدثت أثناء هذا التدريب هو ظهور سلوك انبثاقي.
تخيل أنك تؤدي امتحاناً. تكتب إجابة، ثم تتوقف وتفكر: "مهلاً، دعني أراجع حساباتي للتأكد فقط". تمسك بآلة حاسبة، وتجري العمليات الحسابية، وإذا تطابقت النتائج، تشعر بالثقة. وإذا لم تتطابق، تقوم بتصحيح إجابتك.
وجد الباحثون أن R1 بدأ يفعل ذلك تلقائياً. حيث يقوم بإنشاء حل، ثم يكتب برنامجاً حاسوبياً صغيراً لـ التحقق من صحة إجابته قبل تقديمها. لقد تعلم أن يكون معلمه الخاص، فيكتشف أخطاءه دون أن يخبره أحد بذلك. هذه قفزة هائلة للأمام لأنها تجعل الذكاء الاصطناعي أكثر موثوقية.
4. النتائج: التغلب على العمالقة
النتيجة النهائية، R1-CI-14B، هي نموذج أصغر من أكبر نماذج الذكاء الاصطناعي (مثل GPT-4o) ولكنه في الواقع أذكى في هذه المهام المحددة.
- GPT-4o (نصوص فقط): نجح في حوالي 58% من المهام.
- GPT-4o (مع استخدام الأدوات): نجح في حوالي 70% من المهام.
- R1-CI-14B (طالبنا الجديد): نجح في 72.4% من المهام!
لقد تمكن من هزيمة النماذج العملاقة لأنه تعلم كيف يتعلم، بدلاً من مجرد حفظ الإجابات.
5. لماذا كان الأمر صعباً (تشبيه "الازدحام المروري")
واجه الباحثون أيضاً مشكلة تقنية مزعجة. يتضمن تدريب هذه النماذج تشغيل الأكواد البرمجية، وهو أمر يستغرق وقتاً طويلاً. تخيل أن لديك فريقاً من 100 عامل (وحدات معالجة رسومية - GPUs) يبنون منزلاً. ولكن في كل مرة يحتاجون فيها إلى طلب طوبة، يجب عليهم انتظار شاحنة التوصيل لمدة 10 دقائق. يقف العمال دون فعل شيء، مما يهدر الوقت والمال.
بنى الفريق نظام توصيل خاصاً (بيئة معزولة للمعالج - CPU sandbox) تعامل مع "طلب الطوب" (تنفيذ الكود) بشكل منفصل عن "عملية البناء" (تدريب النموذج). حافظ هذا على انشغال العمال وقلل وقت التدريب بنسبة تقارب 40%.
الخلاصة الكبرى
تظهر هذه الورقة البحثية أنه لجعل الذكاء الاصطناعي ذكياً حقاً، لا يمكننا مجرد إلقاء المزيد من البيانات عليه. نحن بحاجة إلى أن نكون معلمين أذكياء. نحن بحاجة إلى:
- إعطائه الأدوات المناسبة (مفسر الكود).
- تعليمه بالترتيب الصحيح (من الصعوبة "المناسبة تماماً" إلى الصعوبة الأكبر).
- تشجيعه على مراجعة عمله.
من خلال القيام بذلك، حولنا نموذجاً كان جيداً في الكلام إلى نموذج ممتاز في التنفيذ.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.