تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية حل المسائل الرياضية المعقدة. أنت لا تعطيه الإجابات فحسب؛ بل تتركه يحاول، ويتحقق من عمله، ثم توجهه في الاتجاه الصحيح. تسمى هذه العملية "التعلم التعزيزي" (Reinforcement Learning). يفكر الروبوت خطوة بخطوة، ويكتب استنتاجاته كلمة بكلمة، مثل طالب يملأ واجبًا منزليًا طويلاً. المشكلة هي أن هذا "التفكير" بطيء للغاية. يتعين على الروبوت كتابة كل كلمة، والانتظار حتى يتحقق الكمبيوتر منها، ثم كتابة الكلمة التالية. الأمر يشبه محاولة ملء مسبح بملعقة صغيرة بينما يتبخر الماء باستمرار.

لتسريع ذلك، جرب العلماء خدعة تسمى "فك التشفير التخميني" (speculative decoding). تخيل طالبًا بارعًا جدًا في الرياضيات لدرجة أنه يستطيع تخمين الكلمات الثلاث التالية من الإجابة قبل كتابتها. يكتب بضعة تخمينات، ثم يقوم معلم (المُحقِّق) بالتحقق بسرعة مما إذا كانت التخمينات صحيحة. إذا كانت التخمينات صحيحة، رائع! يتخطى الطالب التفكير البطيء ويقبل الكلمات ببساطة. أما إذا كانت خاطئة، فيقوم المعلم بتصحيحها ويبدأ الطالب من جديد. هذا يعمل بشكل رائع للمهام العادية، لكنه أمر صعب عندما يكون الروبوت في مرحلة "التعلم". فعقل الروبوت يتغير باستمرار أثناء تعلم قواعد جديدة، لذا فإن المُخمِّن الذي كان مثاليًا بالأمس قد يكون خاطئًا تمامًا اليوم. إذا استمررت في استخدام مُخمِّن قديم، فسيفشل. وإذا حاولت إعادة تدريب المُخمِّن في كل ثانية، فسيصبح الكمبيوتر مشغولًا جدًا بتحديث المُخمِّن لدرجة أنه ينسى القيام بحل الواجب المنزلي الفعلي.

هذا هو اللغز الذي تحاول ورقة بحثية بعنوان SpecRoll حله. أدرك المؤلفون، وهم فريق من فيتنام، أنهم بدلاً من إعادة تدريب مُخمِّن كامل باستمرار، يمكنهم استخدام أداتين مختلفتين تعملان معًا. أولاً، لديهم وحدة "المنعكس" (Reflex)—وهي إصلاح سريع ومؤقت لا يتطلب حوسبة ثقيلة. إنها تشبه طالبًا، عند إدراكه أنه ارتكب خطأً صغيرًا في تخمينه الأخير، يعدل حالته الذهنية فورًا للتخمين التالي دون الحاجة إلى إعادة تعلم الموضوع بأكمله. ثانيًا، هناك "المسار البطيء" الذي لا يقوم بتحديث عقل المُخمِّن إلا عندما يلاحظ أن الأخطاء تزداد سوءًا بشكل مستمر على مدى فترة طويلة.

تظهر الورقة أن هذا النهج "السريع-البطيء" يعمل بشكل جيد للغاية. فمن خلال الجمع بين هذه التعديلات السريعة وطريقة ذكية للتحقق من التخمينات، يجعل SpecRoll الروبوت يتعلم المسائل الرياضية أسرع بمقدار 1.26 إلى 2.15 مرة من الطريقة القياسية. كما أنه يتفوق على أفضل طريقة سابقة (تسمى FastGRPO) في كل اختبار أجروه، مما يوفر الوقت والمال في قدرة الكمبيوتر. لم يخمن المؤلفون أن هذا سينجح فحسب؛ بل اختبروا النظام على خمسة عقول روبوتات مختلفة (تتراوح من 1.5 مليار إلى 14 مليار معلمة) وثلاث مجموعات بيانات رياضية. وتشير النتائج إلى أنه من خلال الفصل بين "الإصلاحات السريعة" و"التعلم طويل الأمد"، يمكنك جعل تدريب الذكاء الاصطناعي أكثر كفاءة دون فقدان الدقة.

قصة SpecRoll: رقصة سريع-بطيء

فكر في تدريب ذكاء اصطناعي لحل المسائل الرياضية كأنها لعبة "الهاتف المكسور" (Telephone) عالية المخاطر تلعبها مجموعة ضخمة من الفريق. الهدف هو أن يولد الفريق (الذكاء الاصطناعي) سلسلة طويلة من الاستدلال لحل مشكلة ما. في النسخة القياسية من هذه اللعبة (تسمى GRPO)، يتعين على الفريق الهمس بكلمة واحدة في كل مرة، والانتظار حتى يتحقق الحكم منها، ثم الهمس بالكلمة التالية. إنها دقيقة، لكنها بطيئة بشكل مؤلم.

هنا يظهر SpecRoll، المدرب الجديد الذي يقدم استراتيجية "تخمينية". يقول المدرب: "دعونا لا ننتظر الحكم للتحقق من كل كلمة على حدة. لنطلق 'مسودًا' (مُخمِّنًا) يصرخ ببعض الكلمات مسبقًا، وسنتحقق منها جميعًا دفعة واحدة!"

المشكلة في الطريقة القديمة

المشكلة في استخدام مُخمِّن في بيئة تعلم هي أن استراتيجية الفريق تتغير باستمرار. تخيل أن الفريق يتعلم قاعدة جديدة: "استخدم دائمًا فاصلة بعد كلمة 'ومع ذلك'". بالأمس، كان المُخمِّن مثاليًا. اليوم، تعلم الفريق قاعدة جديدة، والمُخمِّن الآن يصرخ بكلمات بدون فواصل. إذا استمررت في استخدام المُخمِّن القديم، فسيفشل. وإذا حاولت إعادة تدريب المُخمِّن أثناء لعب الفريق للعبة، فسيصبح الكمبيوتر مثقلًا. الأمر يشبه محاولة إعادة طلاء سيارة متحركة أثناء قيادتها؛ قد تصطدم، أو قد تقضي كل وقتك في الطلاء ولا تقود أبدًا.

حاولت المحاولات السابقة، مثل FastGRPO، حل ذلك عن طريق تدريب نموذج مُخمِّن منفصل عبر الإنترنت. لكن هذا تطلب الكثير من العمل الشاق—تشغيل حسابات عكسية وتحديث عقل المُخمِّن باستمرار. لقد كان فعالًا، لكنه كان ثقيلاً وبطيئًا.

حل SpecRoll: المنعكس والمسار البطيء

يتخذ SpecRoll نهجًا مختلفًا وأخف وزنًا. فهو يستخدم سرعتين متميزتين للتعامل مع أخطاء المُخمِّن:

1. المسار السريع (المنعكس): هذه هي وحدة "المنعكس" (Reflex). فكر فيها كإحساس الطالب الفطري المباشر. عندما يقول الحكم (المُحقِّق): "مهلًا، كان هذا التخمين خاطئًا"، فإن وحدة المنعكس لا تعود لإعادة تدريب عقل الطالب. بدلاً من ذلك، تجري تعديلًا طفيفًا ومؤقتًا على الحالة الذهنية الحالية للطالب من أجل التخمين التالي. إنه يشبه تصحيحًا سريعًا "أوه، كنت أقصد قول هذا بدلًا من ذلك" يحدث في طرفة عين. إنه يستخدم "التغذية الراجعة المتأخرة" لتصحيح المسار الفوري دون الحاجة إلى أي عمليات رياضية ثقيلة (الانتشار العكسي/backpropagation). إنه سريع، ومجاني، ويستمر فقط للمشكلة الحالية.

2. المسار البطيء (التكيف المستمر): أحيانًا، لا يكون المُخمِّن مجرد مخطئ لمرة واحدة؛ بل يكون مخطئًا باستمرار لأن استراتيجية الفريق قد تغيرت جذريًا. هنا يأتي دور "المسار البطيء". فهو ينتظر حتى يرى نمطًا من الأخطاء المستمرة. عندها فقط يقوم بتحديث معاملات المُخمِّن (أوزان دماغه) فعليًا. هذا يشبه معلمًا يقرر إعادة تدريس فصل كامل فقط بعد ملاحظة أن الطالب قد فشل في نفس نوع الأسئلة لأسابيع.

كيف يعمل في الواقع

يستخدم النظام "رؤوس الرموز المستقبلية خفيفة الوزن". تخيل هذه كأجهزة إرسال صغيرة على رأس الروبوت تتنبأ بالكلمات القليلة التالية بالتوازي.

• الوعي بالتزامن: النظام ذكي بشأن عدد التخمينات التي يقوم بها. إذا كان الروبوت يعمل على العديد من المشكلات في آن واحد (تزامن عالٍ)، فإنه يقوم بتخمينات أقل لكل مشكلة لتوفية المساحة. ومع انتهاء المشكلات وتوفر مساحة أكبر لدى الروبوت، يقوم بعمل المزيد من التخمينات. إنه مثل طاهٍ يطبخ أطباقًا أقل عندما يكون المطبخ مزدحمًا ولكنه يزيد وتيرته عندما تهدأ الطلبات.
• التحقق الدقيق: من المهم جدًا أن SpecRoll لا يضحي بالدقة أبدًا. فرغم أنه يخمن، فإنه يجري دائمًا فحصًا نهائيًا ودقيقًا مقابل عقل الروبوت الحقيقي. إذا كان التخمين خاطئًا، يتم تصحيحه. وهذا يضمن أن الروبوت يتعلم الطريقة الصحيحة، ولكن بشكل أسرع.

النتائج: تسريع السباق

اختبر المؤلفون SpecRoll على خمسة نماذج ذكاء اصطناعي مختلفة (من 1.5 مليار إلى 14 مليار معلمة) وثلاث مجموعات بيانات رياضية (GSM8K، وSimpleRL، وDAPO-Math).

• السرعة: مقارنة بالطريقة القياسية، جعل SpecRoll عملية توليد الإجابات أسرع بمقدار 1.26 إلى 2.15 مرة.
• من البداية إلى النهاية: عند احتساب عملية التدريب بأكملها (بما في ذلك وقت التحقق من الإجابات وتحديث الروبوت)، كان أسرع بمقدار 1.21 إلى 2.04 مرة.
• هزيمة المنافسة: في الاختبارات المباشرة ضد FastGRPO (الذي كان يمثل أفضل حالة سابقة)، فاز SpecRoll في جميع الـ 15 إعدادًا مختلفًا (مجموعات النماذج والبيانات). وفي المتوسط، كان أسرع بمقدار 1.18 مرة من البداية إلى النهاية.

كما أجرت الورقة البحثية "دراسات استئصال" (اختبارات حيث قاموا بإيقاف أجزاء من النظام) لإثبات أن كلاً من المسار السريع (المنعكس) والمسار البطيء ضروريان. ووجدوا أن استخدام المنعكس وحده أو المسار البطيء وحده ساعد، لكن استخدامهما معًا أعطى أفضل النتائج. إنه مثل امتلاك كل من رد الفعل السريع لتفادي كرة وكل استراتيجية طويلة المدى لتحسين التصويب؛ أنت بحاجة إلى كليهما لتكون بطلاً.

لماذا هذا مهم؟

جمال SpecRoll هو أنه لا يغير القواعد الأساسية لكيفية تعلم الذكاء الاصطناعي. هو لا يغير الرياضيات وراء "تحسين السياسة النسبي للمجموعة" (GRPO) أو المكافآت التي يحصل عليها الذكاء الاصطناعي. إنه فقط يجعل "التوليد" (عملية إنشاء الإجابات) أكثر كفاءة.

يشير المؤلفون إلى أن هذا النهج يمكن أن يكون نقطة تحول في تدريب الذكاء الاصطناعي على مهام الاستدلال المعقدة. فمن خلال الفصل بين الإصلاحات الفورية والمؤقتة وبين التعلم طويل الأمد، تمكنوا من استخراج مكاسب هائلة في السرعة دون التكلفة الحسابية الثقيلة لإعادة تدريب نموذج مُخمِّن منفصل باستمرار.

في النهاية، يظهر SpecRoll أن الطريقة المثلى للتحرك بسرعة ليست دائمًا في الجري بشكل أسرع، بل في تعلم كيفية ضبط خطواتك بطريقتين مختلفتين: خطوة سريعة للحظة الراهنة، وتحديث بطيء وثابت للرحلة الطويلة. والأفضل من ذلك؟ لقد جعل المؤلفون الكود الخاص بهم متاحًا، حتى يتمكن الآخرون من تجربة هذه الرقصة السريعة-البطيئة بأنفسهم.