On-Policy Self-Distillation without Any Supervision

تخيل عالماً حيث تتعلم أدمغة رقمية عملاقة، تُسمى النماذج اللغوية الكبيرة (LLMs)، حل ألغاز معقدة مثل المسائل الرياضية. لفترة طويلة، كانت هذه الأدمغة بحاجة إلى معلم بشري يقف فوق كتفها، يشير إلى كل خطأ ويسلمها الإجابات الصحيحة. هذا يشبه طالباً يؤدي اختباراً حيث يهمس المعلم بالإجابات الصحيحة قبل أن ينهي حتى السؤال. ولكن ماذا لو لم يكن المعلم موجوداً؟ ماذا لو كان على الدماغ أن يعلم نفسه بنفسه؟ هذا هو السؤال الكبير الذي يطرحه الباحثون: هل يمكن للنموذج أن يتعلم كيف يصبح أكثر ذكاءً بمجرد النظر إلى عمله الخاص، دون أي مساعدة خارجية؟

لفهم الفكرة الجديدة في هذه الورقة البحثية، عليك معرفة شيئين. أولاً، هناك تقنية تسمى "التقطير" (distillation)، وهي تشبه محاولة طالب تقليد عملية التفكير لدى معلم بارع. عادة ما يكون "المعلم" نموذج ذكاء اصطناعي منفصلاً، أو أكبر، أو أكثر ذكاءً. ثانياً، هناك التعلم "على السياسة" (on-policy)، ويعني أن الطالب يتدرب على الإجابات التي يولدها هو نفسه بالضبط، بدلاً من دراسة أمثلة قديمة مكتوبة مسبقاً. كانت العقبة الكبيرة دائماً هي أنه حتى عندما يحاول النموذج تعليم نفسه، فإنه لا يزال بحاجة إلى إجابة "معيارية ذهبية" ليعرف ما إذا كان صحيحاً أم خاطئاً. وبدون هذه الحقيقة الخارجية، قد يستمر النموذج في ممارسة أخطائه، ليصبح واثقاً من خطئه مراراً وتكراراً.

تقدم هذه الورقة حيلة ذكية تسمى U-OPSD (التقطير الذاتي على السياسة غير الخاضع للإشراف). اكتشف الباحثون أن النموذج لا يحتاج فعلياً إلى معلم بشري أو مفتاح إجابات "ذهبي". بدلاً من ذلك، يمكنه أن يعمل كغرفة مليئة بالتوائم المتطابقين الذين يؤدون نفس الاختبار. إذا حصل أحد التوائم على إجابة غريبة بينما اتفق تسعة آخرون على إجابة مختلفة، فقد وجدت المجموعة "إجماعاً". تقترح الورقة أن هذا الاتفاق هو إشارة قوية بما يكفي للقول: "حسناً، هذا على الأرجح هو المسار الصحيح".

إليك كيف يحدث السحر: يقوم النموذج بتوليد محاولات عديدة (تسمى "rollouts") لحل مسألة رياضية. ثم يجري عملية تصويت. إذا اتفقت أغلبية المحاولات على إجابة ما، تصبح تلك الإجابة هي "الحل الزائف" (pseudo-solution) — وهو مفتاح إجابات مزيف ولكنه موثوق تم إنشاؤه بالكامل بواسطة النموذج نفسه. بعد ذلك، ينظر النموذج إلى المحاولات التي اختلفت مع الأغلبية. هذه هي المسارات "الخاطئة". يعمل النموذج كمعلم لنفسه، حيث يوضح للمسارات "الخاطئة" كيفية التحول إلى المسار "الصحيح"، خطوة بخطوة. إنه يشبه طالباً كتب مقالاً طويلاً ومربكاً، ثم أدرك أن معظم أصدقائه كتبوا مقالاً واضحاً وصحيحاً، ومن ثم أعاد كتابة مقاله ليتوافق مع منطق المجموعة، ولكن مع إصلاح الأجزاء التي خرج فيها عن المسار فقط.

النتائج مثيرة للدهشة حقاً. اختبر الباحثون هذا على عدة مسابقات رياضية صعبة (مثل AIME و MATH500) باستخدام أحجام مختلفة من النماذج (4 مليارات و8 مليارات معلمة). وجدوا أن طريقة "التعليم الذاتي" هذه، والتي لا تستخدم أي إشراف خارجي على الإطلاق، كانت في الواقع أفضل من الطرق التي تعتمد على الإجابات التي تم التحقق منها بشرياً في "وضع عدم التفكير" (حيث يجيب النموذج بسرعة). في هذا الوضع، تحسنت درجات النماذج التي علمت نفسها بنسبة 8.5% و10.7% مقارلة بنقطة بدايتها، متفوقة حتى على الطرق التي استخدمت الإجابات "الذهبية". ومع ذلك، في "وضع التفكير" (حيث يأخذ النموذج وقته في التفكير والتعليل)، كانت النتائج مختلفة: أدت النماذج التي علمت نفسها بنفسها إلى أداء "يماثل" أو "يتفوق قليلاً" على الطرق الخاضعة للإشراف، حيث طابقت الطرق الخاضعة للإشراف عن كثب بدلاً من السيطرة عليها.

تجادل الورقة بأن هذا ينجح لأن اتفاق النموذج الخاص هو إشارة قوية. فعندما يكون النموذج واثقاً بما يكفي للحصول على أغلبية أصوات، فإنه يعرف أنه على المسار الصحيح. وعندما يختلف مع نفسه، فهذا هو المكان الذي يحدث فيه التعلم. يشير الباحثون إلى أن العائق أمام جعل هذه النماذج أكثر ذكاءً ليس نقص مفاتيح الإجابات، بل القدرة على رصد وإصلاح تناقضاتها الخاصة. ومن خلال استخدام استراتيجية "تصويت الأغلبية" هذه، يمكن للنموذج أن يتطور ويتحسن من تلقاء نفسه، محولاً غرفة من التوائم المرتبكين إلى عبقري واحد أكثر ذكاءً.