SR-OPSD: Self-Referenced On-Policy Self-Distillation

تخيل أنك تعلم روبوتًا كيفية كتابة قصة أو حل مسألة رياضية. أنت لا تريد فقط من الروبوت أن يصل إلى الإجابة النهائية الصحيحة، بل تريد منه أن يتعلم كيف يفكر خطوة بخطوة. في عالم الذكاء الاصطناائي، يتم القيام بذلك غالبًا عبر ترك الروبوت يحاول، ويخطئ، ثم يحصل على "مكافأة" صغيرة أو "عقاب" في النهاية تمامًا. لكن هذا يشبه طالبًا يؤدي اختبارًا ولا يكتشف إلا بعد انتهائه أنه حصل على تقدير "جيد"، دون أن يعرف أي جملة أو عملية حسابية محددة تسببت في الخطأ. لإصلاح ذلك، يستخدم الباحثون حيلة تسمى "التقطير الذاتي" (self-distillation). فكر في الأمر كأن الروبوت يلعب دورين في آن واحد: "طالب" يحاول حل المشكلة، و"معلم" (وهو في الواقع نفس الروبوت، ولكن مع مساعدة إضافية أو "حل مؤكد") يراقب عمل الطالب ويعطيه ملاحظات على كل كلمة يقوم بها. ثم يحاول الطالب تقليد خيارات المعلم.

المشكلة هي أن هذا المعلم ليس مرشدًا ثابتًا ومثاليًا. فبينما يصبح الطالب أفضل، يتغير المعلم أيضًا، لأنهما كلاهما جزء من عقل واحد يتطور. الأمر يشبه محاولة إصابة هدف متحرك بينما تتغير اتجاهات الرياح أيضًا. إذا حاول الطالب تقليد المعلم بجمود شديد، فقد يعلق في حلقة مفرغة، مكررًا نفس الأخطاء أو يصبح ضيق الأفق في تفكيره. تقدم هذه الورقة البحثية طريقة جديدة للتعامل مع هذه الرقصة، تسمى SR-OPSD. وهي طريقة تساعد الطالب على التعلم من المعلم دون أن يرتبك بسبب الهدف المتحرك، باستخدام "بوصلة" رياضية خاصة للحفاظ على استقرار وفعالية التعلم.

مشكلة الهدف المتحرك

في العديد من طرق تدريب الذكاء الاصطناعي، يكون الهدف هو جعل الذكاء الاصطناعي أكثر ذكاءً من خلال جعله يتعلم من نجاحاته. تبدأ الورقة بالنظر في طريقة تسمى "التقطير الذاتي على السياسة" (On-Policy Self-Distillation - OPSD). تخيل طالبًا يؤدي اختبارًا. في OPSD، يكتب الطالب إجابة، ثم يقول له "معلم ذاتي" (وهو نفس الطالب، ولكنه ينظر إلى الإجابة مع لمحة من الحل الصحيح): "مهلًا، لقد فعلت هذا الجزء بشكل صحيح، لكن تلك الكلمة كانت غير دقة نوعًا ما". ثم يحاول الطالب تعديل إجاباته المستقبلية لتتطابق مع المعلم.

ولكن هناك عقبة. فالمعلم ليس كتابًا ثابتًا؛ بل هو نسخة من الطالب تتغير باستمرار. ومع تعلم الطالب، يتغير المعلم أيضًا. إذا حاولت تقليد معلم يغير موقعه باستمرار، فقد ينتهي بك الأمر بالتذبذب، دون الاستقرار أبدًا على إجابة جيدة. تشير الورقة إلى أن مجرد محاولة مطابقة هذا المعلم المتحرك باستخدام أدوات رياضية قياسية غالبًا ما يؤدي إلى عدم الاستقرار. قد يصبح الطالب مركزًا جدًا على طريقة واحدة في التفكير (مما يفقده الإبداع) أو يصاب بالارتباك بسبب التغييرات المستمرة.

الحل الجديد: مرساة ثابتة وبوصلة مرنة

يقترح المؤلفون طريقة جديدة تسمى SR-OPSD (التقطير الذاتي على السياسة المرجعي ذاتيًا). لقد أدركوا أنه لمن أجل وقف التذبذب، تحتاج إلى شيئين: نقطة ثابتة للتمسك بها وطريقة مرنة للتحرك نحو الهدف.

1. المرساة الثابتة (السياسة المرجعية): بدلًا من مجرد النظر إلى المعلم المتحرك، يراقب الطالب أيضًا "مرجعًا". فكر في هذا كنسختك الأصلية، قبل بدء هذا التدريب المحدد—النسخة التي كنت عليها قبل أن تبدأ. يعمل هذا المرجع مثل المنارة. حتى لو انحرف المعلم (الهدف المتحرك)، فإن الطالب يعرف أنه لا ينبغي له الانحراف بعيدًا عن أساسه الأصلي الصلب. تدمج الطريقة الجديدة نصيحة المعلم مع هذا المرجع، مما يخلق "هدفًا" مستقرًا ولكنه مفيد في الوقت نفسه.
2. البوصلة المرنة (تباعد ريني - Rényi Divergence): بمجرد تحديد الهدف، يحتاج الطالب إلى طريقة للتحرك نحوه. تستخدم الورقة أداة رياضية تسمى تباعد ريني. يمكنك التفكير في هذا كنوع خاص من "المغناطيس" أو "البوصلة" التي تتحكم في مدى قوة جذب الطالب نحو الهدف.
   • إذا كان المغناطيس قويًا جدًا، فقد يندفع الطالب نحو الهدف بسرعة كبيرة ويفقد صوته الخاص.
   • إذا كان ضعيفًا جدًا، فلن يتعلم أي شيء.
   • جمال أداة "ريني" هو أنها تحتوي على "مقبض" (يسمى الرتبة $\rho$) يسم يسمح للباحثين بضبط كيفية استجابة الطالب للفروقات بين إجابته الحالية والهدف. إنها تسم d ت للطالب أن يكون حساسًا للتفاصيل الصغيرة أو يتجاهلها، اعتمادًا على ما تتطلبه المهمة.

ما وجدوه

اختبر الباحثون هذه الطة الجديدة على ثلاثة أنواع مختلفة تمامًا من المهام:

• الأسئلة العلمية: الإجابة على أسئلة صعبة حول الكيمياء، الفيزياء، والأحياء.
• الاستدلال الرياضي: حل مسائل رياضية صعبة حيث تهم الخطوات بقدر أهمية الإجابة.
• البرمجة: كتابة برامج كمبيوتر تعمل بالفعل.

وقارنوا طريقتهم الجديدة (SR-OPSD) بطرق أقدم مثل "Reverse KL" التقليدي (الذي يشبه معلمًا صارمًا للغاية) و"تباعد جينسن-شانون" (وهو معلم أكثر توازنًا ولكنه غير مستقر أحيانًا).

النتائج:

• الاستقرار: في الاختبارات العلمية والرياضية، غالبًا ما بدأت الطرق القديمة بقوة ثم ساءت بمرور الوقت، مثل عداء ينطلق بسرعة كبيرة ثم ينهار. ومع ذلك، استمرت SR-OPSD في التحسن بشكل مستمر. على سبيل المثال، في اختبار فيزيائي، وصلت الطريقة الجديدة إلى دقة قدرها 81.1 (باستخدام مقياس محدد يسمى Avg@16)، بينما ظلت الطرق القديمة تحوم حول 79.4 أو أقل.
• الإتقان الرياضي: في المسابقات الرياضية الصعبة (مثل AIME وHMMT)، ساعدت الطريقة الجديدة الذكاء الاصطناعي على حل المزيد من المسائل بشكل صحيح. على سبيل المثال، في اختبار AIME 2025، حسنت الطريقة الجديدة معدل "النجاح" (الحصول على الإجابة الصحيحة) بمقدار 6.7 نقطة مئوية مقارنة بطريقة أساسية شهيرة تسمى GRPO.
• البرمجة: عند تعليم الذكاء الاصطناعي كتابة الكود، عملت الطريقة الجديدة بشكل أفضل مع زيادة حجم نماذج الذكاء الاصطناعي. بالنسبة لأكبر نموذج تم اختباره (Qwen3-8B)، حققت الطريقة الجديدة درجة 50.1، متفوقة على أفضل نتيجة سابقة بلغت 48.8.

لماذا هذا مهم

تشير الورقة إلى أن سر جعل الذكاء الاصطناعي يتعلم من أخطائه ليس مجرد امتلاك معلم أفضل؛ بل يتعلق بكيفية ربط الطالب بهذا المعلم. من خلال تثبيت عملية التعلم على "مرجع" مستقر واستخدام "بوصلة" قابلة للضبط (تباعد ريني)، يمكن للذكاء الاصطناعي تعلم مهارات معقدة دون الارتباك أو فقدان الطريق.

وجد المؤلفون أن مجرد إضافة نقطة مرجعية لم يكن كافيًا بحد ذاته؛ بل جعل الأمور أسوأ في الواقع إذا اقترنت بالأدوات الرياضية الخاطئة. ولكن عندما جمعوا المرجع مع بوصلتهم المرنة الجديدة، كانت النتائج أفضل باستمرار عبر العلوم والرياضيات والبرمجة. وهذا يشير إلى أنه لكي يتقن الذكاء الاصطناي مهام الاستدلال المعقدة حقًا، فإنه يحتاج إلى طريقة تدريب توازن بين حماس التغذية الراجعة الجديدة واستقرار معرفته الأصلية.