تخيل عالماً تتعلم فيه الحواسيب حل الألغاز المعقدة، مثل المسائل الرياضية المتقدمة أو كتابة أكواد برمجية، من خلال الممارسة مراراً وتكراراً. يسمى هذا المجال "التعلم التعزيزي" (Reinforcement Learning)، حيث يحاول الكمبيوتر (الذي يمثل "الطالب") تجربة إجابات مختلفة ويتلقى في النهاية فقط كلمة بسيطة مثل "نعم" أو "لا" ليعرف ما إذا كان محقاً أم لا. المشكلة هي أنه إذا سلك الطالب مساراً طويلاً ومتعرجاً للوصول إلى هناك، فإن كلمة "نعم" أو "لا" الوحيدة لن تخبره بأي خطوات محددة كانت جيدة وأيها كانت سيئة. الأمر يشبه الحصول على درجة "B" في امتحان نهائي دون معرفة الأسئلة التي أخطأت فيها. ولحل هذه المشكلة، يستخدم الباحثون حيلة تسمى "التقطير الذاتي داخل السياسة" (On-Policy Self-Distillation). فكر في هذا كطالب يسأل "معلماً متميزاً" (يمتلك مفتاح الإجابات السرية) ليقوم بتقييم كل خطوة من خطوات رحلة الطالب أثناء سيرها. وهذا يمنح الطالب تدفقاً كثيفاً من التغذية الراجعة بدلاً من مجرد نتيجة واحدة في النهاية. ولكن هنا تكمن العقبة؛ فالطريقة القياسية لاستخدام هذا المعلم تعامل كل خطوة من التغذية الراجعة بنفس الأهمية تماماً، كما لو أن خطأً حدث في البداية له نفس أهمية خطأ حدث في النهاية، بغض النظر عن كيفية تغير أداء الطالب على طول الطريق.

تقدم هذه الورقة البحثية طريقة جديدة تسمى DASH (آفاق الإشراف المتكيفة مع التباين) لإصلاح هذه الفجوة. وجد الباحثون أن النهج القياسي جامد للغاية؛ فهو لا ينتبه إلى "قصة" أخطاء الطالب. فأحياناً، قد يؤدي خطأ صغير في البمرحلة المبكرة إلى كارثة كاملة لاحقاً، بينما قد يكون خطأ مماثل في مرحلة متأخرة بلا ضرر. تعمل DASH كـ "محرر ذكي" ينظر إلى تسلسل التغذية الراجعة بالكامل. فإذا كان الطالب يبتعد عن نصيحة المعلم بطريقة تشير إلى مشكلة متنامية، تقوم DASH بتضخيم وزن تلك الإشارات لتصحيح المسار. وإذا كان الطالب يبلي بلاءً حسناً، فإنها تخفف من حدتها. وتظهر الورقة أن DASH، من خلال إجراء هذه التعديلات، تساعد الطالب على التعلم بشكل أسرع وأفضل من ذي قبل، مما يحسن درجات الاستدلال الرياضي لديهم عبر أحجام مختلفة من النماذج دون الحاجة إلى قوة حوسبة إضافية أو معلم أكثر ذكاءً.

المشكلة: المصحح الذي يتبع مبدأ "مقاس واحد للجميع"

في عالم تدريب الذكاء الاصطناعي على التفكير المنطقي، لدينا نموذج طالب ونموذج معلم. يقوم الطالب بتوليد سلسلة طويلة من الأفكار ("التمرير") لحل مشكلة ما. والمعلم، الذي لديه إمكانية الوصول إلى الحل الصحيح، يراقب الطالب ويقول: "مهلاً، عند هذه الكلمة تحديداً، كان يجب عليك اختيار هذه الكلمة الأخرى". وهذا ما يسمى الإشراف على مستوى الرمز (Token-level supervision).

الطريقة القياسية، المسماة OPSD (التقطير الذاتي داخل السياسة)، تجمع كل إشارات "أنت مخطئ" الصغيرة هذه من المعلم وتقوم بمتوسطها. الأمر يشبه معلماً يعطي طالباً تقريراً مدرسياً حيث تُحسب كل غلطة بنفس الوزن تماماً، بغض النظر عن وقت حدوثها.

أدرك المؤلفون أن هذا أمر غير منطقي نوعاً ما. تخيل طالباً يحل مسألة رياضية:

• السيناريو أ: يرتكب الطالب خطأً حسابياً صغيراً في الخطوة 1، لكنه يصحح خطأه في الخطوة 2. كان "التباين" (الفجوة بين الطالب والمعلم) مرتفعاً للحظة، لكنه تلاشى بعد ذلك.
• السيناريو ب: يرتكب الطالب نفس الخطأ الصغير تماماً في الخطوة 1، لكنه يستمر في جعل الأمر يزداد سوءاً، لينحدر نحو إجابة خاطئة تماماً بحلول الخطوة 10.

في نظام OPSD القياسي، يحصل كلا السيناريوهين على نفس "العقوبة" للخطوة الأولى. النظام لا يدرك أنه في السيناريو (ب)، كان ذلك الخطأ الأول هو بداية كارثة محققة، بينما في السيناريو (أ)، لم يكن سوى تعثر بسيط. الطريقة القياسية تعامل الخطأ المحلي بمعزل عن غيره، متجاهلةً تاريخ كيفية أداء الطالب وصولاً إليه ومستقبل المكان الذي قد يؤدي إليه هذا الخطأ.

الحل: DASH، المدرب المتكيف

يقترح المؤلفون DASH لمنح نظام التصحيح ذاكرة وسياقاً. فبدلاً من مجرد حساب متوسط الأخطاء، تسأل DASH: "كيف تتناسب هذه الغلطة المحددة مع قصة الإجابة بأكملها؟"

إليك كيف تعمل DASH، باستخدام تشبيه بسيط:

تخيل أن الطالب يسير في طريق، والمعلم يمسك بحبل مربوط بخصر الطالب. "التباين" هو مدى ابتعاد الطالب عن مسار المعلم المثالي.

1. قياس الفجوة: تراقب DASH مدى ابتعاد الطالب عن المعلم في كل خطوة.
2. آلية "البوابة": بدلاً من سحب الطالب للخلف بنفس القوة في كل مرة، تستخدم DASH "بوابة" خاصة.
   • إذا كان أداء الطالب أسوأ من المتوسط (أي أن الفجوة تتسع)، تفتح البوابة على مصراعيها. وهذا يعني أن التغذية الراجعة من المعلم للخطوات المستقبلية ستحصل على إشارة أقوى لسحب الطالب بقوة للخلف. إنها تقول: "مهلاً، هذا توجه سيء! نحن بحاجة إلى اهتمام إضافي لتصحيح هذا المسار".
   • إذا كان أداء الطالب أفضل من المتوسط (أي أن الفجوة صغيرة)، تغلق البوابة قليلاً. تظل تغذية المعلم الراجعة موجودة، لكنها لا تصرخ بصوت عالٍ لأن الطالب يسير بالفعل في المسار الصحيح.
3. النظر إلى الوراء: تستخدم DASH حيلة ذكية تسمى "التجميع العكسي" (Backward Aggregation). تبدأ من نهاية الإجابة وتعمل طريقها عودة إلى البداية. وتسأل: "إذا نظرت إلى نهاية هذا المسار، فإلى أي مدى ساهمت هذه الخطوة المحددة في الفوضى النهائية (أو النجاح)؟" ومن ثم تعدل وزن التغذية الراجعة لتلك الخطوة بناءً على ما حدث بعدها.

هذا يخلق نظاماً ديناميكياً حيث لا تكون "أهمية" الخطأ ثابتة. فالخطأ الذي يؤدي إلى سلسلة طويلة من الأخطاء يحصل على وزن ثقيل. أما الخطأ الذي يتم تصحيحه بسرعة فيحصل على وزن أخف.

ما وجدوه

اختبر الباحثون هذه الفكرة على ثلاثة أحجام مختلفة من نماذج الذكاء الاصطناعي (1.7 مليار، 4 مليارات، و8 مليارات معامل) باستخدام ثلاثة اختبارات معايير رياضية صعبة (AIME 2024، AIME 2025، وHMMT فبراير 2025).

• النتائج: تفوقت DASH باستمرار على الطريقة القياسية (OPSD) في جميع المجالات. بالنسبة لأصغر نموذج (1.7B)، قفز متوسط الدقة من 41.87% إلى 45.07%. وبالنسب بالنسبة للنماذج الأكبر، كانت المكاسب واضحة أيضاً، حيث انتقل نموذج 8B من 64.80% إلى 66.40%.
• السبب: من خلال سلسلة من التجارب، أثبتوا أن التحسن لم يكن لمجرد إضافة المزيد من "الضجيج" أو تغيير الرياضيات عشوائياً. لقد اختبروا ما سيحدث لو استخدموا بوابة ثابتة (مثل الطريقة القديمة) مقابل بوابة ذكية ومتغيرة. وكانت البوابة الذكية (DASH) هي الفائزة. كما تحققوا مما إذا كان اتجاه المنطق يهم (على سبيل المثال، هل يجب معاقبة الفجوات الكبيرة أكثر أم أقل؟). ووجدوا أن منطقهم المحدد — وهو معاقبة الفجوات الكبيرة بفتح البوابة على اتساعها للسماح بمزيد من التصحيح — كان هو المفتاح.
• الكفاءة: الجزء الأفضل هو أن DASH لا تحتاج إلى معلم فائق الذكاء أو قوة حوسبة إضافية. فهي تعيد استخدام المعلومات التي كان يجمعها الأسلوب القياسي بالفعل، ولكنها تعالجها بطريقة أكثر ذكاءً. إنه يشبه أخذ كومة من البيانات الخام وتنظيمها بشكل أفضل، بدلاً من جمع المزيد من البيانات.

الخلاصة

تشير الورقة البحثية إلى أنه عندما نعلم الذكاء الاصطناعي التفكير المنطقي، لا ينبغي لنا فقط عدّ الأخطاء؛ بل يجب أن نفهم قصة تلك الأخطاء. ومن خلال جعل الإشراف "متكيفاً" — أي تغيير مقدار استماعنا للمعلم بناءً على أداء الطالب بمرور الوقت — يمكننا مساعدة الذكاء الاصطناعي على التعلم بفعالية أكبر بكثير. تظهر DASH أن القليل من السياق يقطع شوطاً طويلاً، محولةً نظام التصحيح الجامد إلى مدرب مرن وذكي يعرف متى يكون صارماً ومتى يكون متساهلاً.