تخيل عالماً تستطيع فيه الحواسيب التحدث، وكتابة القصص، وحل الألغاز تماماً مثل البشر. هذا هو مجال الذكاء الاصطناعي، وتحديداً النماذج اللغوية الكبيرة (LLMs). فكر في هذه النماذج كطلاب مطلعين للغاية قرأوا وحفظوا كل ما في المكتبة تقريباً. إنهم بارعون في تخمين الكلمة التالية في الجملة، ولكن عندما يواجهون مسألة رياضية صعبة، فإنهم يتعثرون أحياناً في خطواتهم. إذا ارتكبوا خطأً صغيراً في البداية، فإنهم غالباً ما يستمرون في البناء على ذلك الخطأ، مثل برج من المكعبات يصبح أكثر تذبذباً مع كل طبقة جديدة حتى ينهار. لقد حاول العلماء تعليم هؤلاء الطلاب من الذكاء الاصطناعي كيفية اكتشاف أخطائهم وإصلاحها قبل تسليم واجباتهم المدرسية. يُسمى هذا "التصحيح الذاتي" (self-correction). الأمر يشبه إعطاء طالب قلماً أحمر وطلب تصحيح اختباره بنفسه، لكن الخدعة تكمن في تعليمهم كيفية رصد الأخطاء بالفعل بدلاً من مجرد تغيير الأشياء بشكل عشوائي.

تتناول الورقة التي ستطالعها مشكلة محددة في فكرة "القلم الأحمر" هذه. فالمحاولات السابقة لتعليم الذكاء الاصطناعي التصحيح الذاتي غالباً ما فشلت لأن الذكاء الاصطناعي كان إما يصاب بالذعر ويغير كل شيء، أو يقوم بإصلاح الشيء الخطأ. قرر الباحثون وراء هذه الدراسة، وهم فريق من جامعات في سنغافورة وفيتنام، تغيير استراتيجية التدريب. فبدلاً من قول "هذه الإجابة كاملة خاطئة" للذكاء الاصطناعي، علموه كيفية النظر إلى المسألة خطوة بخطوة صغيرة جداً. لقد ابتكروا طريقة جديدة تسمى Self-Fix Step-DPO (SFS-DPO). تخيل مدرساً خصوصياً للرياضيات لا يكتفي بقول "لق un فشلت"، بل يشير بدلاً من ذلك إلى سطر محدد من الحسابات، ويقول: "مهلاً، هذه الخطوة مهتزة"، ثم يوضح بالضبط كيفية إصلاح ذلك السطر فقط قبل الانتقال لما بعده. وجد الباحثون أنه من خلال تعزيز قدرة الذكاء الاصطناعي على التفكير المنطقي عبر كل خطوة فردية أولاً، ثم تعليمه كيفية استهداف وإصلاح الأخطاء في تلك الخطوات تحديداً، أصبح الذكاء الاصطناعي أفضل بكثير في حل المسائل الرياضية المعقدة. حتى أنهم اختبروا نسخة "بمساعدة المعلم" حيث يقوم ذكاء اصطناعي فائق الذكاء بشرح سبب كون الخطوة خاطئة، مما ساعد طالب الذكاء الاصطناعي على التعلم بشكل أسرع. تشير النتائج إلى أن هذا النهج القائم على الخطوات يساعد نماذج الذكاء الاصطناعي على أن تصبح أكثر موثوقية ودقة، ليس فقط من خلال التخمين بشكل أفضل، بل من خلال تعلم كيفية رصد وإصلاح أخطائهم الخاصة على طول الطريق.

معسكر التدريب ذو المرحلتين

لفهم كيف علم الباحثون الذكاء الاصطناعي ليكون أفضل محرر لنفسه، تخيل معسكراً تدريبياً من مرحلتين لمتدرب شاب.

المرحلة الأولى: بناء الأساس
أولاً، يحتاج الذكاء الاصطناعي إلى تعلم كيفية بناء منزل متين قبل أن يتعلم كيفية إصلاح سقف يسرب الماء. في الماضي، حاولت بعض طرق التدريب تعليم الذكما الاصطناعي إصلاح الأخطاء فوراً، لكن الباحثين وجدوا أن هذا يشبه محاولة رتق سقف بينما الجدران لا تزال مصنوعة من الرمل. لذا، تركز مرحلتهم الأولى على تحسين التفضيل على مستوى الخطوة (Step-Level Preference Optimization).

فكر في هذا كأنها لعبة "اختر مغامرتك الخاصة" حيث يُعرض على الذكاء الاصطناعي مساران للمضي قدماً من نقطة معينة في مسألة رياضية. أحد المسارين هو الخطوة التالية الصحيحة، والآخر هو الخطوة الخاطئة. يتم مكافأة الذكاء الاصطناعي لاختياره المسار الصحيح. هذا لا يتضمن إصلاح خطأ بعد؛ بل يتعلق فقط بتعلم ما يبدو عليه المسار "الجيد" التالي. يسمي الباحثون هذه المرحلة "مرحلة التهيئة". إنها تشبه تعليم لاعب الشطرنج التعرف على النقلة الجيدة قبل تعليمه كيفية التعافي من خطأ فادح. ومن خلال القيام بذلك، يبني الذكاء الاصطناعي بوصلة داخلية قوية لما يعنيه "الاستدلال الصحيح" عند كل خطوة بمفردها.

المرحلة الثانية: تمرين التصحيح الذاتي
بمجرد أن يمتلك الذكاء الاصطناعي أساساً قوياً، يدخل المرحلة الثانية: التصحيح الذاتي خطوة بخطوة (Step-wise Self-Correction). الآن، يُعطى الذكاء الاصطناعي مسألة ارتكب فيها خطأ بالفعل. الهدف هو تعليمه:

1. رصد الخطأ: "مهلاً، تلك الخطوة الأخيرة لا تبدو منطقية".
2. الإصلاح: "دعني أستبدل تلك الخطوة الخاطئة بأخرى صحيحة".
3. الاستمرار: مواصلة الحل بالمسار المصحح.

لقد درب الباحثون الذكاء الاصطناعي على تفضيل النسخة "المصححة ذاتياً" من الحل على النسخة التي تُرك فيها الخطأ كما هو. الأمر يشبه إعطاء الطالب قلماً أحمر وقول: "إذا رأيت خطأً، ضع حوله دائرة، واكتب التصحيح، ثم أكمل المسألة".

نسخة "الابن المطيع"

أنشأ الفريق أيضاً نسخة خاصة من طريقتهم تسمى SFS-DPO-R. حرف "R" يرمز إلى "الاستدلال" (Reasoning). في هذه النسخة، لم يتركوا الذكاء الاصطناعي يخمن كيفية إصلاح الخطأ فحسب، بل استخدموا ذكاءً اصطناعياً "معلماً" فائق الذكاء لكتابة شرح قصير لـ سبب كون الخطوة خاطئة قبل أن يحاول طالب الذكاء الاصطناعي إصلاحها.

تخيل طالباً أخطأ في مسألة رياضية.

• الطريقة القياسية: يقول المعلم: "هذا خطأ. أصلحه". فيقوم الطالب بتخمين كيفية الإصلاح.
• طريقة SFS-DPO-R: يقول المعلم: "هذا خطأ لأنك قسمت على الرقم الخاطئ. إليك القاعدة التي فاتتك. الآن، أصلح الخطأ".

وجد الباحثون أن هذا الشرح الإضافي عمل كإشارة فائقة القوة، مما ساعد طالب الذكاء الاصطناعي على فهم طبيعة الخطأ بشكل أفضل بكثير. وبينما تطلب هذا وجود "معلم" (نموذج ذكاء اصطناعي أقوى) لتوليد التفسيرات، إلا أنه أدى إلى نتائج أفضل في حل المسائل.

ما وجدوه (وما لم يجدوه)

اختبر الباحثون طرقهم الجديدة على سبعة نماذج مختلفة من الذكاء الاصطناعي، تتراوح من الصغيرة (7 مليارات بارامتر) إلى الكبيرة (14 مليار بارامتر). وقد تحدوا هذه النماذج بمسائل رياضية من اختبارات قياسية مثل GSM8K وMATH، بالإضافة إلى اختبارات أصعب وخارجة عن المألوف مثل امتحان دخول الكليات الصينية (GK2023) ومسائل العلوم على مستوى الجامعة.

النتائج:
تظهر الورقة أن طريقتهم المكونة من مرحلتين حسنت أداء الذكاء الاصطناعي باستمرار.

• درجات أفضل: عبر جميع المجالات، حلت نماذج الذكاء الاصطناعي المدربة باستخدام SFS-DPO وSFS-DPO-R مسائل صحيحة أكثر من النماذج المدربة بالطرق القديمة. على سبيل المثال، في نموذج Qwen2-7B-Instruct، حسنت الطريقة الجديدة الدقة في مجموعة بيانات MATH بنسبة 3.4%.
• التعميم: لم يصبح الذكاء الاصطناعي أفضل في المسائل المحددة التي تدرب عليها فحسب، بل أصبح أفضل في أنواع جديدة من المسائل التي لم يسبق له رؤيتها. يشير هذا إلى أن الذكاء الاصطناعي تعلم مهارة عامة لإصلاح الأخطاء، وليس مجرد حفظ الإجابات.
• دفعة "المعلم": أدت النسخة المدعومة بالمعلم (SFS-DPO-R) عموماً إلى أداء أفضل قليلاً من النسخة التي بدون معلم، مما يظهر أن فهم سبب حدوث الخطأ هو أداة قوية.

ما استبعدوه:
تجادل الورقة صراحةً ضد بعض الأفكار الشائعة في هذا المجال:

• كثرة التصحيحات لا تعني الأفضل: وجد الباحثون أن جعل الذكاء الاصطناي يصحح نفسه بشكل أكثر تكراراً لا يجعله أذكى. في الواقع، جعلت بعض الطرق القديمة الذكاء الاصطناعي يصحح نفسه بشكل متكرر لدرجة أنه بدأ يغير الإجابات الصحيحة إلى إجابات خاطئة. طريقتهم تعلم الذكاء الاصطناعي أن يكون انتقائياً: أصلح فقط عندما تكون متأكداً من وجود خلل.
• تخطي الأساس: أظهروا أن محاولة تعليم التصحيح الذاتي دون تعزيز الاستدال خطوة بخطوة أولاً (تخطي المرحلة الأولى) يؤدي إلى نتائج سيئة. لا يمكنك تعليم طالب كيفية تحرير مقال إذا لم يكن يعرف كيفية كتابة جملة أولاً.
• ليس حلاً واحداً للجميع: وجدوا أن مجرد التحسين من أجل الحصول على "إجابات أفضل" في النهاية (النتيجة النهائية) ليس كافياً. يجب عليك التحسين من أجل جودة الخطوات في المنتصف.

الخلاصة

تشير هذه الورقة إلى أن السر في جعل الذكاء الاصطناعي أكثر ذكاءً ليس مجرد تغذيته بمزيد من البيانات أو جعله أكبر حجماً. بل يتعلق الأمر بتعليمه عادة محددة: توقف، راجع عملك، وأصلح الخطوة المحددة التي أخطأت فيها.

من خلال تقسيم العملية إلى "تعلم الاستدلال خطوة بخطوة" ثم "تعلم إصلاح تلك الخطوات"، خلق الباحثون إطاراً يساعد نماذج الذكاء الاصطناعي على أن تصبح أكثر موثوقية. وتشير النتائج، التي تم قياسها عبر مجموعات بيانات ونماذج متعددة، إلى أن هذا النهج هو وسيلة واعدة لمساعدة الذكاء الاصطناعي على التوقف عن ارتكاب نفس الأخطاء السخيفة مراراً وتكراراً. ورغم أن الورقة لا تدعي أنها تحل جميع مشاكل الذكاء الاصطناعي، إلا أنها تقدم دليلاً قوياً على أن تعليم النماذج أن تكون محررة دقيقة لنفسها، خطوة بخطوة، هو مفتاح الوصول إلى استدلال أكثر قوة وموثوقية.