Governance Records as Supervision: Verifier-Selected Self-Training for Structured Workflow Repair

في عالم الذكاء الاصطناعي، غالباً ما يُحكم على النموذج بناءً على مدى قدرته على إجراء محادثة أو كتابة قصة. ولكن في العديد من المهام الواقعية، لا يكون الهدف هو التحدث بشكل جيد، بل أن يكون صحيحاً وفقاً لمجموعة صارمة من القواعد. تخيل روبوتاً يجب عليه تحريك مكعبات على طاولة لبناء برج. قد ينطق بالكلمات الصحيحة، ولكن إذا حاول رفع مكعب يحمل فوقه مكعباً آخر بالفعل، فإن الخطة ستفشل. الفشل هنا ليس مسأًلة أسلوب؛ بل هو خطأ ميكانيكي يمكن للحاسوب التحقق منه فوراً. لسنوات، استخدم الباحثون هذه عمليات التحقق فقط لرفض الخطط السيئة والمحاولة مرة أخرى، مما يؤدي إلى هدر الوقت والطاقة. والآن، يطرح خط بحثي جديد سؤالاً مختلفاً: إذا كان بإمكان الحاسوب رصد خطأ وإيجاد حل صحيح، فهل يمكنه استخدام سجل النجاح هذا لتعليم النموذج كيف يصيب الهدف من المرة الأولى، دون الحاجة إلى التفكير بعمق في المرة القادمة؟

هذا السؤال يقع في قلب العمل الأخير الذي قام به الباحث المستقل خيسوس سالاس، الذي استكشف ما إذا كان "الأثر الورقي" الرقمي لمهمة ناجحة يمكن أن يصبح معلماً. تركز الدراسة على نوع معين من المشكلات حيث تكون القواعد واضحة والنتيجة قابلة للتحقق بواسطة الآلة. استخدم الباحث بيئة اختبار معروفة تتضمن تحريك المكعبات، حيث يعمل برنامج حاسوبي كحكم ليقرر ما إذا كانت الخطة تعمل أم لا. كان الهدف هو معرفة ما إذا كان نموذج ذكاء اصطناعي ضخم ومكلف، والذي يحل هذه الألغاز أحياناً، يمكنه توليد عدد قليل من الإجابات الصحيحة، وما إذا كان يمكن استخدام تلك الإجابات المحددة لتدريب نسخة أصغر وأسرع من نفس النموذج لتتمكن من حلها بموثوقية من تلقاء نفسها.

بدأت التجربة بنموذج ذكاء اصطناعي ضخم معروف بقدرته على "التفكير" قبل أن يجيب. أُعطي هذا النموذج سلسلة من ألغاز تحريك المكعبات. لم يحصل على الإجابة الصحيحة في كل مرة، ولكنه تمكن في بضع عشرات من المحاولات من إنتاج خطط قبلها برنامج الحكم كخطط صالحة. أخذ الباحث هذه الخطط الناجحة النادرة واستخدمها كمجموعة تدريب. كان الهدف هو تعليم نموذج الذكاء الاصطناعي نفسه، ولكن هذه المرة في وضع لا يقضي فيه وقتاً في التفكير أو الاستنتاج، لإنتاج تلك الخطط الصحيحة فوراً. لم يتم إعطاء النموذج الإجابات مسبقاً؛ بل تعلم فقط من المرات القليلة التي عثر فيها على الحل الصحيح بمحض الصدفة.

وعندما تم اختبار هذا النموذج المدرب على مجموعة جديدة من ثمانين لغزاً لم يسبق له رؤيتها، كانت النتائج مذهلة. النموذج غير المدرب، عندما طُلب منه حل الألغاز دون تفكير، نجح مرة واحدة فقط. أما النموذج الذي تم تعليمه "التفكير" قبل الإجابة فقد نجح ثلاثين مرة. لكن النموذج الذي تم تدريبه على الخطط الناجحة القليلة من النسخة "المفكرة" نجح سبع وخمسين مرة. لم يصبح أفضل فحسب، بل أصبح أكثر موثوقية بشكل كبير في هذا الاختبار المحدد. علاوة على ذلك، حل هذا النموذج المدرب المشكلات بشكل أسرع واستخدم موارد حاسوبية أقل بكثير من النسخة التي تقضي وقتاً في الاستنتاج. لقد تمكن من إنتاج خطة صالحة في 57 حالة من أصل 80 حالة، بينما فعلت النسخة "المفكرة" الأصلية ذلك في 30 حالة من أصل 80. وبينما كان النموذج المدرب فعالاً للغاية، أشارت الدراسة إلى أن الهدف المحدد المتمثل في إثبات أنه يصلح أخطاء الواجهة بشكل أفضل من النموذج المفكر لم يتحقق في الاختبار المسجل مسبقاً، رغم أن النموذج المدرب ظل صالحاً في تنسيق مخرجاته في جميع الحالات.

ولضمان أن هذا التحسن جاء من جودة الإجابات المختارة للتدريب، وليس فقط من امتلاك المزيد من الأمثلة، أجرى الباحث اختباراً ثانياً. أخذ مجموعة من الخطط الصالحة التي ولدها النموذج وقسمها إلى ثلاث مجموعات: اختيرت إحدى المجموعات بواسطة برنامج الحكم، وأخرى باختيار النموذج لنفسه بشكل عشوائي، والثالثة عبر قاعدة بسيطة تختار الخيار الأول المتاح. وجد أن النموذج المدرب على الخطط التي اختارها برنامج الحكم كان يتفوق بشكل ملحوظ على النموذج الذي تدرب على الخطط التي اختارها النموذج لنفسه. وقد أثبت ذلك أن حكم "الحكم" كان هو العامل الحاسم؛ فالنموذج لم يكن يتعلم من أي نجاح فحسب، بل كان يتعلم من النوع المحدد من النجاح الذي أكد المحقق المستقل أنه صحيح حقاً.

كما استكشفت الدراسة ما يحدث عندما يعمل نموذج ذكاء اصطناعي أكثر ذكاءً كمعلم. في هذا السيناريو، قام نموذج استنتاجي قوي بتوليد الخطط الصحيحة، والتي استُخدمت بعد ذلك لتدريب نموذج أصغر وأقل قدرة. تحسن النموذج الأصغر بشكل دراماتيكي، حيث انتقل من حل لغزين فقط إلى حل 51 لغزاً من أصل ثمانين. ومع ذلك، كان الباحث حريصاً على التمييز بين هذه التجربة والتجربة الأولى؛ ففي الحالة الأولى، علم النموذج نفسه باستخدام نجاحاته النادرة، أما في الحالة الثانية، فقد تعلم من معلم متفوق. كلا الأسلوبين نجحا، لكن الأول أظهر أن النموذج يمكنه تحسين نفسه دون الحاجة إلى "صديق" أكثر ذكاءً، طالما أن لديه وسيلة للتحقق من عمله.

كما نظرت الدراسة في حدود هذا النهج. كانت التحسينات حقيقية وقابلة للقياس، لكنها لم تكن لانهائية. فعندما حاول الباحثون تدريب النموذج مراراً وتكراراً على نجاحاته الجديدة الخاصة، توقفت المكاسب في النهاية. وصل النموذج إلى نقطة لم يعد فيها قادراً على التعلم من البيانات المتاحة، مما يشير إلى وجود سقف لمدى قدرة النموذج على تحسين نفسه بمفرده دون معلومات جديدة. كما لاحظت الدراسة أنه بينما كان النموذج المدرب ممتازاً في اتباع قواعد ألغاز المكعبات المحددة، إلا أنه لم يصبح خبيراً عاماً في جميع أنواع التخطيط؛ بل أصبح متخصصاً في القواعد المحددة التي تعلمها.

يشير هذا العمل إلى طريقة جديدة لبناء أنظمة ذكاء اصطناعي تكون ذكية وفعالة في آن واحد. فبدلاً من الاعتماد على نموذج ضخم وبطيء للتفكير في كل مشكلة، يمكننا استخدام نموذج ضخم لإيجاد عدد قليل من الحلول الصحيحة، والتحقق منها، ثم تدريب نموذج أصغر وأسرع لمحاكاة هذا النجاح. يصبح النموذج الأصغر متخصصاً يمكنه التعامل مع المهام الروتينية بسرعة ودقة، بينما يظل النموذج الأكبر وبرنامج الحكم في الانتظار للحالات الصعبة التي تتطلب تفكيراً أعمق. تظهر الأبحاث أن سجل المحاولة الناجحة هو أكثر من مجرد سجل؛ إنه مورد قيم يمكن تحويله إلى معلم، مما يسمح للآلات بالتعلم من عبقريتها العارضة وتحويلها إلى عادة مستمرة.