SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents

في المشهد المعاصر للذكاء الاصطناوي، تطورت النماذج اللغوية الكبيرة من مجرد مولدات نصوص سلبية إلى وكلاء نشطين قادرين على التنقل في بيئات رقمية معقدة. هذه الأنظمة لا تكتفي بوصف العالم فحسب؛ بل تتفاعل معه، مستخدمةً أدوات برمجية لإصلاح الأكواد، وإدارة الملفات، وحل المشكلات من خلال سلسلة من خطوات الاستنتاج والأفعال. وللتعامل مع المجموعة الهائلة من المهام التي تواجهها، بدأ المطورون في تعبئة المعرفة الإجرائية في وحدات قابلة لإعادة الاستخدام تسمى "المهارات". تخيل مكتبة رقمية تحتوي على الآلاف من هذه المهارات، لكل منها اسم ووصف موجز، تنتظر أن يفتحها الوكيل عند الحاجة إليها. التحدي الحاسم لهذه الوكلاء ليس مجرد امتلاك الوصول إلى هذه المكتبة، بل معرفة أي ملف محدد يجب فتحه في اللحظة المناسبة. يجب اتخاذ هذا القرار في منتصف المهمة، وغالبًا بناءً على سطر واحد فقط من الوصف، قبل أن يتمكن الوكيل من رؤية المحتوى الكامل للملف. إذا اختار الوكيل المهارة الخاطئة، فقد تفشل الجهود بأكملها، ومع ذلك، لم تكن هناك حتى الآن طريقة موثوقة لتعليم الوكيل كيفية اتخاذ هذا القرار بشكل صحيح.

لطالما افترض الباحثون أن الطريقة القياسية لتدريب هؤلاء الوكلاء ستكون كافية: تقديم قائمة من المهارات المرشحة للوكيل، وتركه يحاول حل مهمة ما، ومكافأته فقط إذا كانت النتيجة النهائية ناجحة. كانت الفكرة هي أن الوكيل سيتعلم بشكل طبيعي اختيار المهارة الصحيحة لأن هذا الخيار يؤدي إلى نتيجة جيدة. ومع ذلك، تكشف دراسة جديدة أن هذا النهج يحتوي على خلل جوهري يمنع الوكلاء من تعلم اختيار المهارات بفعالية، خاصة في المهام الطويلة والمعقدة. وجد الباحثون أنه عندما يفشل الوكيل في إكمال مهمة ما، فإن إشارة التدريب التي تخبره بما حدث خطأً يتم بثها بالتساوي عبر كل كلمة أنتجها الوكيل. في تسلسل طويل من الأفعال، تغرق الكلمات القليلة التي تسمي المهارة المختارة وسط آلاف الكلمات المستخدمة في الاستنتاج والتنفيذ. وبناءً على ذلك، لا يتلقى الوكيل تقريبًا أي ملاحظات حول خياره الأولي. والأسوأ من ذلك، إذا اختار الوكيل المهارة الصحيحة ولكنه فشل لاحقًا بسبب خطأ آخر، فإن نظام التدريب يعاقب الخيار الأولي، مما يعلم الوكيل أن القرار الصحيح كان في الواقع خاطئًا. هذه الظاهرة، التي يسميها المؤلفون "مجاعة ائتمان المختار" (selector credit starvation)، تعني أن القرار الأكثر قيمة في تسلسل طويل هو غالبًا القرار الذي يتلقى أقل قدر من التعليمات وأكثرها تضليلًا.

ولحل هذه المشكلة، طور الفريق البحثي طريقة تدريب جديدة تسمى "SkillGate". بدلاً من معاملة تسلسل الأفعال بأكمله ككتلة واحدة، يقوم SkillGate بتقسيم عملية التعلم إلى قناتين منفصلتين. تقيم إحدى القناتين تنفيذ المهمة، حيث تكافئ أو تعاقب الوكيل بناءً على ما إذا كان الهدف النهائي قد تحقق أم لا. أما القناة الأخرى فتركز حصريًا على اللحظة التي يسمي فيها الوكيل مهارة ما. تنظر هذه القناة الثانية فقط إلى الكلمات المحددة المستخدمة لتحديد الملف المختار وتطرح سؤالًا بسيطًا: هل كان هذا هو الملف الوحيد الصحيح للوظيفة؟ إذا اختار الوكيل المهارة الصحيحة وفعل ذلك مرة واحدة فقط، فإنه يتلقى تغذية راجعة إيجابية لهذا الخيار المحدد، بغض النظر عما إذا كانت بقية المهمة قد نجحت أو فشلت. وإذا اختار الملف الخطأ أو اختار ملفات متعددة، فإنه يتلقى تغذية راجعة سلبية. ومن خلال عزل قرار تسمية المهارة عن نتيجة المهمة، يضمن النظام أن يتعلم الوكيل التمييز بين الخيار الجيد الذي أدى إلى نتيجة سيئة، وبين الخيار السيئ الذي أدى إلى نتيجة سيئة.

تم اختبار نتائج هذا النهج عبر خمسة معايضات مختلفة تتضمن مهام وكيل معقدة. قام الباحثون بتدريب نموذج يحتوي على 9 مليارات معلمة باستخدام هذه الطريقة الجديدة وقارنوه بنماذج تم تدريبها باستخدام النهج التقليدي القائم على النتيجة النهائية فقط. حقق النموذج المدرب بواسطة SkillGate معدل نجاح قدره 53.2 بالمائة، متفوقًا بشكل كبير على معدل النجاح البالغ 47.0 بالمائة للنموذل المدرب على النتائج النهائية فقط. لم يكن هذا التحسن مجرد مسألة جعل النموذج أكثر ذكاءً بشكل عام؛ بل تغير السلوك بطريقة محددة وقابلة للقياس. كان نموذج SkillGate أقل عرضة بكثير لقراءة المهارات المضللة أو غير ذات الصلة، حيث قلل تعرضه للخيارات السيئة بمقدار الثلثين، كما قرأ مهارات أقل بشكل عام، مما يشير إلى عملية اختيار أكثر حسمًا ودقة. كما أظهرت الدراسة أن مجرد جعل النموذج أكبر لم يحل المشكلة؛ فحتى النماذج الأكبر بكثير فشلت في تعلم مهمة اختيار المهارات بفعالية مثل النموذج الأصغر المدرب بواسطة SkillGate.

تكمن أهمية هذا العمل في إثباته أن الطريقة التي يتعلم بها الوكيل لا تقل أهمية عن البيانات التي يراها. لقد تحقق الباحثون من تشخيصهم من خلال تدقيق بيانات التدريب للنماذج المدربة بالطريقة القديمة. ووجدوا أنه كلما طالت المهام، انخفضت حصة إشارة التعلم التي تصل إلى كلمات تسمية المهارة بشكل كبير، لتصبح غير مرئية تقريبًا. علاوة على ذلك، كانت الإشارة التي تصل غالبًا عكس ما ينبغي أن تكون عليه، حيث تعاقب الخيارات الصحيحة لمجرد أن المهمة فشلت في النهاية. ومن خلال بناء نظام يتم فيه الحكم على اختيار المهارة بناءً على مزاياها الخاصة، بشكل منفصل عن تنفيذ المهمة، أزال الباحثون هذا الحاجز الهيكلي. تسمح الطة الجديدة للوكيل بأن يتعلم أن اختيار الأداة الصحيحة هو مهارة متميزة وقيمة في حد ذاتها، وهي مهارة تستحق تعليمًا واضحًا ومباشرًا خاصًا بها. ويشير هذا الاكتشاف إلى أنه لكي يصبح الوكلاء موثوقين حقًا في البيئات المعقدة، يجب أن يكون تدريبهم دقيقًا بما يكفي للتمييز بين قرار الفعل ونتيجة الفعل.