STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models
إنَّ STEP-VERIFIER هو نموذج مكافأة عملياتي يتعلم التحقق من أفعال الوكيل الفردية من خلال مقارنات زوجية مُخلّقة تلقائياً، مما يوفر تغذية راجعة وسيطة كثيفة أثناء التدريب لتحسين أداء الوكيل بشكل كبير في مهام استخدام الأدوات المعقدة دون الحاجة إلى الاعتماد على المُحقِّق عند النشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تبرز فئة متنامية من البرامج تُعرف باسم "الوكلاء" (agents). وبخلاف روبوتات الدردشة القياسية التي تكتفي بمجرد الإجابة على سؤال، صُمم الوكيل لاتخاذ إجراءات؛ إذ يمكنه تصفح الويب، أو استدعاء أدوات خارجية، أو التعامل مع الملفات لحل مشكلات معقدة. ولتعلم كيفية القيام بذلك، غالبًا ما يتم تدريب هؤلاء الوكلاء من خلال عملية تشبه التجربة والخطأ؛ حيث يحاولون تنفيذ مهمة ما، وإذا نجحوا في نهايتها، يُمنحون مكافأة، أما إذا فشلوا، فلا يُمنحون شيئًا. يعمل هذا الأسلوب بشكل جيد للمهام البسيطة، ولكن بالنسبة للمهمات الطويلة والمعقدة التي تتضمن عشرات الخطوات، فإنه يخلق نقطة عمياء كبيرة؛ إذ لا يعرف الوكيل سوى النتيجة النهائية، وليس الخطوة المحددة التي تسببت في الفشل. إن حركة واحدة خاطئة في وقت مبكر من العملية يمكن أن تفسد المحاولة بأكملها، ومع ذلك يعامل نظام التعلم هذا الفشل نفسه كما لو كان محاولة أخطأت في كل خطوة من خطواتها. وهذا النقص في التفاصيل يجعل من الصعب على الوكيل التعلم من أخطائه بكفاءة.
لقد طور باحثون في جامعة هونغ كونغ وشركة شاومي طريقة جديدة لحل هذه المشكلة تسمى STEP-VERIFIER. فبدلاً من الانتظار حتى نهاية المهمة للحكم على أداء الوكيل، يتعلم هذا النظام تقييم جودة كل إجراء فردي أثناء حدوثه. ويكمن الابتكار في كيفية تعلمه القيام بذلك دون الحاجة إلى معلمين بشريين لتقييم كل خطوة على حدة. فقد أدرك الفريق أنه يمكنهم استخدام محاولات الوكيل السابقة لتوليد التغذية الراجعة اللازمة. فعندما يحاول الوكيل حل المشكلة نفسها مرات عديدة، فإنه غالبًا ما يتبع المسار نفسه للخطوات القليلة الأولى قبل أن يتفرع في اتجاهات مختلفة. ومن خلال مقارنة النتائج النهائية لهذه الفروع المختلفة، يمكن للنظام استنتاج أي الخيارات المبكرة كانت أفضل. فإذا أدى مسار ما إلى النجاح ومسار آخر إلى الفشل، يتعلم النظام أن نقطة اتخاذ القرار التي انقسموا عندها كانت حاسمة.
بنى الباحثون نموذج "مدقق" (verifier) منفصل يعمل كحكم لهذه الخطوات الفردية. وقد قاموا بتدريب هذا المدقق باستخدام مجموعة ضخمة من التفاعلات المسجلة، حيث تم تحديد كل محاولة كنجاح أو فشل. يبحث النظام عن اللحظات التي تشترك فيها محاولتان مختلفتان في التاريخ نفسه حتى نقطة معينة، ثم تسلكان إجراءات مختلفة. ويقوم بحساب الفرق في معدلات النجاح النهائية بينهما لإنشاء مقارنة. على سبيل المثال، إذا أدى إجراء ما إلى نتيجة ناجحة بنسبة 80% من المرات وإلى إجراء آخر إلى النجاح بنسبة 20% فقط، فإن المدقق يتعلم إعطاء درجة أعلى للإجراء الأول. وتخلق هذه العملية تدفقًا كثيفًا من التغذية الراجعة، مما يخبر الوكيل بالضبط أي التحركات كانت جيدة وأيها كانت سيئة، قبل وقت طويل من انتهاء المهمة.
ومن الأهمية بمكان أن هذا المدقق يُستخدم فقط خلال مرحلة التدريب. فقد صمم الباحثون جدولاً يكون فيه تأثير المدقق في أقوى حالاته في البداية، عندما يقوم الوكيل بالعديد من التخمينات العشوائية وتكون النتائج النهائية غير دقيقة. ومع تحسن الوكيل وتصبح نتائجه النهائية أكثر موثوقية، يتم تقليل تغذية المدقق الراجعة تدريجيًا حتى تختفي تمامًا. وهذا يضمن أن الوكيل النهائي الذي يتم نشره لا يحتاج إلى المدقق ليعمل؛ فقد استوعب الدروس داخليًا ويمكنه العمل بشكل مستقل. وعند اختباره على ثلاثة معايير مختلفة تتضمن تصفح الويب، واستخدام الأدوات، والتخطيط متعدد الخطوات، تفوق هذا النهج بشكل كبير على الأساليب التي تعتمد فقط على النتائج النهائية، حيث تعلم الوكيل بشكل أسرع وارتكب أخطاء أقل.
كما قارنت الدراسة هذه الطة الجديدة بطرق أخرى لتقييم الخطوات المتوسطة. استخدمت بعض الأساللة السابقة تسميات بسيطة (نعم أو لا) لكل خطوة، بينما حاولت أخرى تقييم المحاولة بأكملها كوحدة واحدة. وقد أثبت نهج STEP-VERIFIER، الذي يستخدم نظام ترتيب أكثر دقة لمقارنة أزواج من الإجراءات، أنه الأكثر فعالية. وكانت درجاته تتماشى بشكل أكبر بكثير مع الأحكام البشرية لما تبدو عليه الخطوة الجيدة. وفي الواقع، عندما راجع البشر إجراءات الوكيل، فقد اتفقوا مع تقييم المدقق بنسبة 81.5% من الوقت، وهي نسبة أعلى بكثير من الطرق الآلية الأخرى. وهذا يشير إلى أن النظام نجح في التقاط المنطق الدقيق المطلوب للتنقل في المهام المعقدة.
إن أحد أهم النتائج هو أن النظام يعمل دون أي جهد بشري إضافي أو جمع بيانات جديدة؛ فهو يعتمد كليًا على البيانات التي تم إنتاجها بالفعل أثناء التدريب القياسي. ووجد الباحثون أن النظام يركز بشكل طبيعي على الخطوات التي يقضي فيها الوكيل معظم وقته، لأن تلك هي الخطوات التي لديه فيها أكبر قدر من البيانات للمقارنة. ومع ذلك، فقد لاحظوا أيضًا قيدًا: فبالنسبة للخطوات الصعبة للغاية التي نادراً ما يحاولها الوكيل، لا توجد بيانات كافية لإجراء حكم موثوق. وفي تلك الحالات النادرة، يكون النظام أقل اطلاعًا. ورغم هذا الحد، يمثل هذا الأسلوب خطوة كبيرة للأمام في تعليم الوكلاء التفكير النقدي بشأن أفعالهم. فمن خلال تحويل تاريخ الوكيل نفسه إلى معلم، نجح الباحثون في خلق وسيلة تمكن هذه الأنظمة من التعلم من أخطائها في الوقت الفعلي، مما يؤدي إلى ذكاء اصطناعي أكثر قدرة وموثوقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.