Mitigating Exploration Bias in RL for Multi-Instruction Following
تتناول هذه الورقة البحثية انحياز الاستكشاف نحو التعليمات السهلة في اتباع التعليمات المتعددة القائم على التعلم التعزيزي، وذلك عبر اقتراح إطار عمل ثنائي المراحل يجمع بين التمهيد السلوكي لتنشيط التعليمات الصعبة والمكافآت المدركة للندرة لإعطائها الأولوية، مما يحسن أداء النموذج بشكل كبير عبر المعايير القابلة للتحقق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد النماذج اللغوية الكبيرة هي المحركات الكامنة وراء روبوتات الدردشة ومساعدي الكتابة الذين أصبحوا جزءًا من الحياة اليومية. هذه الأنظمة، في جوهرها، مصممة لاتباع التعليمات، حيث تأخذ طلب المستخدم وتحوله إلى استجابة مفيدة. لسنوات طويلة، استخدم الباحثون طريقة تدريب تسمى "التعلم المعزز" لتعليم هذه النماذج كيف تكون أفضل في أداء هذه المهمة. في هذا النهج، يحاول النموذج حل مشكلة ما، ويتلقى درجة بناءً على مدى جودة أدائه، ثم يستخدم هذا التعليقات لتحسين محاولته التالية. إنها طريقة قوية لصقل السلوك، تمامًا مثل تدريب حيوان باستخدام المكافآت، ولكنها تُطبق على التفكير الرقمي المعقد. ومع ذلك، تشير دراسة جديدة إلى أنه عندما تواجه هذه النماذج طلبًا واحدًا يحتوي على قواعد أو قيود متعددة ومختلفة، فإن طريقة التدريب القياسية غالبًا ما تخيب ظنها. فبدلاً من تعلم كيفية تلبية كل جزء من الطلب، يميل النموذج إلى تجاهل الأجزاء الصعبة والتركيز فقط على الأجزاء السهلة، مما يترك المستخدم باستجابة صحيحة جزئيًا فقط.
وقد سعى الباحثون وراء هذه الدراسة، بالتعاون مع فرق في جامعات في تكساس وكاليفورنيا، لفهم سبب حدوث ذلك وكيفية إصلاحه. واكتشفوا أن المشكلة تنبع من قضيتين رئيسيتين. أولاً، عندما يبدأ النموذج التدريب، غالبًا ما يكون ضعيفًا جدًا بحيث لا يستطيع حل الأجزاء الأكثر صعوبة في الطلب المعقد. ولأنه لا يستطيع النجاح في هذه المهام الصعبة، فإنه لا يتلقى أبدًا التعليقات الإيجابية اللازمة لتعلمها، لذا يتوقف ببساطة عن المحاولة. ثانيًا، يعامل نظام التسجيل المستخدم أثناء التدريب كل تعليم كأنه متساوٍ. فإذا استوفى النموذج قاعدة سهلة وقاعدة صعبة، فإنه يحصل على نفس إجمالي الدرجة كما لو كان قد استوفى قاعدتين سهلتين. وهذا يشجع النموذج على السعي وراء "الانتصارات السهلة" لرفع درجته بسرعة، بدلاً من الكفاح عبر القيود الصعبة التي تتطلب جهدًا أكبر. والنتيجة هي نموذج منحاز نحو المسار السهل، تاركًا التحديات الأصعب دون استكشاف.
ولحل ذلك، اقترح الفريق إطار عمل مكون من خطوتين مصمم لإجبار النموذج على الانتباه إلى التعليمات الصعبة. الخطوة الأولى هي مرحلة تحضيرية يسمونها "التمهيد السلوكي" (behavioral bootstrapping). قبل بدء التدريب الرئيسي، يحدد الباحثون أنواع التعليمات المحددة التي يفشل النموذج حاليًا في اتباعها. ثم يقومون بتوليد مجموعة صغيرة ومركزة من الأمثلة حيث يتم توجيه النموذج للنجاح في هذه المهام الصعبة المحددة. ومن خلال التدريب على هذه البيانات المختارة لفترة قصيرة فقط، "يوقظ" النموذج قدرته على التعامل مع هذه القيود الصعبة. لا يتعلق الأمر بتعليم النموذج كل شيء من الصفر، بل بمنحه دفعة صغيرة لضمان أن لديه فرصة للنجاح قبل بدء التدريب الرئيسي. تضمن هذه الخطوة عدم استسلام النموذج فورًا أمام الأجزاء الصعبة عندما يبدأ التدريب الفعلي.
وتتضمن الخطوة الثانية تغيير كيفية مكافأة النموذج خلال مرحلة التدريب الرئيسية. فبدلاً من إعطاء كل تعليم نفس الوزن، قدم الباحثون طريقة تسجيل جديدة تهتم بمدى ندرة أو صعوبة تعليم معين. إذا نجح النموذج في اتباع تعليم نادر النجاح فيه، فإنه يتلقى مكافأة أكبر. وإذا اتبع تعليمًا يتقنه بسهولة، فالمكافأة تكون أصغر. وهذا يخلق حافزًا قويًا للنموذج لاستكشاف المنطقة الصعبة التي كان يتجنبها سابقًا. كما أضاف الباحثون مكافأة للنجاح في دمج التعليمات؛ فإذا تمكن النموذج من تلبية قاعدتين في وقت واحد، خاصة عندما تكون هاتان القاعدتان صعبة التنفيذ معًا، فإنه يحصل على نقاط إضافية. وهذا يشجع النموذج على البحث عن حلول تلبي مجموعة القيود بأكملها، بدلاً من مجرد اختيار وتفضيل الأسهل منها.
اختبر الفريق هذه الأفكاء باستخدام نسختين مختلفتين من نموذج لغوي، إحداهما بـ 1.7 مليار معلمة والأخرى بـ 7 مليارات معلمة. وقاموا بتدريب هذه النماذج على مجموعة بيانات تحتوي على مطالبات تضم من ثلاث إلى خمس تعليمات لكل منها. كانت النتائج مذهلة؛ فقد تفوقت النماذج المدربة باستخدام الطريقة الجديدة ذات الخطوتين بشكل كبير على تلك المدربة بالطريقة القياسية. وفي اختبار أولي مصمم للتحقق من اتباع التعليمات، حسّن أفضل نموذج دقته بأكثر من تسع نقاط مقارنة بالطريقة القياسية. وكان هذا التحسن جوهريًا لدرجة أن النموذج الأصغر (1.7 مليار معلمة)، عند تدريبه بهذه الطريقة الجديدة، أدى بشكل جيد مثل النماذج التجارية الأكبر بكثير والتي تمتلك أضعافًا مضاعفة من القدرة الحوسبية. كما قاس الباحثون توازن أداء النموذج ووجدوا أن الطريقة الجديدة نجحت في تقليل الفجوة بين مدى جودة تعامل النموذج مع التعليمات السهلة مقابل الصعبة.
كما بحثت الدراسة فيما يحدث داخل النموذج أثناء التدريب. ولاحظوا أن طريقة التدريب القياسية تسببت في فقدان النموذج لقدرته على استكشاف الاحتمالات المختلفة، وهي ظاهرة تُعرف باسم "انهيار الإنتروبيا" (entropy collapse)، حيث يعلق النموذج في حلقة ضيقة من الإجابات الآمنة والسهلة. وفي المقابل، حافظت الطريقة الجديدة على حيوية الاستكشاف لدى النموذج، مما سمح له بمواصلة البحث عن حلول معقدة. وأشار الباحثون إلى أن النهج يعمل بشكل أفضل عندما تكون بيانات التدريب متوازنة بعناية؛ إذ إن وجود الكثير من البيانات في مرحلة التحضير الأولية قد يضر بمرونة النموذج لاحقًا. وبينما تم اختبار الطريقة على تعليمات يمكن للبرامج الحاسوبية التحقق منها، يقر الباحثون بأن تطبيقها على طلبات أكثر انفتاحًا، مثل تلك التي تتعلق بالأسلوب أو النبرة، سيتطلب مزيدًا من العمل. ومع ذلك، تقدم النتائج مسارًا واضحًا لجعل الذكاء الاصطناعي أكثر موثوقية عند مواجهة طلبات معقدة ومتعددة الجوانب. ومن خلال معالجة الانحياز نحو المسار السهل، يساعد هذا العمل في ضمان أن هذه الأدوات القوية يمكنها حقًا اتباع النطاق الكامل لنية المستخدم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.