Procedural Fairness Failures in RLHF from Preference Averaging
تحدد هذه الورقة أن التعلم المعزز القياسي من التغذية الراجعة البشرية (RLHF) يفشل في تحقيق العدالة الإجرائية عبر متوسط التفضيلات غير المتجانسة، مما يتسبب في هيمنة مجموعات الأغلبية على تعلم المكافأة، وتقترح "التعلم المعزز من التفضيلات الواعية" (PA-RLHF) لفصل التحسين عبر أنماط التفضيل، مما يحسن دقة المحاذاة بشكل كبير ويقلل فجوات العدالة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يكون مساعداً مفيداً. للقيام بذلك، لا تكتفي ببرمجته بقواعد، بل تعرض عليه أمثلة لما يحبه البشر وما لا يحبونه. تُسمى هذه العملية "التعلم التعزيزي من التغذية الراجعة البشرية" (RLHF). فكر في الأمر كمعلم يصحح واجبات طالب بناءً على كومة من الملاحظات من أولياء أمور مختلفين. إذا كان الوالد (أ) يحب القصص الطويلة والمفصلة، والوالد (ب) يكرهها، فعلى المعلم أن يقرر رأي مَن هو الأهم. عادةً ما يأخذ المعلم متوسط جميع الملاحظات، بافتراض أن الجميع يريدون شيئاً متقارباً تقريباً. ولكن ماذا لو كان لأولياء الأمور أذواق مختلفة تماماً؟ إذا قام المعلم بمجرد حساب المتوسط للملاحظات، فقد يتم تجاهل الأقلية الهادئة من أولياء الأمور الذين يريدون إجابات قصيرة وموجزة، بينما تحصل الأغلبية الصاخبة على كل ما تريد. يستكشف هذا البحث ما يحدث عندما يتعلم الذكاء الاصطناعي بهذه الطريقة، وتحديداً بالنظر فيما إذا كانت طريقة "المتوسط الحسابي" عادلة للجميع، أو ما إذا كانت تصمت بعض المجموعات من الناس عن غير قصد.
قرر الباحثون وراء هذه الدراسة، الذين يعملون على مشروع بعنوان "إخفاقات العدالة الإجرائية في RLHF من متوسط التفضيلات"، اختبار هذه الفكرة في عالم محاكى ومنضبط. لقد أنشأوا سيناريو يتضمن ثلاث مجموعات متميزة من "المقيمين" (بشر محاكات) الذين كانت لديهم تفضيلات ثابتة ومختلفة تماماً: مجموعة واحدة أحبت الإجابات القصيرة، وأخرى أحبت الإجابات الطويلة والمفصلة، وثالثة أرادت استجابات تقنية ورسمية. ثم قاموا بتدريب ذكاء اصطناعي باستخدام الطريقة القياسية، التي تقوم ببساطة بخلط كل هذه الآراء المختلفة في نموذج مكافأة واحد كبير. كانت النتائج معبرة: نجح الذكاء الاصطناعي في تلبية تفضيلات المجموعة الأكثر عدداً معظم الوقت، لكنه واجه صعوبة كبيرة مع مجموعات الأقلية. في الواقع، كانت "فجوة العدالة" -وهي الفرق بين مدى قدرة الذكاء الاصطناعي على إرضاء المجموعة الأفضل حالاً مقابل المجموعة الأسوأ حالاً- ضخمة بلغت 15.9 نقطة مئوية. كانت الدقة الإجمالية حوالي 46.9% فقط، مما يعني أن الذكاء الاصطناعي كان بالكاد يحقق نصف التفضيلات بشكل صحيح عبر جميع الفئات.
ولإصلاح ذلك، قدم الفريق نهجاً جديداً يسمى "التعلم التعزيزي من التفضيلات الواعية" (PA-RLHF). بدلاً من دمج جميع الآراء المختلفة في خلاط واحد، احتفظوا بالمجموعات منفصلة خلال مرحلة التعلم. تخيل بدلاً من معلم واحد يصحح للجميع باستخدام مجموعة واحدة من القواعد، أن لديك ثلاثة معلمين مختلفين، كل واحد منهم يستمع فقط للمجموعة المحددة التي يمثلها. معلم واحد يتعلم فقط من محبي "الإجابات القصيرة"، وآخر من محبي "القصص الطويلة"، وهكذا. وعندما اختبروا هذه الطريقة الجديدة، تحسنت النتائج بشكل كبير. قفزت الدقة الإجمالية من 46.9% إلى 67.9%. والأهم من ذلك، تقلصت فجوة العدالة من 15.9 نقطة إلى 9.6 نقطة فقط. شهدت مجموعات الأقلية مكاسب هائلة، حيث ارتفعت مستويات رضاها بنسبة تتراوح بين 27 إلى 32 نقطة مئوية، بينما شهدت المجموعة الأكثر عدداً أيضاً تحسناً طفيفاً.
تشير الورقة البحثية إلى أن المشكلة لم تكن مجرد "ضجيج" أو بيانات سيئة؛ بل كانت خللاً هيكلياً في كيفية بناء هدف التعلم. فمن خلال حساب المتوسط لكل شيء معاً، قامت الطريقة القياسية بدفع تفضيلات الأقلية جانباً بشكل منهجي. وجد الباحثون أن مجرد فصل عملية التعلم لمجموعات التفضيلات المختلفة يمكن أن يصلح الأمر دون الحاجة لتغيير "عقل" الذكاء الاصطناعي الأساسي. ومع ذلك، فهم حذرون في ملاحظتهم بأن هذه النتائج تأتي من محاكاة محكومة، وليس من تطبيق في العالم الحقيقي ببيانات بشرية فوضوية. وبينما تظهر المحاكاة أن فصل مسارات التعلم ينجح، يشير المؤلفون إلى أن هناك حاجة لمزيد من العمل لمعرفة مدى صمود ذلك في المواقف المعقدة والواقعية حيث قد يكون من الصعب فرز التفضيلات. ومع ذلك، تقدم الدراسة تحذيراً واضحاً: إذا أردنا أن يكون الذكاء الاصطناعي عادلاً للجميع، فقد نحتاج إلى التوقف عن جعل اختلافاتنا متوسطاً حسابياً والبدء في الاستماع إلى أصواتنا الفريدة بشكل منفصل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.