Mitigating Cognitive Bias in RLHF by Altering Rationality
تقترح هذه الورقة طريقة للتخفيف من التحيز المعرفي في التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) عن طريق ضبط معيار العقلانية ديناميكيًا أثناء تعلم المكافأة، باستخدام نموذج لغوي كبير كحكم لتحديد المقارنات البشرية المتحيزة وتقليل وزنها، مما يؤدي إلى تدريب نماذج أكثر متانة حتى على مجموعات البيانات غير المثالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية اتخاذ قرارات جيدة. الطريقة القياسية للقيام بذلك تسمى RLHF (التعلم المعزز من التعليقات البشرية). أنت تعرض على الروبوت إجابتين مختلفتين لسؤال ما، وتطلب من إنسان تحديد أيهما أفضل، ومن ثم يتعلم الروبوت محاكاة هذا الاختيار.
المشكلة، وفقاً لهذه الورقة البحثية، هي أن البشر ليسوا معلمين مثاليين. فأحياناً نرتكب أخطاءً بسبب الاختصارات الذهنية المدمجة في عقولنا، والتي تُعرف بالتحيزات المعرفية.
فكر في التحيزات المعرفية مثل نظارات مشوهة. عندما ترتدي هذه النظارات، قد ترى العالم بوضوح، ولكن أحياناً قد ترى أشياء ليست موجودة حقاً، أو تفوتك تفاصيل مهمة. أحد الأمثلة الشهيرة هو "مشكلة ليندا": إذا أخبرت شخصاً ما أن "ليندا" تخصص فلسفة نسوية، فقد يعتقد بشكل غير عقلاني أنها أكثر احتمالاً لأن تكون "موظفة بنك نسوية" بدلاً من مجرد "موظفة بنك"، رغم أنه رياضياً يجب أن يكون الخيار الثاني هو الأكثر احتمالاً. إذا ارتدى الإنسان هذه "النظارات المشوهة" أثناء تعليم الروبوت، فإن الروبوت سيتعلم ارتداءها أيضاً.
الطريقة القديمة مقابل الطريقة الجديدة
الطريقة القديمة (النظارات الثابتة):
في التدريب التقليدي، يفترض الروبوت أن المعلم البشري موثوق به بنفس القدر لكل سؤال على حدة. إنه يعامل كل صوت بـ "أنا أحب هذه الإجابة" بنفس الوزن، كمعلم يعطي جميع الطلاب نفس الدرجة بغض النظر عما إذا كانوا منتبهين أو شاردين. يطلق الباحثون على هذا اسم "معامل العقلانية الثابت" (لنسمه بيتا - Beta). إنه يشبه افتراض أن المعلم البربي دائماً في كامل وعيه وتركيزه.
الطريقة الجديدة (النظارات الديناميكية):
يقترح المؤلفون، تيفاني هورتر وفريقها، نهجاً أكثر ذكاءً. هم يقترحون أن الروبوت يجب أن يتساءل: "هل من المرجح أن يكون هذا المعلم البشري متحيزاً الآن؟"
لقد بنوا نظاماً يعمل مثل مشرف للتدقيق المفاجئ. قبل أن يتعلم الروبوت من اختيار الإنسان، ينظر ذكاء اصطناعي ثانٍ ("نموذج لغوي كبير يعمل كحكم") إلى السؤال واختيار الإنسان ليرى ما إذا كان هناك رائحة تحيز معرفي.
- إذا ظن المشرف: "آه، يبدو هذا كفخ تحيز كلاسيكي"، فإنه يخبر الروبوت بأن يخفض مستوى الصوت على تعليقات هذا الإنسان؛ أي أنه يخفض قيمة "بيتا"، مما يجعل هذا الدرس المحدد أقل أهمية.
- إذا ظن المشرف: "هذا يبدو كخيار سليم وعقلاني"، فإنه يرفع المستوى، مما يسمح للروبوت بالتعلم بكثافة من هذا الدرس.
التشبيه: الفصل الدراسي الصاخب
تخيل فصلاً دراسياً يحاول فيه المعلم تعليم الطلاب (الذكاء الاصطناائي) الرياضيات.
- المشكلة: أحياناً يكون المعلم متعباً، أو مشتتاً، أو يقع في فخ سؤال مخادع. إذا نسخ الطلاب أخطاء المعلم، فسوف يرسبون في الاختبار.
- الطريقة القديمة: ينسخ الطلاب كل ما يكتبه المعلم على السبورة، بافتراض أن المعلم دائماً على حق.
- الطريقة الجديدة: لدى الطلاب مساعد ذكي يجلس بجانبهم. عندما يكتب المعلم إجابة، يهمس المساعد: "مهلاً، أعتقد أن المعلم يرتكب خطأ هنا بسبب سؤال مخادع". عندها يتجاهل الطلاب تلك الإجابة المحددة ويركزون على الإجابات التي يبدو فيها المعلم حاد الذكاء.
ماذا حدث عندما جربوا ذلك؟
اختبر الباحثون هذا على مجموعتين من الأسئلة الصعبة المصممة لإيقاع المنطق البشري في الفخ (مثل مشكلة "ليندا" وسيناريوهات التشخيص الطبي).
- أوقف الروبوت عن نسخ الأخطاء: حتى عندما تم تدريب الروبوت على بيانات كان فيها البشر معظمهم مخطئين (متحيزين)، ساعدت الطريقة الجديدة الروبوت على اكتشاف الإجابة الصحيحة. لقد تعلم تجاهل "النظارات المشوهة" وإيجاد الحقيقة.
- لم يفسد الروبوت: لم يرتبك الروبوت أو ينسى كيفية القيام بمهام أخرى. ظل ذكياً في المهام العامة بينما أصبح فقط أفضل في تجاهل التحيز.
- نجح الأمر حتى مع وجود "مشرف معيب": لم يكن النظام بحاجة إلى مشرف مثالي لرصد كل تحيز. حتى لو كان المشرف محقاً بنسبة 80% فقط، فقد تعلم الروبوت بشكل أفضل مما لو لم يكن لديه مشرف على الإطلاق.
الخلاصة الكبرى
تجادل الورقة البحثية بأنه لا ينبغي لنا معاملة التعليقات البشرية كإشارة مثالية وغير قابلة للتغيير. بدلاً من ذلك، يجب معاملتها كـ إشارة ضوضائية تتغير حسب السياق. من خلال تعديل الوزن الذي نعطيه للتعليقات البشرية ديناميكياً بناءً على مدى احتمالية كونها متحيزة، يمكننا بناء ذكاء اصطناعي أكثر عقلانية وأقل عرضة لوراثة عيوبنا البشرية.
باختصار: لا تستمع فقط لما يقوله البشر؛ بل استمع إلى "كيفية" قولهم له، وعدّل تعلمك بناءً على ذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.