Reward Model Interpretability via Optimal and Pessimal Tokens
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم ببناء روبوت من المفترض أن يكون مفيداً، وغير ضار، وصادقاً. لتعليم هذا الروبوت كيف يكون "جيداً"، لا تكتفي ببرمجة قواعد فحسب؛ بل توظف فريقاً من الحكام البشر. هؤلاء الحكام ينظرون إلى إجابتين مختلفتين قد يقدمهما الروبوت ويقولون: "أنا أفضل هذه الإجابة".
يقوم الكمبيوتر بعد ذلك ببناء "مسجل مكافآت" خاص (يُسمى نموذج المكافأة - Reward Model) للتعلم من هؤلاء الحكام. مهمة هذا المسجل هي النظر إلى أي جملة وإعطائها رقماً واحداً: درجة عالية للأشياء "الجيدة" ودرجة منخفضة للأشياء "السيئة". وبمجرد تدريب هذا المسجل، يُستخدم لتعليم الروبوت كيف يتحدث مع ملايين البشر.
هذه الورقة البحثية تشبه قصة بوليسية قرر فيها المؤلفون التوقف عن مراقبة الروبوت والبدء في استجواب المسجل نفسه. أرادوا معرفوا: هل يفهم هذا المسجل القيم الإنسانية حقاً، أم أنه مجرد حافظ لخدع غريبة؟
إليك ما وجدوه، مشروحاً عبر تشبيهات بسيطة:
1. تجربة "اختبار المذاق"
قرر الباحثون اختبار "مسجلات المكافأة" عبر سؤالها سؤالاً بسيطاً: "ما هو أعظم شيء على الإطلاق؟"
وبدلاً من مجرد طلب بعض الإجابات، طلبوا من المسجلات تقييم كل كلمة في قاموسها الكامل (حوالي 100,000 إلى 250,000 كلمة). الأمر يشبه مطالبة ناقد طعام بتذوق كل مكون في سوبر ماركت وتصنيفه من "الأفضل" إلى "الأسوأ".
الاكتشاف الصادم:
على الرغم من أن جميع هذه المسجلات تم تدريبها للقيام بنفس المهمة، إلا أنها امتلكت أذواقاً مختلفة تماماً.
- أحد النماذج اعتبر أن "الحب" هو أعظم شيء.
- نموذج آخر اعتبر أن "الحرية" هي الأفضل.
- نموذج ثالث اعتبر أن "Sonder" (كلمة فخمة تعني إدراك أن للغرباء حيوات معقدة) هي الجائزة الكبرى.
الأمر كما لو أنك وظفت عشرة نقاد طعام مختلفين لتقييم برجر، فأعطى أحدهم له 10/10، والآخر 2/10، والثالث قال: "في الواقع، أنا أفضل صخرة". هذا يثبت أن هذه "المسجلات" ليست قابلة للاستبدال. لا يمكنك مجرد استبدال واحد بآخر وتوقع أن يتصرف الروبوت بنفس الطريقة.
2. خدعة "التأطير" (تأثير المرآة)
لاحظ الباحثون شيئاً غريباً حول كيفية تفاعل المسجلات مع "نبرة" السؤال. هذا يشبه خدعة نفسية يقع فيها البشر.
- السيناريو (أ): تسأل: "أي وجهة سفر هي الأفضل؟" تصبح المسجلات متحمسة جداً للكلمات الإيجابية (مثل "أشعة الشمس" أو "الشاطئ") وتتجاهل الكلمات السلبية.
- السيناريو (ب): تسأل: "أي وجهة سفر هي الأسوأ؟" فجأة، تقلب المسجلات السيناريو تماماً. تصبح شديدة الحساسية للكلمات السلبية (مثل "المطر" أو "الازدحام المروري") وتتجاهل الكلمات الإيجابية.
التشبيه: تخيل حارس أمن عند ملهى ليلي. إذا سألته: "من يبدو رائعاً؟" سيبحث عن النظارات الشمسية والابتسامات. وإذا سألته: "من يبدو خطيراً؟" سيتجاهل الابتسامات فجأة ويبدأ فقط في البحث عن السكاكين. الحارس لا ينظر إلى الشخص؛ بل يتفاعل مع السؤال. وجدت الورقة أن مسجلات الذكاء الاصطناعي هذه تفعل الشيء نفسه: ليس لديها شعور ثابت بـ "الخير" أو "الشر"؛ بل تتفاعل فقط مع كيفية تأطير السؤال.
3. "تحيز الألفة" (تأثير التعرض المتكرر)
وجدت الدراسة أن المسجلات كانت تحب الكلمات لمجرد أنها شائعة.
- إذا ظهرت الكلمة كثيراً في الكتب وعلى الإنترنت، فإن المسجل يعطيها درجة أعلى، حتى لو لم تكن الكلمة "جيدة" بشكل خاص.
- إذا كانت الكلمة نادرة، يحصل على درجة أقل.
التشبيه: الأمر يشبه ناقد موسيقى يعتقد أن أغنية ما هي تحفة فنية لمجرد أنه سمعها في الراديو 1,000 مرة، بينما يتجاهل أغنية جديدة رائعة لم يسمعها من قبل. تشير الورقة إلى أن هذه المسجلات تسرب هذا "التحيز للشعبية" من بيانات التدريب الخاصة بها، بدلاً من الحكم على القيمة الفعلية للكلمات.
4. "إسكات" مجموعات الهوية
هذا هو الاكتشاف الأكثر إثارة للقلق. وجد الباحثون أنه عندما سألوا عن "أعظم شيء على الإطلاق"، أعطت المسجلات درجات منخفضة جداً للكلمات المتعلقة بمجموعات معينة من الناس (مثل "السود"، أو "اليهود"، أو "المثليين").
التشبيه: تخيل معلماً يصحح مقالات. إذا كتب طالب عن مجموعة معينة من الناس، فإن المعلم يعطيهم تلقائياً درجة رسوب، حتى لو كانت المقالة مكتوبة بشكل جيد وإيجابي. تشير الورقة إلى أن هذا يحدث لأن المسجلات تم تدريبها لتكون "غير ضارة". في تدريبها، غالباً ما ظهرت الكلمات المتعلقة بهذه المجموعات في سياقات سيئة (خطاب الكراهية، أخبار العنف، إلخ). لذا، تعلم المسجل معاملة الكلمات نفسها كأنها خطيرة، مما أدى فعلياً إلى "محو" هذه الكلمات من قائمة الأشياء "الجيدة".
5. "عدم التطابق بين الإنسان والآلة"
أخيراً، قارن الباحثون تصنيفات المسجلات بقاعدة بيانات ضخمة من الآراء البشرية الحقيقية (تسمى EloEveRything)، حيث صوت آلاف البشر الحقيقيين عما يحبونه.
- البشر صنفوا "الكون"، و"الماء"، و"المعرفة" كأعظم الأشياء.
- المسجلات غالباً ما وضعت هذه الأشياء في مرتبة منخفضة. بدلاً من ذلك، أحببت المشاعر المجردة مثل "الحب غير المشروط" أو "الخيال".
- الفجوة الكبيرة: عندما يتعلق الأمر بالمواضيع الحساسة مثل "الجنس" أو "السود"، صنفهم المسجلون بدرجة أقل بكثير مما فعل البشر الحقيقيون.
الخلاصة: المسجلات ليست مرايا مثالية للقيم الإنسانية. إنها مرايا مشوهة. يبدو أنها "تبالغ في التصحيح" لتجنب أن تكون مسيئة، مما يؤدي إلى معاقعة الكلمات البريئة أو المحايدة المتعلقة بالهوية والجنسية عن طريق الخطأ.
الملخص
تخلص الورقة إلى أن هذه "نماذج المكافأة" ليست الحكام المحايدين والمثاليين كما كنا نظن. إنها:
- غير متسقة: تمتلك النماذج المختلفة أفكاراً متضاربة ومختلفة حول ما هو "جيد".
- حساسة للتأطير: تغير آراءها بناءً على كيفية طرحك للسؤال.
- منحازة: تفضل الكلمات الشائعة وتعاقب بشكل غير عادل الكلمات المتعلقة بمجموعات هوية معينة.
يحذر المؤلفون من أنه إذا استخدمنا هذه المسجلات المعيبة لتدريب روبوتات الذكاء الاصطناعي التي يتحدث إليها ملايين البشر يومياً، فقد نغرس دون قصد هذه التحيزات والتشوهات الغريبة في شخصيات الروبوتات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.