Reward Models Inherit Value Biases from Pretraining
تُظهر هذه الدراسة أن نماذج المكافأة ترث تحيزات قيمية كبيرة ومستمرة، وتحديداً تفضيلات "الوكالة" أو "التواصل"، من نماذجها اللغوية الأساسية المدربة مسبقاً، مما يشير إلى أن اختيار النموذج التأسيسي يشكل نتائج المحاذاة بشكل جوهري بغض النظر عن عملية الضبط الدقيق اللاحقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف حكماً ليقرر الإجابات التي يجب أن يقدمها الروبوت للناس. تريد لهذا الحکم أن يكون عادلاً، ولطيفاً، ومتماشياً مع القيم الإنسانية. في عالم الذكاء الاصطناي، يُسمى هذا الحكم نموذج المكافأة (Reward Model - RM).
لفترة طويلة، اعتقد المطورون أن بإمكانهم بناء حكم محايد تماماً ببساطة عبر تعليمه ما يحبه البشر باستخدام مجموعة ضخمة من البيانات التي تحتوي على إجابات "جيدة" و"سيئة". ظنوا قائلين: "إذا أعطينا الحكم ما يكفي من الأمثلة على التفضيلات البشرية، فسوف ينسى شخصيته ويصبح مجرد مرآة للبشرية".
هذه الورقة البحثية تقول: "ليس بهذه السرعة".
اكتشف الباحثون أن هؤلاء الحكام (نماذج المكافأة) لا يبدأون كصفحات بيضاء. فهم مبنيون فوق "نموذج أساسي" (العقل الكامن وراء الذكاء الاصطناعي). ومثلما يرث الطفل السمات الشخصية لوالديه، يرث هؤلاء الحكام القيم العميقة للنموذج الأساسي الذي بُنيوا منه.
إليك قصة اكتشافهم، مقسمة عبر تشبيهات بسيطة.
1. العائلتان: "الساعون للنجاح" مقابل "بُناة المجتمع"
نظر الباحثون في عائلتين رئيسيتين من نماذج الذكاء الاصطناي: Llama (من Meta) و Gemma (من Google).
وجدوا انقساماً مثيراً للاهتمام في كيفية رؤية هذه النماذج للعالم، بناءً على مفهومين نفسيين:
- الوكالة (Agency): الدافع لتحقيق الإنجاز الفردي، والحرية، والقوة، والنجاح. (فكر في: "لقد فعلت ذلك بمفردي!")
- التواصل/الترابط (Communion): الدافع للاتصال، والحب، والعائلة، والانسجام. (فكر في: "لقد فعلنا ذلك معاً!")
التشبيه:
تخيل مدرستين مختلفتين من التفكير.
- مدرسة Llama تشبه حاضنة الشركات الناشئة. عندما تُسأل: "ما هو أعظم شيء على الإطلاق؟"، يهمس صوتها الداخلي: "الحرية"، "النجاح"، "الفرصة". إنها تقدّر البطل الفردي.
- مدرسة Gemma تشبه حديقة مجتمعية. عندما تُسأل السؤال نفسه، يهمس صوتها الداخلي: "الحب"، "العائلة"، "الصداقة". إنها تقدّر الروابط الجماعية.
الجزء الصادم؟ حتى عندما أخذ الباحثون حكماً مبنياً على Llama وحكماً مبنياً على Gemma ودربوهما على نفس القائمة تماماً من التفضيلات البشرية، ظل حكم Llama يفضل "الحرية" وظل حكم Gemma يفضل "الحب". لم تستطع بيانات التدريب غسل "الحمض النووي" للنموذج الأساسي.
2. "الشبح في الآلة" (ما قبل التدريب)
قد تتساءل: "ولكن ألم يدربوهم على نفس البيانات؟"
نعم، لكن البيانات كانت مجرد الطبقة الأخيرة من الطلاء. "الحمض النووي" كان مطبوعاً في النموذج أثناء مرحلة ما قبل التدريب (Pretraining).
التشبيه:
فكر في نموذج المكافأة كأنه منزل.
- ما قبل التدريب هو الأساس والهيكل. تم بناؤه بمواد محددة (خشب Llama أو فولاذ Gemma).
- الضبط الدقيق (Fine-tuning) (التدريب بالبيانات البشرية) هو الطلاء والأثاث.
وجد الباحثون أنه مهما أعدت طلاء المنزل أو أعدت ترتيب الأثاث، فإن شكل المنزل لا يزال يتحدد بالأساس. إذا بُني الأساس بعوارض "الفردية"، فسيظل المنزل يميل نحوها دائماً، حتى لو حاولت تعليق صور "المجتمع" على جدرانه.
لقد أثبتوا ذلك من خلال النظر في "الاحتمالات اللوغاريتمية" (طريقة تقنية لقول مدى احتمالية أن يرى النموذج كلمة ما ككلمة شائعة). وجدوا أنه حتى قبل أي تدريب، كان عقل Llama يرى طبيعياً أن "الحرية" هي الإجابة "الأفضل" الأكثر احتمالاً، بينما رأى عقل Gemma أن "الحب" هو الأكثر احتمالاً.
3. "المكافأة الضمنية" (التحيز الصامت)
ابتكر الباحثون خدعة ذكية لقياس هذا. لقد عاملوا الفرق بين النموذجين كما لو كان نموذج مكافأة بحد ذاته.
التشبيه:
تخيل أن لديك طباخين، الشيف Llama والشيف Gemma. تطلب منهما كلاهما طبخ "أفضل طبق على الإطلاق".
- الشيف Llama يصنع شريحة لحم مع جانب من "الحرية".
- الشيف Gemma يصنع حساءً مع جانب من "الحب".
سأل الباحثون: "إذا استطعنا سحرياً قياس الفرق بين ما يريده الشيف Llama وما يريده الشيف Gemma، فكيف سيكون شكل هذا الفرق؟"
وجدوا أن هذا "الفرق" كان قوة هائلة وغير مرئية تدفع Llama نحو "الحرية" وتدفع Gemma نحو "الحب". هذه القوة قوية جداً لدرجة أنها تعمل كنظام مكافأة خفي، يوجه الذكاء الاصطناي حتى قبل أن يخبره البشر بما يجب فعله.
4. هل يمكننا "إصلاح" ذلك؟ (تجربة الغسالة)
حاول الباحثون معرفة ما إذا كان بإمكانهم "غسل" هذه التحيزات عبر تغذية النماذج بمزيد ومزيد من بيانات التفضيلات البشرية.
التشبيه:
وضعوا الحكام المتحيزين في غسالة ضخمة (عملية التدريب) مع حمولة كبيرة من منظف "التفضيلات البشرية".
- النتيجة: ضعف التحيز قليلاً، لكنه لم يختفِ.
- العائق: لجعل الفرق ملحوظاً، احتاجوا إلى كمية هائلة من البيانات (أكثر من 100,000 مثال). وحتى حينها، لم يختفِ التحيز؛ بل صغر حجمه فقط.
- التحذير: عندما جربوا ذلك مع عائلة نماذج ثالثة (Qwen)، كان التحيز قوياً جداً لدرجة أن كميات ضخمة من البيانات لم تستطع إصلاحه. "الأساس" كان مختلفاً تماماً.
لماذا يهم هذا؟
تغير هذه الورقة البحثية طريقة تفكيرنا في سلامة الذكاء الاصطناي.
لسنوات، اعتقدت الصناعة: "سنقوم فقط بإصلاح سلوك الذكاء الاصطناي في المرحلة النهائية (مرحلة RLHF) عبر إظهار ما يحبه البشر له".
واقع التحقق:
إذا بنيت منزلاً على أساس مائل جهة اليسار، فلا يمكنك مجرد طلاء الجدران لتجعله مستقيماً. عليك إصلاح الأساس.
- للمطورين: اختيار النموذج الأساسي (مثل Llama مقابل Gemma) ليس مجرد خيار تقني يتعلق بالسرعة أو الحجم؛ إنه خيار أخلاقي. فهو يحدد ما إذا كان ذكاؤك الاصطناني سيميل طبيعياً نحو "الحرية الفردية" أو "حب المجتمع".
- للمجتمع: لا يمكننا افتراض أن الذكاء الاصطائي سيكون محايداً. "شخصيته" مكتوبة في الكود قبل وقت طويل من حديثنا معه. إذا أردنا أن يكون الذكاء الاصطناي متماشياً حقاً مع جميع القيم البشرية، فنحن بحاجة لأن نكون أكثر حذراً بشأن ما يدخل في مرحلة ما قبل التدريب — الخطوة الأولى في حياة الذكاء الاصطناي.
باختصار: لا يمكنك تعليم سمكة الطيران بمجرد إعطائها الكثير من دروس الطيران. عليك أن تبدأ بطائر. وإذا بدأت بسمكة، فعليك أن تقبل أنها ستظل ترغب دائماً في السباحة، مهما دربتها. الأمر نفسه ينطبق على الذكاء الاصطآي ونماذجه الأساسية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.