Post-training makes large language models less human-like
تقدم الورقة البحثية مجموعة بيانات Psych-201 لتوضيح أن عمليات ما بعد التدريب، التي تعمل على تحسين النماذج اللغوية الكبيرة من أجل المنفعة، تؤدي باستمرار إلى تدهور قدرتها على محاكاة السلوك البشري بدقة، وهي مشكلة تستمر وتتفاقم في الأجيال الأحدث من النماذج ولا يمكن حلها عبر تقنيات استحضار الشخصية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك متدرباً عبقرياً، فوضوياً، ومبدعاً للغاية، وقد قرأ كل كتاب تقريباً في المكتبة. هذا المتدرب هو النموذج الأساسي (Base Model). إنه خام، غير مصفى، ويتحدث تماماً كما يتحدث البشر: مليء بالسمات الغريبة، والأخطاء، والترددات، والمنطق الفوضوي للحياة الواقعية. إذا سألته سؤالاً، فقد يتعثر، أو يخمن، أو يعطي إجابة قد تكون "خاطئة" تقنياً ولكنها تبدو بشرية جداً.
ثم، تقرر تدريب هذا المتدرب ليكون مساعداً مفيداً (Useful Assistant). تعلمه اتباع قواعد صارمة، وإعطاء الإجابة "الصحيحة"، والتصرف بأدب ومنطق. تسمى هذه العملية ما بعد التدريب (Post-Training).
تكشف الورقة البحثية التي شاركتها، بعنوان "ما بعد التدريب يجعل النماذج اللغوية الكبيرة أقل شبهاً بالبشر"، عن حقيقة مفاجئة ومتناقضة مع المنطق: كلما دربت هذه النماذج لتكون مساعدين مثاليين، قلّت قدرتها على محاكاة البشر.
إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:
1. "الطالب المثالي" مقابل "الشخص الحقيقي"
بنى الباحثون ساحة اختبار ضخمة تسمى Psych-201. اعتبر هذا بمثابة مكتبة عملاقة تحتوي على أكثر من 200,000 نص من أشخاص حقيقيين يجرون اختبارات نفسية، ويلعبون ألعاباً، ويحلون ألغازاً. إنه يشبه امتلاك "مجموعة ضابطة" من البشرية للمقارنة بها.
اختبروا نوعين من الذكاء الاصطناعي:
- النموذج الأساسي: المتدرب الخام الذي تعلم من قراءة الكتب.
- النموذج ما بعد التدريب: نفس المتدرب بعد تعليمه ليكون مساعداً مفيداً ومتبعاً للقواعد.
النتيجة: في كل مرة، كان "الطالب المثالي" (ما بعد التدريب) أسوأ في التنبؤ بما سيقوله أو يفعله إنسان حقيقي مقارنة بـ "المتدرب الخام" (الأساسي). من خلال محاولة جعل الذكاء الاصطناعي "أفضل" كونه مساعداً، جردوه عن غير قصد من السلوكيات البشرية التي جعلته محاكياً جيداً للبشر.
2. "الوادي الغريب" للمنطق
لماذا يحدث هذا؟
- النماذج الأساسية هي مثل مرآة للغة البشر. لقد امتصت كل تحيزاتنا، واختصاراتنا، و"أحاسمنا الداخلية"، وأخطائنا. إذا خمن إنسان خطأً لأنه متعب أو مرتبك، فإن النموذج الأساسي يفعل الشيء نفسه.
- ما بعد التدريب هو بمثัง وضع مرشح (فلتر) على تلك المرآة. إنه يجبر الذكاء الاصطناعي على أن يكون "صحيحاً معيارياً". إنه يعلم الذكاء الاصطناعي تجاهل السمات البشرية الغريبة والتركيز على الإجابة "الصحيحة".
وجدت الورقة أن هذا "التصحيح" يكون ضاراً بشكل أكبر في مجالين:
- علم النفس اللغوي (كيف نستخدم الكلمات): البشر يستخدمون اللغة بطريقة فوضوية. أما النماذج ما بعد التدريب فتستخدمها بشكل مثالي للغاية.
- الاستنتاج (Reasoning): غالباً ما يرتكب البشر أخطاء منطقية أو يستخدمون طرقاً مختصرة (heuristics). أما النماذج ما بعد التدريب فتُجبر على أن تكون مثالية منطقياً، مما يجعلها تبدو أقل شبهاً بعملية التفكير البشري وأكثر شبهاً بالآلة الحاسبة.
3. مفارقة "الأحدث هو الأسوأ"
قد تعتقد أنه كلما أصبح الذكاء الاصطناعي أكثر ذكاءً، أصبح أفضل في محاكاة البشر. تقول الورقة: ليس تماماً.
- النماذج الأساسية (المتدربون الخام) تصبح بالفعل أفضل في محاكاة البشر مع كل جيل جديد.
- ومع ذلك، فإن عملية ما بعد التدريب (تدريب المساعد) تصبح أكثر عدوانية. الفجوة بين "المتدرب الخام" و"المساعد المثالي" تتسع. كلما كان النموذج أحدث، أصبح أكثر "روبوتية" وأقل شبهاً بالبشر بمجرد تشغيل ميزات "المساعد".
4. خدعة "الشخصية" لا تعمل
هناك خدعة شائعة تسمى استحضار الشخصية (Persona-Induction). وهي عندما تخبر الذكاء الاصطناعي: "تظاهر بأنك معلم يبلغ من العمر 35 عاماً من البرازيل"، آملًا أن يتصرف مثل ذلك الشخص تحديداً.
اختبر الباحثون هذا على نطاق واسع. أعطوا الذكاء الاصطناعي ملفات تعريف مفصلة لأشخاص حقيقيين (العمر، الجنسية، التعليم) وسألوه كيف سيتنبأ بكيفية إجابة هؤلاء الأشخاص تحديداً.
النتيجة: لم يساعد ذلك. معرفة "الشخصية" لم تجعل الذكاء الاصطناعي يتنبأ بالسلوك البشري الفردي بشكل أفضل. الأمر يشبه إعطاء قاموس للممثل؛ فهذا لا يجعله مرتجلاً أفضل.
الخلاصة الكبرى
تخلص الورقة إلى أن الأدوات ذاتها التي نستخدمها لجعل الذكاء الاصطناعي مفيداً (ضبط التعليمات، تدريب الاستنتاج، فلاتر الأمان) هي نفسها الأدوات التي تجعله أداة سيئة لمحاكاة السلوك البشري.
إذا كنت تريد من الذكاء الاصطناعي أن يعمل كمساعد مفيد، فيجب عليك استخدام النسخة ما بعد التدريب.
ولكن إذا كنت تريد من الذكاء الاصطناعي أن يتصرف كإنسان (على سبيل المثال، لمحاكاة كيفية تفاعل مريض في جلسة علاج نفسي أو كيف قد يتعلم طالب)، فيجب عليك في الواقع استخدام النموذج الأساسي (النسخة الخام غير المدربة)، لأنه لا يزال يتذكر كيف يكون فوضوياً، وغير كامل، وبشرياً.
باختصار: لكي نجعل الذكاء الاصطناعي أكثر فائدة، جعلناه أقل بشرية. ولكي نجعله أكثر شبهاً بالبشر مرة أخرى، قد نحتاج إلى التوقف عن "إصلاحه" كثيراً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.