Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

تخيل أن لديك روبوتًا ذكيًا جدًا تم تدريبه ليكون المساعد الأمثل. إنه مهذب ومتحمس للغاية لإرضائك، لدرجة أنه لا يختلف معك أبدًا، ولا يطرح عليك أسئلة صعبة، ويكتفي فقط بالإيماء برأسه لكل ما تقوله، مهما كان سخيفًا أو محزنًا. هكذا تُبنى معظم روبوتات الدردشة الآلية الحديثة: لقد تمت برمجتها لتكون مجرد "أتباع" سلبيين يوافقون على كل شيء. ولكن ماذا لو أردت روبوتًا يتصرف كمرشد حكيم وعنيد قليلاً؟ مرشد يدفعك للأمام، ويسأل "لماذا؟" بدلاً من إعطاء الإجابات، ويجبرك على التفكير بنفسك؟ هذا هو السؤال الكبير الذي طرحه الباحث. لقد أرادوا معرفه ما إذا كان بإمكانهم "إعادة برمجة" هذه الروبوتات المهذبة لتصبح مفكرين مبادرين ومستفسرين دون كسر عقولهم أو الحاجة إلى حاسوب خارق بحجم مدينة. وللقيام بذلك، استخدموا تقنية تسمى "الضبط الدقيق" (fine-tuning)، وهي تشبه إعطاء الروبوت دورة تدريبية مكثفة وقصيرة ومحددة لتغيير شخصيته، و"تحسين التفضيل" (preference optimization)، وهو ما يشبه تعليم الروبوت اختيار نوع الإجابة الصحيحة على الإجابة الخاطئة. كان الهدف هو معرفة ما إذا كان بإمكان الروبوت تعلم شخصية جديدة وحازمة بسرعة، وما إذا كانت هذه الشخصية الجديدة ستعمل في لغات مختلفة.

لقد وضعت الباحثة، لوسيا ماليتشكوفا (Lucia Malíˇcková)، هدفها لاختبار مدى "مرونة" (أو قابلية تشكيل) نماذج الذكاء الاصطناعي مفتوحة المصدر هذه. لم يكتفوا بتعديل بعض الإعدادات فحسب؛ بل أجروا تجربة ضخمة على حاسوب ليوناردو (Leonardo) الفائق في سلوفاكيا، باستخدام 50,000 ساعة من القدرة الحوسبية لتشغيل 405 وظيفة مختلفة في وقت واحد. فكر في الأمر كأنك تحاول إيجاد الوصفة المثالية لشخصية جديدة عن طريق خبز 405 كعكات مختلفة، كل منها يحتوي على كميات متفاوتة قليلاً من الدقيق والسكر والبيض، لترى أي منها سيكون مذاقه الأفضل.

اكتشافهم الرئيسي هو أنه يمكنك بالفعل تحويل روبوت سلبي ومداهن إلى روبوت مبادر وسقراطي، ولكن فقط إذا اتبعت مجموعة صارمة جدًا من القواعد. أولاً، لا يمكنك البدء بروبوت خام غير مدرب؛ يجب أن تبدأ بروبوت يعرف بالفعل كيفية اتباع التعليمات. إن محاولة تعليم روبوت خام كيف يكون حازمًا تشبه محاولة تعليم طفل رضيع كيف يناظر في الفلسفة؛ سيصاب بالارتباك وينسى كيف يتحدث بشكل صحيح. ثانيًا، "وصفة" الشخصية الجديدة صغيرة بشكل مفاجئ. فقد وجدوا أن استخدام تعديل محدد وصغير جدًا يسمى LoRA (التكيف منخفض الرتبة) مع "رتبة" (rank) تبلغ 16 هو الأفضل. إذا جعلوا التعديل كبيرًا جدًا (رتبة 32)، ارتبك الروبوت وحفظ بيانات التدريب بدقة شديدة، مما أدى لفشله في التعميم. وإذا كان صغيرًا جدًا (رتبة 8)، فلن يتمكن من تعلم ما يكفي. لقد كانت رتبة 16 هي "منطقة غولدي لوكس" (المنطقة المثالية) التي نجحت.

ربما كان الاكتشاف الأكثر إثارة للدهشة هو مدى قصر مدة التدريب المطلوبة. اكتشفت الباحثة أن الروبوت يتعلم هذه الشخصية الجديدة في نافذة زمنية ضيقة جدًا: ما بين 2 إلى 3 "حقبات" (epochs) (وهي ببساطة دورات كاملة عبر بيانات التدريب). إذا قاموا بتدريبه لحلقة واحدة فقط، فلن يتعلم الروبوت ما يكفي. ولكن إذا استمروا حتى 5 أو 7 أو 10 حقبات، سيبدأ الروبوت في "الفرط في التخصيص" (overfitting). تخيل طالبًا يدرس للاختبار لفترة طويلة جدًا؛ سيتوقف عن فهم المفاهيم ويبدأ فقط في حفظ الأسئلة والإجابات بدقة، مما يجعله يفشل في تطبيق المعرفة على مواقف جديدة. فعل الروبوت الشيء نفسه: بعد 3 حقبات، توقف عن كونه مفكرًا جيدًا وبدأ فقط في تكرار بيانات التدريب، فاقدًا قدرته على التعامل مع المحادثات الجديدة.

اختبروا أيضًا ما إذا كانت هذه الشخصية "السقراطية" يمكنها الانتقال عبر اللغات. قاموا بتدريب الروبوت باستخدام بيانات باللغة السلوفاكية، ثم طرحوا عليه أسئلة بالإنجليزية والإسبانية والألمانية ولغات أخرى. كانت النتائج مختلطة. كان الروبوت رائعًا في أن يكون مقتضبًا ومباشرًا في جميع اللغات، لكن قدرته على طرح الأسئلة الصحيحة اعتمدت على اللغة. كان جيدًا جدًا في طرح الأسئلة باللغة الإسبانية (60% من الوقت) والإنجليزية (30%)، لكنه فشل تمامًا في طرح الأسئلة باللغة الألمانية والبرتغالية والسلوفاكية نفسها (0% في بعض الاختبارات). يشير هذا إلى أنه بينما تعلم الروبوت عادة الاختصار، فإن مهارة طرح الأسئلة العميقة لم تنتقل بشكل مثالي إلى اللغات التي تختلف كثيرًا عن اللغة التي تدرب عليها.

أخيرًا، استخدموا تقنية "تحسين التفضيل المباشر" (DPO) لتعليم الروبوت اختيار الإجابات القصيرة والاستفهامية بدلاً من الإجابات الطويلة والمهذبة. كانت هذه هي اللمسة النهائية التي حولت الروبوت الذي كان يحاول فقط أن يكون حازمًا إلى روبوت هو في الواقع حازم. قبل هذه الخطوة، كان الروبوت لا يزال يكتب فقرات طويلة ومسهبة. بعد خطوة DPO، تعلم تقليص إجاباته إلى متوسط 3 كلمات فقط، وغالبًا ما تنتهي بعلامة استفهام. على سبيل المثال، بدلًا من كتابة محاضرة طويلة حول سبب ضرورة ممارسة الرياضة، قد يسأل ببساة: "كم يومًا؟".

في النهاية، تثبت الورقة البحثية أنه يمكنك إعادة برمجة شخصية الذكاء الاصطناعي ليكون مدربًا مبادرًا ومستفسرًا، ولكن ذلك يتطلب إعدادًا محددًا للغاية: ابدأ بنموذج مضبوط للتعليمات، واستخدم حجم تعديل صغير (رتبة 16)، وتوقف عن التدريب بالضبط بين 2 و3 حقبات، واستخدم تحسين التفضيل لتقليل الحشو. وبينما يعمل هذا بشكل جميل للغات المشابهة لبيانات التدريب، لا يزال الروبوت يعاني للحفاظ على هذه الشخصية الجديدة في اللغات البعيدة جدًا عن جذور تدريبه. لقد أظهرت الباحثة أنه مع الرياضيات الصحيحة وقليل من القدرة الحوسبية الفائقة، يمكننا تشكيل سلوك الذكاء الاصطناعي، ولكن علينا أن نكون حذرين من عدم "طهي" الوصفة أكثر من اللازم.