Synthetic Persona Pretraining: Alignment from Token Zero
تقدم هذه الورقة البحثية "التدريب المسبق للشخصية الاصطناعية" (SPP)، وهي طريقة تدمج التأملات الشخصية المتوافقة مع القيم مباشرة في مرحلة التدريب المسبق لغرس شخصية المساعد المنشودة من الرمز صفر، مما يثبت أن هذا التدخل المبكر يحسن بشكل كبير من الالتزام بالدستور، والمتانة ضد الاختراق، والاتساق الأخلاقي مقارنة بنهج المحاذاة في مرحلة ما بعد التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تربي طفلاً. يمكنك الانتظار حتى يصبح مراهقاً، ثم تجلس معه وتقول: "حسناً، الآن بعد أن تعلمت كيف تتحدث، إليك القواعد: كن لطيفاً، قل الحقيقة، ولا تؤذِ الآخرين". أو يمكنك البدء في تعليم تلك القيم منذ أول كلمة يتعلم نطقها، ودمجها في كل قصة ترويها له بينما ينمو. هذا هو جوهر المعضلة التي تواجه العلماء الذين يبنون الذكاء الاصطناعي.
نماذج الذكاء الاصطناعي تشبه الأطفال الرقميين الذين يتعلمون من خلال قراءة مليارات الصفحات من النصوص عبر الإنترنت. تُسمى مرحلة التعلم الأولية هذه "ما قبل التدريب" (Pretraining). خلال هذه الفترة، يمتص الذكاء الاصطناعي الحقائق، وأساليب الكتابة، وكيفية تحدث البشر مع بعضهم البعض. ومع ذلك، فإن "القواعد" الخاصة بكونه مساعداً مفيداً وآمناً تُضاف عادةً بعد مرحلة التعلم الضخمة هذه، في خطوة منفصلة تسمى "ما بعد التدريب" (Post-training). تكمن المشكلة في أنه بحلول الوقت الذي ينتهي فيه الذكاء الاصطناعي من القراءة من الإنترنت، يكون قد شكل بالفعل شخصية بناءً على ما وجده هناك. محاولة فرض قواعد جديدة على شخصية مكتملة التكوين تشبه محاولة تعليم مراهق أن يكون مهذباً بعد أن تعلم بالفعل أن يكون فظاً؛ فغالباً ما تبدو كأنها طبقة رقيقة من الطلاء فوق جدار فوضوي، ويمكن للعادات القديمة أن تظهر بسهولة.
هذه الورقة البحثية، التي تحمل عنوان "التدريب المسبق للشخصية الاصطناعية: المحاذاة من الرمز صفر" (Synthetic Persona Prestring: Alignment from Token Zero)، تقترح طريقة مختلفة لتربية أطفالنا الرقميين. يقترح الباحثون تثبيت الشخصية والقيم المرغوبة منذ اللحظة الأولى للتدريب تماماً—ما يسمونه "الرمز صفر" (Token Zero). بدلاً من الانتظار لإصلاح الذكاء الاصطناعي لاحقاً، يريدون بناء "المساعد الجيد" داخل عقله بينما لا يزال يتعلم الكلام.
التجربة: تربية طفل رقمي باستخدام دستور
قرر الباحثون، وهم فريق من جامعة EPFL وعدة جامعات، اختبار فكرة "تربية النموذج" هذه. لقد ابتكروا طريقة جديدة تسمى التدريب المسبق للشخصية الاصطناعية (SPP). إليكم كيف فعلوا ذلك، باستخدام تشبيه بسيط:
تخيل أن الذكاء الاصطناعي يتعلم قراءة مكتبة من الكتب. في الطريقة القديمة، يكتفي الذكاء الاصطناعي بقراءة الكتب فقط. أما في الطريقة الجديدة، فقد أخذ الباحثون حوالي 10% من تلك الكتب وأضافوا "فقاعة تفكير" خاصة بعد كل بضع فقرات. داخل فقاعة التفكير هذه، يتوقف "شخص" الذكاء الاصطناعي المستقبلي (لنسمه "كاتو") ليتأمل فيما قرأه للتو، قائلاً أشياء مثل: "همم، هذه القصة عن جريمة هي قصة حزينة، وقواعدي تقول إنه لا ينبغي لي أبداً تشجيع العنف"، أو "هذا الدليل التقني ممل ولكنه مفيد".
لم يكتفوا بإضافة هذه الأفكار فحسب؛ بل جعلوا الذكاء الاصطناعي يتعلم توليدها. لقد دربوا النموذج على النص الأصلي وعلى أفكار "التأمل" الجديدة هذه. وقد فعلوا ذلك بطريقتين:
- الرمز صفر (نهج "منذ الولادة"): قاموا بنثر أفكار التأمل هذه طوال عملية التدريب بأكملها، من الثانية الأولى وحتى الأخيرة.
- منتصف التدريب (نهج "المراهق"): انتظروا حتى قرأ الذكاء الاصطناعي معظم الكتب ثم أضافوا التأملات في نهاية مرحلة التدريب فقط.
كما كان لديهم مجموعة ضابطة تقرأ الكتب بشكل طبيعي (Vanilla) ومجموعة أخرى تم حذف الكتب السيئة منها دون إضافة تأملات (Filtered).
ما وجدوه: قوة البدء مبكراً
كانت النتائج رائعة وأشارت إلى أن متى تعلم الذكاء الاصطناعي يهم بقدر ما يهم ماذا تعلم.
1. ذكاء "الرمز صفر" كان أكثر وعياً بالقيم.
النماذج التي تدربت على التأملات منذ البداية (الرمز صفر) كانت أفضل بكثير في اتباع "دستورها" (مجموعة القواعد التي كان من المفترض أن تتبعها). عندما اختبر الباحثون هذه النماذج في معضلات أخلاقية شائكة—مواقف لم يرها الذكاء الاصطناعي من قبل—اتخذت نماذج "الرمز صفر" خيارات بدت أكثر اتساقاً مع القواعد. لم تكتفِ بحفظ القواعد، بل بدت وكأنها تفهم جوهرها.
- الأرقام: في اختبار يسمى "ConstitutionEval"، حصلت نماذج "الرمز صفر" على حوالي 67% من الإجابات الصحيحة، بينما حصلت النماذج التي تلقت التأملات في النهاية فقط (منتصف التدريب) على حوالي 56% فقط.
- المفاجأة: غيرت نماذج "الرمز صفر" أولوياتها بالفعل. فقد بدأت في تقدير "الصدق" و"العدالة" أكثر بكثير من النماذج الأخرى، التي فضلت "الإبداع" و"التعلم". هذا يشير إلى أن البدء مبكراً لم يضف قواعد فحسب، بل أعاد تشكيل كيفية تفكير الذكاء الاصطناعي في العالم.
2. نهج "المراهق" كان جيداً لبعض الأشياء، ولكن ليس كلها.
من المثير للاهتمام أنه إذا كان الهدف هو مجرد منع الذكاء الاصطناعي من التعرض لـ "الاختراق" (الخداع للقيام بأشياء سيئة)، فإن نهج "منتصف التدريب" عمل بشكل جيد تقريباً مثل نهج "الرمز صفر". يبدو أنه بالنسبة لردود الفعل البسيطة من نوع "لا تفعل ذلك"، يمكنك تعليمها في وقت متأخر. ولكن بالنسبة للتفكير الأخلاقي العميق والمعقد، فأنت تحتاج حقاً للبدء من اليوم الأول.
3. عقول أكبر، مكاسب أكبر.
اختبر الباحثون هذا على حجمين من الذكاء الاصطناعي: واحد صغير (1.7 مليار معلمة) وآخر أكبر (3 مليارات معلمة). ووجدوا أن ميزة البدء مبكراً تصبح أكثر أهمية كلما أصبح الذكاء الاصطناعي أكبر وأذكى. في أصعب الاختبارات، تضاعفت الفجوة بين ذكاء "الولادة" وذكاء "المراهق" مع زيادة الحجم. وهذا يشير إلى أنه بالنسبة لنماذج الذكاء الاصطناعي الضخمة والذكية جداً في المستقبل، سيكون البدء بالقيم الصحيحة أكثر أهمية حتى أكثر.
4. "الغراء" مهم.
كان هناك عقبة واحدة. وجد الباحثون أن هذه القيم المبكرة لا تظل ثابتة إلا إذا تطابقت الخطوة النهائية للتدريب (حيث يتعلم الذكاء الاصطناعي الدردشة مع البشر) مع الشخصية التي بنوها سابقاً. أطلقوا على هذا "ربط الشخصية" (Persona Binding). إذا دربوا الذكاء الاصطناعي ليكون نوعاً معيناً من المساعدين أثناء مرحلة القراءة، ثم علموه أن يكون نوعاً مختلفاً تماماً أثناء مرحلة الدردشة، فإن القيم المبكرة تبدأ في التلاشي. الأمر يشبه تعليم طفل أن يكون طبيباً، ثم إرساله إلى مدرسة للفنون؛ قد ينسى القواعد الطبية. ومع ذلك، عندما كان "الغراء" متماسكاً، كانت القيم قوية بشكل مدهش، وصمدت حتى عندما حاول الباحثون كسرها باختبارات مخادعة.
لماذا هذا مهم
تشير هذه الورقة إلى أننا قد نرتكب خطأً بمحاولة "إصلاح" الذكاء الاصطناعي بعد أن تعلم بالفعل كل شيء من الإنترنت. يجادل المؤلفون بأن القيم يصعب إضافتها إلى منتج نهائي. بدلاً من ذلك، يجب علينا "تربية" الذكاء الاصطعي بالقيم الصحيحة منذ أول رمز يعالجه.
بينما تبدو النتائج واعدة، يوضح الباحثون أن هذه مجرد البداية. لقد اختبروا هذا على نماذج صغيرة نسبياً (3 مليارات معلمة) مقارنة بالنماذج الضخمة التي تستخدمها شركات التكنولوجيا الكبرى اليوم. ويقترحون أنه بينما نبني نماذج أكبر وأذكى، فإن فائدة البدء بالقيم الصحيحة مبكراً ستصبح على الأرجح أكثر قوة. كما أشاروا إلى أنه على الرغم من أن القيم المبكرة كانت قوية، إلا أنه يمكن إضعافها بواسطة أنواع معينة من التدريب اللاحق، مما يعني أننا لا نزال بحاجة إلى توخي الحذر بشأن كيفية إنهاء عملية تربية أطفالنا الرقميين.
باختصار، إذا أردنا ذكاءً اصطناعياً آمناً ومفيداً حقاً، فلا ينبغي لنا الانتظار حتى يكبر لتعليمه الصواب من الخطأ. يجب أن نعلمه بينما لا يزال يتعلم الكلام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.