StoicLLM: Preference Optimization for Philosophical Alignment in Small Language Models
تُثبت هذه الورقة أنه في حين أن تحسين التفضيل على مجموعات البيانات الصغيرة من النصوص الرواقية يمكن أن يوفق بفعالية بين النماذج اللغوية الصغيرة والفضائل الموجهة نحو الداخل، إلا أنه يفشل في التغلب على قيودها التمثيلية المتأصلة فيما يتعلق بالواجبات الكوزموبوليتانية (العالمية) الموجهة نحو الخارج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً صغيراً ذكياً جداً (نموذج لغوي "صغير") يريد تعلم الفلسفة القديمة، وهي الرواقية. الرواقية تدور حول إيجاد السلام من خلال التحكم في عقلك، والتحلي بالفضيلة، وتقبل ما لا يمكنك تغييره.
عادةً، لتعليم طالب بهذا العمق، ستحتاج إلى مكتبة ضخمة وسنوات من الدراسة. لكن هذه الورقة البحثية تسأل: هل يمكننا تعليم هذا الفلسفة العميقة لطالب صغير باستخدام مجرد دفتر ملاحظات صغير وعالي الجودة يحتوي على 300 ملاحظة فقط؟
إليك ما وجده الباحثون، مشروحاً ببساطة:
1. خدعة "دفتر الملاحظات الصغير"
أخذ الباحثون نموذجين صغيرين من الذكاء الاصطناعي (فكر فيهما كطالبين أذكياء ولكن محدودين القدرات) وحاولوا تعليمهما التصرف مثل الفلاسفة الرواقيين المشهورين (مثل سينيكا أو ماركوس أوريليوس). وبدلاً من تغذيتهما بكل ما في الإنترنت، أعطوهما "مجموعة بيانات مجهرية" (micro-dataset) — وهي مجموعة مختارة بعنا_ية من 300 مثال عالي الجودة من الحكمة الرواقية.
استخدموا طريقة تعليم خاصة تسمى تحسين التفضيل (Preference Optimization). فكر في الأمر كمدرب صارم لا يكتفي بإظهار الإجابة الصحيحة للطالب فحسب، بل يظهر له أيضاً إجابة خاطئة ويقول له: "لا، لا تفعل ذلك. افعل هذا بدلاً منه".
النتيجة: لقد نجح الأمر بشكل مفاجئ! باستخدام 300 مثال فقط، تعلم الذكاء الاصطناعي الصغير كيف يتحدث تماماً مثل فيلسوف رواقي. كان بإمكانه التحدث عن التحكم في العواطف وإيجاد السلام الداخلي بقدر يضاهي تقريباً لو اضطررت لقراءة 300 مثال بصوت عالٍ له في كل مرة تسأله فيها. هذا أمر رائع لأنه يوفر "مساحة الذاكرة" (نافذة السياق) لأشياء أخرى.
2. "الموهبة الأساسية" هي الأهم
جرب الباحثون مدربين مختلفين (خوارزميات تسمى ORPO و AlphaPO).
- الطالب القوي (Qwen-3-4B): كان هذا النموذج ذكياً بالفعل في الأفكار المجردة. وعند اقترانه بمدرب AlphaPO، تعلم بأفضل شكل. كان الأمر يشبه طالباً موهوباً بالفطرة يمكنه استيعاب بعض التلميحات والمضي قدماً بها.
- الطالب المتعثر (Llama-3-2-3B): كان هذا النموذج أضعف قليلاً في "تدريبه المسبق" الطبيعي. وقد احتاج إلى مدرب ORPO، الذي كان أكثر صرامة وتشدداً، لإبقائه على المسار الصحيح.
الدرس المستفاد: لا يمكنك مجرد إلقاء دفتر ملاحظات صغير على أي طالب وتوقع أن يصبح فيلسوفاً. يجب أن يكون "عقل" الطالب (النموذج الأساسي) قادراً على فهم المفاهيم في المقام الأول.
3. "النقطة العمياء" (المفاجأة الكبرى)
هذا هو الاكتشاف الأكثر أهمية. اختبر الباحثون الذكاء الاصطناعي على نوعين من الأسئلة الرواقية:
- الأسئلة الموجهة للداخل: "كيف أتحكم في غضبي؟" أو "كيف أحافظ على هدوئي؟"
- الأسئلة الموجهة للخارج: "كيف أعامل جيراني؟" أو "ما هو واجبي تجاه المجتمع؟"
أجاد الذكاء الاصطناعي الأسئلة الداخلية بشكل شبه مثالي. بدا حكيماً، هادئاً، وفلسفياً.
لكنه فشل تماماً في الأسئلة الخارجية. حتى عندما أعطى الباحثون الذكاء الاصطناعي "ورقة غش" (التعلم من خلال الأمثلة/few-shot prompting) مع أمثلة، لم يستطع استيعاب فكرة الواجب الكوني (Cosmopolitan Duty) (الإيمان الرواقي بأننا جميعاً مواطنون في العالم وندين بواجب تجاه البشرية).
الاستعارة: تخيل طالباً يمكنه تسميع قواعد كون المرء راهباً مثالياً في كهف (تركيز داخلي)، لكنه لا يملك أدنى فكرة عن كيف يكون جاراً جيداً أو مواطناً صالحاً في مدينة مزدحمة (تركيز خارجي).
تخلص الورقة البحثية إلى أن هذا ليس خطأً في طريقة التدريس. بل هو قصور في دماغ الذكاء الاصطناعي الصغير. فالنماذج الصغيرة ببساطة لم "تشاهد" ما يكفي من الأمثلة حول الواجب الاجتماعي في بيانات تدريبها الأصلية لتفهم ذلك، بغض النظر عن عدد المرات التي تحاول فيها تعليمها باستخدام دفتر ملاحظات صغير.
الملخص
- الأخبار الجيدة: يمكنك تعليم ذكاء اصطناعي صغير كيف يبدو كفيلسوف حكيم باستخدام 300 مثال فقط، مما يوفر الذاكرة والوقت.
- الأخبار السيئة: تمتلك نماذج الذكاء الاصطناعي الصغيرة "نقطة عمياء". يمكنها تعلم كيف تكون هادئة ومسيطرة على ذاتها، لكنها تعاني في تعلم كيف تكون جيدة تجاه الآخرين أو فهم واجبها تجاه المجتمع.
- لماذا؟ لأن النماذج الصغيرة لا تملك بعد "العضلة الذهنية" (القدرة التمثيلية) لاستيعاب تلك المفاهيم الاجتماعية المعقدة. ولإصلاح ذلك، قد تحتاج إلى نماذج أكبر، وليس مجرد حيل تعليمية أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.