LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
تقدم هذه الورقة LITTLELEARNER، وهو نموذج لغوي بـ 5 مليارات معلمة تم تدريبه على مجموعة بيانات LITTLECURRICULUM المنسقة والمكونة من 88 مليار رمز من المواد التعليمية للمرحلة الابتدائية في الولايات المتحدة، لإنشاء بيئة تجريبية (sandbox) مقيدة نمائيًا تتيح دراسة محكومة لكيفية اكتساب النماذج للمعرفة واستخدامها ضمن حدود منهجية محددة بوضوح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفكر. عادةً، يتم إطعام هذه الروبوتات بوفيه هائل وفوضوي من كل ما كُتب على الإنترنت — مقالات إخبارية، روايات خيال علمي، كتب رياضيات مدرسية، وتذمرات عشوائية من المنتديات، وكل ذلك ممزوج معاً. الأمر يشبه محاولة تعلم كيفية خبز كعكة بينما يصرخ شخص ما في نفس الوقت بكلمات أغنية "هيفي ميتال" ويردد الجدول الدوري. ولأن الروبوت قد تذوق كل شيء، فمن الصعب للغاية معرفة ما تعلمه بالضبط من أي جزء من الوجبة. هل تعلم حل مسألة رياضية لأنه يفهم الرياضيات حقاً، أم لمجرد أنه حفظ الإجابة من موقع إلكتروني تناوله؟
ولحل هذا الغموض، يحتاج العلماء إلى طريقة للتحكم في نظام الروبوت الغذائي. يريدون معرفة: إذا سمحنا للروبوت فقط بتناول "طعام المدرسة الابتدائية"، فهل سيبقى طفلاً للأبد؟ أم يمكننا خداعه ليصبح عبقرياً لاحقاً باستخدام تقنيات تدريب خاصة؟ هذه الورقة البحثية تدور حول بناء هذا النظام الغذائي المحكوم ورؤية ما يحدث عندما نحاول تمديد عقل الروبوت إلى ما وراء قائمته الأصلية.
مشروع المتعلم الصغير: روبوت على نظام غذائي صارم
أنشأ الباحثون مشروعاً خاصاً يسمى LittleLearner (المتعلم الصغير). فكر في هذا المشروع كـ "صندوق رمال" أو منطقة لعب للذكاء الاصطناعي، ولكن بقواعد صارمة للغاية. بدلاً من ترك الذكاء الاصطناعي يأكل الإنترنت بأكمله، قاموا ببناء قائمة طعام مخصصة تسمى LittleCurriculum (منهج المتعلم الصغير). تحتوي هذه القائمة على 88 مليار كلمة بالضبط، ولكن بشرط: فهي تقتصر بصرامة على المواد التي تُدرس في المدارس الأمريكية من الروضة وحتى الصف الخامس الابتدائي.
ولصنع هذه القائمة، لم يعتمدوا على التخمين فحسب، بل استخدموا عملية تصفية متعددة الخطوات، تشبه أمينة مكتبة شديدة الصرامة. أولاً، تحققوا من "عمر" الكلمات للتأكد من أنها ليست متقدمة جداً. ثم استخدموا برامج حاسوبية ذكية لقراءة النص وتحديد ما إذا كان صعباً على طفل في العاشرة من عمره. وأخيراً، استخدموا "مرشحاً رمزياً" للبحث عن أي رموز أو معادلات رياضية تبدو كجبر المرحلة الثانوية أو التفاضل والتكامل وإزالتها. والنتيجة هي مجموعة بيانات نظيفة ونقية من المعرفة المخصصة للمرحلة الابتدائية فقط.
على هذا النظام الغذائي الصارم، قاموا بتدريب نموذج ذكاء اصطناعي جديد يسمى LittleLearner. وهو نموذج بـ 5 مليارات بارامتر (عقل متوسط الحجم لروبوت) لم يرَ سوى مواد الصفوف من الروضة حتى الخامس. هو يعرف ما هي الجاذبية (أنها تسحب الأشياء للأسفل)، وأن القطط من الثدييات، ويعرف كيف يجمع 8 + 6. لكنه لم يرَ قط معادلة فيزياء للمرحلة الثانوية أو تجربة فكرية في ميكانيكا الكم.
الاختبار الكبير: هل يمكننا خداع الروبوت؟
السحر الحقيقي في هذا المشروع هو أنه نظراً لأن الباحثين يعرفون بالضبط ما أكله الروبوت، فيمكنهم إجراء تجارب عادلة لمعرفة ما إذا كان بإمكانهم تعليمه أشياء جديدة لاحقاً. لقد طرحوا ثلاثة أسئلة كبيرة:
هل جعل الروبوت أكبر يساعده؟
قاموا بتدريب نسخ من LittleLearner بعقول أصغر وأكبر (0.6 مليار، 1.3 مليار، و5 مليارات بارامتر).- النتيجة: جعل الروبوت أكبر ساعده على أن يصبح أفضل في أمور المدرسة الابتدائية. العقل الأكبر هو مجرد أكثر كفاءة فيما يعرفه بالفعل. ومع ذلك، عندما اختبروه على رياضيات الصف الثامن (وهي خارج نطاق غذائه تماماً)، لم تصبح الروبوتات الأكبر ذكاءً. لقد اصطدموا بحائط مسدود. العقل الأكبر لم يمنحه سحرياً معرفة لم يأكلها أبداً.
هل يمكننا "التدريب اللاحق" لتعليمه أشياء متقدمة؟
التدريب اللاحق يشبه إعطاء الروبوت دورة مكثفة بعد انتهائه من مدرسته الأساسية. حاولوا تعليم LittleLearner مسائل رياضية متقدمة جديدة باستخدام تقنية تسمى "التعلم التعزيزي" (حيث يحصل الروبوت على مكافآت مقابل الإجابات الصحيحة).- النتيجة: حتى عندما أطعموا الروبوت مسائل متقدمة، لم يستطع تعلمها. لقد أصبح أفضل قليلاً في الأشياء التي يعرفها بالفعل، لكنه فشل تماماً في المواد الجديدة الخارجة عن نطاقه. الأمر يشبه محاولة تعليم طفل لا يعرف سوى الجمع كيف يقوم بالتفاضل والتكامل بمجرد إعطائه ورقة عمل أصعب؛ سيصاب بالارتباك فحسب.
هل يمكننا استخدام "التعلم داخل السياق" للمساعدة؟
هذا يحدث عندما تعطي الروبوت بعض الأمثلة في الدردشة قبل طرح السؤال (مثل قول: "إليك كيفية حل مسألة... الآن جرب أنت").- النتيجة: إعطاء الروبوت أمثلة ساعده على أداء المسائل الابتدائية بشكل أفضل قليلاً، لكنه لم يفعل شيئاً على الإطلاق لمساعدته في حل مسائل الصف الثامن. لم يستطع الروبوت "فتح" مهارات استنتاجية جديدة بمجرد النظر إلى أمثلة لأشياء لم يرها من قبل.
الخلا-صة: قائمة الطعام هي الأهم
النتيجة الرئيسية لهذه الورقة هي بمثابة "واقع مرير" لعالم الذكاء الاصطناعي. فهي تشير إلى أن التدريب المسبق (الدايت) هو أهم شيء. إذا تم إطعام الروبوت فقط معرفة المستوى الابتدائي، فسيظل ضمن تلك الحدود. لا يمكنك بسهولة خداعه ليصبح خبيراً في الفيزياء المتقدمة أو الرياضيات العليا بمجرد جعله أكبر، أو إعطائه دورة مكثفة، أو إظهار بعض الأمثلة له.
تظهر الورقة أن "سقف القدرة" للروبوت يتم تحديده بما تدرب عليه في الأصل. عندما سأل الباحثون LittleLearner عن قطة شرودنجر (تجربة شهيرة في ميكانيكا الكم)، لم يقل الروبوت "لا أعرف". بدلاً من ذلك، ألف قصة عن قطة بوجهين. لقد حاول استخدام المنطق البسيط الذي يمتلكه لشرح شيء لم يره من قبل، مما أدى إلى نتيجة واثقة ولكن خاطئة.
هذا لا يعني أن الذكاء الاصطناعي معطل؛ بل يعني أن لدينا أخيراً طريقة واضحة لدراسة كيفية تعلم الذكاء الاصطناعي. باستخدام LittleLearner و LittleCurriculum، أصبح لدى العلماء الآن ساحة لعب محكومة. يمكنهم التوقف عن التخمين بشأن ما يعرفه الروبوت والبدء في اختبار كيفية تعلمه مهارات جديدة عندما تكون القواعد واضحة. اتضح أنه إذا كنت تريد روبوتاً عبقرياً، فمن المحتمل أن تضطر لإطعامه طعاماً بمستوى العباقرة منذ البداية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.