Lil-Bevo: Explorations of Strategies for Training Language Models in More Humanlike Ways
تقدم هذه الورقة Lil-Bevo، وهي مشاركة في تحدي BabyLM تستكشف استراتيجيات تدريب شبيهة بالبشر مثل التدريب المسبق على الموسيقى، والتعلم المنهجي باستخدام أطوال التسلسل، والقناع المستهدف، حيث وجدت أنه بينما حقق التدريب على تسلسلات أقصر أفضل النتائج وساعد القناع المستهدف في مهام محددة، إلا أن هذه التقنيات لم تنتج سوى مكاسب طفيفة في الأداء مقارنة بالنماذج الأكبر حجمًا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم طفل رضيع كيف يتحدث. في العالم الحقيقي، لا يبدأ الأطفال بقراءة الموسوعة البريطانية بأكملها أو الاستماع إلى ساعات من النقاشات السياسية المعقدة. بل يبدأون بأصوات قصيرة وبسيطة، ويتعلمون من ردود فعل والديهم المباشرة، ويستكشفون العالم من خلال الموسيقى واللمس والرؤية قبل أن يعرفوا حتى ما هو "الاسم".
الآن، تخيل أنك عالم حاسوب تحاول بناء ذكاء اصطناعي يتعلم اللغة بنفس الطريقة. هذا هو تحدي مسابقة BabyLM: هل يمكننا تدريب نموذج لغوي ذكي باستخدام كمية البيانات التي يتعرض لها الطفل البشري فقط (حوالي 10 ملايين كلمة)، بدلاً من تريليونات الكلمات التي تستخدمها النماذج الضخمة للذكاء الاصطناعي اليوم؟
قرر الفريق وراء Lil-Bevo (وهو اسم دلع لطيف لنموذجهم، تيمناً بشعار جامعة تكساس) تجربة ثلاث استراتيجيات محددة "تشبه البشر" لمعرفة ما إذا كان بإمكانهم جعل الذكاء الاصطناعي يتعلم بشكل أفضل باستخدام بيانات أقل. إليكم ما فعلوه، مشروحاً ببساطة:
1. نهج "خطوات الطفل" (التسلسلات القصيرة)
الفكرة: عندما يتعلم الأطفال، لا يبدأون بجمل طويلة ومعقدة. بل يبدأون بكلمات مثل "ماما"، "بابا"، و"لا". ومع نموهم، تصبح الجمل أطول.
تجربة الذكاء الاصطناعي: معظم نماذج الذكاء الاصطناعي يتم تدريبها على قطع نصية طويلة منذ البداية. قرر فريق Lil-Bevo تعليم الذكاء الاصطوي باستخدام جمل قصيرة فقط أولاً (بطول 128 كلمة مثلاً) ثم الانتقال بعد ذلك إلى قصص أطول وأكثر تعقيداً.
النتيجة: نجح هذا الأمر بشكل رائع! الأمر يشبه تعليم الطفل المشي قبل أن تطلب منه الركض في ماراثون. لقد تعلم النموذج بشكل أفضل بكثير عندما بدأ صغيراً.
2. نهج "الأذن الموسيقية" (التدريب المسبق الموسيقي)
الفكرة: الأطفال لا يسمعون الكلمات فحسب؛ بل يسمعون الموسيقى، وألعاب الهزاز، وإيقاع العالم. إنهم يتعلمون الأنماط في الأصوات قبل أن يتعلموا معنى الكلمات.
تجربة الذكاء الاصطناعي: قبل تعليم الذكاء الاصطناعي اللغة الإنجليزية، قام الفريق بتغذيته بكمية هائلة من موسيقى البيانو (محولة إلى رموز نصية). كانت النظرية هي أن تعلم الأنماط المعقدة للموسيقى قد يساعد "دماغ" الذكاء الاصطناعي على الاستعداد لتعلم أنماط اللغة.
النتيجة: ساعد ذلك قليلاً، ولكن ليس كثيراً. الأمر يشبه إعطاء طالب درساً في الموسيقى قبل اختبار في الرياضيات؛ قد يشحذ تركيزه، لكنه لن يعلمه الجبر. يشتبه الفريق في أن الفائدة كانت صغيرة وربما مجرد صدفة سعيدة.
3. نهج "بقعة الضوء" (الاستهداف الموجه)
الفكرة: عندما يرتكب الطفل خطأً، قد يقوم الوالدان بتصحيحه بلطف أو تسليط الضوء على الجزء الصعب من الجملة. على سبيل المثال، إذا قال الطفل: "أنا لم أرَ لا شيء"، قد يشد الوالدان على النفي المزدوج.
تجربة الذكاء الاصطناعي: بدلاً من إخفاء كلمات عشوائية ليقوم الذكاء الاصطناعي بتخمينها (الطريقة القياسية)، قام الفريق عمداً بإخفاء الكلمات "الصعبة" التي يُعرف أنها تمثل تحدياً للذكاء الاصطناعي، مثل الكلمات التي تشير إلى النفي ("ليس/لا") أو قواعد نحوية معينة. لقد أجبروا الذكاء الاصطناعي على إبداء اهتمام إضافي بهذه النقاط الصعبة تحديداً.
النتيلة: لم يجعل هذا الذكاء الاصطناعي أذكى في كل شيء، لكنه جعله أفضل بكثير في الألغاز النحوية المحددة التي استهدفوها. إنه يشبه مدرساً يركز فقط على المسائل الرياضية الضعيفة لدى الطالب؛ يصبح الطالب أفضل في تلك المسائل، لكن ربما ليس في الهندسة.
الصورة الكبيرة: هل فازوا؟
وجد الفريق أن Lil-Bevo كان بالتأكيد أذكى من التخمين العشوائي، لكنه لا يزال لا يستطيع منافسة نماذج الذكاء الاصطناعي "العملاقة" التي قرأت الإنترنت بأكمله.
- ما نجح بشكل أفضل: البدء بجمل قصيرة (خطوات الطفل).
- ما كان جيداً: الاستماع إلى الموسيقى أولاً (الأذن الموسيقية).
- ما كان ناجحاً أو متعثراً: التركيز على قواعد نحوية محددة (بقعة الضوء).
الخلاصة
تخلص الورقة البحثية إلى أنه بينما لم نتمكن من فك الشفرة حول كيفية جعل ذكاء اصطناعي صغير بذكاء ذكاء اصطناعي عملاق بعد، فإننا نتعلم أن كيفية تعليمنا لا تقل أهمية عن ماذا نعلم.
فكر في الأمر هكذا: إذا كنت تريد بناء ناطحة سحاب (ذكاء اصطناعي عملاق)، يمكنك فقط صب كومة من الطوب على الأرض والأمل في أن تقف. ولكن إذا كنت تريد بناء منزل باستخدام عدد قليل من الطوب فقط (ذكاء اصطناعي بمقياس بشري)، فعليك أن تكون حذراً جداً بشأن ترتيب وضعها، وربما تبدأ بإيقاع موسيقي لضبط الأساس بشكل صحيح، والتركيز بكثافة على نقاط الضعف. لقد أظهر لنا Lil-Bevo أن طرق التعليم المدروسة والمشابهة للبشر هذه واعدة، حتى لو لم يكن المنزل ناطحة سحاب بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.