Procedural Pretraining: Warming Up Language Models with Abstract Data
تُثبت هذه الورقة أن "التدريب المسبق الإجرائي"، الذي يتضمن تعريض النماذج اللغوية في البداية لنسبة ضئيلة من البيانات الهيكلية المجردة الناتجة عن اللغات والخوارزميات الصورية، يعزز قدراتها على الاستنتاج بشكل كبير، ويسرع التقارب، ويقلل التكاليف الحسابية مقارنة بالتدريب المسبق القياسي باستخدام اللغة الطبيعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "التدريب المسبق الإجرائي: تهيئة النماذج اللغوية باستخدام البيانات المجردة"، باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: "صالة ألعاب رياضية للعقل" قبل الاختبار الحقيقي
تخيل أنك تقوم بتدريب طالب عبقري لكنه يفتقر للخبرة ليصبح مؤرخاً بارعاً. الطريقة المعتادة للقيام بذلك هي تسليمه مكتبة ضخمة من كتب التاريخ (الإنترنت) وقول: "اقرأ كل شيء".
يقترح مؤلفو هذه الورقة نهجاً مختلفاً. فقبل فتح كتب التاريخ، يعطون الطالب بضعة أسابيع من الألغاز المنطقية، والتمارين الرياضية، وألعاب الأنماط. هم يسمون هذا "التدريب المسببي الإجرائي" (Procedural Pretraining).
الفكرة الجوهرية هي أنه تماماً كما يتعلم الأطفال البشر تكديس المكعبات ولعب ألعاب بسيطة قبل تعلم الفلسفة المعقدة، قد تتعلم نماذج الذكاء الاصطناي أفضل إذا مارست "التفكير" باستخدام بيانات مجردة وقائمة على القواعد قبل أن تبدأ في حفظ العالم الحقيقي.
ما هي "البيانات الإجرائية"؟
فكر في البيانات الإجرائية كأنها مستوى في لعبة فيديو ليس له قصة، ولا شخصيات، ولا صور. إنها مجرد قواعد بحتة.
- اللعبة: "إليك قائمة من الأرقام. الآن، قم بترتيبها." أو "إليك سلسلة من الأقواس
(( )). تأكد من أنها متوازنة." - الهدف: الذكاء الاصطناعي لا يتعلم معنى القوس (فهو مجرد رمز)، بل يتعلم كيفية اتباع قاعدة، أو تتبع قائمة، أو إيجاد نمط.
تستخدم الورقة بيانات يتم إنشاؤها بواسطة خوارزميات حاسوبية بسيطة (مثل موازنة الأقواس أو خلط أوراق اللعب) لتعليم الذكاء الاصطناعي "حركات العضلات" الأساسية للتفكير.
النتائج الرئيسية (النتائج "السحرية")
اختبر الباحثون هذه الفكرة ووجدوا ثلاثة أشياء مذهلة:
1. القليل منها يصنع فرقاً كبيراً
أنت لا تحتاج لاستبدال كتب التاريخ بالألغاز المنطقية. أنت تحتاج فقط إلى "إحماء" بسيط.
- التشبيه: تخيل أن الذكاء الاصطناعي هو عداء ماراثون. وجد الباحثون أنه إذا قطع العداء 0.1% إلى 0.3% فقط من إجمالي أميال تدريبه على جهاز المشي (الألغاز المنطقية المجردة) قبل الجري على المسار الفعلي (بيانات الإنترنت الحقيقية)، فإنه سيجري السباق بأكمله بشكل أسرع وأفضل.
- النتيجة: النماذج التي حصلت على هذا "الإحماء المنطقي" الصغير تعلمت نفس القدر من المعرفة باستخدام 30% إلى 45% أقل من بيانات الإنترنت الضخمة. إنه يشبه الحصول على خصم على تكلفة التدريب.
2. إنها تعالج "خللاً عقلياً" محدداً
اختبرت الورقة ما إذا كان هذا الإحماء يساعد في مهام صعبة محددة.
- اختبار "إبرة في كومة قش": تخيل قراءة كتاب مكون من 100 صفحة ويُطلب منك: "ما هي الكلمة الثالثة في الصفحة 42؟" معظم نماذج الذكاء الاصطناعي تعاني من هذا؛ فهي تنسى البداية بحلول الوقت الذي تصل فيه إلى النهاية.
- الإصلاح: عندما تم إحماء الذكاء الاصطناعي باستخدام "متواليات ديك" (نوع محدد من ألغاز الأقواس المتوازنة)، قفزت قدرته على إيجاد تلك الإبرة من دقة 10% إلى 98%.
- الدرس: الألعاب المنطقية المختلفة تعالج عضلات دماغية مختلفة. بعض الألعاب تساعد في الذاكرة، وأخرى تساعد في الرياضيات.
3. "الدماغ" يتعلم في غرف محددة
نظر الباحثون داخل "دماغ" الذكاء الاصطناعي (طبقاته الداخلية) لمعرفة أين تعيش هذه المهارة الجديدة. وجدوا أن دماغ الذكاء الاصطناعي يحتوي على نوعين رئيسيين من الغرف:
- غرف "الانتباه" (Attention): هذه تشبه عيون الذكاء الاصطناعي. إنها تنظر إلى أجزاء مختلفة من الجملة لترى كيف ترتبط ببعضها. وجدت الورقة أن البرمجة (التي تتسم بهيكل دقيق جداً) استفادت أكثر من ألغاز المنطق في غرف "الانتباه".
- غرف "MLP": هذه تشبه بنوك الذاكرة حيث تُخزن الحقائق. ومن المثير للدهشة، بالنسبة لـ اللغة الطبيعية (مثل كتابة قصة)، استفادت غرف "MLP" أكثر من ألغاز المنطق.
- الخلاصة: الإحماء المنطقي لم يجعل الدماغ بأكلب "أذكى" بطريقة عامة فحسب؛ بل بنى أدوات محددة في أجزاء محددة من الدماغ.
كيف دمجوا المهارات
حاول الباحثون أيضاً دمج أنواع مختلفة من الألغاز المنطقية.
- التشبيه: تخيل أن لديك طالباً بارعاً في الرياضيات ولكنه سيء في الذاكرة، وطالباً آخر بارعاً في الذاكرة ولكنه سيء في الرياضيات. بدلاً من جعلهم يدرسون معاً، أخذ الباحثون "دماغ الرياضيات" من أحدهم و"دماغ الذاكرة" من الآخر ودمجوهما معاً.
- النتيجة: كان هذا النموذج "فرانكنشتاين" أفضل في كل شيء مقارنة بأي من الطلاب الأصليين. وهذا يشير إلى أنه يمكننا بناء ذكاء اصطناعي أفضل عن طريق خلط ومطابقة أفضل "الأدمغة المنطقية" من جلسات تدريب مختلفة.
الملخص: لماذا يهم هذا؟
تجادل الورقة بأن نماذجه الحالية تحاول تعلم المعرفة (الحقائق) والاستنتاج (كيفية التفكير) في نفس الوقت، مما يؤدي إلى الفوضى.
باستخدام التدريب المسبق الإجرائي، هم يقولون أساساً: "دعونا نعلم الذكاء الاصطناعي كيفية التفكير أولاً، باستخدام قواعد بسيطة ومملة. بمجرد امتلاكه لأدوات التفكير هذه، سيكون أسرع وأكثر كفاءة في تعلم الحقائق الفعلية للعالم".
إنها طريقة بسيطة وخفيفة لجعل الذكاء الاصطناعي أكثر ذكاءً، وأرخص في التدريب، وأفضل في التذكر، دون الحاجة إلى تغيير بنية الذكاء الاصطناعي أو ابتكار خوارزميات جديدة. إنها مجرد طريقة أفضل لبدء اليوم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.