Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge
تُثبت هذه الورقة أنه بينما يزود التدريب المسبق وحدَه نماذج المحولات (transformers) بالمعرفة الواقعية، فإن الضبط الدقيق على مهام تتطلب استدلالاً ضمنياً يعد ضرورياً لتحفيز ظهور الاستدعاء السياقي من خلال تشكيل ترميزات كامنة منخفضة الأبعاد لأنواع السمات المشتركة، وهي آلية تم التحقق من صحتها من خلال تجارب اصطناعية ونموذج محول مبني على آلية الانتباه فقط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً عبقرياً يُدعى ترانسفورمر (Transformer). لقد أمضى هذا الطالب سنوات في قراءة كل كتاب في مكتبة ضخمة (هذا هو التدريب المسبق - Pretraining). لقد حفظ ملايين الحقائق: "برج إيفل في باريس"، "الكولوسيوم في روما"، "شلالات نياجرا في كندا".
ولكن، هناك عقبة. عندما يقرأ هذا الطالب هذه الحقائق، تُقدم له دائماً مع "علامة" أو "تلميح" محدد في النص، مثل وسم قواعدي.
- النص: "برج إيفل [الموقع: باريس]."
- النص: "الكولوسيوم [الموقع: روما]."
لقد تعلم الطالب ربط كلمة "برج إيفل" بكلمة "باريس" فقط لأنه يرى الوسم[الموقع]قبلها مباشرة. إنه يشبه الببغاء الذي لا يكرر جملة إلا إذا سمع صفيراً معيناً أولاً.
المشكلة: الاختبار "الصامت"
الآن، تخيل أن المعلم يعطي الطالب نوعاً جديداً من الاختبارات. كتب المعلم على السبورة:
"شلالات نياجرا، كندا. الكولوسيوم، إيطاليا. البارثينون، ______."
سأل المعلم: "ما الذي يوضع في الفراغ؟"
ارتبك الطالب. لا توجد علامات مثل [الموقع] أو [البلد] هنا. يجب على الطالب أن يستنتج النمط بنفسه. عليه أن ينظر إلى المثالين الأولين، ويدرك: "أوه! النمط هو (معلم، دولة)،" ثم يطبق هذا المنطق على المثال الثالث ليخمن "اليونان".
هذا ما يسمى الاستدعاء السياقي (Contextual Recall). يجب على الطالب استخدام السياق (الأمثلة) لاستدعاء حقيقة ما، دون تلميحات صريحة.
الاكتشاف: القراءة ليست كافية
وجد الباحثون في هذه الورقة شيئاً مفاجئاً:
- مجرد قراءة المكتبة (التدريب المسبق) ليس كافياً. رغم أن الطالب يعرف كل الحقائق، إلا أنه يفشل في "الاختبار الصامت". لا يمكنه استنتاج النمط لأنه اعتاد بشدة على الاعتماد على "الصفير" (الأوسام القواعدية).
- إنه يحتاج إلى نوع محدد من التدريب (الضبط الدقيق - Finetuning). لإصلاح ذلك، قدم الباحثون للطالب جلسة تدريبية خاصة. لم يعطوه مجرد حقائق جديدة؛ بل أعطوه ألغازاً يكون فيها "الصفير" مفقوداً أو مخفياً، مما يجبر الطالب على تخمين النمط بناءً على الأمثلة.
السحر: التعلم كيف "يفكر" في الأنماط
إليك الجزء الأكثر إثارة في الورقة. لم يحتج الباحثون لتعليم الطالب حقائق جديدة. لقد علموه فقط على مجموعة فرعية صغيرة من المواضيع (ربما 50 معلماً فقط من أصل 256).
ولكن، إليك السحر: بمجرد أن تعلم الطالب كيف يحل اللغز لهؤلاء الـ 50 معلماً، استطاع فوراً حل اللغز للـ 206 معالم الأخرى التي لم يرها بهذا التنسيق من قبل!
كيف فعلوا ذلك؟
فكر في عقل الطالب كنظام "قصاصات ملاحظات".
- قبل التدريب: كان الطالب يبحث عن قصاصة ملاحظات محددة (الوسم القواعدي) ليعرف ماذا يفعل.
- بعد التدريب: تعلم الطالب كيف ينشئ قصاصة ملاحظات جديدة وغير مرئية داخل عقله. عندما يرى "شلالات نياجرا، كندا"، فإنه ينشئ وسماً ذهنياً يقول: "هذه لعبة الدول". ثم يستخدم هذا الوسم غير المرئي ليجد بلد "البارثينون".
تظهر الورقة أنه خلال هذا التدريب الخاص، يشكل عقل الطالب "متجه مهمة" (Task Vector) منخفض الأبعاد.
- تشبيه: تخيل عقل الطالب كخريطة عملاقة. قبل التدريب، كانت جميع الحقائق مبعثرة عشوائياً. بعد التدريب الخاص، رسم الطالب طريقاً سريعاً جديداً وغير مرئي على الخريطة يربط جميع حقائق "الدول" معاً. عندما يرى المثال الأول، فإنه يقفز على هذا الطريق السريع وينطلق مباشرة نحو الإجابة للمثال التالي.
لماذا يهم هذا؟
هذا يفسر كيف تتعلم نماذج الذكاء الاصطناعي (مثل تلك التي تتحدث معها) لتصبح ذكية.
- التدريب المسبق (Pretraining) يمنحها البيانات الخام (الموسوعة).
- الضبط الدقيق (Finetuning) يعلمها مهارة النظر في بضعة أمثلة واستنتاج القواعد، حتى لو تغيرت القواعد أو اختفت التلميحات.
تثبت الورقة أنك لست بحاجة لإعادة تعليم الذكاء الاصطناعي كل شيء من الصفر لجعله أكثر ذكاءً في الاستنتاج. أنت فقط بحاجة لإظهار كيفية البحث عن الأنماط في بضعة أمثلة، وسوف يعمم هذه المهارة على كل ما يعرفه بالفعل.
ملخص في جملة واحدة
التدريب المسبق يملأ عقل الذكاء الاصطناعي بالحقائق، لكن نوعاً معيناً من التدريب (الضبط الدقيق) يعلم الذكاء الاصطناعي كيفية تجاهل التلميحات الواضحة واستنتاج القواعد الخفية بمفرده، مما يسمح له بحل ألغاز جديدة باستخدام معرفته القديمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.