Fine-tuning vs. In-context Learning in Large Language Models: A Formal Language Learning Perspective
تُظهر هذه الورقة، باستخدام اللغات الصورية كبيئة اختبار منضبطة لتجنب تلوث البيانات، أنه في حين يحقق الضبط الدقيق كفاءة أعلى في التوزيع الداخلي مقارنة بالتعلم السياقي، فإن كلا النمطين يُظهران قدرات مماثلة في التعميم خارج التوزيع والتحيزات الاستقرائية، رغم أن التعلم السياقي أكثر حساسية بشكل ملحوظ لحجم النموذج والمفردات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم صديق لك كيفية لعب لعبة لوحية جديدة ومعقدة تماماً. يمكنك القيام بذلك بطريقتين رئيسيتين:
١. طريقة "الدراسة المتعمقة" (الضبط الدقيق): تعطي الصديق كتاب القواعد، ويجلس في غرفة هادئة لمدة ثلاث ساعات، يدرس كل تفصيل بدقة، وفي النهاية تُحفر القواعد في عقله. لقد غيّر فهمه الفعلي ليتوافق مع اللعبة.
٢. طريقة "ورقة الغش" (التعلم في السياق): لا تتركه يدرس. بدلاً من ذلك، تجلس معه لتلعب، وفي كل مرة يتم فيها اتخاذ حركة، تشير إلى ملاحظة صغيرة على الطاولة تقول: "تذكر، في هذه اللعبة، يتحرك الملوك بشكل قطري". هو لا "يتعلم" القواعد بشكل دائم؛ هو فقط يستخدم الملاحظات الموجودة أمامه لمواكبة اللعب.
هذه الورقة البحثية هي معركة "رأس برأس" علمية بين هاتين الطريقتين، باستخدام الذكاء الاصطناعي (النماذج اللغوية الكبيرة) كطلاب.
المشكلة: "الفصل الدراسي الفوضوي"
عادةً ما يختبر العلماء الذكاء الاصطناعي باستخدام اللغات البشرية (مثل الإنجليزية). لكن اللغة البشرية "فوضوية". إذا فشل الذكاء الاصطناعي في اختبار ما، فهل السبب هو أنه لم يتعلم القواعد، أم لأنه ارتبك بسبب كلمة عامية أو خطأ مطبعي؟ من الصعب معرفة ذلك.
ولحل هذه المشكلة، أنشأ الباحثون "مختبراً مثالياً". بدلاً من الإنجليزية، استخدموا "اللغات الرسمية" — وهي أنماط رياضية تشبه الأكواد وتتبع قواعد صارمة وغير قابلة للكسر (مثل نسخة رقمية من مقطوعة موسيقية معقدة). لا توجد لغة عامية، ولا غموض، ولا مجال لـ "الغش" لأن القواعد منطقية بنسبة ١٠٠٪.
الاختبار الجديد: "اختبار المنتحل"
معظم الناس يختبرون الذكاء الاصطناعي بسؤال: "هل يمكنك كتابة جملة صحيحة؟" (الاختبار التوليدي).
جادل الباحثون بأن هذا سهل للغاية. قد يحصل الذكاء الاصطناعي على درجة عالية بمجرد تخمين الأنماط الشائعة.
بدلاً من ذلك، اخترعوا "اختبار المنتحل" (الاختبار التمييزي). هم يعرضون على الذكاء الاصطناعي جملة صحيحة وجملة "مزيفة" تبدو مطابقة لها تقريباً ولكن بها خطأ واحد صغير وغير قانوني. لكي ينجح، يجب ألا يكتفي الذكاء الاصطناعي بالقدرة على كتابة الطريقة الصحيحة فحسب، بل يجب أن يكون قادراً أيضاً على رصد المنتحل. إنه الفرق بين القدرة على التحدث بلغة ما والقدرة على كشف خطأ نحوي دقيق في عقد قانوني.
الاكتشافات الكبرى
١. المتخصص مقابل العام (داخل التوزيع مقابل خارج التوزيع)
- الضبط الدقيق (المتخصص): عندما يُختبر الذكاء الاصطناعي على نفس القواعد التي درسها بالضبط، يكون هو البطل. إنه دقيق للغاية. ومع ذلك، إذا غيرت القواعد قليلاً (مثل تغيير اللعبة من الشطرنج إلى الداما)، فإن "المتخصص" غالباً ما يعاني لأنه أصبح مهووساً بقواعده الأصلية.
- التعلم في السياق (العام): طريقة "ورقة الغش" أقل دقة قليلاً في المهمة الأصلية، لكنها جيدة بشكل مفاجئ في التعامل مع المهام "خارج التوزيع". ولأنها لم "تُقفل" عقلها على مجموعة محددة من القواعد، فإنها تظل مرنة.
٢. فخ "المفردات"
وجد الباحثون أن طريقة "ورقة الغش" (ICL) حساسة جداً لـ "الأبجدية" المستخدمة. إذا كانت اللعبة تستخدم رموزاً غريبة أو شخصيات نادرة لم يرها الذكما الاصطناعي كثيراً خلال "طفولته" (مرحلة ما قبل التدريب)، فإن طريقة "ورقة الغش" تفشل فشلاً ذريعاً. أما طريقة "الدراسة المتعمقة" (الضبط الدقيق) فهي أكثر صلابة؛ إذ يمكنها تعلم استخدام تلك الرموز الغريبة من خلال التكرار المحض.
٣. الحجم مهم (ولكن ليس دائماً)
في طريقة "ورقة الغش"، تكون نماذج الذكاء الاصطناً الأكبر حجماً أفضل بكثير بشكل عام. ولكن في طريقة "الدراسة المتعمقة"، بمجرد وصول النموذج إلى مستوى معين من الذكاء، فإن جعله أكبر حجماً لا يساعده فعلياً في تعلم القواعد بشكل أفضل.
الخلاية
إذا كنت تريد للذكاء الاصطناعي أن يصبح خبيراً ماهراً في مهمة واحدة محددة وصارمة، فقم بـ ضبطه بدقة (دعه يدرس كتاب القواعد).
أما إذا كنت تريد للذكاء الاصطناعي أن يكون مساعداً مرناً يمكنه إلقاء نظرة خاطفة على بعض الملاحظات والتكيف مع مواقف مختلفة قليلاً في اللحظة ذاتها، فإن التعلم في السياق هو خيارك الأفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.