Measuring Form and Function in Language Models

ملخص تقني: قياس الشكل والوظيفة في النماذج اللغوية

بيان المشكلة
تعتمد التقييمات الحالية للنماذج اللغوية الكبيرة (LLMs) بشكل أساسي على مهام التصنيف (مثل أحكام السلامة اللغوية على الأزواج الدنيا) والتي غالباً ما تفشل في استيعاب الجوانب الوظيفية ومستويات الخطاب في المعرفة اللغوية. علاوة على ذلك، تفتقر هذه المعايير القائمة على التصنيف إلى أرضية صلبة للمقارنة بين النماذج اللغوية الكبيرة واكتساب اللغة لدى الأطفال، حيث لا يستطيع الأطفال الصغار تقديم أحكام لغوية وصفية موثوقة. وبينما تسعى مبادرة "BabyLM" إلى بناء نماذج كفؤة في استخدام البيانات وتضاهي الأطفال، إلا أن هناك فجوة منهجية في كيفية المقارنة الصارمة بين السلوك الخارجي للنماذج اللغوية الكبيرة وبيانات الإنتاج الطبيعية للأطفال. وتحديداً، يظل من غير الواضح ما إذا كانت النماذج اللغية الكبيرة تمتلك نظاماً قواعدياً إنتاجياً أم أنها مجرد تحفظ لقطع من المدخلات، وما إذا كانت تستخدم اللغة لوظائف تواصلية مناسبة تتجاوز مجرد سلامة الجملة.

المنهجية
يقترح المؤلفون إطار عمل يكيف المقاييس الكمية من أبحاث لغة الطفل لتقييم النماذج اللغية الكبيرة، مع التركيز على أدوات التعيين في اللغة الإنجليزية (the مقابل a/an)، وهو مجال يتم اكتسابه مبكراً وبدقة من قبل الأطفال. تتكون المنهجية من ثلاثة مكونات أساسية:

1. التحفيز عبر الاختيار السياقي للبدائل (CAC):
   بدلاً من مطالبة النماذج بتصنيف الجمل، يستخدم المؤلفون مخطط تحفيز مشتق من مهمة "الفراغ" (cloze task) النفسية اللغوية. لكل موقع (أداة تعيين × اسم) في عبارة طفل ضمن "مجموعة مانشستر" (Manchester Corpus)، يتم عرض السياق الخطابي السابق الكامل للنموذج ويُطلب منه التنبؤ بأداة التعيين. هذا يستثير توزيعاً احتمالياً للخيارات (the مقابل a) بدلاً من تسمية ثنائية واحدة، مما يسمح بتحليل التوقعات الداخلية للنموذج في سياقات مطابقة لتلك المستخدمة من قبل الأطفال.

2. معيار الإنتاجية الشكلية (اختبار التداخل):
   للتمييز بين الإنتاجية القواعدية الحقيقية والحفظ الآلي، يستخدم البحث اختباراً إحصائياً يعتمد على "يانغ" (2013). يحسب هذا الاختبار "التداخل" المتوقع (نسبة أنواع الأسماء التي تظهر مع كل من the و a) لمجموعة نصية ذات حجم معين ($S$) ومفردات معينة ($N$)، بافتراض وجود قواعد إنتاجية حيث تتحد أدوات التعيين مع الأسماء بشكل مستقل. يتضمن الاختبار قانون "زيبف" (Zipf's Law) لتكرارات الأسماء و"انحيازاً" إجمالياً ($b$) يعكس ميل أسماء معينة لتفضيل أداة تعيين واحدة. إذا لم يختلف التداخل التجريبي للنموذج بشكل كبير عن التداخل المتوقع المستمد من هذه الخصائص الإحصائية، فإنه يعتبر مظهراً للإنتاجية الشكلية.

3. معيار الوظيفة الخطابية (الاحتمال الانتقالي للمرجعية - TPR):
   لتقييم المعرفة الوظيفية، يقيس المؤلفون الـ TPR، وهو المعرف باحتمالية تغيير المتحدث لأداة التعيين عندما يظل اسم الموضوع ثابتاً عبر الدورات الحوارية. يلتقط هذا المقياس الاستخدام المناسب للتعريف والتحديد في الخطاب. يتم حساب الـ TPR للنموذج من خلال مقارنة خيارات أداة التعيين الاحتمالية الخاصة به مع العبارة السابقة للمربي في الحوار. وتتم مقارنة ذلك بخط أساس مستمد من المحادثات بين البالغين والـ TPR التجريبي للأطفال.

المساهمات الرئيسية

• الابتكار المنهجي: يسمح إدخال التحفيز عبر (CAC) بالمقارنة المباشرة بين النماذج اللغية الكبيرة والأطفال باستخدام بيانات إنتاج طبيعية، متجاوزاً الحاجة إلى أحكام لغوية وصفية غير موثوقة من الأطفال.
• التقييم مزدوج المعايير: يضع البحث معيارين مستقلين—الإنتاجية الشكلية (النحو) والملاءمة الوظيفية الخطابية (البراغماتية)—اللذين لا يتطلبان الوصول إلى بيانات تدريب النموذج، مما يجعلهما قابلين للتطبيق على أي عينة لغوية.
• التحليل التجريبي: تقيم الدراسة 45 نموذجاً لغوياً (بما في ذلك نماذج BabyLM الأساسية، والفائزة، والنماذج المرجعية) عبر هذه المعايير، مما يوفر رؤية دقيقة لأداء النماذج بالنسبة للأطفال في عمر 2-3 سنوات.

النتائج
يكشف التقييم عن انفصال كبير بين أوجه الكفاءة اللغوية المختلفة في النماذج اللغية الكبيرة:

• الإنتاجية الشكلية: تجتاز العديد من النماذج، بما في ذلك تلك المدربة على كميات بيانات مماثلة لما هو متاح للأطفال في عمر 2-3 سنوات (حوالي 10-20 مليون كلمة)، اختبار التداخل الشكلي. يشير هذا إلى أنها تعلمت دمج أدوات التعيين والأسماء بشكل منتج بدلاً من مجرد حفظ المتلازمات اللفظية.
• الوظيفة الخطابية: لم يجتز أي من النماذج المدربة على بيانات مماثلة لما هو متاح للأطفال الصغار اختبار الـ TPR. قيم الـ TPR الخاصة بها أعلى بكثير من الخطوط البشرية المرجعية، مما يشير إلى أنها تختار أدوات التعيين بشكل عشوائي دون مراعاة للقيود المرجعية أو السياق الخطابي.
• النماذج الكبيرة: اجتاز نموذجان فقط، مدربان على مجموعات بيانات أكبر بكثير (100 مليون و30 مليار كلمة)، كلا المعيارين. أحد النماذج المدرب على 156 مليار كلمة اجتاز اختبار الـ TPR لكنه فشل في اختبار التداخل.
• الدقة مقابل الكفاءة: حققت عدة نماذج دقة عالية في خيارات أداة التعيين وفق أقصى قدر من الاحتمالية (MLE) (مطابقة للأطفال بنسبة ~89%) ومع ذلك فشلت في اختباري الـ TPR والتداخل. وهذا يؤكد أن الدقة العالية في التصنيف لا تعني بالضرورة كفاءة لغوية أو قواعد إنتاجية تشبه كفاءة البالغين.

الأهمية والادعاءات
يجادل البحث بأن النماذج اللغية الكبيرة الحالية المدربة على بيانات ملائمة نمائياً لا تظهر بعد الطيف الكامل للمعرفة اللغوية التي يظهرها الأطفال البشر في عمر 2-3 سنوات. وتحديداً، بينما يمكن للنماذج تعلم الإنتاجية النحوية الشكلية، فإنها تعاني في فهم القيود الوظيفية والخطابية لاستخدام اللغة. ويدعي المؤلفون أن تحسين جانب واحد من الكفاءة (مثل دقة التنبؤ أو النحو الشكلي) لا يضمن اكتساب جوانب أخرى (مثل الوظيفة الخطابية).

يعمل هذا العمل كمساهمة منهجية، حيث يوضح أن أبحاث لغة الطفل توفر أطر عمل ضرورية لتقييم النماذج اللغية الكبيرة كنماذج معرفية. ويشير المؤلفون إلى أن معالم الاكتساب المبكرة، مثل استخدام أدوات التعيين، تعمل كنقاط تفتيش حرجة للمجال، مما يسلط الضوء على أن النماذج اللغية الكبيرة قد تتطلب مسارات تعلم أو كفاءة في البيانات مختلفة لنمذجة الاكتساب اللغوي البشري حقاً. وتختتم الورقة بتواضع، مشيرة إلى أنه بينما تلبي بعض النماذج الكبيرة جداً المعايير، فإن أسباب النجاح أو الفشل تظل غير واضحة، وهناك حاءة لمزيد من البحث في كيفية تفاعل ضبط التعليمات (instruction tuning) والتعلم المعزز من التغذية الراجعة البشرية (RLHF) مع هذه المعايير اللغوية المحددة.