More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

ملخص تقني: أكثر توافقاً، أقل تنوعاً؟ تحليل قواعد اللغة والمعجم لجيلين من النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
بينما تتم مقارنة النماذج اللغوية الكبيرة (LLMs) بشكل متزايد بالكُتّاب البشر عبر الأبعاد اللغوية، لا تزال الطرق القوية لقياس هذه الاختلافات غير متطورة بشكل كافٍ. وتحديداً، فإن تأثير ضبط التعليمات (Instruction Tuning) والتعلم المعزز من التغذية الراجعة البشرية (RLHF) على التنوع القواعدي والمعجمي لمخرجات النماذج ليس مفهوماً بشكل جيد. لقد أثبتت الأبحاث السابقة أن النماذج الأساسية (Base Models) تختلف عن النصوص البشرية، ولكن من غير الواضح كيف تقارن الأجيال الأحدث، المضبوطة بالتعليمات، بكل من البشر وبأسلافها من نفس النماذج. تعالج هذه الدراسة هذه الفجوة من خلال التحقيق فيما إذا كانت النماذج اللغوية الكبيرة الأحدث، المصممة لتحقيق توافق وترابط أفضل، قد ضحت بالتنوع التركيبي والمعجمي.

المنهجية
يستخدم المؤلفون إطاراً لغوياً رسمياً بدلاً من مقاييس المهام القياسية لمعالجة اللغات الطبيعية (NLP) لضمان المتانة والقدرة على التعميم.

• الإطار: تستخدم الدراسة قواعد بنية العبارة الموجهة بالرأس (HPSG) وقواعد الموارد الإنجليزية (ERG). وخلافاً للمحللات الإحصائية أو التبعيات العالمية (Universal Dependencies)، فإن قواعد (ERG) هي محلل مخطط حتمي وشامل مصمم لتوفണ البنية لجميع الجمل الإنجليزية الصحيحة لغوياً، مما يسمح بتحليل الظواهر اللغوية النادرة والقابلية للإعراب.
• مجموعات البيانات:
  • النص البشري: الفقرات الاستهلالية من صحيفة "نيويورك تايمز" (NYT) من فترتين زمنيتين مختلفتين: عام 2023 (استُخدمت في عمل سابق) وعام 2025 (جُمعت حديثاً).
  • نص النماذج اللغوية الكبيرة (LLM): تمت مقارنة جيلين من النماذج:
    • الجيل الأقدم (ما قبل 2023): النماذج الأساسية (LLaMA 7B/13B/30B/65B، Falcon 7B، Mistral 7B) التي تم تدريبها قبل أكتوبر 2023.
    • الجيل الأحدث (2024): النماذج المضبوطة بالتعليمات (Qwen 2.5، Mistral 7B v0.3، GPT-4o، LLaMA 3.3) التي تم تدريبها حتى عام 2024.
  • بروتوكول التوليد: بالنسبة لبيانات عام 2025 البشرية، تم تزويد النماذج اللغوية الكبيرة بعناوين "نيويورك تايمز" وأول ثلاث كلمات من الفقرة الاستهلالية لتوليد فقرات استهلالية اصطناعية. تطلبت النماذج المضبوطة بالتعليمات استخدام أوامر نظام/مستخدم صريحة لمحاكاة مهمة الإكمال.
• المقاييس: تم قياس التنوع باستخدام مؤشرات الإيكولوجيا ونظرية المعلومات:
  • مؤشر شانون-وينر ($H'$): يقيس الثراء والتساوي في التوزيع.
  • مؤشر سيمبسون ($D$): يقيس احتمالية أن ينتمي عنصران مختاران عشوائياً إلى فئات مختلفة.
    تم تطبيق هذه المقاييس على الأنواع التركيبية (تكوينات بنية العبارة) والأنواع المعجمية (تمثيلات HPSG المعقدة لقيود الكلمات، وهي متميزة عن المفردات السطحية).

المساهمات الرئيسية

1. المقارنة التاريخية (Diachronic Comparison): على عكس العمل السابق الذي قارن جيلاً واحداً من النماذج اللغوية الكبيرة بالبشر، تقارن هذه الدراسة مباشرة بين جيلين من النماذج (الأساسية مقابل المضبوطة بالتعليمات) ضد عينتين زمنيتين من الكتابة البشرية.
2. التحليل اللغوي الرسمي: يوفر استخدام HPSG/ERG طريقة قائمة على النظرية ومستقلة لغوياً لتحليل التركيب والمعجم، مما يتجنب الانحيازات المتأصلة في أداء مهام معالجة اللغات الطبيعية أو وسم أجزاء الكلام (Part-of-Speech) الخشن.
3. تطبيق مقاييس التنوع: يوفر تطبيق مؤشرات شانون وسيمبسون على الهياكل القواعدية طريقة منهجية لتتبع التحولات الأسلوبية عبر أجيال النماذج.

النتائج

• الاستقرار البشري: أظهرت النصوص الإخبارية الإنجليزية من عام 2023 وعام 2025 استقراراً ملحوظاً في كل من مقاييس التنوع التركيبي والمعجمي، مما يشير إلى توازن ثابت للنوعية في الصحافة المهنية.
• تباعد النماذج اللغوية الكبيرة (LLM Divergence):
  • التنوع التركيبي: أظهرت النماذج الأحدث المضبوطة بالتعليمات (2025) انخفاضاً كبيراً في التنوع التركيبي مقارنة بالنماذج الأساسية الأقدم (2023). وبينما كانت النماذج القديمة أقرب إلى التنوع البشري، فضلت النماذج الجديدة التراكيب التي تتضمن التعديل والتنسيق (مثل الأسماء الموصوفة بمعدلات) مع تجنب تفاصيل محددة مثل الأسماء والتواريخ.
  • التنوع المعجمي: كان الانخفاض أكثر وضوحاً في التنوع المعجمي. ومن المثير للدهشة أن النماذج القديمة (2023) أظهرت أعلى تنوع معجمي، متجاوزة النصوص البشرية والنماذج الأحدث. أما النماذج الأحدث (2025) فقد أظهرت أدنى تنوع معجمي، حيث اعتمدت على أنواع معجمية "أساسية" (صفات، أسماء شائعة، أفعال متعدية) وتجنبت المراجع المحددة.
  • علامات الترقيم: استخدمت النماذج الأحدث علامات الترقيم بتنوع أقل بكثير، حيث أنتجت عدداً أقل من الشرطات الطويلة (em-dashes)، والفواصل المنقوطة، وعلامات الاقتباس مقارنة بالكتاب البشر والنماذج الأقدم.
• القابلية للإعراب والطول:
  • أنتجت النماذج الأحدث جملًا أطول (أطول بنسبة 15-30% من النص البشري) مقارنة بالنماذج الأقدم (التي كانت أقصر من النص البشري).
  • رغم زيادة الطول، كانت مخرجات النماذج اللغوية الكبيرة الأحدث أسهل في الإعراب (تقترب من نسبة نجاح 99%) وتطلبت موارد حوسبية أقل من النصوص البشرية أو مخرجات النماذج القديمة. يشير هذا إلى أن النماذج الأحدث تنتج جملًا منتظمة هيكلياً ومبسطة تتماشى مع الأجزاء الأكثر قابلية للتنبؤ في القواعد، بينما تحفز النصوص البشرية ظواهر أكثر تعقيداً وأقل قابلية للتنبؤ.

الأهمية والادعاءات
يزعم البحث أنه بينما يعزز ضبط التعليمات من التماسك والالتزام بالأوامر، إلا أنه يؤدي كأثر جانبي إلى تضييق النطاق التعبيري لمخرجات النموذج. تشير النتائج إلى وجود مقايضة حيث تضحي نماذج التوافق (Alignment) بالتنوع المعجمي والتركيبي لصالح السيطرة الأسلوبية والسلامة الواقعية (كما هو واضح في تجنب الأسماء/التواريخ المحددة والهياكل المعرضة للهلوسة).

يخلص المؤلفون إلى أن النماذج الأكبر والأحدث لا تقترب من السلوك اللغوي البشري في الكتابة الإخبارية المهنية؛ بل تتباعد عنه، فتصبح أكثر نمطية وأقل تنوعاً من البشر ومن النماذج الأساسية السابقة. يسلط هذا الضوء على الحاجة إلى أبحاث مستقبلية حول كيفية تأثير ضبط التعليمات على القدرات اللغوية وما إذا كان يمكن استعادة هذه القدرات دون المساس بالتوافق. يقتصر نطاق الدراسة بشكل متواضع على النصوص الإخبارية الإنجليزية، مع ملاحظة أن المنهجية قابلة للتطبيق على نطاق واسع ولكنها محدودة حالياً بتوفر قواعد HPSG واسعة النطاق للغات أخرى.